src/alpaca_eval/models_configs/tulu-2-dpo-70b/configs.yaml [6:13]:
- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
    model_kwargs:
      torch_dtype: 'bfloat16'
      tp: 2 # you need at least 2 A100 80GB GPUs to run this model
    max_new_tokens: 7500
    temperature: 0.0
    top_p: 1.0
    do_sample: False
    batch_size: 800
- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -



src/alpaca_eval/models_configs/tulu-2-dpo-7b/configs.yaml [6:13]:
- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
    model_kwargs:
      torch_dtype: 'bfloat16'
      tp: 2
    max_new_tokens: 7500
    temperature: 0.0
    top_p: 1.0
    do_sample: False
    batch_size: 800
- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -



