benchmarks/inference_pytorch_llama.yaml [10:19]:
- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
device: cuda

benchmark:
  memory: true

hydra:
  sweeper:
    params:
      backend.torch_dtype: float16,float32
      benchmark.input_shapes.batch_size: 1,16
- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -



