llm_perf/benchmark_runners/cuda/update_llm_perf_cuda_pytorch.py [168:173]:
- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
                    "torch_dtype": "float16",
                    "quant_scheme": "awq",
                    "quant_config": {
                        "bits": 4,
                        "version": "exllama",
                        "exllama_config": {
- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -



llm_perf/benchmark_runners/cuda/update_llm_perf_cuda_pytorch.py [181:186]:
- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
                    "torch_dtype": "float16",
                    "quant_scheme": "awq",
                    "quant_config": {
                        "bits": 4,
                        "version": "exllama",
                        "exllama_config": {
- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -