arctic_inference/vllm/swiftkv/llama_swiftkv.py [538:544]:
- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
                sm_scale=impl.scale,
                window_left=impl.sliding_window[0],
                logits_soft_cap=impl.logits_soft_cap or 0.0,
                q_data_type=attn_metadata.q_data_type,
                kv_data_type=attn_metadata.data_type,
                )
        else:
- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -



arctic_inference/vllm/swiftkv/llama_swiftkv.py [562:568]:
- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
                sm_scale=impl.scale,
                window_left=impl.sliding_window[0],
                logits_soft_cap=impl.logits_soft_cap or 0.0,
                q_data_type=attn_metadata.q_data_type,
                kv_data_type=attn_metadata.data_type,
            )
        else:
- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -