Selaa lähdekoodia

Fix load_model missing argument

Guocheng 1 vuosi sitten
vanhempi
commit
a73108704c
1 muutettua tiedostoa jossa 1 lisäystä ja 1 poistoa
  1. 1 1
      examples/chat_completion/chat_completion.py

+ 1 - 1
examples/chat_completion/chat_completion.py

@@ -61,7 +61,7 @@ def main(
     else:
         torch.cuda.manual_seed(seed)
     torch.manual_seed(seed)
-    model = load_model(model_name, quantization)
+    model = load_model(model_name, quantization, use_fast_kernels)
     if peft_model:
         model = load_peft_model(model, peft_model)
     if use_fast_kernels: