Procházet zdrojové kódy

aliginng the pad token with HF latest

Hamid Shojanazeri před 1 rokem
rodič
revize
557e881fcc
1 změnil soubory, kde provedl 3 přidání a 5 odebrání
  1. 3 5
      inference/chat_completion.py

+ 3 - 5
inference/chat_completion.py

@@ -62,13 +62,11 @@ def main(
     tokenizer = LlamaTokenizer.from_pretrained(model_name)
     tokenizer.add_special_tokens(
         {
-            "eos_token": "</s>",
-            "bos_token": "</s>",
-            "unk_token": "</s>",
-            "pad_token": "[PAD]",
+         
+            "pad_token": "<PAD>",
         }
     )
-
+    
     chats = format_tokens(dialogs, tokenizer)
 
     with torch.no_grad():