Pārlūkot izejas kodu

Update wordlist.txt

Hamid Shojanazeri 7 mēneši atpakaļ
vecāks
revīzija
b49f31c300
1 mainītis faili ar 5 papildinājumiem un 0 dzēšanām
  1. 5 0
      scripts/spellcheck_conf/wordlist.txt

+ 5 - 0
scripts/spellcheck_conf/wordlist.txt

@@ -1289,3 +1289,8 @@ tokenize
 tokenizer's
 tokenizers
 warmup
+BOS
+EOS
+eot
+multiturn
+tiktoken