|
@@ -107,7 +107,7 @@ def main(
|
|
tokens= tokens.unsqueeze(0)
|
|
tokens= tokens.unsqueeze(0)
|
|
tokens= tokens.to("cuda:0")
|
|
tokens= tokens.to("cuda:0")
|
|
outputs = model.generate(
|
|
outputs = model.generate(
|
|
- tokens,
|
|
|
|
|
|
+ input_ids=tokens,
|
|
max_new_tokens=max_new_tokens,
|
|
max_new_tokens=max_new_tokens,
|
|
do_sample=do_sample,
|
|
do_sample=do_sample,
|
|
top_p=top_p,
|
|
top_p=top_p,
|