Rahul A R 2fa8e69b62 add new argument: tokenizer_name 1 år sedan
..
configs 2fa8e69b62 add new argument: tokenizer_name 1 år sedan
data 4913d3ad24 Add missing copyright header 1 år sedan
datasets 69db75d425 fix incorrect split of InstructionDataset 1 år sedan
inference 81984a9a44 Remove unnecessary spec format 1 år sedan
model_checkpointing ce9501f22c remove relative imports 1 år sedan
policies ce9501f22c remove relative imports 1 år sedan
tools 4913d3ad24 Add missing copyright header 1 år sedan
utils 6954b16b3b only save training params on rank 0 1 år sedan
finetuning.py f8183b96fe use new tokenizer_name argument and resize embeddings if required 1 år sedan