Inicio Explorar Ayuda
Registro Iniciar sesión
marx
/
llama-recipes
1
0
Fork 0
Archivos Incidencias 0 Pull Requests 0 Wiki
Explorar el Código

adding barrier to end of trainer loop

Hamid Shojanazeri hace 1 año
padre
f74d57dc08
commit
442c1ccf7c
Se han modificado 1 ficheros con 1 adiciones y 1 borrados
Unificar vista Mostrar estadísticas de diff
  1. 1 1
      utils/train_utils.py

+ 1 - 1
utils/train_utils.py
Ver fichero 

@@ -177,7 +177,7 @@ def train(model, train_dataloader,eval_dataloader, tokenizer, optimizer, lr_sche
 
         results['avg_eval_prep'] = avg_eval_prep
 
         results['avg_eval_prep'] = avg_eval_prep
 
         results['avg_eval_loss'] = avg_eval_loss
 
         results['avg_eval_loss'] = avg_eval_loss
 
         
         
-
 
+    dist.barrier()
 
     return results
 
     return results
 
 
 
 def evaluation(model,train_config, eval_dataloader, local_rank, tokenizer):
 
 def evaluation(model,train_config, eval_dataloader, local_rank, tokenizer):