Procházet zdrojové kódy

Update src/llama_recipes/utils/fsdp_utils.py

Co-authored-by: Andrew Gu <31054793+awgu@users.noreply.github.com>
Hamid Shojanazeri před 1 rokem
rodič
revize
e9d5cfdfd5
1 změnil soubory, kde provedl 1 přidání a 1 odebrání
  1. 1 1
      src/llama_recipes/utils/fsdp_utils.py

+ 1 - 1
src/llama_recipes/utils/fsdp_utils.py

@@ -37,7 +37,7 @@ def fsdp_auto_wrap_policy(model, transformer_layer_name):
     return auto_wrap_policy
 
 
-def hdsp_device_mesh(replica_group_size, sharding_group_size, device=None):
+def hsdp_device_mesh(replica_group_size, sharding_group_size, device=None):
     """
      Initializes a device mesh for use with Hybrid Sharding strategy in FSDP (HSDP) training.