Hugging Face Accelerate

Hugging Face Accelerate est une bibliothèque qui permet d’exécuter le même code PyTorch sur n’importe quelle configuration distribuée, afin de simplifier l’entraînement des modèles et l’inférence à grande échelle. Accelerate inclut un suivi W&B, et cette page montre comment l’utiliser pour consigner des métriques, la configuration et des artefacts à partir de runs d’entraînement distribués dans W&B. Pour plus d’informations, voir Accelerate Trackers in Hugging Face.

Commencez à journaliser avec Accelerate

Cette section montre comment configurer Accelerate pour journaliser les données d’expérience dans W&B pendant l’entraînement. Pour démarrer avec Accelerate et W&B, suivez ce pseudocode :

from accelerate import Accelerator

# Indiquer à l'objet Accelerator de journaliser avec wandb
accelerator = Accelerator(log_with="wandb")

# Initialiser votre run wandb en transmettant les paramètres wandb et toute information de configuration
accelerator.init_trackers(
    project_name="my_project", 
    config={"dropout": 0.1, "learning_rate": 1e-2},
    init_kwargs={"wandb": {"entity": "my-wandb-team"}}
    )

...

# Journaliser dans wandb en appelant accelerator.log() ; step est facultatif
accelerator.log({"train_loss": 1.12, "valid_loss": 0.8}, step=global_step)


# S'assurer que le suivi wandb se termine correctement
accelerator.end_training()

Plus en détail :

Passez log_with="wandb" lorsque vous initialisez la classe Accelerator.
Appelez la méthode init_trackers et transmettez-lui :
- Un nom de projet via project_name.
- Tous les paramètres que vous souhaitez passer à wandb.init() via un dict imbriqué dans init_kwargs.
- Toute autre information de configuration de l’expérience que vous souhaitez journaliser dans votre run wandb, via config.
Utilisez la méthode wandb.Run.log() pour journaliser dans W&B. L’argument step est facultatif.
Appelez .end_training() lorsque l’entraînement est terminé.

Accéder au suivi W&B

Une fois qu’Accelerate journalise dans W&B, vous pouvez avoir besoin d’accéder directement à l’objet run W&B sous-jacent pour journaliser des artefacts, des graphiques personnalisés ou d’autres données que le suivi W&B n’expose pas. Pour accéder au suivi W&B, utilisez la méthode Accelerator.get_tracker(). Passez la chaîne correspondant à l’attribut .name d’un outil de suivi ; la méthode renvoie alors cet outil de suivi sur le processus main.

wandb_tracker = accelerator.get_tracker("wandb")

Vous pouvez ensuite interagir comme d’habitude avec l’objet run de wandb :

wandb_tracker.log_artifact(some_artifact_to_log)

Les suivis intégrés à Accelerate s’exécutent automatiquement sur le bon processus. Ainsi, si un suivi n’a besoin d’être exécuté que sur le processus principal, il le sera automatiquement.Pour supprimer complètement l’encapsulation d’Accelerate, vous pouvez obtenir le même résultat avec :

wandb_tracker = accelerator.get_tracker("wandb", unwrap=True)
with accelerator.on_main_process:
    wandb_tracker.log_artifact(some_artifact_to_log)

Articles sur Accelerate

Pour un guide pas à pas plus approfondi sur l’utilisation d’Accelerate avec W&B, consultez l’article suivant.

Guides

Intégrations

Référence

Commencez à journaliser avec Accelerate

Accéder au suivi W&B

Articles sur Accelerate

​Commencez à journaliser avec Accelerate

​Accéder au suivi W&B

​Articles sur Accelerate

Commencez à journaliser avec Accelerate

Accéder au suivi W&B

Articles sur Accelerate