spaCy

spaCy est une bibliothèque de TAL qui fournit des modèles rapides et précis. Depuis spaCy v3, vous pouvez utiliser W&B avec spacy train pour suivre les métriques d’entraînement de votre modèle spaCy, ainsi que pour enregistrer et versionner vos modèles et jeux de données. Il suffit pour cela d’ajouter quelques lignes à votre configuration. Si vous utilisez spaCy, cette page explique comment utiliser W&B pour surveiller les runs d’entraînement, comparer les expériences et versionner les modèles et les jeux de données produits par spacy train. Une clé API authentifie votre machine auprès de W&B. Vous pouvez générer une clé API depuis votre profil.

Pour une méthode plus directe, accédez aux Paramètres utilisateur et créez une clé API. Copiez immédiatement la clé API et conservez-la dans un endroit sûr, par exemple dans un gestionnaire de mots de passe.

Cliquez sur l’icône de votre profil dans l’angle supérieur droit.
Sélectionnez Paramètres utilisateur, puis faites défiler jusqu’à la section Clés API.

Installez la bibliothèque `wandb` et connectez-vous

Pour installer la bibliothèque wandb localement et vous connecter :

Ligne de commande
Python
Python notebook

Définissez la variable d’environnement WANDB_API_KEY avec votre clé API. Remplacez les valeurs entre <> par les vôtres :
export WANDB_API_KEY=<your_api_key>
Installez la bibliothèque wandb et connectez-vous.
pip install wandb wandb login

pip install wandb

import wandb
wandb.login()

!pip install wandb

import wandb
wandb.login()

Ajoutez `WandbLogger` à votre fichier de configuration spaCy

Les fichiers de configuration spaCy définissent tous les aspects de l’entraînement, pas seulement la journalisation (attribution du GPU, choix de l’optimiseur, chemins d’accès au jeu de données, etc.). Au minimum, sous [training.logger], vous devez fournir la clé @loggers avec la valeur "spacy.WandbLogger.v3", ainsi qu’un project_name.

Pour en savoir plus sur le fonctionnement des fichiers de configuration d’entraînement de spaCy et sur les autres options que vous pouvez spécifier pour personnaliser l’entraînement, voir la documentation de spaCy.

[training.logger]
@loggers = "spacy.WandbLogger.v3"
project_name = "my_spacy_project"
remove_config_values = ["paths.train", "paths.dev", "corpora.train.path", "corpora.dev.path"]
log_dataset_dir = "./corpus"
model_log_interval = 1000

Le tableau suivant décrit les options de configuration de WandbLogger :

Nom	Description
`project_name`	`str`. Le nom du projet W&B. W&B crée automatiquement le projet s’il n’existe pas encore.
`remove_config_values`	`List[str]` . Une liste de valeurs à exclure de la configuration avant son téléversement vers W&B. `[]` par défaut.
`model_log_interval`	`Optional int`. `None` par défaut. Si cette valeur est définie, elle active la gestion des versions des modèles avec des artefacts. Indiquez le nombre d’étapes à attendre entre deux journalisations des points de contrôle du modèle.
`log_dataset_dir`	`Optional str`. Si vous fournissez un chemin, W&B téléverse le jeu de données en tant qu’artefact au début de l’entraînement. `None` par défaut.
`entity`	`Optional str` . Si elle est fournie, W&B crée le run dans l’entité spécifiée.
`run_name`	`Optional str` . Si elle est spécifiée, W&B crée le run avec le nom indiqué.

Lancer l’entraînement

Une fois WandbLogger ajouté à votre configuration d’entraînement spaCy, vous pouvez exécuter spacy train comme d’habitude, et W&B capture automatiquement le run.

Ligne de commande
Python
Python notebook

python -m spacy train \
    config.cfg \
    --output ./output \
    --paths.train ./train \
    --paths.dev ./dev

python -m spacy train \
    config.cfg \
    --output ./output \
    --paths.train ./train \
    --paths.dev ./dev

!python -m spacy train \
    config.cfg \
    --output ./output \
    --paths.train ./train \
    --paths.dev ./dev

Au démarrage de l’entraînement, spaCy affiche un lien vers la page W&B de votre run d’entraînement. Il vous redirige vers le tableau de bord de suivi des expériences de ce run dans l’interface web de W&B.

Weights & Biases

Powered by CoreWeave

Platform Details

Resources

Installez la bibliothèque `wandb` et connectez-vous

Ajoutez `WandbLogger` à votre fichier de configuration spaCy

Lancer l’entraînement

​Inscrivez-vous et créez une clé API

​Installez la bibliothèque wandb et connectez-vous

​Ajoutez WandbLogger à votre fichier de configuration spaCy

​Lancer l’entraînement

Inscrivez-vous et créez une clé API

Installez la bibliothèque `wandb` et connectez-vous

Ajoutez `WandbLogger` à votre fichier de configuration spaCy

Lancer l’entraînement