Metaflow

Aperçu

Metaflow est un framework créé par Netflix pour créer et exécuter des flux de travail de ML. Cette intégration vous permet d’appliquer des décorateurs aux étapes et flows Metaflow afin d’enregistrer automatiquement les paramètres et les artefacts dans W&B, afin que vous puissiez suivre les expériences et inspecter la traçabilité dans l’ensemble des flux de travail que vous créez avec Metaflow sans écrire de code de journalisation personnalisé :

Décorer une étape permet d’activer ou de désactiver la journalisation pour certains types au sein de cette étape.
Décorer le flow permet d’activer ou de désactiver la journalisation pour chaque étape du flow.

Démarrage rapide

Les sections suivantes expliquent comment vous authentifier auprès de W&B, installer les bibliothèques requises et ajouter le décorateur wandb_log à vos étapes et flows Metaflow. Une clé API authentifie votre machine auprès de W&B. Vous pouvez générer une clé API depuis votre profil.

Pour une méthode plus directe, accédez aux Paramètres utilisateur et créez une clé API. Copiez immédiatement la clé API et conservez-la dans un endroit sûr, par exemple dans un gestionnaire de mots de passe.

Pour trouver votre clé API dans W&B App :

Cliquez sur l’icône de votre profil en haut à droite.
Sélectionnez Paramètres utilisateur, puis faites défiler jusqu’à la section API Keys.

Installez la bibliothèque `wandb` et connectez-vous

Pour installer la bibliothèque wandb en local et vous connecter :

Pour wandb version 0.19.8 ou antérieure, installez fastcore version 1.8.0 ou antérieure (fastcore<1.8.0) au lieu de plum-dispatch.

Ligne de commande
Python
notebook Python

Définissez la variable d’environnement WANDB_API_KEY avec votre clé API. Remplacez les valeurs entre <> par les vôtres :
export WANDB_API_KEY=<your_api_key>

Installez la bibliothèque wandb et connectez-vous.

pip install -Uqqq metaflow "plum-dispatch<3.0.0" wandb

wandb login

pip install -Uqqq metaflow "plum-dispatch<3.0.0" wandb

import wandb
wandb.login()

!pip install -Uqqq metaflow "plum-dispatch<3.0.0" wandb

import wandb
wandb.login()

Décorez vos flows et vos étapes

Étape
Flow
Flow et étapes

Décorer une étape permet d’activer ou de désactiver la journalisation pour certains types au sein de cette étape.Dans cet exemple, l’intégration journalise tous les datasets et modèles dans start :

from wandb.integration.metaflow import wandb_log

class WandbExampleFlow(FlowSpec):
    @wandb_log(datasets=True, models=True, settings=wandb.Settings(...))
    @step
    def start(self):
        self.raw_df = pd.read_csv(...)    # pd.DataFrame -> téléverser comme dataset
        self.model_file = torch.load(...)  # nn.Module    -> téléverser comme modèle
        self.next(self.transform)

Décorer un flow revient à décorer toutes les étapes qui le composent avec une configuration par défaut.Dans ce cas, toutes les étapes de WandbExampleFlow journalisent par défaut les datasets et les modèles, exactement comme si vous décoriez chaque étape avec @wandb_log(datasets=True, models=True).

from wandb.integration.metaflow import wandb_log

@wandb_log(datasets=True, models=True)  # décorer tous les @step 
class WandbExampleFlow(FlowSpec):
    @step
    def start(self):
        self.raw_df = pd.read_csv(...)    # pd.DataFrame -> téléverser comme dataset
        self.model_file = torch.load(...)  # nn.Module    -> téléverser comme modèle
        self.next(self.transform)

Décorer le flow revient à décorer toutes les étapes avec une configuration par défaut. Cela signifie que si vous décorez ensuite une étape avec un autre @wandb_log, celui-ci redéfinit la décoration définie au niveau du flow.Dans cet exemple :

start et mid journalisent à la fois les datasets et les modèles.
end ne journalise ni les datasets ni les modèles.

from wandb.integration.metaflow import wandb_log

@wandb_log(datasets=True, models=True)  # identique à la décoration de start et mid
class WandbExampleFlow(FlowSpec):
  # cette étape journalisera les datasets et les modèles
  @step
  def start(self):
    self.raw_df = pd.read_csv(...)    # pd.DataFrame -> téléverser comme dataset
    self.model_file = torch.load(...)  # nn.Module    -> téléverser comme modèle
    self.next(self.mid)

  # cette étape journalisera également les datasets et les modèles
  @step
  def mid(self):
    self.raw_df = pd.read_csv(...)    # pd.DataFrame -> téléverser comme dataset
    self.model_file = torch.load(...)  # nn.Module    -> téléverser comme modèle
    self.next(self.end)

  # cette étape redéfinit ce comportement et ne journalisera PAS les datasets NI les modèles
  @wandb_log(datasets=False, models=False)
  @step
  def end(self):
    self.raw_df = pd.read_csv(...)    
    self.model_file = torch.load(...)

Accédez à vos données par programmation

Une fois vos flows et vos étapes décorés, les exécutions envoient des paramètres et des artefacts à W&B chaque fois que le flow s’exécute. Vous pouvez accéder aux informations capturées de trois façons : dans le processus Python d’origine en cours d’enregistrement à l’aide de la bibliothèque cliente wandb, via l’interface de l’application web, ou par programmation à l’aide de l’API publique. Les Parameters sont enregistrés dans le config de W&B et sont disponibles dans l’onglet Vue d’ensemble. Les datasets, models et others sont enregistrés dans W&B Artefacts et sont disponibles dans l’onglet Artefacts. Les types Python de base sont enregistrés dans le dict summary de W&B et sont disponibles dans l’onglet Vue d’ensemble. Voir le guide de l’API publique pour en savoir plus sur l’utilisation de l’API afin d’obtenir ces informations par programmation depuis l’extérieur.

Référence rapide

Données	Bibliothèque cliente	UI
`Parameter(...)`	`wandb.Run.config`	onglet Vue d’ensemble, Config
`datasets`, `models`, `others`	`wandb.Run.use_artifact("{var_name}:latest")`	onglet Artifacts
Types Python de base (`dict`, `list`, `str`, etc.)	`wandb.Run.summary`	onglet Vue d’ensemble, Summary

Arguments de `wandb_log`

kwarg	Options
`datasets`	`True`: Journaliser les variables d’instance correspondant à un jeu de données `False`
`models`	`True`: Journaliser les variables d’instance correspondant à un modèle `False`
`others`	`True`: Journaliser tout autre élément sérialisable avec pickle `False`
`settings`	`wandb.Settings(…)`: Spécifiez vos propres paramètres `wandb` pour cette étape ou ce flow `None`: Équivaut à passer `wandb.Settings()` Par défaut, si : `settings.run_group` vaut `None`, il est défini sur `{flow_name}/{run_id}` `settings.run_job_type` vaut `None`, il est défini sur `{run_job_type}/{step_name}`

Questions fréquentes

Les sections suivantes répondent aux questions courantes sur la journalisation, les types de données pris en charge et la traçabilité des artefacts.

Qu’enregistrez-vous exactement

wandb_log enregistre uniquement les variables d’instance. Les variables locales ne sont jamais enregistrées. Cela permet d’éviter d’enregistrer des données inutiles.

Quels types de données sont enregistrés

W&B prend en charge les types suivants :

Paramètre de journalisation	Type
par défaut (toujours activé)	`dict, list, set, str, int, float, bool`
`datasets`	`pd.DataFrame` `pathlib.Path`
`models`	`nn.Module` `sklearn.base.BaseEstimator`
`others`	Tout ce qui est sérialisable avec pickle et sérialisable en JSON

Configurer le comportement de journalisation

Type de variable	Comportement	Exemple	Type de données
Instance	Enregistré automatiquement	`self.accuracy`	`float`
Instance	Enregistré si `datasets=True`	`self.df`	`pd.DataFrame`
Instance	Non enregistré si `datasets=False`	`self.df`	`pd.DataFrame`
Locale	Jamais enregistré	`accuracy`	`float`
Locale	Jamais enregistré	`df`	`pd.DataFrame`

Suivi de la traçabilité des artefacts

Si vous avez un artefact qui est la sortie de l’étape A et l’entrée de l’étape B, W&B construit automatiquement le DAG de traçabilité pour vous. Pour voir un exemple de ce comportement, consultez ce notebook d’exemple d’intégration Metaflow et la page Artifacts correspondante.

Weights & Biases

Powered by CoreWeave

Platform Details

Resources

Aperçu

Démarrage rapide

Installez la bibliothèque `wandb` et connectez-vous

Décorez vos flows et vos étapes

Accédez à vos données par programmation

Référence rapide

Arguments de `wandb_log`

Questions fréquentes

Qu’enregistrez-vous exactement

Quels types de données sont enregistrés

Configurer le comportement de journalisation

Suivi de la traçabilité des artefacts

​Aperçu

​Démarrage rapide

​Inscrivez-vous et créez une clé API

​Installez la bibliothèque wandb et connectez-vous

​Décorez vos flows et vos étapes

​Accédez à vos données par programmation

​Référence rapide

​Arguments de wandb_log

​Questions fréquentes

​Qu’enregistrez-vous exactement

​Quels types de données sont enregistrés

​Configurer le comportement de journalisation

​Suivi de la traçabilité des artefacts

Aperçu

Démarrage rapide

Inscrivez-vous et créez une clé API

Installez la bibliothèque `wandb` et connectez-vous

Décorez vos flows et vos étapes

Accédez à vos données par programmation

Référence rapide

Arguments de `wandb_log`

Questions fréquentes

Qu’enregistrez-vous exactement

Quels types de données sont enregistrés

Configurer le comportement de journalisation

Suivi de la traçabilité des artefacts