MosaicML Composer

Composer est une bibliothèque conçue pour entraîner des réseaux neuronaux plus efficacement, plus rapidement et à moindre coût. Elle comprend des méthodes pour accélérer l’entraînement et améliorer la généralisation. Composer dispose également d’une API Trainer facultative pour combiner de nombreuses améliorations différentes. Utilisez W&B avec Composer pour suivre, visualiser et comparer vos runs d’entraînement. Composer inclut une journalisation W&B intégrée via WandBLogger.

Commencez à journaliser avec W&B

Pour commencer à journaliser vos runs d’entraînement Composer dans W&B, transmettez une instance de composer.loggers.WandBLogger à composer.Trainer :

from composer import Trainer
from composer.loggers import WandBLogger

trainer = Trainer(..., logger=WandBLogger())

Utiliser le `WandBLogger` de Composer

Les sections suivantes décrivent comment le WandBLogger s’intègre au Trainer de Composer. La bibliothèque Composer utilise la classe WandBLogger dans le Trainer pour journaliser des métriques dans W&B. Instanciez le logger et passez-le au Trainer :

wandb_logger = WandBLogger(project="gpt-5", log_artifacts=True)
trainer = Trainer(logger=wandb_logger)

Arguments du logger

Pour connaître les paramètres que vous pouvez utiliser pour personnaliser la façon dont WandBLogger enregistre vos run, consultez la documentation Composer. L’exemple suivant montre une utilisation typique qui transmet des notes d’exécution et un dictionnaire config via init_kwargs :

init_kwargs = {"notes":"Testing higher learning rate in this experiment", 
               "config":{"arch":"Llama",
                         "use_mixed_precision":True
                         }
               }

wandb_logger = WandBLogger(log_artifacts=True, init_kwargs=init_kwargs)

Journaliser des échantillons de prédictions

En plus des métriques scalaires, vous pouvez journaliser des médias enrichis, comme des prédictions de modèle, dans W&B pour un examen qualitatif. Vous pouvez utiliser le système de callbacks de Composer pour contrôler à quel moment vous journalisez dans W&B avec WandBLogger. L’exemple suivant journalise un échantillon d’images de validation et de prédictions :

import wandb
from composer import Callback, State, Logger

class LogPredictions(Callback):
    def __init__(self, num_samples=100, seed=1234):
        super().__init__()
        self.num_samples = num_samples
        self.data = []
        
    def eval_batch_end(self, state: State, logger: Logger):
        """Calcule les prédictions par lot et les stocke dans self.data"""
        
        if state.timer.epoch == state.max_duration: #à la dernière époque de validation
            if len(self.data) < self.num_samples:
                n = self.num_samples
                x, y = state.batch_pair
                outputs = state.outputs.argmax(-1)
                data = [[wandb.Image(x_i), y_i, y_pred] for x_i, y_i, y_pred in list(zip(x[:n], y[:n], outputs[:n]))]
                self.data += data
            
    def eval_end(self, state: State, logger: Logger):
        with wandb.init() as run:
            "Create a wandb.Table and logs it"
            columns = ['image', 'ground truth', 'prediction']
            table = wandb.Table(columns=columns, data=self.data[:self.num_samples])
            run.log({'sample_table':table}, step=int(state.timer.batch))         
...

trainer = Trainer(
    ...
    loggers=[WandBLogger()],
    callbacks=[LogPredictions()]
)

Weights & Biases

Powered by CoreWeave

Platform Details

Resources

Commencez à journaliser avec W&B

Utiliser le `WandBLogger` de Composer

Arguments du logger

Journaliser des échantillons de prédictions

​Commencez à journaliser avec W&B

​Utiliser le WandBLogger de Composer

​Arguments du logger

​Journaliser des échantillons de prédictions

Commencez à journaliser avec W&B

Utiliser le `WandBLogger` de Composer

Arguments du logger

Journaliser des échantillons de prédictions