Databricks

W&B s’intègre à Databricks en adaptant l’expérience des notebooks Jupyter de W&B à l’environnement Databricks. Cette page explique comment installer et authentifier W&B sur un cluster Databricks pour pouvoir suivre les expériences et consigner des métriques depuis des notebooks exécutés sur Spark.

Configurer Databricks

Pour utiliser W&B depuis un notebook Databricks, vous devez installer le package wandb sur le cluster et configurer l’authentification afin que vos notebooks puissent enregistrer des données dans W&B.

Installez wandb sur le cluster Dans la configuration de votre cluster, choisissez votre cluster, puis cliquez sur Libraries > Install New > PyPI, et ajoutez le package wandb.

Configurez l’authentification Pour authentifier votre compte W&B, ajoutez un secret Databricks que vos notebooks peuvent interroger au moment de l’exécution. Cela évite d’inscrire votre clé API en dur dans les notebooks.

# installer la CLI Databricks
pip install databricks-cli

# Générer un jeton depuis l'interface utilisateur de Databricks
databricks configure --token

# Créer un scope avec l'une des deux commandes (selon que vous avez activé ou non les fonctionnalités de sécurité sur Databricks) :
# avec le module complémentaire de sécurité
databricks secrets create-scope --scope wandb
# sans le module complémentaire de sécurité
databricks secrets create-scope --scope wandb --initial-manage-principal users

# Créer une clé API sur https://wandb.ai/settings
databricks secrets put --scope wandb --key api_key

Exemples

Les exemples suivants montrent comment utiliser le secret précédent pour vous connecter et commencer à journaliser depuis un notebook Databricks.

Exemple de base

import os
import wandb

api_key = dbutils.secrets.get("wandb", "api_key")
wandb.login(key=api_key)

with wandb.init() as run:
    run.log({"foo": 1})

Sweeps

Les notebooks qui utilisent wandb.sweep() ou wandb.agent() doivent définir l’entité et le projet en tant que variables d’environnement :

import os

os.environ["WANDB_ENTITY"] = "my-entity"
os.environ["WANDB_PROJECT"] = "my-project-that-exists"

Weights & Biases

Powered by CoreWeave

Platform Details

Resources

Configurer Databricks

Exemples

Exemple de base

Sweeps

​Configurer Databricks

​Exemples

​Exemple de base

​Sweeps

Configurer Databricks

Exemples

Exemple de base

Sweeps