Automations の概要 - Weights & Biases Documentation

W&B Automations API を使用すると、ML パイプライン内のイベントに応じて動作する自動ワークフローをプログラムで作成・管理できます。モデル性能のしきい値やアーティファクトの作成など、特定の条件が満たされたときにトリガーされるアクションを設定します。

主要なクラス

クラス	説明
`Automation`	設定を持つ、保存済みのAutomationインスタンスを表します。
`NewAutomation`	新しいAutomationを作成するためのビルダークラスです。

イベント (トリガー)

イベント	説明
`OnRunMetric`	run のメトリクスが、定義された条件 (しきい値、変化など) を満たしたときにトリガーされます。
`OnCreateArtifact`	コレクション内に新しいアーティファクトが作成されたときにトリガーされます。
`OnLinkArtifact`	アーティファクトがレジストリにリンクされたときにトリガーされます。
`OnAddArtifactAlias`	アーティファクトにエイリアスが追加されたときにトリガーされます。

アクション

アクション	説明
`SendNotification`	Slack またはその他の統合されたチャネルを介して通知を送信します。
`SendWebhook`	外部サービスに HTTP webhook リクエストを送信します。
`DoNothing`	automation の設定をテストするためのプレースホルダーアクションです。

フィルター

フィルター	説明
`MetricThresholdFilter`	メトリクス値をしきい値と比較して run をフィルタリングします。
`MetricChangeFilter`	時間の経過に伴うメトリクス値の変化に基づいて run をフィルタリングします。

一般的なユースケース

モデル性能の監視

モデルの精度がしきい値を下回った場合にアラートを送信する
トレーニング損失が横ばいになった場合にチームへ通知する
パフォーマンスメトリクスに基づいて再トレーニングのパイプラインをトリガーする

Artifacts の管理

新しいモデルバージョンが作成されたときに通知する
Artifacts にタグが付いたときにデプロイワークフローを起動する
データセットが更新されたときに後続処理を自動化する

実験管理

失敗したrunやcrashedしたrunのアラートを受け取る
長時間実行される実験の完了時に通知を受け取る
実験メトリクスの日次サマリーを送信する

インテグレーションのワークフロー

webhook を使って外部トラッキングシステムを更新
モデルレジストリをデプロイプラットフォームと Sync
W&B イベントに応じて CI/CD パイプラインを起動

使用例

次の例では、custom-metric というメトリクスが 10 を超えるたびに Slack に通知を送信する automation を作成します。custom-metric は、トレーニング中に wandb.Run.log({"custom-metric": value }) を使ってログすることを想定しています。

import wandb
from wandb.automations import OnRunMetric, RunEvent, SendNotification

api = wandb.Api()

project = api.project("<my-project>", entity="<my-team>")

# チームの最初のSlackインテグレーションを使用する
slack_hook = next(api.slack_integrations(entity="<my-team>"))

# トリガーイベントを作成する
event = OnRunMetric(
     scope=project,
     filter=RunEvent.metric("custom-metric") > 10,
)

# イベントに応答するアクションを作成する
action = SendNotification.from_integration(slack_hook)

# automationを作成する
automation = api.create_automation(
     event >> action,
     name="my-automation",
     description="'custom-metric' が10を超えるたびにSlackメッセージを送信する",
)

Automations API の使用方法の詳細については、Automations Guide をご覧ください。

​主要なクラス

​イベント (トリガー)

​アクション

​フィルター

​一般的なユースケース

​モデル性能の監視

​Artifacts の管理

​実験管理

​インテグレーションのワークフロー

​使用例