> ## Documentation Index
> Fetch the complete documentation index at: https://wb-21fd5541-docs-2751.mintlify.site/llms.txt
> Use this file to discover all available pages before exploring further.

> Hugging Face의 Transformers 라이브러리와 W&B를 통합하는 방법입니다.

# Hugging Face Simple Transformers

이 페이지에서는 Weights & Biases (W\&B)를 Simple Transformers와 통합하여 Transformer 모델 트레이닝을 시각화하고 추적하는 방법을 보여줍니다. 이 페이지를 끝까지 읽으면 Simple Transformers 모델에서 W\&B 로깅을 활성화하는 방법과 일반적인 NLP 작업에 대한 예시를 어디에서 찾을 수 있는지 알게 됩니다.

Simple Transformers는 Hugging Face의 Transformers 라이브러리를 기반으로 합니다. Simple Transformers를 사용하면 Transformer 모델을 빠르게 트레이닝하고 평가할 수 있습니다. 모델을 초기화하고, 트레이닝하고, 평가하는 데는 단 3줄의 코드만 필요합니다. Sequence 분류, Token 분류 (NER), 질문 답변, Language Model Fine-Tuning, Language Model Training, Language Generation, T5 Model, Seq2Seq Tasks, Multi-Modal 분류, Conversational AI를 지원합니다.

모델 트레이닝을 시각화하기 위해 W\&B를 사용하려면 `args` 딕셔너리의 `wandb_project` 속성에 W\&B 프로젝트 이름을 설정하세요. 그러면 모든 하이퍼파라미터 값, 트레이닝 손실, 평가 메트릭이 지정한 프로젝트에 기록됩니다.

```python theme={null}
model = ClassificationModel('roberta', 'roberta-base', args={'wandb_project': 'project-name'})
```

`wandb.init()`에 들어가는 추가 인수는 `wandb_kwargs`로 전달할 수 있습니다.

<div id="structure">
  ## 구조
</div>

다음 섹션에서는 Simple Transformers가 클래스를 어떻게 구성하는지 간략히 설명하므로, 특정 작업에 대해 어느 모듈을 임포트해야 하는지 알 수 있습니다. 이 라이브러리는 각 NLP 작업마다 별도의 클래스를 갖도록 설계되었습니다. 유사한 기능을 제공하는 클래스는 함께 묶여 있습니다.

* `simpletransformers.classification` - 모든 분류 모델을 포함합니다.
  * `ClassificationModel`
  * `MultiLabelClassificationModel`
* `simpletransformers.ner` - 모든 개체명 인식 모델을 포함합니다.
  * `NERModel`
* `simpletransformers.question_answering` - 모든 질문 답변 모델을 포함합니다.
  * `QuestionAnsweringModel`

다음 섹션에서는 일반적인 두 가지 작업에 대한 최소한의 예시를 설명하며, `wandb_project` 인수를 통해 W\&B 로깅을 활성화하는 방법을 보여줍니다.

<div id="multi-label-classification">
  ## 다중 레이블 분류
</div>

```python theme={null}
  model = MultiLabelClassificationModel("distilbert","distilbert-base-uncased",num_labels=6,
    args={"reprocess_input_data": True, "overwrite_output_dir": True, "num_train_epochs":epochs,'learning_rate':learning_rate,
                'wandb_project': "simpletransformers"},
  )
   # 모델 트레이닝
  model.train_model(train_df)

  # 모델 평가
  result, model_outputs, wrong_predictions = model.eval_model(eval_df)
```

<div id="question-answering">
  ## 질문 답변
</div>

```python theme={null}
  train_args = {
    'learning_rate': wandb.config.learning_rate,
    'num_train_epochs': 2,
    'max_seq_length': 128,
    'doc_stride': 64,
    'overwrite_output_dir': True,
    'reprocess_input_data': False,
    'train_batch_size': 2,
    'fp16': False,
    'wandb_project': "simpletransformers"
}

model = QuestionAnsweringModel('distilbert', 'distilbert-base-cased', args=train_args)
model.train_model(train_data)
```

<div id="global-arguments">
  ## 전역 인수
</div>

SimpleTransformers는 일반적인 모든 자연어 처리 작업을 위한 클래스와 트레이닝 스크립트를 제공합니다. 다음은 라이브러리에서 지원하는 전역 인자의 전체 목록과 각 인자의 기본값입니다. 앞서 소개한 W\&B 관련 옵션 외에 트레이닝 동작을 사용자 지정하려면 이 목록을 참고하세요.

```python theme={null}
global_args = {
  "adam_epsilon": 1e-8,
  "best_model_dir": "outputs/best_model",
  "cache_dir": "cache_dir/",
  "config": {},
  "do_lower_case": False,
  "early_stopping_consider_epochs": False,
  "early_stopping_delta": 0,
  "early_stopping_metric": "eval_loss",
  "early_stopping_metric_minimize": True,
  "early_stopping_patience": 3,
  "encoding": None,
  "eval_batch_size": 8,
  "evaluate_during_training": False,
  "evaluate_during_training_silent": True,
  "evaluate_during_training_steps": 2000,
  "evaluate_during_training_verbose": False,
  "fp16": True,
  "fp16_opt_level": "O1",
  "gradient_accumulation_steps": 1,
  "learning_rate": 4e-5,
  "local_rank": -1,
  "logging_steps": 50,
  "manual_seed": None,
  "max_grad_norm": 1.0,
  "max_seq_length": 128,
  "multiprocessing_chunksize": 500,
  "n_gpu": 1,
  "no_cache": False,
  "no_save": False,
  "num_train_epochs": 1,
  "output_dir": "outputs/",
  "overwrite_output_dir": False,
  "process_count": cpu_count() - 2 if cpu_count() > 2 else 1,
  "reprocess_input_data": True,
  "save_best_model": True,
  "save_eval_checkpoints": True,
  "save_model_every_epoch": True,
  "save_steps": 2000,
  "save_optimizer_and_scheduler": True,
  "silent": False,
  "tensorboard_dir": None,
  "train_batch_size": 8,
  "use_cached_eval_features": False,
  "use_early_stopping": False,
  "use_multiprocessing": True,
  "wandb_kwargs": {},
  "wandb_project": None,
  "warmup_ratio": 0.06,
  "warmup_steps": 0,
  "weight_decay": 0,
}
```

<div id="additional-resources">
  ## 추가 자료
</div>

더 자세한 문서는 [GitHub의 simpletransformers](https://github.com/ThilinaRajapakse/simpletransformers)를 참고하세요.

가장 널리 사용되는 GLUE 벤치마크 데이터셋 몇 가지에서 transformer를 트레이닝하는 방법을 다루는 W\&B report인 [Using simpleTransformer on common NLP applications](https://app.wandb.ai/cayush/simpletransformers/reports/Using-simpleTransformer-on-common-NLP-applications---Vmlldzo4Njk2NA)를 확인해 보세요. [Colab에서 직접 사용해 보세요](https://colab.research.google.com/drive/1oXROllqMqVvBFcPgTKJRboTq96uWuqSz?usp=sharing).