다른 명령
- Hugging Face의 Transformers 라이브러리를 사용하여 DistilBERT를 간단한 텍스트 분류 작업에 학습시키는 과정
- 필요한 라이브러리 설치
pip install transformers datasets torch
학습용 데이터 준비
- Hugging Face의 datasets 라이브러리를 사용해 간단한 감정 분석 데이터셋(SST-2)을 불러옵니다.
from datasets import load_dataset
from transformers import DistilBertTokenizer, DistilBertForSequenceClassification
from transformers import Trainer, TrainingArguments
import torch
# 1. 데이터셋 로드
dataset = load_dataset("glue", "sst2")
# 2. 토크나이저 로드
tokenizer = DistilBertTokenizer.from_pretrained("distilbert-base-uncased")
# 3. 데이터 전처리
def tokenize_function(examples):
return tokenizer(examples["sentence"], padding="max_length", truncation=True)
tokenized_datasets = dataset.map(tokenize_function, batched=True)
# 4. PyTorch 데이터셋으로 변환
tokenized_datasets = tokenized_datasets.remove_columns(["sentence", "idx"])
tokenized_datasets = tokenized_datasets.rename_column("label", "labels")
tokenized_datasets.set_format("torch")
# 5. 학습 및 검증 데이터 분리
train_dataset = tokenized_datasets["train"]
valid_dataset = tokenized_datasets["validation"]
# 6. 모델 로드
model = DistilBertForSequenceClassification.from_pretrained("distilbert-base-uncased", num_labels=2)
# 7. 학습 설정
training_args = TrainingArguments(
output_dir="./results", # 모델 저장 디렉토리
evaluation_strategy="epoch", # 평가 주기
learning_rate=2e-5,
per_device_train_batch_size=16,
per_device_eval_batch_size=16,
num_train_epochs=3,
weight_decay=0.01,
logging_dir="./logs", # 로그 저장 디렉토리
logging_steps=10,
save_steps=500,
)
# 8. Trainer 설정
trainer = Trainer(
model=model,
args=training_args,
train_dataset=train_dataset,
eval_dataset=valid_dataset,
)
# 9. 모델 학습
trainer.train()
# 10. 모델 저장
model.save_pretrained("./distilbert-sst2")
tokenizer.save_pretrained("./distilbert-sst2")
list_alt내용을 입력하세요
list_alt내용을 입력하세요