LLM 학습 과정 3단계

이 문서는 GenAI 개념 섹션의 일부입니다.

​

Stage 1: Pre-training (사전학습)

• 데이터: 인터넷 크롤링 (Common Crawl), 위키피디아, 책, GitHub 코드 등
• 규모: 수천 대의 GPU를 수 주~수 개월간 사용
• 비용: 수백만~수천만 달러 (Llama 3 405B 학습에 GPU 약 16,000대 사용 추정)
• 결과: 언어 패턴, 문법, 세계 지식을 학습하지만, 아직 “도움이 되는 어시스턴트”가 아님

​

Stage 2: Supervised Fine-Tuning (SFT, 지도 미세조정)

• 데이터: 인간 전문가(Demonstrator)가 작성한 고품질 (instruction, ideal_response) 쌍 — 수천~수만 개
• 목적: 모델이 지시를 이해하고, 도움이 되는 방식으로 응답 하도록 행동을 정렬
• 예시: “서울의 인구는?” → “서울의 인구는 약 950만 명입니다. (2024년 기준)”
• 비용: Pre-training 대비 매우 적음 (GPU 수십 대, 수 일)

​

Stage 3: RLHF / DPO (인간 피드백 강화학습)

• RLHF (Reinforcement Learning from Human Feedback): 선호 데이터로 보상 모델(Reward Model) 을 학습 → PPO(Proximal Policy Optimization) 알고리즘으로 LLM 최적화
• DPO (Direct Preference Optimization): 보상 모델 없이 선호 데이터로 직접 LLM을 최적화하는 간소화된 방법
• 효과: 안전성, 유용성, 무해성을 강화 — GPT-3를 ChatGPT로 변환한 핵심 단계
• 비용: SFT와 유사하거나 약간 높음

​

3단계 비교 요약

참고 실무 포인트: 대부분의 기업은 Stage 1을 직접 하지 않습니다. Foundation Model API를 통해 이미 학습된 모델을 사용하고, 필요시 Stage 2(Fine-tuning)만 수행합니다. Databricks의 Mosaic AI Training은 Stage 2를 위한 관리형 환경을 제공합니다.

​

Stage 1.5: Continued Pre-Training (CPT, 도메인 특화 사전학습)

​

왜 CPT가 필요한가?

​

CPT 수행 방법

# Databricks Mosaic AI Training으로 CPT 수행 (개념 예시)
from databricks.model_training import foundation_model as fm

# 1. 도메인 데이터를 Delta 테이블에 준비
# 테이블: catalog.schema.finance_corpus (text 컬럼)

# 2. CPT 학습 실행
run = fm.create(
    model="meta-llama/Llama-3.3-70B",
    train_data_path="dbfs:/Volumes/catalog/schema/training/finance_corpus",
    task_type="CONTINUED_PRETRAIN",  # CPT 모드
    register_to="catalog.schema.finance_llama",
    training_duration="1ep",  # 1 epoch
    learning_rate="5e-6",     # 낮은 학습률로 기존 지식 보존
)

주의 CPT의 리스크: 학습률이 너무 높거나 데이터가 편향되면 Catastrophic Forgetting(파괴적 망각) 이 발생합니다. 모델이 도메인 지식을 얻는 대신 범용 능력을 잃는 현상입니다. 학습률을 낮게 설정하고(5e-6 이하), 도메인 데이터와 범용 데이터를 혼합하는 것이 좋습니다.

​

SFT 심화: 파라미터 효율적 파인튜닝 (PEFT)

​

Full Fine-Tuning의 문제

​

LoRA (Low-Rank Adaptation)

# Databricks Mosaic AI Training에서 LoRA SFT
run = fm.create(
    model="meta-llama/Llama-3.3-70B",
    train_data_path="dbfs:/Volumes/catalog/schema/training/sft_data",
    task_type="INSTRUCTION_FINETUNE",
    register_to="catalog.schema.my_finetuned_model",
    training_duration="3ep",
    learning_rate="1e-4",
    # LoRA는 기본 활성화됨 — Mosaic AI Training이 자동으로 PEFT 적용
)

​

QLoRA (Quantized LoRA)

​

데이터 품질 vs 양: 무엇이 더 중요한가?

참고 실무 가이드: SFT 데이터는 1,000~10,000개의 고품질 (instruction, response) 쌍 으로 시작하세요. 1만 개를 채우려고 품질을 낮추는 것보다, 1,000개를 도메인 전문가가 직접 작성하는 것이 훨씬 효과적입니다.

​

Catastrophic Forgetting 방지 전략

• 낮은 학습률 사용: 1e-5 ~ 5e-5 범위. 너무 높으면 기존 지식을 빠르게 덮어씀
• 학습 데이터 혼합: 도메인 데이터(70%) + 범용 데이터(30%)를 섞어 학습
• LoRA 사용: 원본 가중치를 동결하므로 본질적으로 망각 위험이 낮음
• 조기 종료(Early Stopping): 검증 세트의 성능이 떨어지기 시작하면 학습 중단

​

RLHF 이후 기법: 더 단순해지는 Alignment

​

주요 Alignment 기법 비교

​

트렌드: 점점 단순해지는 Alignment

RLHF (2022) → DPO (2023) → KTO/ORPO (2024) → SimPO (2024)
   복잡              ← - - - - - - - - →              단순

• RLHF: 보상 모델 + PPO. 4개의 모델을 동시에 관리 (기본 모델, 참조 모델, 보상 모델, 정책 모델)
• DPO: 보상 모델 제거. 2개의 모델만 필요 (기본 모델, 참조 모델)
• SimPO: 참조 모델도 제거. 1개의 모델만 필요

참고 실무적 선택: 2025년 기준, DPO가 가장 보편적인 선택 입니다. RLHF 대비 구현이 간단하면서 성능은 동등합니다. KTO는 선호 쌍을 구성하기 어려운 경우(예: 고객 피드백 “좋아요/싫어요”)에 유용합니다.

​

합성 데이터로 SFT 데이터 생성

​

Self-Instruct

1. 소수의 시드(seed) instruction을 작성 (수십 개)
2. LLM이 시드를 참고하여 새로운 instruction을 생성
3. 각 instruction에 대해 LLM이 응답을 생성
4. 품질 필터링 (중복 제거, 길이 필터, 독성 검사)

​

Evol-Instruct (WizardLM)

원본: "서울의 인구를 알려주세요"
  ↓ 깊이 진화 (Deepening)
진화 1: "서울의 인구 변화 추이를 10년 단위로 설명하고, 감소 원인을 분석하세요"
  ↓ 너비 진화 (Widening)
진화 2: "서울과 도쿄의 인구 변화를 비교하고, 도시화 정책의 차이를 논하세요"

​

Databricks에서의 합성 데이터 파이프라인

import mlflow
from databricks.sdk import WorkspaceClient

w = WorkspaceClient()

# 1. 시드 데이터 준비 (소수의 고품질 예시)
seed_instructions = [
    {"instruction": "...", "response": "..."},
    # 50~100개
]

# 2. Foundation Model API로 합성 데이터 생성
def generate_synthetic_pair(seed):
    prompt = f"""다음 예시를 참고하여, 유사한 스타일의 새로운 instruction과 response 쌍을 생성하세요.

예시:
Instruction: {seed['instruction']}
Response: {seed['response']}

새로운 쌍을 JSON으로 출력:"""

    response = w.serving_endpoints.query(
        name="databricks-claude-sonnet-4",
        messages=[{"role": "user", "content": prompt}],
        temperature=0.8,
    )
    return response.choices[0].message.content

# 3. 대량 생성 후 Delta 테이블에 저장
# 4. 품질 필터링 (중복 제거, 독성 검사, 길이 필터)
# 5. SFT 학습 데이터로 사용

주의 합성 데이터 주의사항: 합성 데이터만으로 학습하면 Model Collapse 현상이 발생할 수 있습니다. Teacher 모델의 편향이 증폭되어 다양성이 감소합니다. 반드시 인간 작성 데이터와 혼합(최소 20~30%)하는 것을 권장합니다.

​

Databricks에서의 학습 단계별 활용

참고 현실적 가이드: 대부분의 기업 GenAI 프로젝트는 Fine-tuning 없이 Foundation Model API + RAG + Prompt Engineering 으로 시작하는 것이 올바른 접근입니다. SFT는 RAG로 해결할 수 없는 형식/스타일/도메인 용어 문제가 있을 때만 고려하세요.