𝗙𝗶𝗻𝗲-𝘁𝘂𝗻𝗶𝗻𝗴 𝘃𝘀 𝗥𝗔𝗚: 𝗧𝘄𝗼 𝗪𝗮𝘆𝘀 𝘁𝗼 𝗧𝗲𝗮𝗰𝗵 𝗮𝗻 𝗟𝗟𝗠

LLM이 사용자의 개인 문서나 최신 뉴스를 알기를 원한다면 두 가지 선택지가 있습니다. 바로 RAG 또는 파인튜닝입니다. 사람들은 종종 잘못된 선택을 하곤 합니다.

규칙은 간단합니다. 사실(facts)에는 RAG를 사용하고, 행동 방식(behavior)에는 파인튜닝을 사용하세요.

RAG (Retrieval-Augmented Generation) 이는 오픈북 시험과 같습니다. 데이터를 모델 외부에 보관합니다. 관련 정보를 가져와 프롬프트에 붙여넣는 방식입니다.

  • 지식을 위해 사용하세요.
  • 자주 바뀌는 사실을 위해 사용하세요.
  • 비용이 저렴합니다.
  • 즉시 업데이트가 가능합니다.
  • 출처를 인용합니다.

파인튜닝 (Fine-tuning) 이는 새로운 습관을 내면화하는 것과 같습니다. 특정 예시를 통해 모델을 학습시킵니다.

  • 행동 방식을 위해 사용하세요.
  • 말투와 형식을 위해 사용하세요.
  • 특정 기술을 위해 사용하세요.
  • 학습 과정(training run)이 필요합니다.
  • 정제된 예시가 필요합니다.
  • 사실이 바뀌면 정보가 뒤처질 수 있습니다.

선택 방법: 사실이 필요한지, 아니면 행동 방식이 필요한지 스스로에게 물어보세요.

다음과 같은 내용을 업데이트해야 한다면 RAG를 사용하세요:

  • 제품 카탈로그
  • 회사 정책
  • 일일 뉴스

다음과 같은 것이 필요하다면 파인튜닝을 사용하세요:

  • 특정 브랜드 보이스
  • 엄격한 JSON 출력 형식

가장 좋은 방법은 종종 두 가지를 결합하는 것입니다. 모델이 어떻게 답변할지는 파인튜닝하고, 어떤 사실을 사용할지는 RAG를 활용하세요. 예를 들어, 고객 지원 봇은 전문적인 말투를 위해 파인튜닝을 사용하고, 최신 도움말 문서를 참조하기 위해 RAG를 사용합니다.

프롬프팅과 RAG로 시작하세요. 파인튜닝은 반드시 필요한 경우에만 진행하세요.

이 시나리오들을 여기서 테스트해 보세요: https://dev48v.infy.uk/ai/days/day10-finetune-vs-rag.html

출처: https://dev.to/dev48v/fine-tuning-vs-rag-two-ways-to-teach-an-llm-3d04

선택 사항 학습 커뮤니티: https://t.me/GyaanSetuAi