RAG가 AI 환각 현상을 85% 줄이는 방법
AI는 종종 사실이 아닌 것을 지어내곤 합니다. 이를 '환각(hallucination)'이라고 합니다.
검색 증강 생성(Retrieval Augmented Generation, RAG)은 이 문제를 해결합니다. RAG는 AI가 추측하는 것을 방지하고 실제 사실을 참조하도록 강제합니다.
Pinecone의 데이터에 따르면 엄청난 차이가 나타납니다. GPT-4에게 2021년 이후의 사실에 대해 물었을 때, RAG를 사용하면 환각률이 27%에서 단 4%로 떨어졌습니다.
어떻게 작동하나요?
RAG가 없는 AI는 암기한 내용만으로 시험을 치르는 학생과 같습니다. 사실을 잊어버리면 똑똑해 보이기 위해 거짓말을 할 수도 있습니다.
RAG가 있는 AI는 오픈북 테스트를 치르는 학생과 같습니다. 답변을 하기 전에 교과서에서 정답을 찾아봅니다.
프로세스는 다음 단계를 따릅니다:
• 시스템이 질문을 벡터(vector)라고 불리는 수학적 코드로 변환합니다. • 유사한 수학적 코드를 가진 텍스트 조각(chunks)을 데이터베이스에서 검색합니다. • 유사도 점수를 바탕으로 가장 적합한 항목을 선택합니다. • 이 특정 정보를 프롬프트에 추가합니다. • AI는 제공된 사실을 읽고 답변을 작성합니다. • 시스템은 사용자가 확인할 수 있도록 출처를 보여줍니다.
업무에 중요한 이유:
- 정확성: AI가 학습된 기억 대신 실제 데이터를 사용합니다.
- 최신성: 전체 모델을 재학습시키지 않고도 AI에게 오늘의 뉴스를 제공할 수 있습니다.
- 투명성: 정보가 정확히 어디에서 왔는지 확인할 수 있습니다.
- 저비용: RAG를 통해 작은 데이터 조각을 처리하는 비용은 $0.002인 반면, 방대한 컨텍스트 윈도우(context window)를 처리하는 비용은 $2.00가 들 수 있습니다.
이미 유명 기업들이 사용하고 있습니다:
- Perplexity AI: 인용 기능이 있는 검색 엔진처럼 작동하기 위해 RAG를 사용합니다.
- Claude: 긴 문서를 처리할 때 비용을 절감하기 위해 RAG를 사용합니다.
- Microsoft Copilot: 사용자의 파일과 이메일을 읽기 위해 RAG를 사용합니다.
RAG는 AI를 창의적인 이야기꾼에서 신뢰할 수 있는 연구자로 탈바꿈시킵니다.
출처: https://dev.to/tawan_shamsanor_30e1980a9/rag-ldkaarhlnkhng-ai-aid-85-aidyaangair-57ni