AI가 추론을 사실로 오분류하는 것을 방지하는 방법
AI 리서치 에이전트는 종종 사실과 추측을 혼동합니다. 웹 페이지에 특정 시장 가치가 명시되어 있을 수 있습니다. 그러면 에이전트는 시장이 빠르게 성장하고 있다고 결론을 내립니다. 최종 텍스트에서는 두 문장이 동일하게 보입니다. 이러한 데이터와 의견의 혼합은 위험합니다.
더 나은 프롬프트로는 이를 해결할 수 없습니다. 프롬프트는 확률적입니다. 압박을 받으면 모델은 추측을 하게 됩니다.
해결책은 구조적인 것입니다. 의사결정의 주체를 LLM에서 코드로 옮기십시오.
작업을 두 부분으로 나눕니다:
LLM이 수행하는 작업:
- 페이지에서 주장(claim) 추출.
- 텍스트 요약.
결정론적(Deterministic) 코드가 수행하는 작업:
- 주장 점수 산정.
- 출처 교차 검증.
- 주장을 FACT(사실) 또는 INFERENCE(추론)로 라벨링.
- 데이터의 최신성 여부 결정.
주장은 엄격한 규칙을 충족할 때만 FACT 라벨을 얻습니다. 예를 들어, 두 개의 독립적인 출처나 하나의 공식 API에서 가져온 정보여야 합니다. 그 외의 모든 것은 INFERENCE가 됩니다.
다음 파이프라인을 사용하십시오:
- PLAN: 질문을 하위 쿼리로 변환합니다.
- HARVEST: 여러 경로를 통해 데이터를 가져옵니다.
- NORMALIZE: LLM을 사용하여 구조화된 주장을 추출합니다. 이것이 LLM을 사용하는 유일한 단계입니다.
- CORROBORATE: 주장을 그룹화하고 독립적인 출처의 수를 계산합니다.
- SCORE: 규칙을 적용하여 라벨을 할당합니다.
- RENDER: 사실, 추론 및 누락된 정보를 표시합니다.
독립성이 핵심입니다. 한 블로그가 다른 블로그를 인용하는 것은 두 개의 출처가 아닙니다. 사실을 확인하려면 서로 다른 도메인이나 공식 API가 필요합니다.
신뢰할 수 있는 에이전트를 위해 다음 규칙을 따르십시오:
- 단계적 확대(Escalation) 사용: 먼저 웹 검색을 시도합니다. 첫 번째 단계가 실패할 경우에만 뉴스 엔진이나 학술 검색으로 넘어갑니다.
- 최신성 추적: 오래된 데이터는 stale(오래됨)로 라벨링합니다. 오래된 사실이 현재의 사실인 것처럼 통과되지 않도록 합니다.
- 공백 노출: 찾을 수 없었던 내용을 목록으로 만듭니다. 침묵하는 공백은 실패를 의미합니다.
- 재현성 보장: 동일한 쿼리는 매번 동일한 라벨을 생성해야 합니다. 만약 라벨이 바뀐다면, LLM이 데이터를 점수 매기고 있는 것입니다. 해당 LLM 호출을 함수로 교체하십시오.
이 방법은 모델이 가장 잘하는 일, 즉 읽고 추출하는 일에 집중하게 합니다. 모델이 무엇이 진실인지 결정하는 것을 방지합니다.
Optional learning community: https://t.me/GyaanSetuAi