LLM에게 출처의 진위 여부를 묻지 마세요
AI에게 출처 목록을 요청합니다. 제목, 저자, DOI가 나옵니다. 모든 것이 완벽해 보입니다. 하지만 그중 절반은 존재하지 않는다는 사실을 알게 됩니다.
DOI는 아무것도 가리키지 않습니다. 논문은 작성된 적조차 없습니다.
본능적으로 모델에게 "이게 진짜인지 확실해?"라고 묻게 됩니다. AI는 그렇다고 답할 것입니다. 항상 그렇다고 답합니다. 위조범에게 자신의 작품이 진짜냐고 묻는 것과 같습니다.
LLM은 논문 데이터베이스를 사용하는 것이 아닙니다. 시퀀스에서 다음 단어를 예측할 뿐입니다. AI에게 인용은 그저 하나의 패턴입니다. 인용에는 이름, 연도, 10자리의 숫자가 필요하다는 것을 알고 있을 뿐입니다. 진실을 담고 있지는 않으면서 실제 출처의 형태를 흉내 냅니다.
모델에게 자신의 작업물을 검증해 달라고 요청하는 것을 멈추십시오. 두 가지 이유로 모델은 이를 수행할 수 없습니다:
- 실시간 레지스트리에 접근할 수 없습니다. 그저 그럴듯한 텍스트를 생성할 뿐입니다.
- 자신이 이미 말한 내용을 확인하려는 편향(bias)이 있습니다.
정보를 검증하려면 외부 도구를 사용해야 합니다. 기술 문서 작성을 위한 3단계 필터는 다음과 같습니다:
존재 여부(Existence). DOI를 Crossref와 같은 API를 통해 확인하십시오. API가 404 에러를 반환하면 해당 출처는 가짜입니다. 지어낸 DOI는 절대 연결되지 않습니다.
신뢰성(Credibility). 출처가 존재하더라도 가치가 없을 수 있습니다. 저널이나 컨퍼런스가 공인된 곳인지 확인하십시오. 유효한 DOI가 품질을 보장하지는 않습니다.
충실도(Fidelity). 논문이 실제로 당신의 주장을 뒷받침합니까? 내용을 직접 읽어야 합니다. 초록(abstract)이 모든 세부 사항을 담고 있다고 가정하지 마십시오. 잘못된 주장에 사용된 실제 인용도 결국 거짓입니다.
이는 학술 논문에만 국한되지 않습니다. AI가 JIRA 티켓, CVE 번호 또는 코드 커밋을 인용한다면, 실제 시스템을 통해 이를 검증해야 합니다.
AI 아키텍처에서 가장 큰 실수는 모델이 스스로 검증할 것이라고 믿는 것입니다. 검증은 별도의 단계여야 합니다. 사용자가 결과를 보기 전에 반드시 외부의 신뢰할 수 있는 단일 출처(source of truth)와 연결되어야 합니다.
모델을 더 정직하게 만들려고 노력하지 마십시오. 모델은 텍스트 생성기이며, 항상 환각(hallucinate)을 일으킬 것입니다. 대신, 모델의 말을 그대로 믿지 마십시오.
레지스트리를 통해 검증할 수 없는 인용은 인용이 아닙니다. 그것은 실험실 가운을 입은 추측일 뿐입니다.
Source: https://dev.to/ohugonnot/stop-asking-the-llm-whether-its-source-is-real-2oaa
Optional learning community: https://t.me/GyaanSetuAi