지난 화요일에 사용했던 채팅창을 다시 열면, AI는 마치 바로 직전의 대화를 이어가는 것처럼 행동합니다. 이전의 지침을 언급하고, 당신의 냉소적인 말투를 따라 하며, 그 보고서를 다 끝냈는지 묻기도 합니다. 잠시 동안은 정말 내 말에 귀를 기울여 주는 동료와 일하는 것 같은 기분이 듭니다. 그러다 새로운 대화를 시작하는 순간, 모든 것이 사라집니다. 말투는 무미건조해지고, 프로젝트 세부 사항은 증발합니다. 심지어 당신의 이름을 틀리게 부르기도 합니다. 도대체 무슨 일이 일어난 걸까요?

기계가 당신을 잊은 것이 아닙니다. 애초에 당신을 알지 못했을 뿐입니다.

기억의 환상

우리는 어디에서나 기억을 찾아내도록 설계되어 있습니다. 챗봇이 당신이 짧은 불렛 포인트를 선호한다거나 의료 분야에서 일한다는 사실을 기억해 내면, 마치 바텐더가 당신의 단골 메뉴를 기억하는 것과 같은 본능이 자극됩니다. 하지만 이것은 인지 능력이 아니라 설계의 트릭입니다. 대규모 언어 모델(LLM)은 자신의 가중치(weights) 내부에 당신에 대한 사실을 저장하지 않습니다. 당신과의 상호작용을 기록하는 일기장도 없습니다. "사용자 설정"이라는 폴더를 들여다볼 수도 없습니다. 그런 폴더는 존재하지 않기 때문입니다.

기억처럼 보이는 것은 단순히 컨텍스트 창(context window)에 놓여 있는 텍스트일 뿐입니다. 모델은 최근의 채팅 기록, 현재의 프롬프트, 그리고 개발자가 추가한 시스템 지침을 읽습니다. 이 모든 것을 한눈에 처리하여 다음 단어를 예측하고 응답합니다. 그 텍스트가 사라지면 "기억"도 함께 사라집니다. 모델은 기본 동작 상태로 리셋되며, 이때의 모델은 대개 자신만만하고 일반적이며 지나치게 열정적인 태도를 보입니다. 환상이 깨지는 이유는 AI가 건망증에 걸려서가 아니라 컨텍스트가 바뀌었기 때문입니다.

AI가 실제로 사용하는 것들

신뢰할 수 있는 결과물을 얻으려면 정보가 실제로 어디에서 오는지 다음 네 가지를 이해해야 합니다.

  • 채팅 기록: 현재 스레드에서 주고받은 최근 대화입니다. 이는 일시적입니다. 새 스레드를 시작하면 사라집니다.
  • 프롬프트 내의 특정 지침: 지금 바로 입력창에 타이핑하거나 붙여넣는 내용입니다. 이는 가장 직접적인 제어 방식입니다.
  • 지식 베이스의 문서: 시스템이 검색하여 프롬프트에 주입할 수 있는 파일이나 데이터베이스입니다. 여기에는 검색(retrieval) 단계가 필요하며, 이 단계에서 오류가 발생해도 사용자에게 알리지 않고 조용히 넘어갈 수 있습니다.
  • 워크플로에서 가져온 데이터: API 호출, 데이터베이스 조회 또는 서드파티 앱에서 추가한 메모리 기능입니다. 이는 이를 연결하는 코드의 품질에 따라 성능이 결정됩니다.

이 중 어느 것도 유기적인 기억이 아닙니다. 이것들은 일종의 배관(plumbing)과 같습니다. 배관이 끊어지거나 잘못된 문서가 프롬프트로 빨려 들어오더라도 AI는 경고를 보내지 않습니다. 그저 보이는 것을 사용하여 그럴듯하고 믿음직스럽지만, 완전히 틀린 답변을 내놓을 뿐입니다.

컨텍스트가 깨지는 순간: 실제 사례

마케팅 팀이 AI에게 고객 이메일 초안 작성을 요청한다고 가정해 봅시다. 월요일에 세라(Sarah)는 채팅을 시작하며 짧은 스타일 가이드를 붙여넣습니다. "차분하고 절제된 언어를 사용하세요. 느낌표는 피하세요. 서명은 회사 이름만 사용하세요." AI는 가이드를 완벽하게 따릅니다. 팀은 초안에 매우 만족합니다.

수요일에 제이크(Jake)는 완전히 새로운 채팅창을 엽니다. 그는 "고객 후속 이메일 초안을 작성해 줘"라고 입력합니다. 스타일 가이드는 붙여넣지 않았습니다. AI는 반대되는 지침이 없음을 확인하고, 에너지가 넘치는 마케팅 문체로 기본 설정을 적용합니다. 느낌표가 난무합니다. AI는 "자, 한번 제대로 해봅시다!" 같은 문구를 제안합니다. 팀원들은 탄식합니다. "AI가 왜 잊어버린 거지?"라고 그들은 묻습니다.

AI는 잊어버린 것이 아닙니다. 잊어버릴 대상 자체가 없었습니다. 제이크가 새로운 컨텍스트 창에 스타일 가이드를 포함하는 것을 놓쳤고, 모델은 이틀 전 다른 대화에서 팀이 규칙을 세웠다는 사실을 알 방법이 없었습니다. 좌절감은 실재했지만, 원인은 기계적인 것이 아니라 인간에게 있었습니다. 팀은 지속적인 기억을 기대했지만, 도구는 단지 임시 메모장만을 제공했을 뿐입니다.

진짜 테스트: 기계가 보는 것을 감사(Audit)하라

결과를 개선하는 가장 빠른 방법은 "AI가 이걸 기억할까?"라고 묻는 대신, "AI가 지금 실제로 어떤 컨텍스트를 받고 있는가?"라고 묻기 시작하는 것입니다. 여러분의 설정을 다음 세 가지 질문으로 점검해 보세요.

AI가 매번 알아야 하는 것은 무엇인가? 이것은 타협할 수 없는 필수 컨텍스트입니다. 브랜드 보이스, 안전 정책, 출력 형식, 컴플라이언스 제약 사항 등이 해당됩니다. 만약 이것이 매우 중요하다면, 3주 전의 채팅 스레드가 아니라 모든 관련 프롬프트에 주입되는 참조 문서에 포함되어 있어야 합니다.

나중에 검색하기 위해 무엇을 저장할 수 있는가? 과거의 프로젝트 노트, 제품 사양 또는 이전 연구 자료는 구조화된 파일이나 데이터베이스에 저장할 수 있습니다. 하지만 저장만으로는 충분하지 않습니다. 시스템이 해당 저장소의 어느 부분을 대화로 가져올지 어떻게 결정하는지 정확히 알아야 합니다. 만약 검색이 키워드 매칭에 의존한다면, 프롬프트의 표현이 아주 조금만 달라져도 엉뚱한 페이지를 가져올 수 있습니다.

사람이 수동으로 확인해야 할 사항은 무엇인가요? 오류의 비용이 큰 경우—재무 수치, 의료 요약, 법률 용어, 고객 대상 공지사항 등—파이프라인을 맹목적으로 신뢰하지 마세요. 사람이 AI가 문서의 올바른 버전을 사용했는지, 그리고 결과물이 현실 세계에서 말이 되는지 확인해야 합니다. 모델은 자신이 작년 가격표를 인용했다는 사실을 말해주지 않습니다. 프롬프트에 명시하지 않는 한, 모델은 현재가 몇 년도인지 알지 못합니다.

컨텍스트 우선 워크플로우 구축하기

신뢰할 수 있는 AI 작업은 대부분 훌륭한 정보 아키텍처에서 비롯됩니다. 구축 방법은 다음과 같습니다.

변하지 않는 규칙은 참조 문서에 담으세요. 이것이 여러분의 단일 진실 공급원(single source of truth)입니다. 규칙이 변경되면 이 파일 하나만 수정하세요. 수십 개의 채팅 스레드에 지침을 흩뿌려 놓지 마세요.

해당 문서에서 현재 작업과 관련된 부분만 전달하세요. 백 페이지 분량의 매뉴얼을 프롬프트에 쏟아붓는 것은 비용이 많이 들고 노이즈가 심합니다. 특정 질문에 중요한 두 페이지만 추출하세요. 정확도가 양보다 중요합니다.

단기적인 세부 사항은 활성 프롬프트에 유지하세요. 전기 자전거에 관한 블로그 게시물 제목을 브레인스토밍하고 있다면, 프롬프트에 "전기 자전거"를 언급하세요. 어제 언급했다고 해서 모델이 당신이 무엇을 생각하고 있는지 알고 있을 것이라고 가정하지 마세요.

실수의 대가가 클 때는 사람이 결과물을 검토하게 하세요. AI는 결코 당혹감을 느끼지 않습니다. AI는 다른 모든 일을 할 때와 똑같은 자신감으로 잘못된 송장을 보내거나 상황에 맞지 않는 사과문을 보낼 것입니다. 누군가는 반드시 정상 여부 확인(sanity check)을 해야 합니다.

계층별로 생각하기

AI 정보를 각각의 신뢰도와 리스크를 가진 네 개의 쌓인 계층으로 시각화하면 도움이 됩니다.

**즉각적 컨텍스트(Immediate context)**는 현재의 프롬프트입니다. 이는 여러분이 직접 작성하기만 한다면 100% 통제할 수 있습니다. 모호한 프롬프트는 모호한 결과를 낳습니다.

**저장된 컨텍스트(Stored context)**는 Notion 위키, 벡터 데이터베이스, PDF 폴더 등 어딘가에 저장해 둔 정보입니다. 정보는 존재하지만, 무언가가 그 간극을 메워주기 전까지 AI는 이를 볼 수 없습니다.

**검색된 컨텍스트(Retrieved context)**는 검색 로직, 코드 또는 플러그인을 통해 저장소에서 프롬프트로 가져온 데이터입니다. 대부분의 조용한 실패(silent failures)가 발생하는 지점이 바로 여기입니다. 시스템이 수정된 계약서 대신 오래된 계약서를 가져오거나, 스프레드시트 대신 스크린샷을 불러올 수도 있습니다.

**인간적 컨텍스트(Human context)**는 무엇이 사실인지, 무엇이 중요한지, 무엇이 잘못되었는지에 대한 여러분 자신의 판단입니다. 답변이 시대에 뒤떨어졌는지, 출처가 신뢰할 수 있는지, 혹은 어조가 상황에 적절한지를 알 수 있는 유일한 계층입니다. 이 계층을 외주 주지 마세요.

최고의 결과를 얻는 팀은 더 똑똑한 모델을 사용하는 것이 아닙니다. 그들은 컨텍스트가 가시적이고, 버전 관리가 되며, 검증하기 쉬운 시스템을 구축합니다. 그들은 완벽한 컨텍스트를 가진 AI가 잘못된 정보로 작업하는 천재적인 모델보다 매번 더 뛰어난 성능을 발휘한다는 것을 알고 있습니다.

그러니 이 도구들을 꾸짖음이 필요한 건망증 심한 인턴처럼 대하지 마세요. 렌즈처럼 대하세요. 렌즈는 여러분이 그 앞에 놓은 것만을 보여줄 뿐입니다. 풍경을 탓하기 전에 렌즈를 확인하는 습관을 기르세요.

GyaanSetu AI 학습 커뮤니티에 참여하세요: https://t.me/GyaanSetuAi