생성형 AI는 게임이 아니라 형태를 만든다
새로운 마인크래프트 "prompt-to-build" 도구를 테스트해 보았습니다. 혁명을 기대했지만, 대신 벽 하나가 그려진 지도를 받았습니다.
이 도구는 1분 만에 구체나 탑을 만들 수 있습니다. 겉보기에는 괜찮습니다. 하지만 구체적인 규칙을 요구하는 순간 실패했습니다.
저는 남향 문이 있는 15x15 크기의 나무 오두막을 요청했습니다. AI는 문이 없는 회색 벽을 내놓았습니다. 크기도 틀렸고, 나무도 없었습니다. 쓸모가 없었습니다.
핵심 문제는 다음과 같습니다:
생성형 모델은 그럴듯함(plausibility)을 만드는 엔진입니다. 게임에는 정확성(correctness)을 보장하는 엔진이 필요합니다.
모델은 "맞아 보이는" 것을 만들 수 있습니다. 하지만 게임에는 "맞는" 것이 필요합니다. 모델의 규모를 키운다고 해서 이 문제가 해결되지는 않습니다. 단순히 규모를 키우는 것만으로는 "집처럼 보이는 것"에서 "문이 제대로 작동하는 집"으로 나아갈 수 없습니다.
이 격차는 세 가지 요소가 부족하기 때문에 발생합니다:
- 이산적 제약(Discrete constraints): 모델은 "작은" 것을 근사할 수는 있지만, "정확히 15개 블록"임을 보장할 수는 없습니다.
- 구성적 구조(Compositional structure): 모델은 형태를 그릴 수는 있지만, 서로 관계를 맺고 있는 여러 객체로 이루어진 장면을 관리할 수는 없습니다.
- 기능적 정확성(Functional correctness): 모델은 플레이어가 실제로 문을 통과할 수 있는지 알지 못합니다. 단지 문이 어떻게 생겼는지만 알 뿐입니다.
이를 해결하려면 거대한 단일 모델(monolithic models)을 사용하는 것을 멈춰야 합니다. 연속적인 것과 이산적인 것을 분리하는 파이프라인이 필요합니다:
- 계획(Plan): 심볼릭 플래너(symbolic planner)를 사용하여 프롬프트를 엄격한 규칙 목록과 씬 그래프(scene graph)로 변환합니다.
- 생성(Generate): 생성형 모델을 사용하여 각 객체에 대한 개별 형태를 만듭니다.
- 배치(Place): 솔버(solver)를 사용하여 해당 형태들이 모든 규칙을 충족하도록 배치합니다.
- 검증(Verify): 체커(checker)를 사용하여 결과가 원래 계획과 일치하는지 증명합니다.
생성기는 아름다움을 제공합니다. 구조는 정확성을 제공합니다.
AI 콘텐츠의 미래는 하나의 거대한 모델이 아닙니다. 그것은 함께 작동하는 전문화된 도구들의 시스템입니다. 승자는 최고의 형태 생성기를 가진 이가 아니라, 최고의 검증 루프(verification loop)를 가진 이가 될 것입니다.
Optional learning community: https://t.me/GyaanSetuAi