Co kilka miesięcy nagłówek przypomina nam, że duże modele językowe mają problem z prawdą. Wymyślają sprawy sądowe, halucynują źródła i przedstawiają fikcję jako fakty. Za tymi błędami kryje się strukturalna wada: większość systemów AI opiera się na statycznej matematyce. Pochłaniają każdy skrawek danych z takim samym głodem, traktując szum i sygnał na równi. Z czasem szum narasta. Model ulega nasyceniu. Przestaje się adaptować i zaczyna konfabulować.
A co, jeśli rozwiązaniem nie jest więcej danych, lecz