Model nie pamięta. Ty pamiętasz.
Kiedyś myślałem, że duże modele językowe (LLM) mają pamięć.
Myślałem, że każda sesja czatu przechowuje własny kontekst. Myliłem się.
Modele LLM są bezstanowe. Model nie pamięta niczego między kolejnymi zapytaniami.
Kiedy widzisz historię czatu, patrzysz na tablicę wiadomości. Aby stworzyć konwersację, musisz przesyłać całą historię z powrotem do modelu wraz z każdym nowym promptem.
Jeśli korzystasz z SDK, proces ten pozostaje ukryty. SDK zajmuje się złożonością za Ciebie.
Jeśli używasz surowego fetch, widzisz wszystko. Sam zarządzasz nagłówkami, ciałem zapytania i tablicą wiadomości.
Oto jak działa kontekst:
• Wysyłasz wiadomość. • Model odpowiada. • Zapisujesz obie wiadomości w tablicy. • Wysyłasz całą tablicę z powrotem przy kolejnym pytaniu.
Model wie tylko to, co wyślesz w bieżącym zapytaniu. Wszystko inne znika.
Zrozumienie tej tablicy jest fundamentem rozwoju AI. To punkt wyjścia dla zaawansowanych metod, takich jak RAG, okna przesuwne i wyszukiwanie semantyczne.
Jeśli chcesz budować niezawodne narzędzia AI, przestań polegać na abstrakcjach. Spójrz na surowe zapytania. Zarządzaj historią samodzielnie.
Pełny post: https://dev.to/marcochavezco/the-model-doesnt-remember-you-do-38jk