Demistyfikacja stosu GenAI

Tradycyjne projektowanie oprogramowania opiera się na determinizmie. Przesyłasz dane wejściowe, walidujesz je względem schematu i oczekujesz przewidywalnego wyniku.

Generatywna sztuczna inteligencja zmienia to podejście. Duże modele językowe (LLM) to silniki probabilistyczne. Przewidują tekst w oparciu o prawdopodobieństwo.

Jeśli będziesz traktować LLM jak magiczne pudełko, Twoje aplikacje produkcyjne zawiodą. Jeśli potraktujesz go jako zmienne, niedeterministyczne API zewnętrznego dostawcy, będziesz w stanie budować niezawodne systemy.

LLM posiada specyficzne ograniczenia, którymi musisz zarządzać:

  • Rozmiar ładunku (Payload Size): Modele mają sztywne limity zwane oknami kontekstowymi (context windows). Nie można przesyłać nieograniczonych danych.
  • Opóźnienia (Latency): Odczyt z bazy danych zajmuje mil