Czy potrzebujesz najbardziej zaawansowanej sztucznej inteligencji do codziennej pracy?

Nowe modele AI pojawiają się co tydzień. Ludzie debatują nad benchmarkami i wynikami w programowaniu. Wszyscy się tym ekscytujemy.

Ale zacząłem zadawać inne pytanie. Czy naprawdę potrzebujesz najbardziej zaawansowanego modelu do swoich codziennych zadań?

Niedawno to przetestowałem. Porównałem dwa modele pod kątem zadania refaktoryzacji kodu.

Haiku było 5,7x tańsze. Spodziewałem się, że wygra droższy model. Tak się nie stało.

Haiku wygenerowało lepszy wynik. Rozdzieliło kod na trzy czyste pliki. Lepiej niż Sonnet trzymało się naszych standardów kodowania. Było tańsze i bardziej efektywne.

Większy i droższy nie oznacza lepszy.

Zdolności modelu to tylko jedna część procesu. Używam środowiska wspierającego rozwój AI (AI development harness), aby uzyskać lepsze wyniki. To środowisko obejmuje:

• Instrukcje specyficzne dla repozytorium • Standardy kodowania • Wytyczne architektoniczne • Procesy deweloperskie (workflows) • Kontekst projektu • Oczekiwania dotyczące przeglądu (review)

Gdy zbudujesz takie mechanizmy kontrolne (guardrails), mniejsze modele radzą sobie lepiej. Model nie musi zgadywać, jak wygląda dobry kod. Informuje go o tym środowisko.

Większość zadań inżynieryjnych to nie są problemy badawcze. Zadania takie jak refaktoryzacja, pisanie testów czy tworzenie dokumentacji nie wymagają potężnego modelu.

Przestań pytać, który model ma najwyższy benchmark. Zamiast tego zadaj te pytania:

Używaj najtańszego modelu, który rozwiązuje Twój problem.

Branża AI skupia się na inteligencji. Ty powinieneś skupić się na jakości środowiska (harness). Model, który kosztuje 5,7x mniej, może dostarczyć lepsze wyniki, jeśli zapewnisz mu odpowiedni kontekst.

Źródło: https://dev.to/drottnings/do-we-really-need-the-most-advanced-ai-models-for-everyday-development-3n2b

Opcjonalna społeczność edukacyjna: https://t.me/GyaanSetuAi