Smetti di fare fine-tuning al tuo modello. Il problema è la tua architettura.

Le demo sembrano ottime. I sistemi in produzione sono diversi. C'è un divario tra i due.

Oggi tutti chiamano "agente" qualsiasi cosa. Un chatbot con memoria è un agente. Uno script con un ciclo è un agente. Questo errore causa errori di ingegneria. Si finisce per sovra-ingegnerizzare compiti semplici e sotto-ingegnerizzare quelli complessi.

Un agente ha bisogno di un obiettivo. Non si limita a seguire un'istruzione. Decide cosa fare successivamente. Gestisce i fallimenti. Sa quando fermarsi.

Usa queste regole per verificare il tuo sistema:

  • Se un essere umano deve guidare ogni passaggio, si tratta di un'interfaccia di chat.
  • Se si riprende da una chiamata a uno strumento fallita, è un agente.
  • Se suddivide un obiettivo in sottotask, è un vero agente.

I team di successo non inseguono i nuovi modelli. Costruiscono pipeline mirate e specializzate. Si concentrano su queste tre cose:

  • Tool design: quanto è pulita l'interfaccia?
  • Failure handling: cosa succede quando uno strumento non restituisce nulla?
  • Observability: riesci a tracciare ogni decisione?

Il framework che utilizzi conta meno dei tuoi pattern. Ho ricostruito architetture con framework diversi e i risultati rimangono gli stessi. Il framework è l'impalcatura. L'architettura è l'edificio.

Segui questi pattern:

  • Pianifica e poi esegui. Usa un passaggio per il ragionamento e uno separato per l'azione.
  • Separa il recupero (retrieval) dal ragionamento. Recuperare il contesto e utilizzare il contesto sono compiti diversi.
  • Usa passaggi espliciti (handoffs). Quando un agente passa il lavoro a un altro, usa log strutturati.

Il RAG è lo standard, ma il chunking è spesso errato. Se dividi i documenti in modo approssimativo, il modello perde il contesto. Questo causa allucinazioni.

Se la tua pipeline RAG restituisce risultati inutili, esamina il chunking e i metadati. Non dare la colpa al modello di embedding.

La sfida ingegneristica consiste nel costruire sistemi di cui ci si possa fidare. Concentrati sulla governance, sull'osservabilità e sull'uso affidabile degli strumenti. Non limitarti a inseguire i benchmark.

I migliori ingegneri si concentreranno sulla progettazione dei sistemi (systems design). Costruiranno sistemi di IA che altri possano mantenere e di cui possano fidarsi.

Fonte: https://dev.to/aibughunter/stop-fine-tuning-your-model-your-architecture-is-the-problem-3kkg