Smetti di fare fine-tuning al tuo modello. Il problema è la tua architettura.
Le demo sembrano ottime. I sistemi in produzione sono diversi. C'è un divario tra i due.
Oggi tutti chiamano "agente" qualsiasi cosa. Un chatbot con memoria è un agente. Uno script con un ciclo è un agente. Questo errore causa errori di ingegneria. Si finisce per sovra-ingegnerizzare compiti semplici e sotto-ingegnerizzare quelli complessi.
Un agente ha bisogno di un obiettivo. Non si limita a seguire un'istruzione. Decide cosa fare successivamente. Gestisce i fallimenti. Sa quando fermarsi.
Usa queste regole per verificare il tuo sistema:
- Se un essere umano deve guidare ogni passaggio, si tratta di un'interfaccia di chat.
- Se si riprende da una chiamata a uno strumento fallita, è un agente.
- Se suddivide un obiettivo in sottotask, è un vero agente.
I team di successo non inseguono i nuovi modelli. Costruiscono pipeline mirate e specializzate. Si concentrano su queste tre cose:
- Tool design: quanto è pulita l'interfaccia?
- Failure handling: cosa succede quando uno strumento non restituisce nulla?
- Observability: riesci a tracciare ogni decisione?
Il framework che utilizzi conta meno dei tuoi pattern. Ho ricostruito architetture con framework diversi e i risultati rimangono gli stessi. Il framework è l'impalcatura. L'architettura è l'edificio.
Segui questi pattern:
- Pianifica e poi esegui. Usa un passaggio per il ragionamento e uno separato per l'azione.
- Separa il recupero (retrieval) dal ragionamento. Recuperare il contesto e utilizzare il contesto sono compiti diversi.
- Usa passaggi espliciti (handoffs). Quando un agente passa il lavoro a un altro, usa log strutturati.
Il RAG è lo standard, ma il chunking è spesso errato. Se dividi i documenti in modo approssimativo, il modello perde il contesto. Questo causa allucinazioni.
Se la tua pipeline RAG restituisce risultati inutili, esamina il chunking e i metadati. Non dare la colpa al modello di embedding.
La sfida ingegneristica consiste nel costruire sistemi di cui ci si possa fidare. Concentrati sulla governance, sull'osservabilità e sull'uso affidabile degli strumenti. Non limitarti a inseguire i benchmark.
I migliori ingegneri si concentreranno sulla progettazione dei sistemi (systems design). Costruiranno sistemi di IA che altri possano mantenere e di cui possano fidarsi.
Fonte: https://dev.to/aibughunter/stop-fine-tuning-your-model-your-architecture-is-the-problem-3kkg
