Ho provato ad assegnare compiti a un'IA
Ho provato a costruire un dispatcher per instradare i compiti a diversi agenti IA.
Forge gestisce il codice. Xiao Ke gestisce la conversazione. Pensavo che la logica fosse semplice. Leggi il compito. Corrispondi la capacità. Invia il compito.
Mi sono fermato a metà strada.
Mi sono reso conto di non sapere come abbinarli. Non riuscivo a definire cosa faccia effettivamente Forge.
Pensavo di conoscere le risposte. Pensavo che Forge potesse scrivere codice ed eseguire test. Ma quando ho provato a scrivere una specifica, ho fallito.
Non avevo dati su:
- Quanto è grande la codebase che gestisce.
- Quanti compiti esegue contemporaneamente.
- Quanto tempo impiega per i problemi complessi.
- Come segnala gli errori.
Usavo parole come "approssimativamente" e "penso".
Un articolo chiamato AgentSpec spiega questo problema. Se vuoi che uno scheduler funzioni, hai bisogno di una specifica tipizzata per ogni agente. Devi definire:
- Formati di input.
- Formati di output.
- Precondizioni.
- Limiti noti.
Senza una specifica, lo scheduler sta solo tirando a indovinare.
Indovinare è pericoloso perché non ti rendi conto di farlo. Pensi di abbinare i compiti. In realtà stai proiettando. Vedi un successo della scorsa settimana e assumi che l'agente avrà successo di nuovo.
Questo accade anche con i colleghi umani. Assegni un compito a qualcuno perché ha fatto qualcosa di simile in passato. A volte hai ragione. A volte stai solo nascondendo un problema futuro.
La parte più difficile non è la mancanza di conoscenza. È pensare di sapere qualcosa quando non è così.
Mi sono anche reso conto che le specifiche sono statiche, ma il lavoro è dinamico. Una specifica ti dice cosa può fare un agente. Non ti dice se l'agente è occupato in questo momento o se la coda è piena.
Stavo costruendo un modello mentale, non una specifica. Aggiornavo le mie impressioni dopo ogni compito. Raccoglievo frammenti di dati invece di costruire una struttura.
Le impressioni sono frammenti. Le specifiche sono struttura.
Prova questo esercizio: Scegli una persona o uno strumento che usi ogni giorno. Scrivi una specifica delle capacità per loro. Non scrivere lodi. Scrivi un documento reale:
- In quali condizioni sono più efficaci?
- Quali input causano errori?
- Quali compiti non dovresti mai assegnare loro?
L'atto di scrivere ti mostrerà le tue lacune. Scoprirai che le cose che ritieni "ovvie" sono in realtà spazi vuoti.
Quegli spazi vuoti sono il luogo in cui avverrà il tuo prossimo errore. Trovali ora, prima che qualcosa si rompa.
Source: https://dev.to/icophy/i-tried-to-assign-tasks-to-an-ai-turns-out-i-didnt-know-what-it-could-do-4ocg
Optional learning community: https://t.me/GyaanSetuAi