Perché gli agenti di coding AI falliscono: il divario critico tra file e righe

Sebbene gli agenti di coding AI siano sempre più capaci di risolvere bug software, un nuovo studio rivela che soffrono di un significativo problema di "localizzazione". Sono in grado di navigare verso il file corretto all'interno di un enorme codebase, ma spesso non riescono a identificare le righe di codice specifiche necessarie per implementare una correzione.

Presentazione di SWE-Explore: andare oltre i tassi di riparazione

Storicamente, l'efficacia degli agenti di coding AI è stata misurata tramite un'unica metrica binaria: l'agente ha risolto il bug o no? Questo approccio ignora il "perché" dietro un fallimento. Una riparazione fallita potrebbe significare che l'agente ha scritto una patch errata, oppure che l'agente non ha nemmeno esaminato la logica pertinente.

Per affrontare questo punto cieco, un team di ricerca internazionale, che include scienziati della Shanghai Jiao Tong University, ha sviluppato SWE-Explore. A differenza dei benchmark tradizionali, SWE-Explore isola la fase di ricerca a monte. Valuta la capacità di un agente di prendere una descrizione di un bug e restituire un elenco classificato delle sezioni di codice specifiche che sono effettivamente rilevanti per il problema. Il dataset è esteso e attinge da 848 task distribuiti su 203 progetti open-source e dieci linguaggi di programmazione, con Python che risulta il più rilevante (547 task).

Il divario di precisione: successo a livello di file vs fallimento a livello di riga

Il risultato più sorprendente dello studio è la massiccia disparità tra l'accuratezza a livello di file e quella a livello di riga. Quando testati contro agenti general-purpose come Claude Code, Codex e OpenHands, i risultati sono stati eloquenti:

• Accuratezza a livello di file: Gli agenti si comportano bene, identificando con successo i file sorgente corretti e classificandoli in alto nella lista.
• Accuratezza a livello di riga: Le prestazioni crollano. Gli agenti di coding generalisti hanno coperto solo il 14% - 19% delle righe di codice effettive necessarie per una correzione.

Curiosamente, il semplice aggiornamento del Large Language Model (LLM) sottostante non risolve il problema. Che si utilizzino modelli di OpenAI, Anthropic, Google, Moonshot o Zhipu, il pattern rimane identico: alti tassi di individuazione dei file, ma una copertura delle righe pessima. La ricerca ha rilevato che sistemi specializzati come CoSIL hanno superato gli agenti generalisti trattando il codice come una rete di blocchi costruttivi interconnessi, suggerendo che i cambiamenti architettonici siano più importanti della pura potenza del modello.

L'effetto soglia: perché "leggere di più" è importante

Attraverso esperimenti di ablazione controllata, i ricercatori hanno scoperto un "effetto soglia" relativo al contesto. Variando la quantità di codice principale fornita al modello (dallo 0% al 100%), hanno scoperto che le riparazioni non migliorano in modo lineare.

Per i compiti più semplici, esiste un punto di svolta evidente: se un agente vede meno del 50% delle regioni principali necessarie, il tasso di successo della riparazione rimane vicino allo zero. Un salto significativo nelle riparazioni riuscite avviene solo quando l'agente ha accesso a una quota compresa tra il 50% e il 75% del contesto richiesto. Fondamentalmente, lo studio ha rilevato che fornire codice "rumore" irrilevante non danneggia le prestazioni quanto la mancanza delle righe critiche. La lezione per gli sviluppatori è chiara: nell'era degli agenti AI, è meglio fornire più contesto piuttosto che rischiare di filtrare i dettagli essenziali.

Punti chiave

• La localizzazione è il collo di bottiglia: gli agenti AI sono esperti nel trovare il file corretto, ma faticano significativamente a individuare le righe di codice specifiche necessarie per una correzione.
• Lo scaling del modello non è una soluzione magica: passare a LLM più potenti non risolve il divario di precisione a livello di riga; approcci architettonici specializzati come CoSIL sono più efficaci.
• La regola del 50% di contesto: il successo delle riparazioni AI segue un modello a soglia, richiedendo che almeno il 50-75% del contesto di codice pertinente sia visibile prima che le correzioni riuscite diventino probabili.