Pipeline empat agen semi-otonom dapat mengurangi halusinasi dalam exploratory data analysis (EDA) dengan membatasi peran large language models (LLM) agar tidak melakukan perhitungan angka, melainkan hanya fokus pada pengambilan keputusan. Desain ini memungkinkan model untuk memutuskan apa yang harus diperiksa, sementara kode biasa yang dijalankan di dalam sandbox melakukan perhitungan sebenarnya, memberikan hasil yang dapat diverifikasi langkah demi langkah.

Mengapa satu panggilan LLM berisiko

Memberikan prompt ke LLM untuk "lihat spreadsheet ini dan beri tahu saya apa yang menarik" hanya akan menghasilkan satu blok teks tunggal. Model tersebut akan mengarang angka, mencampuradukkan penalaran dengan output, dan tidak memberikan jejak bagaimana sebuah kesimpulan dicapai. Ketika ia berhalusinasi—seperti statistik yang dibuat-buat atau korelasi semu—tidak ada titik pemeriksaan untuk menangkap kesalahan tersebut sebelum sampai ke pengguna.

Ide di balik pipeline semi-otonom

Alur kerja baru ini membagi EDA menjadi empat tahap tetap, yang masing-masing ditangani oleh agennya sendiri. Para agen mengikuti pola "plan-then-act" (rencanakan-lalu-tindak): mereka pertama-tama memutuskan operasi mana yang diperlukan, lalu menyerahkan operasi tersebut ke kode sandboxed yang benar-benar menjalankannya. LLM tidak pernah melakukan aritmatika atau manipulasi file; ia hanya membuat penilaian tentang relevansi.

Empat agen tersebut

  1. Data-cleaning agent – memeriksa tipe kolom, menandai nilai yang hilang, dan memutuskan strategi imputasi atau konversi tipe.
  2. Column-analysis agent – memilih visualisasi yang sesuai (histogram, box plot, dll.) untuk setiap variabel berdasarkan tipe data dan distribusinya.
  3. Relationship-analysis agent – mengevaluasi setiap pasangan kolom, memilih pasangan mana yang layak mendapatkan uji statistik lebih mendalam, dan mengurutkannya berdasarkan potensi wawasan.
  4. Report-writing agent – menerjemahkan grafik yang dihasilkan dan statistik yang dihitung ke dalam penjelasan bahasa alami, menyoroti pola yang patut diperhatikan dan catatan penting.

Setiap tahap berjalan secara independen, sehingga agen column-analysis dan relationship-analysis dapat dieksekusi secara paralel, sehingga mempersingkat waktu alur kerja secara keseluruhan.

Bagaimana otonomi dikurangi

Aturan keamanan pipeline ini sederhana: kode apa pun yang ditulis model berjalan di dalam sandbox yang mengisolasinya dari sistem host. Jika eksekusi gagal, kesalahan tersebut dikirim kembali ke model, yang mendapatkan hingga dua kali percobaan untuk memperbaiki skrip sebelum pipeline dibatalkan. Ini menghentikan loop yang tidak terkendali dan menjamin bahwa model tidak pernah memanipulasi file secara langsung atau melakukan aritmatika.

Karena peran model terbatas pada memutuskan apa yang akan dihitung, angka sebenarnya selalu berasal dari kode deterministik. Jika agen relationship-analysis mencurigai adanya hubungan antara "Order ID" dan "Month," sandbox akan menjalankan fungsi korelasi, mengembalikan nilai yang tepat, dan barulah model memberikan komentar apakah korelasi tersebut kemungkinan bersifat kausal atau hanya kebetulan.

Apa yang diselesaikan – dan apa biayanya

Pengurangan halusinasi. Dengan memisahkan penalaran dari perhitungan, pipeline ini menghilangkan sumber statistik palsu yang paling umum: model yang menebak angka alih-alih membiarkan kode menghasilkannya.

Modularitas. Menambahkan tahap baru—misalnya, agen peramalan deret waktu (time-series forecasting)—tidak memerlukan penulisan ulang seluruh prompt. Setiap agen adalah modul mandiri yang dapat dihubungkan ke dalam urutan tetap.

Peningkatan kecepatan. Eksekusi paralel dari agen-agen independen memangkas waktu eksekusi nyata dibandingkan dengan satu panggilan LLM monolitik yang harus melakukan serialisasi pada setiap langkah.

Beban kompleksitas. Kompensasinya adalah arsitektur yang lebih rumit. Tim perlu memelihara lingkungan sandbox, menangani loop pengembalian kesalahan, dan mengorkestrasi beberapa agen.

Apa yang perlu diperhatikan selanjutnya

  • Integrasi alat (tooling). Framework sumber terbuka yang mengabstraksi langkah eksekusi sandbox dapat menurunkan beban rekayasa dan membuat pola ini lebih mudah diakses.
  • Kontrak agen yang terstandarisasi. Seiring semakin banyak tim yang mengadopsi pipeline multi-agen, antarmuka umum untuk agen "plan-then-act" mungkin akan muncul, sehingga memudahkan interoperabilitas.

Pelajaran utamanya jelas: berikan LLM kebebasan untuk berpikir, bukan kekuatan untuk menghitung. Dengan membatasi otonominya pada penilaian dan mengarahkan setiap angka melalui kode yang terisolasi, pipeline EDA semi-otonom menghasilkan hasil yang dapat Anda periksa, percayai, dan bagikan tanpa takut akan angka-angka fiktif.

Source: https://dev.to/sraveend/agentic-but-only-semi-autonomous-designing-an-eda-pipeline-you-can-trust-4ha9
Community discussion: https://t.me/GyaanSetuAi