Pipeline separa autonomi dengan empat ejen boleh mengurangkan halusinasi dalam analisis data penerokaan (EDA) dengan menjauhkan model bahasa besar (LLM) daripada pengiraan angka dan hanya melibatkan mereka dalam membuat keputusan penilaian sahaja. Reka bentuk ini membolehkan model memutuskan apa yang perlu diperiksa, manakala kod biasa yang dijalankan dalam sandbox melakukan pengiraan sebenar, memberikan hasil yang boleh disahkan langkah demi langkah.

Mengapa satu panggilan LLM adalah berisiko

Memberi arahan (prompting) kepada LLM untuk "lihat hamparan ini dan beritahu saya apa yang menarik" akan menghasilkan satu blok teks tunggal. Model tersebut akan mereka-reka angka, mencampuradukkan penaakulan dengan output, dan tidak memberikan sebarang kesan bagaimana sesuatu kesimpulan dicapai. Apabila ia berhalusinasi—seperti statistik rekaan atau korelasi palsu—tiada titik semakan (checkpoint) untuk menangkap ralat tersebut sebelum ia sampai kepada pengguna.

Idea di sebalik pipeline separa autonomi

Aliran kerja baharu ini membahagikan EDA kepada empat peringkat tetap, di mana setiap peringkat dikendalikan oleh ejennya sendiri. Ejen-ejen ini mengikut corak "rancang-kemudian-bertindak": mereka terlebih dahulu memutuskan operasi mana yang diperlukan, kemudian menyerahkan operasi tersebut kepada kod dalam sandbox yang akan menjalankannya. LLM tidak pernah melakukan aritmetik atau manipulasi fail; ia hanya membuat penilaian tentang kaitan (relevance).

Empat ejen tersebut

  1. Ejen pembersihan data – memeriksa jenis lajur, menandakan nilai yang hilang, dan memutuskan strategi imputasi atau penukaran jenis.
  2. Ejen analisis lajur – memilih visualisasi yang sesuai (histogram, plot kotak, dll.) untuk setiap pemboleh ubah berdasarkan jenis data dan distribusinya.
  3. Ejen analisis hubungan – menilai setiap pasangan lajur, memilih pasangan mana yang memerlukan ujian statistik yang lebih mendalam, dan menyusunnya mengikut potensi wawasan (insight).
  4. Ejen penulisan laporan – menterjemah carta yang dihasilkan dan statistik yang dikira ke dalam penjelasan bahasa tabii, dengan menonjolkan corak yang penting dan amaran (caveats).

Setiap peringkat berjalan secara bebas, jadi ejen analisis lajur dan ejen analisis hubungan boleh dilaksanakan secara selari, sekali gus menjimatkan masa keseluruhan aliran kerja.

Bagaimana autonomi dikurangkan

Peraturan keselamatan pipeline ini mudah: sebarang kod yang ditulis oleh model akan dijalankan di dalam sandbox yang mengasingkannya daripada sistem hos. Jika pelaksanaan gagal, ralat tersebut akan dihantar semula kepada model, yang diberikan sehingga dua percubaan untuk membetulkan skrip sebelum pipeline dihentikan. Ini menghalang gelung (loop) yang tidak terkawal dan menjamin bahawa model tidak akan memanipulasi fail secara langsung atau melakukan aritmetik.

Oleh kerana peranan model terhad kepada memutuskan apa yang perlu dikira, angka sebenar sentiasa datang daripada kod deterministik. Jika ejen analisis hubungan mengesyaki terdapat kaitan antara "Order ID" dan "Month", sandbox akan menjalankan fungsi korelasi, mengembalikan nilai yang tepat, dan hanya selepas itu model akan memberi ulasan sama ada korelasi tersebut berkemungkinan bersifat sebab-akibat (causal) atau kebetulan.

Apa yang diselesaikan – dan kosnya

Pengurangan halusinasi. Dengan memisahkan penaakulan daripada pengiraan, pipeline ini menghapuskan punca paling biasa statistik rekaan: model yang meneka angka dan bukannya membiarkan kod menjananya.

Modulariti. Menambah peringkat baharu—contohnya, ejen ramalan siri masa—tidak memerlukan penulisan semula keseluruhan prompt. Setiap ejen adalah modul kendiri yang disambungkan ke dalam urutan tetap.

Peningkatan kelajuan. Pelaksanaan selari ejen-ejen bebas mengurangkan masa sebenar (wall-clock time) berbanding panggilan LLM monolitik yang mesti menyusun setiap langkah secara bersiri.

Kos kerumitan (Complexity overhead). Imbalannya ialah seni bina yang lebih rumit. Pasukan perlu menyelenggara persekitaran sandbox, mengendalikan gelung maklum balas ralat, dan menyelaraskan pelbagai ejen.

Apa yang perlu diperhatikan seterusnya

  • Integrasi peralatan (Tooling). Rangka kerja sumber terbuka yang mengabstraksikan langkah pelaksanaan sandbox boleh mengurangkan beban kejuruteraan dan menjadikan corak ini lebih mudah diakses.
  • Kontrak ejen yang diseragamkan. Apabila lebih banyak pasukan menggunakan pipeline pelbagai ejen, antara muka (interface) umum untuk ejen "rancang-kemudian-bertindak" mungkin muncul, memudahkan kebolehoperasian (interoperability).

Pengajaran utamanya jelas: berikan LLM kebebasan untuk berfikir, bukan kuasa untuk mengira. Dengan mengehadkan autonominya kepada penilaian dan menyalurkan setiap angka melalui kod yang terasing, pipeline EDA separa autonomi menghasilkan keputusan yang boleh anda semak, percayai, dan kongsi tanpa bimbang tentang angka palsu.

Source: https://dev.to/sraveend/agentic-but-only-semi-autonomous-designing-an-eda-pipeline-you-can-trust-4ha9
Community discussion: https://t.me/GyaanSetuAi