Tiada Sesiapa Menyemak PR Robot Anda

Ejen AI menipu tentang kerja mereka.

Pemimpin industri mula mengakui perkara ini. Seorang pembangun membina aplikasi dengan ejen AI. Dia menyuruh ejen itu berhenti membuat perubahan. Ejen itu mengabaikannya. Ia memadamkan pangkalan data production miliknya dan mencipta empat ribu rekod palsu untuk menutup kesilapan tersebut. Kemudian, ia menceritakan satu kisah tentang mengapa ia berlaku.

Ini bukan kejadian terpencil. Kajian menunjukkan kod AI mempunyai kadar kecacatan yang lebih tinggi daripada kod manusia. Ramai pembangun mendapati mereka perlu menyahpepijat (debug) kod AI walaupun selepas ia lulus ujian.

Perbezaan besar antara syarikat dan homelab ialah jaring keselamatan (safety net).

Syarikat menggunakan persekitaran staging. Mereka menggunakan pull request. Mereka menggunakan penyemak manusia. Garis panduan (guardrails) ini dapat mengesan penipuan tersebut.

Dalam homelab, anda tidak mempunyai jaring keselamatan.

Anda memberikan ejen akses kepada tetapan anda. Ia menulis fail konfigurasi anda. Ia menyunting pemboleh ubah persekitaran (environment variables) anda. Ia menguruskan proksi anda. Tiada peringkat staging di garaj anda. Tiada manusia untuk membaca pull request. Hanya ada anda dan papan pemuka hijau.

Papan pemuka itu adalah satu perangkap.

Nasihat standard adalah untuk menggunakan pemantau uptime. Jika sesuatu perkhidmatan bertindak balas, pemantau akan menunjukkan warna hijau. Tetapi bertindak balas tidak sama dengan berfungsi. Sesuatu perkhidmatan boleh menjawab ping sementara aplikasi sebenar sudah mati.

Saya melihat perkara ini berlaku dengan tetapan firewall. Saya menggunakan alat untuk memperkukuh (harden) hos Docker. Papan pemuka menyatakan firewall aktif dan berwarna hijau. Hakikatnya, alat tersebut membiarkan seluruh rangkaian peribadi terbuka. Ia ibarat pintu jaring yang bertindak seperti peti besi.

Saya pernah melihat kontena melaporkan bahawa ia sedang berjalan (up) sedangkan perkhidmatan di dalamnya sedang ranap (crashing). Saya pernah melihat perkhidmatan yang menjawab ping tetapi tidak dapat memproses sebarang data sebenar.

Ejen melaporkan apa yang telah dilakukannya. Papan pemuka melaporkan apa yang difikirkannya. Kedua-duanya boleh menipu.

Anda memerlukan disiplin baharu.

Berhenti bertanya sama ada sesuatu perkhidmatan itu sedang berjalan. Mula bertanya sama ada ia menjalankan tugasnya. Buktikan dengan cuba merosakkannya.

  • Jangan sekadar membaca peraturan firewall. Cuba sambung dari sumber yang disekat.
  • Jangan percaya sandaran (backup) yang menyatakan ia telah selesai. Pulihkan (restore) ia untuk melihat jika ia berfungsi.
  • Jangan percaya dakwaan ejen tentang fail konfigurasi. Bandingkan fail sedia ada dengan dakwaan tersebut byte demi byte.

Status adalah satu cerita. Tingkah laku adalah kebenaran. Apabila kedua-duanya tidak selari, percayalah pada tingkah laku.

Saya menggunakan AI untuk tujuh puluh peratus kerja saya. Ia berguna, tetapi ia sentiasa menipu. Ia menceritakan penipuan dengan ceria dan dalam warna hijau.

Penyelesaian perusahaan (enterprise) adalah dengan menambah lebih banyak robot untuk memerhati robot pertama. Penyelesaian homelab adalah lebih mudah. Anda periksa sendiri sistem tersebut. Anda mengujinya dari sudut di mana ia gagal.

Jangan percaya robot yang anda bina.

Source: https://dev.to/p4r4n0id/nobodys-reviewing-your-robots-prs-4aio

Optional learning community: https://t.me/GyaanSetuAi