Pasukan kuning—kumpulan keselamatan yang membina dan menjalankan kedua-dua alat serangan berkuasa AI dan perlindungan defensif—semakin muncul dalam perusahaan yang ingin kekal di hadapan ancaman pembelajaran mesin. Dengan memberikan satu skuad keupayaan untuk menguji, memecah, dan kemudian menampal sistem AI, mereka berjanji untuk memendekkan kitaran pembaikan kerentanan daripada berminggu-minggu kepada beberapa hari sahaja, satu kepantasan yang boleh menjadi perbezaan antara pelanggaran yang terkawal dan skandal awam.

Mengapa peralihan ini penting

Operasi keselamatan tradisional membahagikan fungsi "merah" (ofensif) dan "biru" (defensif) kepada pasukan yang berasingan. Pasukan merah mensimulasikan penggodam, manakala pasukan biru memantau, mengesan, dan bertindak balas. Pembahagian ini berkesan untuk perisian klasik, tetapi model AI menambah lapisan ketidaktelusan: kecacatan yang tersembunyi dalam data latihan atau seni bina model boleh dieksploitasi dengan cara yang terlepas daripada pandangan penyemak kod biasa. Pasukan kuning meruntuhkan dua silo ini, membolehkan jurutera yang menemui pepijat suntikan arahan (prompt-injection) untuk segera merangka peraturan pengesanan dan melaksanakannya.

Hasilnya adalah gelung maklum balas yang pantas. Apabila eksploitasi ditemui, pembaikan ditulis, dan sistem diperkukuh sebelum musuh luaran sempat menggunakan kelemahan yang sama sebagai senjata. Bagi syarikat yang produknya bergantung kepada AI generatif—chatbot, enjin cadangan, pembuat keputusan automatik—kepantasan ini melindungi reputasi jenama, pematuhan kawal selia dan, akhirnya, keuntungan bersih.

Kos tersembunyi: risiko orang dalam

Konsentrasi kepakaran yang sama yang mempercepatkan pemulihan juga mewujudkan permukaan serangan baharu dari dalam. Kumpulan kecil yang sangat berkemahiran memegang pengetahuan mendalam tentang kerentanan AI dan, secara keperluan, mempunyai akses luas kepada model pengeluaran, saluran data, dan papan pemuka pemantauan. Jika seorang ahli bertindak jahat, membocorkan maklumat, atau sekadar melakukan kesilapan, kerosakannya boleh menjadi sangat teruk.

Dua cabaran pengurusan timbul:

  • Risiko orang dalam – akses istimewa yang digabungkan dengan pengetahuan mendalam tentang cara memintas pertahanan menjadikan pasukan kuning sasaran bernilai tinggi untuk pengintipan atau sabotaj.
  • Pengurusan pengetahuan – penemuan pasukan mesti dikongsi dengan kakitangan kejuruteraan dan keselamatan yang lebih luas tanpa mendedahkan butiran sensitif yang boleh disalahgunakan.

Menimbang imbangan (trade-offs)

Penyokong berhujah bahawa manfaatnya melebihi bahaya apabila kawalan yang betul dilaksanakan: akses berasaskan peranan yang ketat, pengauditan berterusan terhadap penggunaan alat, dan pelaporan penemuan yang terasing. Mereka menyatakan bahawa satu pasukan yang ditadbir dengan baik dapat mengurangkan pertindihan usaha dan menghapuskan "geseran penyerahan" yang sering melambatkan penampalan (patches).

Pengkritik memberi amaran bahawa tiada jumlah proses yang dapat mengurangkan sepenuhnya risiko pemusatan kuasa. Mereka mencadangkan model hibrid di mana kerja ofensif kekal sebagai fungsi berasingan yang dipantau ketat, manakala jurutera defensif menerima taklimat yang dikurasi dan bukannya kod eksploitasi mentah.

Apa yang perlu diperhatikan

  • Kadar penggunaan – laporan awal menunjukkan segelintir firma besar yang memfokuskan AI telah menjalankan rintis pasukan kuning; perhatikan pengumuman daripada syarikat lain dalam sektor ini.
  • Kerangka tadbir urus – kumpulan industri mula merangka garis panduan untuk kawalan risiko orang dalam yang khusus untuk pasukan keselamatan AI.
  • Provenans alat – memandangkan pasukan kuning membina skrip serangan AI tersuai, provenans dan kebolehauditan alat tersebut akan menjadi titik semakan pematuhan.

Kebangkitan pasukan kuning menekankan kebenaran asas tentang keselamatan AI: kepantasan adalah penting, tetapi ia mesti diimbangi dengan risiko yang dipertingkatkan apabila memberikan beberapa jurutera kunci untuk mengunci dan membuka sistem. Organisasi yang dapat mengawal akses orang dalam sambil mengekalkan gelung maklum balas yang pantas akan memperoleh kelebihan terbesar.