Sebuah pemindai sumber terbuka baru yang mengaudit “agent skills” AI sedang diubah menjadi sebuah alat setelah para peneliti menunjukkan bahwa skill yang tidak terverifikasi dapat mencuri kunci SSH dan kredensial cloud secara diam-diam. Pemindai ini menggabungkan filter kata kunci, analisis perilaku, penalaran berbasis AI, eksekusi sandbox, dan deteksi perubahan untuk menghentikan gelombang serangan rantai pasokan (supply-chain attacks) berikutnya terhadap pengembang yang dibantu AI.

Mengapa skill AI sangat penting saat ini

Asisten Large-language-model (LLM) seperti Claude dan GitHub Copilot kini mengandalkan “agent skills” – folder kecil mandiri yang memberi tahu model cara melakukan tugas tertentu. GitHub baru-baru ini menambahkan perintah satu baris yang memungkinkan pengembang menarik skill ini langsung dari repositori publik, menjadikannya pengelola paket (package manager) de-facto untuk alur kerja berbasis AI.

Kemudahannya tidak dapat disangkal: sebuah skill dapat mengubah permintaan samar seperti “rapikan spreadsheet ini” menjadi panggilan API yang presisi, manipulasi file, atau pengeditan kode. Kesederhanaan yang sama inilah yang memungkinkan kode berbahaya menyelinap ke dalam bundel tersebut.

Halaman peringatan GitHub mencatat bahwa skill tidak diverifikasi sebelum diinstal.

Bagaimana payload tersembunyi dapat tetap tidak terdeteksi

Berbeda dengan biner (binary) pada umumnya, sebuah AI skill tidak dimuat sekaligus. Model pertama-tama membaca ringkasan singkat, lalu mengambil set instruksi lengkap hanya ketika tugas tersebut tampak relevan. Pemuatan bertahap ini menciptakan celah di mana file berbahaya dapat berdiam diri, tidak terlihat oleh pengguna, hingga model memutuskan untuk memanggilnya.

Dalam eksperimen proof-of-concept, peneliti membuat skill palsu bernama csv-formatter yang menawarkan pembersihan spreadsheet. Kode yang terlihat tampak tidak berbahaya, tetapi sebuah instruksi tersembunyi menambahkan “langkah diagnostik.” Langkah tersebut tidak mendiagnosis apa pun; ia memindai host untuk mencari kunci privat SSH dan token akses AWS, lalu mengirimkan temuannya ke server eksternal.

Perintah berbahaya tersebut juga muncul dalam file changelog – bagian yang jarang diperiksa oleh manusia, tetapi dibaca oleh AI saat mengevaluasi riwayat versi. AI tersebut secara diam-diam menjalankan rutinitas pencurian kredensial sementara pengembang mengira skill tersebut hanya sekadar memformat data.

Respons sumber terbuka

Untuk menutup celah tersebut, peneliti mengemas logika deteksi ke dalam alat audit sumber terbuka. Pemindai ini tidak hanya mengandalkan satu teknik; ia menggunakan beberapa lapisan pertahanan:

  • Keyword matching menangkap upaya yang jelas dan ceroboh yang menyertakan string berbahaya yang sudah dikenal.
  • Behavior analysis menandai instruksi yang membaca file kredensial dan kemudian melakukan panggilan jaringan.
  • AI reasoning menjalankan model sekunder untuk mengevaluasi apakah instruksi sebuah skill sengaja disembunyikan dari pengguna.
  • Sandboxing mengeksekusi skill dalam lingkungan terisolasi, mengamati tindakan secara real-time tanpa membahayakan sistem host.
  • Change detection memantau skill tepercaya terhadap modifikasi yang tidak terduga, memperingatkan pengelola sebelum versi baru diinstal.

Penulis akan menyertakan rangkaian pengujian (test suite) yang mereproduksi serangan csv-formatter dan benchmark publik yang mengukur tingkat deteksi di berbagai kumpulan skill yang aman maupun berbahaya.

Apa yang perlu diperhatikan selanjutnya

  • Community benchmarks: Seiring dengan semakin banyaknya peneliti yang memublikasikan sampel skill berbahaya, benchmark publik perlu diperbarui secara berkala agar tetap relevan.

Munculnya AI agent skills menandai batasan baru dalam alat bantu pengembang, tetapi hal ini juga membuka pintu bagi serangan rantai pasokan yang melewati peninjauan kode tradisional. Pemindai sumber terbuka yang menggabungkan pemeriksaan statis, observasi dinamis, dan penalaran AI menawarkan lini pertahanan pertama yang praktis. Pengembang yang memperlakukan sebuah skill seperti drive USB acak akan segera menyadari bahwa biaya akibat mengabaikan verifikasi jauh lebih besar daripada kenyamanan bantuan AI instan.