272 Pakar Menyebutkan Risikonya. Tidak Ada yang Menyebutkan Mekanismenya.

Sebuah studi MIT mensurvei 272 pakar global. Mereka meneliti risiko AI. Hasilnya jelas.

18 dari 24 area risiko AI memiliki setidaknya peluang 10% untuk mengalami dampak katastrofik dalam lima tahun.

Dalam konteks ini, katastrofe berarti:

  • Lebih dari satu juta kematian.
  • Kerugian lebih dari $100 miliar.
  • Runtuhnya norma-norma demokrasi.

Risiko terbesar adalah kapabilitas yang berbahaya, dinamika kompetitif, senjata, sentralisasi kekuasaan, dan informasi palsu.

Studi ini mengungkap adanya kesenjangan tanggung jawab. Pihak yang menderita akibat risiko AI adalah masyarakat umum. Pihak yang dapat memperbaiki risiko tersebut adalah para pengembang dan regulator. Di industri lain seperti penerbangan atau tenaga nuklir, kita menggunakan standar wajib dan kewajiban hukum untuk menjembatani kesenjangan ini. Dalam AI, mekanisme ini belum ada.

Ada kesenjangan yang lebih dalam. Kesenjangan ini terletak di antara para peneliti yang memprediksi kegagalan dan para insinyur yang membangun sistem tersebut.

Peneliti menulis makalah ilmiah. Insinyur membaca unggahan blog dan tolok ukur (benchmarks). Mereka tidak berbicara dalam bahasa yang sama. Seorang insinyur melihat peningkatan performa. Seorang peneliti melihat risiko katastrofik. Tidak ada jembatan di antara mereka.

Studi ini menyebutkan risikonya, tetapi tidak menyebutkan kegagalan teknik yang menyebabkannya.

Sebagai contoh:

  • Risiko multi-agen: Kurangnya protokol bersama menyebabkan tabrakan sistem.
  • Dinamika kompetitif: Ketergesaan untuk merilis produk membuat tim melewatkan verifikasi independen. Sebagai gantinya, mereka menggunakan verifikasi mandiri, yang lebih cepat tetapi tidak aman.
  • Kerentanan keamanan: Tim menggunakan LLM untuk memindai kode, tetapi mereka melewatkan risiko konfigurasi dan infrastruktur.

Sistem yang stabil membutuhkan lima bagian:

  • Sebuah Alat (modelnya).
  • Sebuah Mesin (niat yang dinyatakan).
  • Sebuah Transmisi (kontrak dan CI/CD).
  • Sebuah Unit Kontrol (oracle independen).
  • Sebuah Pelindung (batasan yang ditegakkan).

Sebagian besar sistem AI kekurangan Unit Kontrol dan Pelindung. Mereka mengandalkan pembatas (guardrails) sukarela. Pembatas ini sering kali luntur seiring dengan semakin baiknya model tersebut.

Industri menganggap peluang katastrofe sebesar 10% sebagai risiko yang dapat diterima. Padahal tidak. Tindakan sukarela dari pengembang saja tidak cukup. Kompetisi menciptakan insentif untuk melewatkan langkah-langkah keselamatan.

Kita membutuhkan penegakan mekanis, bukan sekadar saran. Kita perlu menjembatani kesenjangan antara penelitian risiko dan praktik teknik sebelum kegagalan yang diprediksi benar-benar terjadi.

Source: https://dev.to/bala_paranj_059d338e44e7e/272-experts-named-the-risks-nobody-named-the-mechanisms-4jb

Optional learning community: https://t.me/GyaanSetuAi