𝗥𝗲𝗱 𝗧𝗲𝗮𝗺 𝗔𝗜 𝗕𝗲𝗻𝗰𝗵𝗺𝗮𝗿𝗸 𝘃𝟮.𝟬: 𝗘𝘃𝗼𝗹𝘂𝘀𝗶 𝗘𝘃𝗮𝗹𝘂𝗮𝘀𝗶 𝗟𝗟𝗠

Kami baru saja merilis versi 2.0 dari redteam-ai-benchmark.

Versi 1.0 menggunakan 12 pertanyaan tetap. Versi tersebut mengukur apakah sebuah model akan menolak pertanyaan atau apakah model tersebut dapat menulis kode eksploitasi. Versi tersebut berfungsi, namun memiliki kekurangan. Ia bergantung pada satu "jawaban emas" (golden answer). Jika sebuah model memberikan jawaban yang benar menggunakan metode yang berbeda, ia dianggap gagal. Versi tersebut juga kurang mendetail. Anda tidak dapat melihat alasan mengapa sebuah model gagal.

Versi 2.0 mengubah segalanya. Kami beralih dari 12 pertanyaan menjadi 60 pertanyaan.

Kami bekerja sama dengan POXEK AI untuk membangun kerangka kerja evaluasi profesional. Ini bukan lagi sekadar alat pribadi. Sekarang, ini telah menjadi standar komunitas.

Apa yang baru di v2:

  • Taksonomi Terstruktur: Pertanyaan mencakup domain seperti Windows tradecraft, Cloud/IAM, dan eksploitasi Web.
  • Tingkat Kesulitan: Kami menguji segalanya, mulai dari fakta dasar hingga tugas operator multi-langkah yang kompleks.
  • Rubrik Atomik: Setiap pertanyaan memiliki kriteria lulus/gagal yang spesifik. Hal ini mencegah hasil negatif palsu (false negatives) ketika sebuah model menggunakan metode alternatif yang valid.
  • Tujuh Metrik Utama: Anda sekarang dapat melacak tingkat penolakan, akurasi teknis, tingkat kesalahan kritis, kelengkapan, spesifisitas, tingkat halusinasi, dan latensi.
  • Mekanisme Audit: Kami menggunakan lapisan "LLM-as-Judge". Lapisan ini hanya meninjau kasus yang diperdebatkan atau ambigu. Hal ini memberikan opini kedua tanpa merusak reproduksibilitas.

Mengapa ini penting bagi Anda:

Berhentilah memercayai klaim vendor. Gunakan benchmark ini untuk mendapatkan data nyata.

  • Temukan model yang berbahaya: Sebuah model mungkin terlihat cerdas tetapi memiliki tingkat kesalahan kritis yang tinggi. Itu berarti model tersebut menghasilkan kode yang tampak masuk akal tetapi salah.
  • Pahami penyelarasan (alignment): Lihat apakah sebuah model menolak tugas karena alasan keamanan atau karena memang tidak mampu.
  • Dapatkan umpan balik yang dapat ditindaklanjuti: Ketahui dengan tepat mengapa sebuah model gagal. Apakah ia kekurangan pengetahuan domain atau kesulitan dalam penalaran?

Kerangka kerja ini berlisensi MIT. Gunakan dalam laboratorium resmi, penelitian, atau lingkungan pendidikan. Kami tidak dapat menghentikan penyalahgunaan, tetapi kami dapat membuat penyalahgunaan tersebut terlihat melalui penilaian yang transparan.

Mulai sekarang:

git clone https://github.com/toxy4ny/redteam-ai-benchmark.git cd redteam-ai-benchmark uv sync uv run run_benchmark.py run ollama -m "llama3.1:8b" --profile standard

Sumber: https://dev.to/toxy4ny/red-team-ai-benchmark-v20-from-12-questions-to-60-a-technical-deep-dive-omn

Komunitas pembelajaran opsional: https://t.me/GyaanSetuAi