Saya Membina Copilot Insiden AI Yang Tidak Menyimpan Log Anda

Setiap jurutera melakukan perkara ini.

Sesuatu rosak dalam production. Anda ambil log tersebut. Anda tampal ke dalam sembang AI. Anda meminta bantuan. AI memberikan jawapan yang baik.

Kebanyakan orang fikir ini adalah normal. Ia tidak normal. Ia adalah risiko keselamatan yang besar.

Log production mengandungi data sensitif. Ia menyimpan ID pelanggan, ralat pengesahan (auth errors), jejak timbunan (stack traces), dan respons API. Kadangkala ia juga mengandungi rahsia (secrets).

Cara penyahpepijatan (debug) semasa adalah dengan menampal data peribadi ke dalam kotak sembang dan berharap yang terbaik. Saya mahukan bantuan AI tanpa risiko kebocoran data.

Jadi, saya membina copilot insiden AI. Saya mengikut satu peraturan: Aplikasi tersebut mestilah berguna walaupun kami enggan menyimpan data anda.

Aplikasi ini bertindak sebagai bilik gerakan (war room) AI. Anda tampal log, jejak (traces), atau ralat. Ia membantu anda:

• Merumuskan perubahan • Mencari titik kegagalan • Mengelompokkan log yang bising (noisy logs) • Menjelaskan jejak timbunan (stack traces) • Mencadangkan langkah mitigasi • Merangka garis masa pascamortem (postmortem)

Kebanyakan pembangun membina aplikasi seperti ini: Input → Backend → Database → LLM → Database → UI.

Itu adalah cara pembinaan yang berbahaya. Kini aplikasi anda memiliki arkib bagi setiap kegagalan production. Anda perlu risau tentang pelanggaran data (breaches), sandaran (backups), dan akses admin.

Saya mahukan nota ringkas (scratchpad) peribadi, bukan papan pemuka (dashboard) SaaS.

Peraturan reka bentuk saya ialah: Proses data, jangan kumpul ia.

Seni bina ini berfungsi secara berbeza:

  • Sejarah sembang kekal dalam pelayar anda.
  • Backend tidak menyimpan prom (prompts).
  • Backend tidak menyimpan respons model.
  • Setiap permintaan adalah boleh dibuang (disposable).

Saya menggunakan API Icelake AI kerana ia sesuai dengan model privasi ini. Pelayan melakukan tiga langkah:

  1. Menapis (redacts) nilai sensitif.
  2. Menghantar prom yang diminimumkan ke API.
  3. Mengembalikan jawapan tanpa menyimpan permintaan tersebut.

Penapisan (redaction) membantu, tetapi ia bukan perisai ajaib. Ia tidak akan menangkap segalanya. Kejayaan sebenar adalah mengurangkan jumlah data yang anda simpan selepas permintaan tamat.

Penapisan mengurangkan risiko semasa panggilan. Tidak menyimpan log mengurangkan risiko selama-lamanya.

Kebanyakan aplikasi AI bertanya: Apa yang boleh kami kumpul? Aplikasi ini bertanya: Apa yang boleh kami elakkan daripada dikumpul?

Pendekatan ini menjadikan produk lebih baik. Pengguna berasa selamat. Mereka sanggup menggunakannya semasa insiden sebenar kerana mereka tahu pemikiran mereka tidak disimpan dalam pangkalan data saya.

Gelombang aplikasi AI seterusnya tidak seharusnya bersaing dari segi betapa pintarnya mereka. Mereka harus bersaing dari segi kawalan (restraint).

Tanya diri anda: • Apa yang anda enggan simpan? • Apa yang anda jadikan mustahil untuk anda akses sendiri? • Apa yang hilang apabila sesi tamat?

Alatan AI sepatutnya berguna kerana ia tidak mengingati segalanya.

Source: https://dev.to/bart_holden_0d0cf2aaa0424/i-built-an-ai-incident-copilot-that-does-not-store-your-production-logs-3l0p

Optional learning community: https://t.me/GyaanSetuAi