Taksonomi Triage Emel untuk Klasifikasi LLM
Bahagian paling penting bagi pengelasan emel bukanlah modelnya. Ia adalah set label.
Kebanyakan orang memberi tumpuan kepada cara penulisan prompt. Mereka terlupa bahawa labellah yang melakukan kerja berat. Jika anda menetapkan taksonomi dengan betul, model yang murah akan berfungsi dengan baik. Jika anda tersilap, tiada model yang dapat menyelamatkan anda.
Taksonomi emel yang berjaya harus mengikut peraturan ini:
- Gunakan empat kategori. Tiga kategori akan menghilangkan perincian. Lima kategori akan menyebabkan kekeliruan.
- Petakan label kepada tindakan. Jangan gunakan topik. Gunakan kewajipan maklum balas.
- Takrifkan label dengan contoh. Gunakan contoh konkrit dan bukannya kata sifat.
- Pastikan input kecil. Gunakan pengirim, subjek, dan petikan ringkas.
Pertimbangkan struktur empat bahagian ini:
- SEGERA: Insiden pengeluaran atau permintaan eksekutif. Balas dalam masa 1 jam.
- TINDAKAN: Semakan kod atau susulan. Balas pada hari yang sama.
- UNTUK MAKLUMAN: Maklumat sahaja. Tiada maklum balas diperlukan.
- GANGGUAN: Buletin atau pemasaran. Arkibkan ia.
Setiap label dipetakan kepada satu tingkah laku khusus. Jika dua label membawa kepada tindakan yang sama, gabungkannya. Jika satu label membawa kepada dua tindakan yang berbeza, pecahkannya.
Pendekatan ini menjadikan ejen lebih mudah diramal. Anda boleh menjalankannya mengikut jadual tanpa pengawasan berterusan. Gunakan suhu 0 untuk klasifikasi bagi memastikan output adalah deterministik. Gunakan suhu yang lebih tinggi untuk draf bagi mendapatkan prosa yang semula jadi.
Jangan gunakan tag berbentuk bebas. Setiap tag baharu mencipta laluan kod baharu yang perlu anda uji. Kosa kata tertutup menjadikan sistem anda mudah untuk diaudit dan diskalakan.
Cuba latihan ini: Ambil 50 emel terakhir anda. Labelkan menggunakan empat kategori ini. Perhatikan di mana anda berasa ragu-ragu. Jurang tersebut menunjukkan di mana takrifan anda memerlukan lebih banyak contoh.
Sumber: https://dev.to/qasim157/email-triage-taxonomies-for-llm-classification-3o1j
Komuniti pembelajaran pilihan: https://t.me/GyaanSetuAi