𝗠𝗲𝗻𝗷𝗶𝗻𝗮𝗸𝗸𝗮𝗻 𝗔𝗻𝗮𝗹𝗶𝘀𝗶𝘀 𝗗𝗼𝗸𝘂𝗺𝗲𝗻 𝗣𝗮𝗻𝗷𝗮𝗻𝗴 𝗱𝗲𝗻𝗴𝗮𝗻 𝗟𝗟𝗠
Saya perlu menjawab pertanyaan dari PDF setebal 100 halaman. Skrip sederhana gagal. Saya berjuang melawan batasan token dan biaya tinggi selama berminggu-minggu.
Pertama, saya mencoba teks lengkap. Model tersebut melupakan detail di bagian tengah. Biaya mencapai 50 sen per panggilan.
Kemudian saya mencoba metode-metode ini:
- Chunk tetap: Model memilih bagian yang salah.
- Map-reduce: Ringkasan kehilangan detailnya.
- Sliding window: Terlalu lambat.
Saya memutuskan untuk meniru cara manusia membaca. Manusia membaca sekilas terlebih dahulu. Baru kemudian mereka membaca secara mendalam.
Berikut adalah proses saya:
- Membuat hierarki chunk.
- Menulis ringkasan singkat untuk setiap chunk.
- Menyimpan ringkasan dan teks mentah dalam database vektor.
- Menggunakan hybrid search untuk menemukan ringkasan terbaik.
- Mengambil teks mentah dari ringkasan tersebut.
- Menggunakan prompt yang ketat untuk menghentikan halusinasi.
Ini mengubah hasilnya:
- Biaya turun sebesar 70 persen.
- Akurasi meningkat.
- Istilah teknis tetap terjaga.
Tips saya untuk Anda:
- Gunakan model murah untuk ringkasan.
- Gunakan GPT-4 untuk jawaban akhir.
- Bangun dataset pengujian di minggu pertama.
- Lewati cara ini untuk dokumen di bawah 20 halaman.
Bagaimana pengaturan Anda untuk dokumen panjang?
Sumber: https://dev.to/__c1b9e06dc90a7e0a676b/how-i-finally-tamed-long-document-analysis-with-llms-it-wasnt-simple-chunking-5ed3 Komunitas belajar opsional: https://t.me/GyaanSetuAi