Menaklukkan Dokumen Panjang dengan LLM
Saya membangun sebuah sistem untuk menjawab pertanyaan dari PDF teknis setebal 100 halaman.
Skrip sederhana gagal. Saya bergelut dengan batasan token dan biaya tinggi selama berminggu-minggu.
Percobaan pertama saya menggunakan GPT-4 dengan teks lengkap. Ini berhasil untuk 10 halaman. Pada 100 halaman, saya mencapai batas token. Model tersebut melupakan detail di bagian tengah. Biayanya terlalu tinggi.
Saya mencoba metode-metode ini:
- Chunking dasar: Model memilih bagian yang salah. Ia kehilangan konteks.
- Map-reduce: Saya kehilangan detail spesifik.
- Sliding windows: Ini terlalu lambat dan mahal.
Saya meniru cara manusia membaca. Kita memindai daftar isi. Kemudian kita membaca bagian tertentu.
Berikut adalah alur kerja barunya:
- Buat hierarki. Gunakan LLM untuk membuat ringkasan singkat untuk