GraphRAG dan memori kontekstual yang berterusan kini sedang disepadukan ke dalam bot sembang AI supaya perbualan dapat diteruskan walaupun selepas penyegaran halaman atau pembukaan tab pelayar baharu. Pembangun menyatakan bahawa gabungan ini menghapuskan masalah "kehilangan konteks akibat penutupan tab" yang selama ini mengecewakan pengguna kebanyakan pembantu perbualan.

Mengapa pendekatan lama tidak mencukupi

Kebanyakan sistem AI berasaskan sembang bergantung kepada Penjanaan Dipertingkat Carian (RAG) standard. Saluran kerja tersebut menarik cebisan teks yang menyerupai soalan semasa, memberikannya kepada model bahasa, dan mengembalikan jawapan. Untuk carian fakta tunggal—"Apakah ibu negara Perancis?"—kaedah ini berfungsi dengan baik.

Namun, RAG melayan setiap input pengguna sebagai permintaan yang terasing. Apabila soalan susulan bergantung pada sesuatu yang dikatakan beberapa minit sebelumnya, model tersebut tidak mempunyai memori tentang konteks tersebut. Hasilnya ialah bot sembang yang meminta anda mengulang semula atau memberikan jawapan yang mengabaikan butiran sebelumnya. Masalahnya bukan kekurangan kecerdasan; ia adalah kekurangan keadaan (state).

GraphRAG: menukarkan teks rata kepada rangkaian

GraphRAG membentuk semula peringkat carian. Berbanding senarai cebisan teks yang tidak berkaitan, ia membina sebuah graf:

  • Nod mewakili entiti seperti orang, produk, atau peristiwa.
  • Tepi (Edges) menangkap hubungan antara mereka—siapa membekalkan apa, projek mana yang bergantung pada komponen mana, dan sebagainya.

Oleh kerana graf tersebut mengekodkan sambungan, sistem boleh melakukan penaakulan berbilang langkah (multi-hop reasoning): ia boleh mengikuti rantaian fakta merentasi beberapa dokumen untuk menjawab pertanyaan yang mungkin gagal dijawab oleh carian teks rata. Ia juga boleh menjana ringkasan keseluruhan subgraf, memberikan pengguna gambaran keseluruhan topik yang ringkas dan bukannya koleksi petikan yang terputus-putus.

Memori kontekstual: mengingati perbualan

Memori kontekstual yang berterusan menambah lapisan temporal pada graf tersebut. Ia terbahagi kepada tiga bahagian:

  • Memori jangka pendek menyimpan dialog giliran demi giliran semasa, supaya pengguna tidak perlu menyatakan semula perkara yang telah disebut beberapa ayat sebelumnya.
  • Memori jangka panjang merekodkan fakta terpilih tentang pengguna merentasi sesi—bahasa pilihan, isu yang berulang, atau pembelian terdahulu.
  • Memori terpilih memutuskan apa yang perlu disimpan, membuang kata pengisi dan sembang yang tidak relevan untuk mengelakkan storan menjadi terlalu sarat.

Apabila pengguna kembali selepas menutup tab, storan jangka panjang boleh memaparkan latar belakang yang relevan, membolehkan bot sembang menyambung semula dari tempat sesi terakhir terhenti.

Bila perlu menggunakan setiap alatan

  • Gunakan RAG standard untuk semakan fakta mudah di mana kos kegagalan sambungan adalah rendah.
  • Gunakan GraphRAG apabila kos jawapan yang salah adalah tinggi, atau apabila jawapan memerlukan pautan maklumat yang tersebar merentasi pelbagai dokumen.
  • Tambah memori kontekstual jika aplikasi mesti mengenali pengguna yang kembali atau mengekalkan kesinambungan peribadi selama berhari-hari atau berminggu-minggu.

Membina lapisan-lapisan ini bukanlah satu latihan "pasang dan guna" (plug-and-play). Indeks GraphRAG mesti dikemas kini apabila data sumber berubah, dan storan memori memerlukan polisi yang mengimbangi antara kerelevanan dengan kos penyimpanan. Penyimpanan yang terlalu agresif—menyimpan setiap perkataan yang diucapkan—akan memperlahankan carian dengan cepat dan menenggelamkan model dalam gangguan (noise).

Imbangan (The trade-off)

Memori Kontekstual menyelesaikan masalah lupa. Kelemahannya adalah dari segi operasi: mengekalkan graf yang aktif dan cache memori terpilih memerlukan usaha kejuruteraan yang berterusan.

Apa yang perlu diperhatikan seterusnya

Rumusan: GraphRAG membekalkan tulang belakang hubungan, manakala memori kontekstual yang berterusan membekalkan "pelekat" temporal. Bersama-sama, ia membolehkan bot sembang mengekalkan kesinambungan perbualan merentasi tab dan sesi, menukarkan tetapan semula yang mengecewakan kepada perbualan yang lancar.