Menguji Kecerdasan Saintifik dalam LLM

Penyelidik ingin mengetahui sama ada Model Bahasa Besar (LLM) mempunyai kecerdasan saintifik.

Kebanyakan ujian tertumpu pada fakta ringkas. Kajian ini menggunakan aliran kerja yang selaras dengan cara saintis sebenar bekerja.

Penyelidik menguji bagaimana model mengendalikan penaakulan saintifik yang kompleks.

Penemuan utama:

  • Model semasa bergelut dengan aliran kerja saintifik yang panjang.
  • Ralat penaakulan berlaku semasa proses pelbagai langkah.
  • Penyelarasan dengan kaedah saintifik meningkatkan ketepatan.

Anda harus meneliti aliran kerja ini untuk memahami had AI dalam penyelidikan. Penanda aras standard tidak menunjukkan gambaran yang menyeluruh.

Sumber: https://dev.to/paperium/probing-scientific-general-intelligence-of-llms-with-scientist-aligned-workflows-26el

Komuniti pembelajaran pilihan: https://t.me/GyaanSetuAi