Дослідження наукового інтелекту в LLM
Дослідники хочуть дізнатися, чи володіють великі мовні моделі науковим інтелектом.
Більшість тестів зосереджені на простих фактах. Це дослідження використовує робочі процеси, узгоджені з тим, як працюють справжні вчені.
Дослідники перевірили, як моделі справляються зі складними науковими міркуваннями.
Основні висновки:
- Сучасні моделі мають труднощі з тривалими науковими робочими процесами.
- Помилки в міркуваннях виникають під час багатоетапних процесів.
- Узгодженість із науковими методами підвищує точність.
Вам варто звернути увагу на ці робочі процеси, щоб зрозуміти межі ШІ в дослідженнях. Стандартні бенчмарки не дають повної картини.
Додаткова спільнота для навчання: https://t.me/GyaanSetuAi