LLMs में वैज्ञानिक बुद्धिमत्ता की जांच

शोधकर्ता यह जानना चाहते हैं कि क्या Large Language Models में वैज्ञानिक बुद्धिमत्ता है।

अधिकांश परीक्षण सरल तथ्यों पर केंद्रित होते हैं। यह अध्ययन उन वर्कफ़्लो का उपयोग करता है जो वास्तविक वैज्ञानिकों के काम करने के तरीके के अनुरूप हैं।

शोधकर्ताओं ने परीक्षण किया कि मॉडल जटिल वैज्ञानिक तर्क को कैसे संभालते हैं।

मुख्य निष्कर्ष:

  • वर्तमान मॉडल लंबे वैज्ञानिक वर्कफ़्लो के साथ संघर्ष करते हैं।
  • बहु-चरणीय प्रक्रियाओं के दौरान तर्क संबंधी त्रुटियां होती हैं।
  • वैज्ञानिक तरीकों के साथ तालमेल सटीकता में सुधार करता है।

अनुसंधान में AI की सीमाओं को समझने के लिए आपको इन वर्कफ़्लो को देखना चाहिए। मानक बेंचमार्क पूरी तस्वीर नहीं दिखाते हैं।

स्रोत: https://dev.to/paperium/probing-scientific-general-intelligence-of-llms-with-scientist-aligned-workflows-26el

वैकल्पिक लर्निंग कम्युनिटी: https://t.me/GyaanSetuAi