LLMలలో శాస్త్రీయ మేధస్సును అంచనా వేయడం
లార్జ్ లాంగ్వేజ్ మోడల్స్ (Large Language Models) శాస్త్రీయ మేధస్సును కలిగి ఉన్నాయా లేదా అని పరిశోధకులు తెలుసుకోవాలని అనుకుంటున్నారు.
చాలా పరీక్షలు కేవలం సాధారణ వాస్తవాలపైనే దృష్టి పెడతాయి. ఈ అధ్యయనం నిజమైన శాస్త్రవేత్తలు పనిచేసే విధానానికి అనుగుణంగా ఉండే వర్క్ఫ్లోలను (workflows) ఉపయోగిస్తుంది.
మోడల్స్ సంక్లిష్టమైన శాస్త్రీయ తర్కాన్ని (scientific reasoning) ఎలా నిర్వహిస్తాయో పరిశోధకులు పరీక్షించారు.
ముఖ్యమైన ఫలితాలు:
- ప్రస్తుత మోడల్స్ సుదీర్ఘమైన శాస్త్రీయ వర్క్ఫ్లోలను నిర్వహించడంలో ఇబ్బంది పడుతున్నాయి.
- బహుళ దశల ప్రక్రియల సమయంలో తార్కిక లోపాలు సంభవిస్తున్నాయి.
- శాస్త్రీయ పద్ధతులకు అనుగుణంగా ఉండటం వల్ల ఖచ్చితత్వం మెరుగుపడుతుంది.
పరిశోధనలో AI యొక్క పరిమితులను అర్థం చేసుకోవడానికి మీరు ఈ వర్క్ఫ్లోలను పరిశీలించాలి. ప్రామాణిక బెంచ్మార్క్లు (Standard benchmarks) పూర్తి చిత్రాన్ని చూపించవు.
ఐచ్ఛిక అభ్యాస సమూహం: https://t.me/GyaanSetuAi