LLM హాలూసినేషన్స్‌ను ఖచ్చితమైన ఇంజనీరింగ్‌తో ఎదుర్కోవడానికి Probably $9 మిలియన్లను సేకరించింది

లార్జ్ లాంగ్వేజ్ మోడల్స్ (LLMs) వృత్తిపరమైన పని విధానాలలో క్రమంగా కలిసిపోతున్న కొద్దీ, పరిశ్రమ ఒక నిరంతర అడ్డంకిని ఎదుర్కొంటోంది: అత్యంత అధునాతన మోడల్స్ కూడా తప్పుడు సమాచారాన్ని సృష్టించే (hallucinate) అవకాశం ఉండటం. స్టార్టప్ Probably ఈ సవాలును నేరుగా ఎదుర్కొంటోంది. AI విశ్వసనీయత కోసం మరింత కఠినమైన, డిటర్మినిస్టిక్ (deterministic) విధానాన్ని నిర్మించడానికి Andreessen Horowitz నేతృత్వంలో $9 మిలియన్ల సీడ్ ఫండింగ్‌ను సేకరించింది.

99.99% ఖచ్చితత్వం వైపు అడుగులు

సంస్థాపకుడు పీటర్ ఎలియాస్ నేతృత్వంలోని Probably యొక్క ప్రధాన లక్ష్యం, LLMల యొక్క సంభావ్య స్వభావం (probabilistic nature) మరియు డిటర్మినిస్టిక్ సిస్టమ్స్ నుండి ఆశించే 99.99% ఖచ్చితత్వ ప్రమాణాల మధ్య ఉన్న అంతరాన్ని తగ్గించడం. అత్యంత కీలకమైన వాతావరణాలలో, ఒకే ఒక వాస్తవ దోషం AI సాధనాన్ని పనికిరాకుండా చేయవచ్చు. దీనిని పరిష్కరించడానికి, ఖచ్చితత్వం అనేది కేవలం మోడల్ పరిమాణంపై మాత్రమే ఆధారపడి ఉంటుందనే ఆలోచన నుండి മാറി, Probably "హార్నెస్ ఇంజనీరింగ్" (harness engineering) పై దృష్టి సారిస్తోంది.

ఈ కంపెనీ యొక్క ఫ్లాగ్‌షిప్ ఉత్పత్తి సంక్లిష్టమైన డేటాసెట్‌ల నుండి సమాచారాన్ని సేకరించడానికి రూపొందించబడిన ఒక డేటా సైన్స్ సాధనం. సంభాషణాత్మక ప్రతిస్పందనలను అందించే సాధారణ చాట్‌బాట్‌ల వలె కాకుండా, Probably యొక్క సాధనం ప్రతి సమాధానంతో పాటు ఒక నిర్దిష్ట సైటేషన్ (citation) మరియు పారదర్శకమైన ఆడిట్ ట్రైల్‌ను అందిస్తుంది, దీనివల్ల వినియోగదారులు ప్రతి అవుట్‌పుట్ వెనుక ఉన్న లాజిక్‌ను ధృవీకరించుకోవచ్చు.

"డేటా సైన్స్ మెక్ సూట్" ఆర్కిటెక్చర్

ఒక భారీ మోడల్ యొక్క రీజనింగ్ సామర్థ్యాలపై మాత్రమే ఆధారపడకుండా, ఎలియాస్ "డేటా సైన్స్ మెక్ సూట్" అని పిలిచే విధానాన్ని Probably ఉపయోగిస్తుంది. ఈ ఆర్కిటెక్చర్ ఒక సంక్లిష్టమైన హార్నెస్ వ్యవస్థగా పనిచేస్తుంది, ఇక్కడ LLM యొక్క ప్రాథమిక అవుట్‌పుట్‌ను వెంటనే ఒక డిటర్మినిస్టిక్ వ్యాలిడేటర్ పరిశీలిస్తుంది.

ఒకవేళ LLM ప్రాథమిక డేటాసెట్‌తో సరిగ్గా సరిపోని ఫలితాన్ని ఇస్తే, వ్యాలిడేటర్ దానిని తిరస్కరిస్తుంది. ముఖ్యంగా, ఈ వ్యాలిడేటర్‌కు అనుగుణంగానే LLMని ప్రత్యేకంగా శిక్షణ ఇస్తారు, తద్వారా వేగం మరియు వాస్తవ సమగ్రత (factual integrity) కోసం ఆప్టిమైజ్ చేయబడిన క్లోజ్డ్-లూప్ సిస్టమ్ రూపొందుతుంది. ఈ విధానం ఒక ప్రాథమిక సూత్రంపై పనిచేస్తుంది: ఇంజనీరింగ్ ద్వారా సందర్భాన్ని మెరుగుపరచడం మరియు అస్పష్టతను తగ్గించడం ద్వారా, భారీ కంప్యూటేషనల్ బ్రూట్ ఫోర్స్ అవసరం లేకుండానే మోడల్‌ను "సరైన పని చేసేలా" చేయవచ్చు.

చిన్న, లోకల్ మోడల్స్ ద్వారా సామర్థ్యం

Probably యొక్క విధానం వల్ల కలిగే అతి ముఖ్యమైన సాంకేతిక ప్రయోజనాలలో ఒకటి చిన్న మరియు మరింత సమర్థవంతమైన మోడల్స్‌ను ఉపయోగించగల సామర్థ్యం. "మెక్ సూట్" వ్యాలిడేషన్ మరియు కాంటెక్స్ట్ రిఫైన్‌మెంట్ వంటి కష్టమైన పనులను చూసుకుంటుంది కాబట్టి, ఈ సిస్టమ్ "ఫ్రంటియర్ మోడల్స్ కంటే నాలుగు స్థాయిలు తక్కువ సామర్థ్యం ఉన్న" మోడల్స్‌పై కూడా పనిచేయగలదు.

ఈ మార్పు వల్ల భారీ ఆర్థిక మరియు కార్యాచరణ ప్రయోజనాలు ఉన్నాయి:

  • తగ్గిన టోకెన్ ఖర్చులు: చిన్న మోడల్స్ ప్రతి క్వెరీ ఖర్చును గణనీయంగా తగ్గిస్తాయి, సంస్థలు తమ AI బడ్జెట్‌లను ఆప్టిమైజ్ చేయాలనుకుంటున్న తరుణంలో ఇది ఒక ముఖ్యమైన అంశం.
  • లోకల్ ఎగ్జిక్యూషన్: ఖరీదైన, హై-లేటెన్సీ డేటా సెంటర్ కనెక్షన్లు అవసరం లేకుండా, ఈ తేలికపాటి మోడల్స్ డెస్క్‌టాప్ కంప్యూటర్ల వంటి లోకల్ హార్డ్‌వేర్‌పై నడుస్తాయి.
  • స్కేలబిలిటీ: ఈ ఇంజిన్ డేటా సైన్స్ మాత్రమే కాకుండా, అకౌంటింగ్ మరియు వైద్య సేవలు వంటి ఖచ్చితత్వం అవసరమయ్యే రంగాలకు కూడా విస్తరించడానికి వీలుగా రూపొందించబడింది.

పెద్ద AI ల్యాబ్ ఇన్సెంటివ్ మోడల్‌కు సవాలు

ప్రస్తుత AI రంగంలో ఉన్న ఒక నిర్మాణాత్మక అసమతుల్యతను ఎలియాస్ ఎత్తిచూపుతున్నారు: ప్రధాన AI ల్యాబ్‌లు భారీ, సాధారణ ప్రయోజన మోడల్‌లను నిర్మించడానికి ప్రోత్సహించబడుతున్నాయి, వీటికి తరచుగా వినియోగదారుల సవరణలు అవసరమవుతాయి. ఈ ల్యాబ్‌లు తరచుగా టోకెన్ వినియోగం ఆధారంగా ఛార్జ్ చేస్తాయి కాబట్టి, ఎక్కువ తప్పులు మరియు ఎక్కువ ఫాలో-అప్ క్వెరీలు నిజానికి ఆదాయాన్ని పెంచుతాయి. స్కేల్ కంటే ఇంజనీరింగ్ ద్వారా ఖచ్చితత్వం మరియు "అస్పష్టతను తగ్గించడం" పై దృష్టి పెట్టడం ద్వారా, Probably అత్యంత కీలకమైన AI అప్లికేషన్ల కోసం ఒక ప్రత్యేక స్థానాన్ని సృష్టిస్తోంది, ఇక్కడ విశ్వసనీయత మాత్రమే ప్రాధాన్యత కలిగిన ఏకైక కొలమానం.

ముఖ్య అంశాలు

  • డిటర్మినిస్టిక్ వాలిడేషన్: Probably 99.99% ఖచ్చితత్వాన్ని లక్ష్యంగా చేసుకుని, LLM అవుట్‌పుట్‌లను ఒక డిటర్మినిస్టిక్ వాలిడేటర్‌తో సరిచూడటానికి "mech suit" ఆర్కిటెక్చర్‌ను ఉపయోగిస్తుంది.
  • ఖర్చు-సమర్థవంతమైన ఇంజనీరింగ్: మెరుగైన కాంటెక్స్ట్ ఇంజనీరింగ్ ద్వారా అస్పష్టతను తగ్గించడం ద్వారా, ఈ వ్యవస్థ లోకల్ హార్డ్‌వేర్‌పై పనిచేయగల చాలా చిన్న, తక్కువ ఖర్చుతో కూడిన మోడల్స్‌పై నడుస్తుంది.
  • ఖచ్చితత్వానికి ప్రాధాన్యత: వైద్యం మరియు ఫైనాన్స్ వంటి అత్యంత కీలకమైన, ఖచ్చితత్వం అవసరమయ్యే రంగాలలో, హాలూసినేషన్స్ (hallucinations) అంగీకరించలేని చోట AIని తీసుకువెళ్లడానికి ఈ సాంకేతికతను రూపొందించారు.