ఎంటర్ప్రైజ్ AI ప్రాజెక్ట్లకు ఒక నిర్దిష్ట నమూనా ఉంటుంది. ఒక బృందం ప్రోటోటైప్ను నిర్మిస్తుంది. డెమో అద్భుతంగా కనిపిస్తుంది. కానీ, మూడు నెలల తర్వాత, ఆ వ్యవస్థ కుప్పకూలడం ప్రారంభిస్తుంది. సమాధానాలు మారుతూ ఉంటాయి (drift). ఖర్చులు పెరుగుతాయి. ఒక కంప్లయన్స్ ఆఫీసర్ ఒక నిర్దిష్ట సమాధానం ఎక్కడి నుండి వచ్చిందని అడిగితే, ఆ గదిలో ఉన్న ఎవరూ చెప్పలేరు.
ఈ పతనం చాలా అరుదుగా తప్పుడు కోడ్ వల్ల మొదలవుతుంది. ఇది ఒకే ఒక ఆర్కిటెక్చరల్ ఎంపిక వల్ల మొదలవుతుంది, దీనిని కేవలం ప్రజాదరణ కోసం చేసే పోటీలాగా చూస్తారు: Retrieval-Augmented Generation వర్సెస్ fine-tuning.
RAG మరియు fine-tuning అనేవి ఒకే ఉత్పత్తి యొక్క రెండు వెర్షన్లు కావు. అవి ప్రాథమికంగా వేర్వేరు సాధనాలు. ఒకటి మోడల్ ఏమి చూడగలదో నియంత్రిస్తుంది. మరొకటి మోడల్ ఎలా ప్రవర్తించాలో నియంత్రిస్తుంది. పనికి తగని దానిని ఎంచుకోవడం ప్రోటోటైప్లో తెలియదు. కానీ వ్యాపారం దానిపై ఆధారపడి నడుస్తున్నప్పుడు, అది తర్వాత బయటపడుతుంది.
డెమో ట్రాప్
జనరేటివ్ AI ఫీచర్ను త్వరగా విడుదల చేయాలనే ఒత్తిడి చాలా ఎక్కువగా ఉంటుంది. ఒక మంచి ట్యుటోరియల్లో చూడటం వల్ల లేదా ఒక వెండర్ స్లైడ్ డెక్ దానిని సులభంగా చూపించడం వల్ల బృందాలు తరచుగా ఒక పద్ధతిని ఎంచుకుంటాయి. ఇన్ఫ్రాస్ట్రక్చర్ నిర్ణయాలు తీసుకోవడానికి ఇది చాలా తప్పుడు మార్గం.
నియంత్రిత డెమోలో fine-tuned మోడల్ అద్భుతంగా అనిపించవచ్చు. అది మీ కంపెనీ శైలిలో మాట్లాడుతుంది మరియు మీ ఉత్పత్తి పేర్లను గుర్తిస్తుంది. RAG పైప్లైన్ కూడా అద్భుతంగా అనిపించవచ్చు. అది ఎప్పుడూ శిక్షణ పొందని డాక్యుమెంట్ గురించి కూడా ప్రశ్నలకు సమాధానం ఇస్తుంది. కానీ డెమో ఆపరేషనల్ వాస్తవికతను దాచిపెడుతుంది. మీ ధరల డేటా ప్రతి వారం మారుతుంటే మరియు మీరు గత త్రైమాసిక గణాంకాలతో fine-tuning చేసి ఉంటే, మోడల్ నమ్మకంగా పాత గణాంకాలను చెబుతుంది. మీ సపోర్ట్ టీమ్కు ప్రతి సమాధానం ఒక నిర్దిష్ట పాలసీ PDFకి అనుసంధానించబడి ఉండాలి అనుకుంటే, fine-tuned మోడల్ మీకు ఎటువంటి ఫుట్నోట్లను ఇవ్వదు. అది కేవలం టెక్స్ట్ను మాత్రమే ఇస్తుంది.
RAG అంటే నిజంగా ఏమిటి?
RAG అంటే Retrieval-Augmented Generation, కానీ ఆ పేరు దాని కంటే ఎక్కువ సంక్లిష్టంగా అనిపించేలా చేస్తుంది. దీని మూల ఉద్దేశ్యం ఒకే ప్రశ్నను సమాధానం చేయడం: మోడల్ ఇప్పుడు దేనిని వెతకాలి?
ఒక కస్టమర్ సర్వీస్ ఏజెంట్ టికెట్కు సమాధానం ఇచ్చే ముందు కంపెనీ వికీని వెతకడానికి అనుమతి ఉందని ఊహించుకోండి. RAG సరిగ్గా అదే చేస్తుంది, కానీ ఆటోమేటిక్గా. వినియోగదారుడు ఒక ప్రశ్న అడిగినప్పుడు, సిస్టమ్ వెక్టార్ డేటాబేస్ లేదా డాక్యుమెంట్ స్టోర్లో సంబంధిత టెక్స్ట్ ముక్కల కోసం వెతుకుతుంది. ఆ తర్వాత ఆ ముక్కలను అసలు ప్రశ్నతో పాటు కాంటెక్స్ట్గా లాంగ్వేజ్ మోడల్కు అందిస్తుంది. సేకరించిన ఆధారాల ఆధారంగా మోడల్ సమాధానాన్ని రూపొందిస్తుంది.
మీ నాలెడ్జ్ బేస్ మోడల్ వెలుపల ఉన్నప్పుడు ఈ విధానం అద్భుతంగా పనిచేస్తుంది. ప్రొడక్ట్ డాక్యుమెంటేషన్, లీగల్ ఫైలింగ్స్, మెడికల్ రీసెర్చ్ మరియు ఇన్వెంటరీ స్ప్రెడ్షీట్లు అన్నీ మారుతూ ఉంటాయి. RAG ఒక్క వెయిట్ను కూడా మళ్ళీ ట్రైన్ చేయకుండా మోడల్ను అప్డేట్గా ఉంచుతుంది. ఇది సహజమైన ఆడిట్ ట్రైల్ను కూడా సృష్టిస్తుంది. ఏ డాక్యుమెంట్లు సేకరించబడ్డాయో మీకు తెలుస్తుంది కాబట్టి, ఒక సమాధానం ఎక్కడి నుండి వచ్చిందో మీరు ఆడిటర్ లేదా రెగ్యులేటర్కు ఖచ్చితంగా చూపించగలరు.
Fine-Tuning అంటే నిజంగా ఏమిటి?
Fine-tuning మరొక ప్రశ్నను సమాధానం చేస్తుంది: మోడల్ ఎలా ప్రవర్తించాలి?
మోడల్కు బాహ్య రీడింగ్ మెటీరియల్ను ఇవ్వడానికి బదులుగా, మీరు దానికి ఉదాహరణల ద్వారా నేర్పిస్తారు. మీకు కావలసిన అవుట్పుట్ల యొక్క వందలాది లేదా వేలాది ఉదాహరణలను సేకరించి, ఆ డేటాపై బేస్ మోడల్కు శిక్షణను కొనసాగిస్తారు. ఈ ప్రక్రియ మోడల్ యొక్క అంతర్గత పారామీటర్లను సర్దుబాటు చేస్తుంది. ఇది వెయిట్స్ను మారుస్తుంది.
దీని ఫలితంగా ప్యాటర్న్స్ను అంతర్గతీకరించుకున్న (internalized) మోడల్ లభిస్తుంది.