మీ మోడల్ను ఫైన్-ట్యూన్ చేయడం ఆపండి. మీ ఆర్కిటెక్చరే సమస్య.
డెమోలు అద్భుతంగా కనిపిస్తాయి. ప్రొడక్షన్ సిస్టమ్స్ వేరుగా ఉంటాయి. ఈ రెండింటి మధ్య ఒక వ్యత్యాసం ఉంది.
ప్రజలు ఇప్పుడు ప్రతిదాన్ని ఏజెంట్ అని పిలుస్తున్నారు. మెమరీ ఉన్న చాట్బాట్ ఒక ఏజెంట్. లూప్ ఉన్న స్క్రిప్ట్ ఒక ఏజెంట్. ఈ పొరపాటు ఇంజనీరింగ్ లోపాలకు దారితీస్తుంది. దీనివల్ల మీరు సాధారణ పనులకు అతిగా ఇంజనీరింగ్ (over-engineering) చేస్తారు మరియు సంక్లిష్టమైన పనులకు తక్కువ ఇంజనీరింగ్ (under-engineering) చేస్తారు.
ఒక ఏజెంట్కు ఒక లక్ష్యం (objective) ఉండాలి. అది కేవలం ఒక సూచనను మాత్రమే అనుసరించదు. తదుపరి ఏమి చేయాలో అది నిర్ణయిస్తుంది. అది వైఫల్యాలను (failure) ఎదుర్కొంటుంది. ఎప్పుడు ఆగాలో దానికి తెలుసు.
మీ సిస్టమ్ను తనిఖీ చేయడానికి ఈ నియమాలను ఉపయోగించండి:
- ఒకవేళ మనిషి ప్రతి అడుగును నడిపించాల్సి వస్తే, అది ఒక చాట్ ఇంటర్ఫేస్.
- ఒకవేళ అది ఫెయిల్ అయిన టూల్ కాల్ నుండి కోలుకోగలిగితే, అది ఒక ఏజెంట్.
- ఒకవేళ అది ఒక లక్ష్యాన్ని ఉప-పనులుగా (subtasks) విభజిస్తే, అది నిజమైన ఏజెంట్.
విజయవంతమైన బృందాలు కొత్త మోడళ్ల కోసం వెతకవు. అవి నిర్దిష్టమైన, ప్రత్యేక ప్రయోజనాల కోసం రూపొందించిన పైప్లైన్లను (pipelines) నిర్మిస్తాయి. అవి ఈ మూడు విషయాలపై దృష్టి పెడతాయి:
- టూల్ డిజైన్: ఇంటర్ఫేస్ ఎంత స్పష్టంగా ఉంది?
- ఫెయిల్యూర్ హ్యాండ్లింగ్: ఒక టూల్ ఏమీ తిరిగి ఇవ్వనప్పుడు ఏమి జరుగుతుంది?
- అబ్జర్వబిలిటీ (Observability): మీరు ప్రతి నిర్ణయాన్ని ట్రాస్ చేయగలరా?
మీరు ఉపయోగించే ఫ్రేమ్వర్క్ కంటే మీ ప్యాటర్న్స్ (patterns) ముఖ్యం. నేను వివిధ ఫ్రేమ్వర్క్లలో ఆర్కిటెక్చర్లను మళ్ళీ నిర్మించాను, ఫలితాలు మాత్రం ఒకేలా ఉన్నాయి. ఫ్రేమ్వర్క్ అనేది కేవలం ఒక తాత్కాలిక మద్దతు (scaffolding) మాత్రమే. ఆర్కిటెక్చర్ అనేది అసలైన భవనం.
ఈ ప్యాటర్న్స్ను అనుసరించండి:
- ముందు ప్లాన్ చేసి, ఆపై అమలు చేయండి. రీజనింగ్ (reasoning) కోసం ఒక అడుగును మరియు చర్య (action) కోసం మరొక ప్రత్యేక అడుగును ఉపయోగించండి.
- రిట్రీవల్ (retrieval) ను రీజనింగ్ నుండి వేరు చేయండి. కాంటెక్స్ట్ను సేకరించడం మరియు కాంటెక్స్ట్ను ఉపయోగించడం అనేవి వేర్వేరు పనులు.
- స్పష్టమైన హ్యాండ్ఆఫ్స్ (handoffs) ఉపయోగించండి. ఒక ఏజెంట్ మరొక ఏజెంట్కు పనిని అప్పగించినప్పుడు, స్ట్రక్చర్డ్ లాగ్స్ (structured logs) ఉపయోగించండి.
RAG అనేది ప్రామాణికమైనది, కానీ చంకింగ్ (chunking) తరచుగా తప్పుగా ఉంటుంది. మీరు డాక్యుమెంట్లను సరిగ్గా విభజించకపోతే, మోడల్ కాంటెక్స్ట్ను కోల్పోతుంది. దీనివల్ల హాలూసినేషన్స్ (hallucinations) ఏర్పడతాయి.
మీ RAG పైప్లైన్ ఉపయోగం లేని ఫలితాలను ఇస్తుంటే, మీ చంకింగ్ మరియు మెటాడేటాను పరిశీలించండి. ఎంబెడ్డింగ్ మోడల్ను నిందించకండి.
నమ్మదగిన వ్యవస్థలను నిర్మించడమే ఇంజనీరింగ్ సవాలు. గవర్నెన్స్, అబ్జర్వబిలిటీ మరియు నమ్మదగిన టూల్ వినియోగంపై దృష్టి పెట్టండి. కేవలం బెంచ్మార్క్ల వెనుక పడకండి.
ఉత్తమ ఇంజనీర్లు సిస్టమ్స్ డిజైన్పై దృష్టి పెడతారు. ఇతరులు నిర్వహించగలిగే మరియు నమ్మగలిగే AI వ్యవస్థలను వారు నిర్మిస్తారు.
Source: https://dev.to/aibughunter/stop-fine-tuning-your-model-your-architecture-is-the-problem-3kkg