లార్జ్ లాంగ్వేజ్ మోడల్స్ను ఒకేసారి మరీ ఎక్కువ పనులు చేయమని అడిగినప్పుడు అవి తడబడతాయి. యాభై పేజీల PDFని ఒక చాట్ విండోలోకి వేసి, అదే సమయంలో ఒక నిర్మాణాత్మక విశ్లేషణ (structured analysis), రిస్క్ అసెస్మెంట్ మరియు ఎగ్జిక్యూటివ్ సమ్మరీని అడిగితే ఏమవుతుంది? దీని ఫలితం సాధారణంగా అసంపూర్తిగా, అయోమయంగా లేదా పూర్తిగా తప్పుగా ఉంటుంది. దీనికంటే మెకానికల్ విధానం మెరుగైనది. పనిని విడివిడి దశలుగా విభజించండి. మొదటి దశ యొక్క అవుట్పుట్ను నేరుగా రెండవ దశలోకి పంపండి, ఇలా వరుసగా కొనసాగించండి. ఆంత్రోపిక్ (Anthropic) ఈ విధానాన్ని 'ప్రాంప్ట్ చైనింగ్' (prompt chaining) అని పిలుస్తుంది. గూగుల్ దీనిని 'సీక్వెన్షియల్ పైప్లైన్' (sequential pipeline) అని పిలుస్తుంది. ఈ రెండు పేర్లు ఒకే విషయాన్ని వివరిస్తాయి: ప్రతి స్టేషన్ ఒక నిర్దిష్ట మార్పును మాత్రమే చేసే ఒక అసెంబ్లీ లైన్.
ఇది ఆచరణలో ఎలా ఉంటుంది
ఒక పెద్ద ప్రాంప్ట్కు బదులుగా, మీరు చిన్న మరియు దృష్టి కేంద్రీకరించిన దశల శ్రేణిని నిర్మిస్తారు. వెండర్ సెక్యూరిటీ అసెస్మెంట్లను ప్రాసెస్ చేసే ఒక కంప్లయన్స్ టీమ్ను ఊహించుకోండి. మొదటి దశ స్కాన్ చేసిన PDF నుండి ముడి వచనాన్ని (raw text) సంగ్రహిస్తుంది. రెండవ దశ ఎన్క్రిప్షన్ ప్రమాణాలు మరియు యాక్సెస్ కంట్రోల్స్కు సంబంధించిన ప్రతి ప్రస్తావనను గుర్తిస్తుంది. మూడవ దశ ఆ ఫలితాలను అంతర్గత చెక్లిస్ట్తో పోల్చి చూస్తుంది. నాలుగవ దశ సెక్యూరిటీ లీడ్ కోసం ఒక చిన్న మెమోను సిద్ధం చేస్తుంది. ఒక ఏజెంట్ PDFని టెక్స్ట్గా మారుస్తుంది. తదుపరి ఏజెంట్ ఆ టెక్స్ట్ నుండి నిర్దిష్ట డేటాను సేకరిస్తుంది. చివరి ఏజెంట్ ఆ డేటా ఆధారంగా సమ్మరీని రాస్తుంది. ఈ దశల్లో ఏదీ ఆడంబరంగా ఉండదు, మరియు ఏదీ మల్టీటాస్కింగ్ చేయదు. ప్రతి భాగం ఒక పనిని చక్కగా చేస్తుంది.
అందుకే అసెంబ్లీ లైన్ రూపకం ఇక్కడ సరిగ్గా సరిపోతుంది. ఒక ఫ్యాక్టరీలో, ఒకే కార్మికుడు మొత్తం కారును అసెంబుల్ చేయడు. స్పెషలైజేషన్ వల్ల నాణ్యత ఎక్కువగా ఉంటుంది మరియు వైఫల్యాలు తక్కువగా ఉంటాయి. ఇదే తర్కం లాంగ్వేజ్ మోడల్స్కు కూడా వర్తిస్తుంది. కేవలం JSON ఎక్స్ట్రాక్షన్ కోసం మాత్రమే అడిగే ప్రాంప్ట్, అదే రిక్వెస్ట్లో అభిప్రాయం మరియు ఫార్మాటింగ్ కూడా అడిగే ప్రాంప్ట్ కంటే తక్కువగా హాలూసినేట్ (hallucinate) అయ్యే అవకాశం ఉంది.
ఊహలు కాదు, గేట్లు నిర్మించండి
ఏ చైన్లోనైనా అతి బలహీనమైన అంశం 'హ్యాండోఫ్' (handoff - ఒక దశ నుండి మరో దశకు బదిలీ చేయడం). ఒక మోడల్ మర్యాదపూర్వక తిరస్కరణను ఇవ్వవచ్చు, JSON కి బదులుగా మార్క్డౌన్ ముక్కను ఇవ్వవచ్చు లేదా అసంపూర్ణ సమాధానాన్ని ఇవ్వవచ్చు. ఆ చెత్త సమాచారం రెండో దశలోకి వెళ్తే, మొత్తం చైన్ కుప్పకూలిపోతుంది. దీనికి పరిష్కారం ఒక 'గేట్' (gate).
గేట్ అనేది మోడల్ కాల్ కాదు. అది ఒక సాధారణ కోడ్. దశల మధ్య నడిచే ఒక చిన్న స్క్రిప్ట్ను మీరు రాస్తారు. అది అవుట్పుట్ ఖాళీగా లేదని నిర్ధారించుకోవడానికి దాని పొడవును తనిఖీ చేయవచ్చు. మూడవ దశ ఆశిస్తున్న కీలు సరిగ్గా ఉన్నాయో లేదో చూడటానికి JSON స్కీమా వాలిడేషన్ను రన్ చేయవచ్చు. తదుపరి ప్రాంప్ట్ను రూపొందించకముందే ఈమెయిల్ అడ్రస్ లేదా తేదీ ఫీల్డ్ నిజంగా ఉందో లేదో ఒక regex చెక్ ద్వారా ధృవీకరించవచ్చు. ఇది తప్పుడు అవుట్పుట్ల కోసం మీరు డబ్బు వృథా చేసేలోపే లోపాలను అడ్డుకుంటుంది. ఒక గేట్ కేవలం కొన్ని మైక్రోసెకన్ల కంప్యూటింగ్ సమయాన్ని మాత్రమే తీసుకుంటుంది. కానీ విఫలమైన డౌన్స్ట్రీమ్ LLM కాల్ మీ టోకెన్లను, లేటెన్సీని మరియు మీ మానసిక ప్రశాంతతను దెబ్బతీస్తుంది.
దీనిని ఫ్యాక్టరీ ఫ్లోర్లోని క్వాలిటీ చెక్పాయింట్గా భావించండి. విడ్జెట్లను లెక్కించడానికి మీకు AI అవసరం లేదు. మీకు ఒక రూలర్ (ruler) కావాలి.
ఎప్పుడు చైనింగ్ చేయాలి, ఎప్పుడు ఆపాలి
ప్రాంప్ట్ చైనింగ్ ప్రతి సమస్యకు సరిపోదు. పనిలో స్థిరమైన, పునరావృతమయ్యే దశలు ఉన్నప్పుడు దీనిని ఉపయోగించండి. నెలవారీ ఆర్థిక నివేదికలు, ప్రామాణిక కాంట్రాక్ట్ రివ్యూ మరియు లాగ్ అనాలిసిస్ పైప్లైన్లు దీనికి మంచి ఉదాహరణలు. మీరు ఒక విధానాన్ని చెక్లిస్ట్గా వ్రాయగలిగితే, మీరు బహుశా దానిని చైన్ చేయవచ్చు. సంక్లిష్టమైన పనికి అధిక ఖచ్చితత్వం కావాలనుకున్నప్పుడు కూడా మీరు చైనింగ్ను ఎంచుకోవాలి. ఒక సమస్యను దశలుగా విభజించడం వల్ల మోడల్ ఒక సమయంలో ఒక లాజికల్ లేయర్ను మాత్రమే హ్యాండిల్ చేయాల్సి వస్తుంది. చివరగా, మోనిలిథిక్ ప్రాంప్ట్ల కంటే చైన్లను డీబగ్ చేయడం సులభం. సమ్మరీ తప్పుగా ఉన్నప్పుడు, మీరు ఎక్స్ట్రాక్షన్ను తనిఖీ చేయవచ్చు. ఎక్స్ట్రాక్షన్ తప్పుగా ఉన్నప్పుడు, మీరు మూల వచనాన్ని (source text) తనిఖీ చేయవచ్చు. పరీక్షించడానికి మీ వద్ద మధ్యంతర ఆర్టిఫాక్ట్స్ ఉంటాయి.
దశలు ముందుగానే తెలియని పనుల కోసం ప్రాంప్ట్ చైనింగ్ను నివారించండి. అన్వేషణాత్మక పరిశోధన (Exploratory research), ఓపెన్-ఎండెడ్ బ్రెయిన్స్టార్మింగ్ లేదా ఇన్వెస్టిగేటివ్ టాస్క్లు ఒక సరళ రేఖను అనుసరించవు. వేగం మాత్రమే మీ ప్రాధాన్యత అయినప్పుడు కూడా దీనిని వదిలేయండి. చైన్లు సీరియల్ పద్ధతిలో ఉంటాయి; మొదటి దశ ముగిసే వరకు రెండవ దశ ప్రారంభం కాదు. మీ దశలు ఒకదానిపై ఒకటి ఆధారపడకపోతే, వాటిని పారలల్ (parallel) గా రన్ చేయండి. ఒకే పత్రం యొక్క మూడు స్వతంత్ర అనువాదాలను చైన్ చేయాల్సిన అవసరం లేదు.
దృఢత్వపు ఉచ్చు (The Rigidity Trap)
ఈ మొత్తం నిర్మాణం వల్ల కలిగే నష్టం ఏమిటంటే దృఢత్వం (rigidity). ఒక స్థిరమైన చైన్ కొత్త పరిస్థితులకు అనుగుణంగా మారలేదు. ఒక వెండర్ ఆరు ఫీల్డ్లు ఉన్న ఫారమ్ను పంపితే మరియు మీ స్కీమా వాలిడేషన్ గేట్ ఐదు ఫీల్డ్లను మాత్రమే ఆశిస్తే, ఆ లైన్ ఆగిపోతుంది. ఒక వినియోగదారు PDFకి బదులుగా Word డాక్యుమెంట్ను అప్లోడ్ చేస్తే, మొదటి దశ విఫలమవుతుంది మరియు మిగిలిన చైన్కు ఏమీ దొరకదు.
అంతకంటే దారుణం ఏమిటంటే, లోపాలు వ్యాపిస్తాయి (errors propagate). ప్రారంభంలో జరిగే తప్పు మొత్తం చైన్ అంతటా ప్రవహిస్తుంది. ఒకవేళ PDF ఎక్స్ట్రాక్టర్ ఆర్థిక గణాంకం నుండి మైనస్ (-) గుర్తును తొలగిస్తే, తదుపరి దశలన్నీ ఆ తప్పు సంఖ్యను...