𝗙𝗿𝗼𝗺 𝗜 𝗨𝗻𝗱𝗲𝗿𝘀𝘁𝗼𝗼𝗱 𝗡𝗼𝘁𝗵𝗶𝗻𝗴 𝘁𝗼 𝗕𝘂𝗶𝗹𝗱𝗶𝗻𝗴 𝗮 𝗥𝗔𝗚 𝗔𝗽𝗽
నిన్న నేను నా స్వంత NLP నోట్స్ లోని 31 పేజీలను చదవడానికి గడిపాను.
నాకు ఏమీ అర్థం కాలేదు.
సమస్య నా వల్ల అని నేను అనుకున్నాను. కానీ అది కాదు. సమస్య నా పద్ధతిలో ఉంది. నోట్స్ చదవడం అంటే నేర్చుకోవడం కాదు. నా దగ్గర ఉన్న నోట్స్ ఒక నిపుణుడి కోసం ఉన్నాయే తప్ప, ఒక బిగినర్ కోసం కాదు.
నేను నా విధానాన్ని మార్చుకున్నాను. చదవడం ఆపివేసి, దానికి బదులుగా ప్రశ్నలు అడగడం మొదలుపెట్టాను. సరళమైన ఉదాహరణలను ఉపయోగించాను. ఒక కాన్సెప్ట్ పూర్తిగా అర్థమయ్యే వరకు సాంకేతిక పదాలను వాడకూడదని నిర్ణయించుకున్నాను.
రోజు ముగిసేసరికి, నేను ఒక RAG app ని నిర్మించాను. NLP యొక్క నాలుగు స్తంభాలను నేను ఎలా నేర్చుకున్నానో ఇక్కడ ఉంది.
- Bag of Words కంప్యూటర్లకు గణితం మాత్రమే అర్థమవుతుంది. టెక్స్ట్ను ప్రాసెస్ చేయాలంటే, మీరు పదాలను సంఖ్యలుగా మార్చాలి.
మీరు ఈమెయిల్స్ను స్పామ్ (spam) లేదా స్పామ్ కానివిగా వర్గీకరించాలనుకుంటున్నారని ఊహించుకోండి. మీ ఈమెయిల్స్లోని ప్రతి పదాన్ని మీరు జాబితా చేస్తారు. ప్రతి పదం ఎన్నిసార్లు వచ్చిందో లెక్కిస్తారు. ఇది ఒక ఈమెయిల్ను సంఖ్యల వరుసగా మారుస్తుంది.
ఇందులో లోపం ఏమిటి? ఇది పదాల క్రమాన్ని పట్టించుకోదు. "Dog bites man" మరియు "man bites dog" అనేవి ఈ పద్ధతిలో ఒకేలా కనిపిస్తాయి.
- TF-IDF Bag of Words ప్రతి పదాన్ని ఒకేలా పరిగణిస్తుంది. కానీ "the" అనే పదం "viagra" అంత ముఖ్యమైనది కాదు.
TF-IDF రెండు నియమాలను ఉపయోగిస్తుంది:
- Term Frequency (TF): ఒక ఈమెయిల్లో ఒక పదం ఎన్నిసార్లు కనిపిస్తుంది.
- Inverse Document Frequency (IDF): అన్ని ఈమెయిల్స్లో ఒక పదం ఎంత అరుదుగా ఉంది.
ఈ గణితం "the" వంటి అనవసరమైన పదాల ప్రభావాన్ని తగ్గించి, ముఖ్యమైన మరియు అరుదైన పదాలను హైలైట్ చేస్తుంది.
- Embeddings Bag of Words "money" మరియు "cash" అనేవి సంబంధం లేని పదాలని అనుకుంటుంది. Embeddings దీనిని సరిచేస్తుంది.
ఒక పెద్ద మ్యాప్ను ఊహించుకోండి. ఆ మ్యాప్లో ప్రతి పదం ఒక చుక్క (dot). ఒకే విధమైన అర్థం ఉన్న పదాలు దగ్గర దగ్గరగా ఉంటాయి. "Money" మరియు "cash" పక్కపక్కనే ఉంటాయి. "Banana" మాత్రం చాలా దూరంలో ఉంటుంది.
ఒక పదం ఏ ఇతర పదాలతో కలిసి వస్తుందో చూడటం ద్వారా కంప్యూటర్ ఈ స్థానాలను నేర్చుకుంటుంది. ఒకవేళ "money" మరియు "cash" రెండూ "bank" మరియు "pay" దగ్గర కనిపిస్తే, కంప్యూటర్ వాటిని ఒకదానికొకటి దగ్గరగా ఉంచుతుంది.
- RAG (Retrieval-Augmented Generation) ఇక్కడే ఇవన్నీ కలిసి వస్తాయి.
మీ ఫైల్స్లోని ప్రతి నోట్ మ్యాప్పై ఒక చుక్క అయితే, దగ్గరగా ఉన్న చుక్కలను కనుగొనడం ద్వారా మీరు సమాధానాలను పొందవచ్చు.
RAG ప్రక్రియ:
- ప్రశ్నను ఒక చుక్కగా మార్చండి.
- మ్యాప్పై దగ్గరగా ఉన్న నోట్-చుక్కలను కనుగొనండి.
- ఆ నోట్స్ను ఒక AI కి ఇవ్వండి.
- కేవలం ఆ నోట్స్ను మాత్రమే ఉపయోగించి సమాధానం చెప్పమని AI కి చెప్పండి.
ఇది AI ఊహించి చెప్పడాన్ని లేదా అబద్ధాలు చెప్పడాన్ని నివారిస్తుంది. ఇది AI మీ అసలు డేటాను మాత్రమే ఉపయోగించేలా చేస్తుంది.
నేను ఈ దశలను ఉపయోగించి నా యాప్, Synapse ని నిర్మించాను. నేను ఒకే రోజులో సున్నా నుండి పనిచేసే సిస్టమ్ వరకు చేరుకున్నాను.
పాఠం: చదవడం ఆపండి. ప్రశ్నలు అడగడం ప్రారంభించండి. ఒక కాన్సెప్ట్ను సరళమైన పోలికతో వివరించలేకపోతే, మీకు అది ఇంకా తెలియదని అర్థం. మీకు అర్థమైందని నిరూపించుకోవడానికి ఏదైనా నిర్మించండి.
మూలం: https://dev.to/sabimantock/from-i-understood-nothing-to-building-a-rag-app-4033
ఐచ్ఛిక అభ్యాస సమూహం: https://t.me/GyaanSetuAi