ఒక డెవలపర్ 350 మిలియన్ పారామీటర్ల లాంగ్వేజ్ మోడల్ను తీసుకుని, దానిని ఫైన్-ట్యూన్ చేసి, ఏ ఆధునిక వెబ్ బ్రౌజర్లోనైనా నడిచే పూర్తి స్థాయి AI అసిస్టెంట్గా మోహరించారు—దీనికి సర్వర్ కాల్స్, API కీలు లేదా క్లౌడ్ బిల్లు అవసరం లేదు.
ఈ ప్రాజెక్ట్ మోడల్ వెయిట్స్ను (weights) ఒక స్టాటిక్ వెబ్పేజీతో పాటు అందిస్తుంది, దీనివల్ల ఏజెంట్ టూల్స్ను ఎంచుకోవడం, ఆర్గ్యుమెంట్లను బైండ్ చేయడం, “రెండవది” వంటి రిఫరెన్స్లను అర్థం చేసుకోవడం మరియు సమాచారం లేనప్పుడు సమాధానం చెప్పడానికి నిరాకరించడం వంటివి చేయగలదు—ఇదంతా మీ డేటా మీ స్వంత పరికరంలోనే ఉన్నప్పుడు జరుగుతుంది.
బ్రౌజర్ ఆధారిత ఏజెంట్ను ఎలా నిర్మించారు
దీనికి ప్రారంభ బిందువు LiquidAI యొక్క LFM2.5 ఫ్యామిలీ, ప్రత్యేకించి 230M మరియు 350M పారామీటర్ వేరియంట్లు.
మోడల్లోకి ప్రొడక్ట్ క్యాటలాగ్లు లేదా ధరల పట్టికలను నింపడానికి బదులుగా, ట్రైనర్ దానికి ఇంటరాక్షన్ పాటర్న్స్ను (patterns) నేర్పించారు. ఏజెంట్కు ఎప్పుడూ నిర్దిష్ట SKU గురించి తెలియదు; అది ఈ క్రింది పద్ధతులను నేర్చుకుంటుంది:
- ఒక నిర్దిష్ట అభ్యర్థన కోసం తగిన టూల్ను ఎంచుకోవడం.
- ఆ టూల్కు సరైన ఆర్గ్యుమెంట్లు మరియు ఐడెంటిఫైయర్లను బైండ్ చేయడం.
- అస్పష్టమైన రిఫరెన్స్లను (“డజన్,” “రెండవది”) అర్థం చేసుకోవడం.
- బాహ్య వచనాన్ని (external text) తీసుకుని ప్రశ్నలకు సమాధానం ఇవ్వడానికి ఉపయోగించడం.
- అవసరమైన సమాచారం లేనప్పుడు నిరాకరించడం.
- సంభాషణను అంశంపైనే ఉంచడం.
టూల్సెట్ కావాలనే స్టాటిక్గా ఉంచబడింది: list_items, get_item, search_knowledge, add_to_cart, remove_from_cart, clear_cart, checkout, మరియు navigate. ఈ జాబితాను స్థిరంగా ఉంచడం వల్ల మోడల్ టూల్ IDలను గుర్తుంచుకోకుండా నిరోధించవచ్చు మరియు ఫైన్-ట్యూనింగ్ డేటాను తక్కువగా ఉంచవచ్చు.
సిస్టమ్ను లైట్వెయిట్గా ఉంచడానికి మూడు ఇంజనీరింగ్ ఎంపికలు ఉన్నాయి:
- స్థిరమైన టూల్ జాబితా (Frozen tool roster) – మోడల్ ఒక నిర్ణీత చర్యల జాబితాను మాత్రమే చూస్తుంది, కాబట్టి దానికి టూల్ పేర్ల కోసం పెద్ద వొకాబులరీ అవసరం లేదు.
- టూల్గా RAG – Retrieval-augmented generation (RAG) అనేది ఇతర ఫంక్షన్ల వలె పనిచేస్తుంది. ఏజెంట్ వచనాన్ని పొందడానికి
search_knowledgeని పిలుస్తుంది, ఆపై ఆ వచనాన్ని నేరుగా తన సమాధానంలో చేరుస్తుంది, దీనివల్ల లేటెన్సీ మరియు మెమరీ భారాన్ని పెంచే విడిగా ఉండే రిట్రీవల్ పైప్లైన్ను నివారించవచ్చు. - గ్రామర్-కన్స్ట్రెయిన్డ్ డీకోడింగ్ (Grammar-constrained decoding) – జనరేషన్ సమయంలో డీకోడర్ ఒక సాధారణ వ్యాకరణాన్ని (grammar) అనుసరిస్తుంది, ఇది అవుట్పుట్ను సరైన టూల్-కాల్ స్ట్రక్చర్లోకి మారుస్తుంది. ఈ పరిమితి అనవసరమైన టోకెన్లను తొలగిస్తుంది మరియు తప్పుగా ఉండే కమాండ్లను తగ్గిస్తుంది.
శిక్షణ కోసం సింథటిక్ డేటా డిస్టిలేషన్ను ఉపయోగించారు. రచయిత 18 ఇంటరాక్షన్ రెసిపీలను నిర్వచించారు, ప్రతిదీ ఒక సాధారణ యూజర్-అసిస్టెంట్ సంభాషణను వివరిస్తుంది. ఒక పెద్ద “టీచర్” మోడల్ నేచురల్-లాంగ్వేజ్ భాగాన్ని రూపొందించగా, ఒక డిటర్మినిస్టిక్ స్క్రిప్ట్ ఖచ్చితమైన టూల్-కాల్ ఫార్మాట్ను రూపొందించింది. ఈ ఫైన్-ట్యూనింగ్ ప్రక్రియ సుమారు 30 మిలియన్ టోకెన్లను ఉపయోగించింది మరియు 16 GB మెమరీ ఉన్న ఒకే ఒక GPUలో సరిపోయింది.
ఆన్-డివైస్ (On-device) ఎందుకు ముఖ్యం
- ప్రైవసీ (Privacy) – యూజర్ ప్రాంప్ట్లన్నీ బ్రౌజర్ మెమరీలోనే ఉంటాయి. పరికరం నుండి ఎటువంటి టెలిమెట్రీ బయటకు వెళ్లదు, ఇది సున్నితమైన ప్రశ్నలకు చాలా ముఖ్యం.
- ఆఫ్లైన్ సామర్థ్యం (Offline capability) – మోడల్ లోకల్గా క్యాష్ చేయబడినందున, ఇంటర్నెట్ కనెక్షన్ లేకుండానే అసిస్టెంట్ పనిచేస్తుంది, ఇది ఫీల్డ్ వర్క్ లేదా ప్రయాణాల సమయంలో ఉపయోగపడుతుంది.
- ఖర్చు (Cost) – స్టాటిక్ మోడల్ ఫైల్లను అందించడం వల్ల, పదేపదే GPU-ఆధారిత ఇన్ఫరెన్స్ సర్వర్లు లేదా ప్రతి కాల్కు అయ్యే API ఫీజుల అవసరం ఉండదు.
- యాక్సెసిబిలిటీ (Accessibility) – తక్కువ సామర్థ్యం ఉన్న పరికరాలపై కూడా సంక్లిష్టమైన వెబ్ ఇంటర్ఫేస్లను వాయిస్ ద్వారా నావిగేట్ చేయడం సాధ్యమవుతుంది, తద్వారా సహాయక సాంకేతికత (assistive technology) పై ఆధారపడే వినియోగదారులకు వెబ్ అప్లికేషన్ల పరిధి విస్తరిస్తుంది.
ఈ ప్రయోజనాలు చర్చను “ఒక భారీ మోడల్ దీనికి సమాధానం చెప్పగలదా?” నుండి “ఉపయోగకరమైన సహాయాన్ని అందిస్తూనే, ఒక మోడల్ ఎంత చిన్నదిగా ఉండగలదు?” అనే దిశగా మారుస్తాయి.
సంభావ్య పరిమితులు (Potential limitations)
ఈ పరిమాణం ఉన్న మోడల్ ఎన్సైక్లోపీడిక్ వాస్తవాలను గుర్తుంచుకోలేదు. వినియోగదారుడు ఒక నిర్దిష్ట ఉత్పత్తి ధర లేదా ఇటీవలి వార్తా శీర్షిక గురించి అడిగినప్పుడు, అసిస్టెంట్ search_knowledge ద్వారా సమాచారాన్ని పొందుతుంది లేదా మర్యాదగా నిరాకరిస్తుంది. ఈ డిజైన్ ప్రైవసీని రక్షిస్తుంది, కానీ వ్యవస్థను దాని బాహ్య జ్ఞాన వనరు యొక్క నాణ్యత మరియు తాజాదనంపై ఆధారపడేలా చేస్తుంది.
తదుపరి ఏమి చూడాలి
పబ్లిక్ డెమో ఒక సాధారణ GitHub Pages URLలో అందుబాటులో ఉంది మరియు సోర్స్ కోడ్ బహిరంగంగా అందుబాటులో ఉంది.
ముఖ్య అంశం (Takeaway): ఒక మధ్యస్థ పరిమాణ LLMకి కఠినమైన టూల్ గ్రామర్ను అనుసరించడం నేర్పడం మరియు రిట్రీవల్ను మరొక ఫంక్షన్గా పరిగణించడం ద్వారా, డెవలపర్లు పూర్తిగా బ్రౌజర్లోనే ఉండే ఉపయోగకరమైన AI అసిస్టెంట్ను అందించగలరు—ఇది ప్రధాన సంభాషణా సామర్థ్యాలను కోల్పోకుండానే ప్రైవసీ, ఆఫ్లైన్ వినియోగం మరియు సున్నా క్లౌడ్ ఖర్చును అందిస్తుంది.