AI राउटिंगचा पँडोरा बॉक्स (Pandora Box)
DeepMind ने “Pandora’s Router” सादर केले आहे, जे एक असे फ्रेमवर्क आहे जे मॉडेल-निवड (model-selection) या प्रक्रियेला 'कॉस्ट-अवेअर पँडोरा बॉक्स' (cost-aware Pandora’s-Box) समस्या म्हणून हाताळते. केवळ अशा माहितीसाठी शुल्क आकारून जी प्रत्यक्षात निकाल सुधारते, हे सिस्टम इन्फरन्स खर्च (inference spend) लक्षणीयरीत्या कमी करते आणि त्याच वेळी निकाल सर्वसमावेशक शोधांच्या (exhaustive searches) बरोबरीचे राखते.
मॉडेल-निवड मोफत का नाही?
प्रोडक्शन पाईपलाईन्समध्ये अनेकदा असे मानले जाते की मॉडेल निवडण्याच्या पायरीसाठी कोणताही खर्च येत नाही. प्रत्यक्षात, मॉडेलची उपयुक्तता तपासण्यासाठी कॉम्प्युट (compute), मेमरी आणि कधीकधी बाह्य डेटा कॉल्सचा वापर करावा लागतो. एक जलद आणि अनिश्चित अंदाज स्वस्त असतो पण तो दिशाभूल करू शकतो; तर एक अचूक अंदाज मिळवण्यासाठी सहसा एखादे लहान मॉडेल चालवावे लागते किंवा अतिरिक्त संदर्भ (context) घ्यावा लागतो, ज्यामुळे खर्च वाढतो.
DeepMind चा शोधनिबंध या पेचप्रसंगामुळे नवीन दृष्टिकोन मांडतो. प्रत्येक संभाव्य मॉडेलमध्ये एक "व्हॅल्यू" (value) दडलेली असते – म्हणजेच येणाऱ्या क्वेरीवर त्याची अपेक्षित कामगिरी. हे फ्रेमवर्क एका कंट्रोलरला त्या व्हॅल्यूवर नजर टाकण्यासाठी शुल्क भरण्याची परवानगी देते आणि जेव्हा अधिक माहिती मिळवणे खर्चाच्या दृष्टीने फायदेशीर ठरत नाही, तेव्हा शुल्क देणे थांबवते.
उपायाचे दोन भाग
Pandora’s Router – हे एक मध्यवर्ती इंजिन आहे जे प्रत्येक विनंतीसाठी (request), मॉडेलच्या व्हॅल्यूचा अधिक अचूक अंदाज घेण्यासाठी शुल्क द्यावे की नाही याचा निर्णय घेते. हे एक "रिझर्व्ह प्राईस" (reserve price) म्हणजेच एक मर्यादा ठरवते; ज्या मर्यादेपेक्षा कमी असल्यास चांगल्या अंदाजातून मिळणारा अपेक्षित फायदा शुल्कापेक्षा कमी असतो. जेव्हा अपेक्षित सुधारणा या रिझर्व्ह प्राईसपेक्षा जास्त असते, तेव्हा हे इंजिन ती माहिती खरेदी करते; अन्यथा, ते आधीच उपलब्ध असलेल्या सर्वोत्तम अंदाजासह पुढे जाते.
Pandora’s Bidder – हे मॉडेल मार्केटप्लेससाठी एक विकेंद्रित (decentralized) घटक आहे. स्वतंत्र प्रदाते (providers) बोली (bid) लावण्यापूर्वी स्वतःच्या व्हॅल्यू अंदाजाला अधिक अचूक करण्यासाठी कॉम्प्युट खर्च करायचा की नाही याचा निर्णय घेतात. त्यांची स्वतःची रिझर्व्ह प्राईस हे सुनिश्चित करते की खर्च तेव्हाच केला जावा जेव्हा सुधारित अंदाज जिंकण्याची शक्यता जास्त असेल.
दोन्ही भागांचा मूळ सिद्धांत एकच आहे: अपेक्षित परतावा (payoff) त्याच्या खर्चापेक्षा जास्त असेल तरच माहितीवर खर्च करा.
तीन क्षेत्रांमधील निकाल
लेखकांनी तीन प्रकारच्या कामांवर (workloads) या पद्धतीची चाचणी घेतली:
- गणितीय तर्क (Mathematical reasoning) – विविध अचूकता असलेल्या सॉल्व्हर्समधून निवड करणे.
- रिट्रिव्हल-ऑगमेंटेड जनरेशन (RAG) – विविध नॉलेज-बेस लूकअप स्ट्रॅटेजीजमध्ये निवड करणे.
- मोठ्या प्रमाणावरील एम्बेडिंग मॉडेल्स (Large-scale embedding models) – सिमिलॅरिटी सर्चसाठी सर्वोत्तम एन्कोडर निवडणे.
Pandora’s Router ने प्रत्येक बाबतीत स्टॅटिक राउटिंग नियम आणि ग्रीडी ह्यूरिस्टिक्सना (greedy heuristics) मागे टाकले. कठीण परिस्थितीतही, त्याने बहुतेक तपासणी खर्च टाळून सर्व मॉडेल्सच्या ब्रूट-फोर्स स्कॅनच्या (brute-force scan) दर्जाशी तोडगा काढला. लेखकांनी "तपासणीच्या बहुतेक खर्चात" बचत झाल्याचे सांगितले आहे, ज्याचा अर्थ कॉम्प्युट खर्चात मोठी कपात झाली आहे.
AI इंजिनिअरिंगसाठी याचा अर्थ काय?
- राउटिंग ओव्हरहेडकडे दुर्लक्ष करू नका. कोणते मॉडेल वापरावे हे ठरवण्यासाठी एक मोजता येण्याजोगा खर्च येतो.
- रिझर्व्ह प्राईस लागू करा. अतिरिक्त माहिती मिळवणे शुल्क भरण्याइतपत फायदेशीर आहे की नाही, यासाठी एक स्पष्ट मर्यादा (cutoff) ठरवा.
- कॉस्ट-अवेअर राउटिंगचा अवलंब करा. मॉडेल कॅटलॉग जसजसा वाढत जातो, तसतसा अपेक्षित फायदा आणि खर्च यांचा समतोल राखणारे निर्णय स्तर (decision layer) बजेट नियंत्रणात ठेवण्यास मदत करते.
प्रतिवाद: वाढलेली गुंतागुंत
बिडिंग किंवा राउटिंग लेयर जोडल्यामुळे काही तडजोडी (trade-offs) कराव्या लागतात. रिझर्व्ह प्राईस मोजणारे लॉजिक मेंटेन करणे, शुल्क संरचना (fee structures) मॉनिटर करणे आणि अतिरिक्त कोड पाथमुळे कामात अडथळा (bottleneck) निर्माण होणार नाही याची काळजी घेणे ही टीमची जबाबदारी असते. केवळ काही मोजक्या मॉडेल्सच्या लहान उपयोजनांसाठी (deployments), Pandora’s Router मुळे होणारी बचत ही त्याच्या खर्चापेक्षा कमी असू शकते. हे फ्रेमवर्क असेही गृहीत धरते की चांगल्या अंदाजाचा खर्च ज्ञात आणि स्थिर आहे—असे गृहीतक अस्थिर क्लाउड किंमती किंवा स्पॉट-इन्स्टन्स व्यत्ययामुळे (spot-instance interruptions) चुकू शकते.
निष्कर्ष
मॉडेल-निवड ही एक आर्थिक निर्णय प्रक्रिया म्हणून पहा, मोफत राउटिंग स्टेप म्हणून नाही. Pandora’s Router हे दर्शवते की एक शिस्तबद्ध, कॉस्ट-अवेअर दृष्टिकोन आउटपुटची गुणवत्ता न गमावता अनावश्यक कॉम्प्युट कमी करू शकतो, ज्यामुळे AI सिस्टम स्केलेबल आणि आर्थिकदृष्ट्या शाश्वत राहतात.