𝗚𝗣𝗧 तुम्ही विचार करता त्यापेक्षाही अधिक करू शकते

GPT मॉडेल्स मजकुरासोबत (text) काम करण्याची आपली पद्धत बदलत आहेत.

ही यात्रा GPT-1 पासून सुरू झाली. त्यातून हे सिद्ध झाले की मशीन सुसंगत वाक्ये लिहू शकतात. त्यानंतर GPT-2 आले आणि या मॉडेल्समध्ये किती क्षमता आहे हे दिसून आले. मग GPT-3 आले. 175 billion पॅरामीटर्ससह, याने हे सिद्ध केले की मॉडेल्स केवळ वाक्य पूर्ण करण्यापेक्षाही अधिक काही करू शकतात.

याचे रहस्य Transformer आर्किटेक्चरमध्ये आहे. ते प्रचंड प्रमाणात डेटा मधून पॅटर्न शिकते. तुम्हाला प्रत्येक नियम प्रोग्राम करण्याची गरज नाही. तुम्ही विशिष्ट कामांसाठी ते fine-tune करू शकता किंवा त्याला मार्गदर्शन करण्यासाठी नैसर्गिक भाषेचा (natural language) वापर करू शकता.

परंतु, ही मॉडेल्स प्रोडक्शनमध्ये चालवणे कठीण आहे.

उच्च लॅटन्सीमुळे (High latency) वापरकर्त्याचा अनुभव खराब होऊ शकतो. आम्ही 64 Nvidia H100 GPUs वर मोठी मॉडेल्स चालवली. त्यातील विलंब (delay) 120ms होता. आमच्या गरजांसाठी हे खूप संथ होते. आम्ही LoRA वापरून 6-billion-parameter च्या लहान मॉडेलकडे वळलो. यामुळे लॅटन्सी 38ms पर्यंत खाली आली. यामुळे आमचे दरमहा $30,000 देखील वाचले. आम्ही कोडिंगची अचूकता थोडी गमावली, पण वेग आणि खर्चाचा विचार करता ते फायदेशीर ठरले.

तुम्हाला पूर्वग्रहांकडेही (biases) लक्ष दिले पाहिजे. GPT इंटरनेटवरून पॅटर्न शिकते. याचा अर्थ असा की ते रूढीवादी विचार (stereotypes) किंवा तथ्यात्मक चुकांची पुनरावृत्ती करू शकते. ते चुकीचे असतानाही आत्मविश्वासाने बोलते.

आम्ही या चुका पकडण्यासाठी एक डेटा पाइपलाइन तयार केली. पूर्वग्रहदूषित भाषा ओळखण्यासाठी आम्ही एक rule engine वापरला. सुरुवातीला, आमचे 4% फ्लॅग्स चुकीचे होते. आम्ही एक लहान validation मॉडेल जोडून ही समस्या सोडवली. यामुळे चुका 1% पेक्षा कमी झाल्या.

खर्च आणि ऊर्जा हे देखील मोठे अडथळे आहेत.

मोठी मॉडेल्स प्रशिक्षित करण्यासाठी लाखो डॉलर्स खर्च होतात. खर्च कमी करण्यासाठी आम्ही quantization वापरतो. 4-bit quantization वापरून, आम्ही प्रति टोकन खर्च $0.00015 वरून $0.00004 पर्यंत कमी केला. एका मोठ्या SaaS प्रॉडक्टसाठी, यामुळे वर्षाला $3 million वाचतात.

भविष्य कार्यक्षमतेकडे (efficiency) झुकत आहे. मॉडेल्स फक्त मोठे करण्याऐवजी, डेव्हलपर्स त्यांना अधिक स्मार्ट आणि लहान बनवत आहेत. आपल्याला अशी मॉडेल्स हवी आहेत जी वेगवान, स्वस्त आणि त्यांना काय माहित नाही याबद्दल प्रामाणिक असतील.

ही साधने शहाणपणाने वापरा. त्यांच्या मर्यादा समजून घ्या. ती उपयुक्त ठेवण्यासाठी guardrails तयार करा.

Source: https://dev.to/lavkeshdwivedi/gpt-does-more-than-you-think-fll

Optional learning community: https://t.me/GyaanSetuAi