ज्या OpenAI API ची सर्वांनी नक्कल केली आहे, ती त्यांनी शिफारस केलेली नाही

Ollama, vLLM आणि LM Studio सारखी बहुतेक स्थानिक मॉडेल टूल्स "OpenAI-compatible" बॅज वापरतात.

पण एक समस्या आहे. बहुतेक लोकांना वाटते की याचा अर्थ एकच विशिष्ट गोष्ट आहे. प्रत्यक्षात, दोन वेगळे फॉरमॅट्स आहेत. एक म्हणजे उद्योगाचा मानक (industry standard) आणि दुसरे म्हणजे OpenAI प्रत्यक्षात तुम्हाला जे वापरण्यास सांगते ते.

याचा तपशील खालीलप्रमाणे आहे.

जुने मानक: Chat Completions API

ही अशी फॉरमॅट आहे ज्याची सर्वांनी नक्कल केली आहे. यामध्ये developer, user आणि assistant सारख्या भूमिकांसह (roles) मेसेजची एक यादी वापरली जाते.

यांच्या दोन मुख्य समस्या आहेत:

  • हे stateless आहे. तुम्हाला प्रत्येक वेळी संपूर्ण संभाषणाचा इतिहास पुन्हा पाठवावा लागतो.
  • हे जड (heavy) आहे. जटिल एजंट्ससाठी, मोठे ट्रान्सक्रिप्ट्स पाठवणे संथ आणि खर्चिक होते.

नवीन मानक: Responses API

OpenAI ने हे मार्च २०२५ मध्ये सादर केले. हे केवळ साध्या चॅटबॉट्ससाठी नाही, तर एजंट्ससाठी डिझाइन केलेले आहे.

हे का चांगले आहे:

  • हे stateful आहे. सर्व्हरला संभाषण लक्षात राहते. तुम्हाला सर्व काही पुन्हा पाठवण्याची गरज नाही.
  • हे reasoning अधिक चांगल्या प्रकारे हाताळते. हे मॉडेलची "chain of thought" सर्व्हरवरच ठेवते.
  • यामध्ये अधिक सुटसुटीत रचना वापरली जाते. हे सूचनांना (instructions) प्रत्यक्ष युजर इनपुटपासून वेगळे करते.

गोंधळ

जेव्हा एखादे टूल "OpenAI-compatible" असल्याचे सांगते, तेव्हा त्याचा अर्थ जवळजवळ नेहमीच असा असतो की ते जुन्या Chat Completions फॉरमॅटला सपोर्ट करते.

उद्योगाने या जुन्या फॉरमॅटभोवती एक प्रचंड इकोसिस्टम तयार केली आहे. ते सर्वत्र उपलब्ध असल्याने, ते डीफॉल्ट बनले. यामुळे एक धोका निर्माण झाला की प्रत्येकजण एका कंपनीच्या खाजगी API ची क्लोन बनवत आहे.

उपाय: Open Responses

हे सुधारण्यासाठी, OpenAI आणि Hugging Face आणि Vercel सारख्या भागीदारांनी Open Responses specification लाँच केले.

API कसे काम करते याचा अंदाज घेण्याऐवजी, डेव्हलपर्सकडे आता एक दस्तऐवजीकरण केलेले (documented) आणि चाचणी घेण्यायोग्य (testable) मानक आहे. यामुळे तुम्हाला किमान कोड बदल करून OpenAI आणि स्थानिक मॉडेल्समध्ये स्विच करणे शक्य होते.

तुम्ही काय केले पाहिजे:

  • जर तुम्ही नवीन प्रोजेक्ट बनवत असाल, तर Responses API वापरा.
  • जर तुम्ही जुने ॲप्स मेंटेन करत असाल, तर Chat Completions दीर्घकाळ सपोर्टेड राहील.
  • खर्च आणि लेटन्सी (latency) वाचवण्यासाठी तुमचे टूल नवीन stateful फॉरमॅटला सपोर्ट करते की नाही हे नेहमी तपासा.

यातील फरक समजल्यामुळे टोकन मोजणी आणि मेसेज स्ट्रक्चरमधील चुका टाळता येतात.

Source: https://dev.to/rlnorthcutt/the-openai-api-everyone-copied-isnt-the-one-openai-recommends-28o8

Optional learning community: https://t.me/GyaanSetuAi