मैंने क्रिप्टो इंफ्रास्ट्रक्चर के लिए एक ओपन बेंचमार्क साइट बनाई है
क्रिप्टो डेटा प्रोवाइडर या RPC चुनना कठिन है। वेंडर्स सबसे कम लेटेंसी (latency) का दावा करते हैं। वे सबसे अच्छे अपटाइम (uptime) का दावा करते हैं। अधिकांश मार्केटिंग नंबरों का उपयोग करते हैं जो वास्तविक प्रदर्शन को छिपा देते हैं। तुलनात्मक पोस्ट अक्सर पेड विज्ञापनों की तरह लगते हैं।
मैंने इसे ठीक करने के लिए OpenChainBench बनाया है। यह पूरी तरह से ओपन सोर्स बेंचमार्क प्लेटफॉर्म है।
यह छह श्रेणियों में 20 से अधिक बेंचमार्क को ट्रैक करता है। यह एक निश्चित कार्यप्रणाली (methodology) का उपयोग करता है। आप रॉ Prometheus metrics को क्वेरी कर सकते हैं। इसमें AI एजेंट्स के लिए एक पब्लिक MCP सर्वर शामिल है।
यह प्रोजेक्ट MIT लाइसेंस प्राप्त है। इसका लक्ष्य क्रिप्टो API स्टैक के लिए एक न्यूट्रल और ऑडिटेड लेयर बनाना है।
यह कैसे काम करता है:
- समान इनपुट: प्रत्येक प्रोवाइडर को एक ही समय में, एक ही क्षेत्र से समान अनुरोध प्राप्त होता है।
- ईमानदार डेटा: हम p50, p90, और p99 लेटेंसी प्रकाशित करते हैं। हम औसत (averages) का उपयोग नहीं करते हैं। एक तेज़ प्रोवाइडर जो 30 प्रतिशत समय विफल हो जाता है, वह यहाँ अच्छा नहीं दिखेगा।
- ऑडिट करने योग्य रन: प्रत्येक बेंचमार्क स्पेसिफिकेशन हमारे रेपो में एक YAML फ़ाइल है। आप स्वयं किसी भी टेस्ट को दोबारा चला सकते हैं।
- कोई चयनात्मक चयन (cherry picking) नहीं: हम उन प्रोवाइडर्स को नहीं हटाते हैं जिनका प्रदर्शन खराब है।
यह साइट इन क्षेत्रों को कवर करती है:
- एग्रीगेटर्स (Aggregators): ब्रिज फीस और कोट लेटेंसी।
- ब्लॉकचेन (Blockchains): L1 फाइनलिटी और गैस सटीकता।
- ब्रिज (Bridges): लेटेंसी और फीस।
- NFT APIs: मेटाडेटा कवरेज।
- RPCs: नेटवर्क कवरेज और क्षमताएं।
- ट्रेडिंग (Trading): API लेटेंसी और डेटा फ्रेशनेस।
आप इस डेटा को अपने स्वयं के टूल्स में ले सकते हैं। हम हर चीज़ के लिए JSON एंडपॉइंट्स प्रदान करते हैं। आप अपनी README फ़ाइलों में लाइव रैंक बैज भी जोड़ सकते हैं।
मैंने एक MCP सर्वर भी बनाया है। यह Claude या Cursor जैसे AI एजेंट्स को लाइव इंफ्रास्ट्रक्चर डेटा पढ़ने की अनुमति देता है। एजेंट्स बेंचमार्क की सूची बना सकते हैं, विवरण प्राप्त कर सकते हैं, या प्रदर्शन आँकड़े खोजने के लिए गार्डेड क्वेरीज़ चला सकते हैं।
आर्किटेक्चर सरल है:
- Vercel पर Next.js।
- Upstash Redis में स्नैपशॉट्स।
- हर 60 सेकंड में डेटा स्वीप करने के लिए Railway पर वर्कर्स।
- डेटा लेयर के लिए Prometheus।
लागत कम है। पारदर्शिता अधिक है।
मैं अकाउंट एब्स्ट्रैक्शन बंडलर (account abstraction bundlers), इंटेंट सॉल्वर (intent solvers), और ZK प्रूफ नेटवर्क को शामिल करने के लिए कवरेज का विस्तार करना चाहता हूँ। मेरा लक्ष्य क्रिप्टो इंफ्रास्ट्रक्चर का 'Consumer Reports' बनना है।
कोड ओपन है। डेटा ओपन है। आपको मेरी बात पर भरोसा करने की ज़रूरत नहीं है।
इसे यहाँ देखें:
Site: openchainbench.com Methodology: openchainbench.com/methodology API: openchainbench.com/api/openapi.json MCP server: openchainbench.com/api/mcp/mcp GitHub: github.com/ChainBench/OpenChainBench
यदि आप ऐसे टूल्स बनाते हैं जो किसी चेन के साथ इंटरैक्ट करते हैं, तो मुझे बताएं कि आप किन चीजों का बेंचमार्क देखना चाहते हैं।