నేను క్రిప్టో ఇన్ఫ్రాస్ట్రక్చర్ కోసం ఒక ఓపెన్ బెంచ్మార్క్ సైట్ను రూపొందించాను
క్రిప్టో డేటా ప్రొవైడర్ లేదా RPCని ఎంచుకోవడం కష్టమైన పని. వెండర్లు తక్కువ లాటెన్సీ (latency) ఉన్నామని చెబుతారు. ఉత్తమ అప్టైమ్ (uptime) తమదేనని వాదిస్తారు. చాలామంది వాస్తవ పనితీరును దాచే మార్కెటింగ్ నంబర్లను ఉపయోగిస్తారు. పోలిక పోస్ట్లు తరచుగా పెయిడ్ యాడ్స్ (paid ads) లాగే కనిపిస్తాయి.
దీనిని పరిష్కరించడానికి నేను OpenChainBenchని రూపొందించాను. ఇది పూర్తిగా ఓపెన్ సోర్స్ బెంచ్మార్క్ ప్లాట్ఫారమ్.
ఇది ఆరు కేటగిరీలలో 20 కంటే ఎక్కువ బెంచ్మార్క్లను ట్రాక్ చేస్తుంది. ఇది ఒక స్థిరమైన మెథడాలజీని (methodology) ఉపయోగిస్తుంది. మీరు రా (raw) Prometheus మెట్రిక్స్ను క్వెరీ చేయవచ్చు. ఇందులో AI ఏజెంట్ల కోసం ఒక పబ్లిక్ MCP సర్వర్ కూడా ఉంది.
ఈ ప్రాజెక్ట్ MIT లైసెన్స్ను కలిగి ఉంది. క్రిప్టో API స్టాక్ కోసం ఒక తటస్థ (neutral), ఆడిట్ చేయబడిన లేయర్ను అందించడమే దీని లక్ష్యం.
ఇది ఎలా పనిచేస్తుంది:
- ఒకే రకమైన ఇన్పుట్లు: ప్రతి ప్రొవైడర్కు ఒకే ప్రాంతం నుండి, ఒకే సమయంలో ఒకే రకమైన రిక్వెస్ట్ అందుతుంది.
- నిజాయితీతో కూడిన డేటా: మేము p50, p90, మరియు p99 లాటెన్సీని ప్రచురిస్తాము. మేము సగటులను (averages) ఉపయోగించము. 30 శాతం సమయం విఫలమయ్యే వేగవంతమైన ప్రొవైడర్ ఇక్కడ మంచి ఫలితాలను చూపించలేదు.
- ఆడిట్ చేయదగిన రన్లు: ప్రతి బెంచ్మార్క్ స్పెక్ మా రిపో (repo)లో ఒక YAML ఫైల్. మీరు ఏ టెస్ట్నైనా స్వయంగా మళ్ళీ రన్ చేయవచ్చు.
- అనుకూలమైన వాటినే ఎంచుకోము (No cherry picking): తక్కువ పనితీరు కనబరిచే ప్రొవైడర్లను మేము తొలగించము.
ఈ సైట్ ఈ క్రింది అంశాలను కవర్ చేస్తుంది:
- అగ్రిగేటర్లు (Aggregators): బ్రిడ్జ్ ఫీజులు మరియు కోట్ లాటెన్సీ.
- బ్లాక్చైన్లు: L1 ఫైనాలిటీ మరియు గ్యాస్ ఖచ్చితత్వం.
- బ్రిడ్జెస్: లాటెన్సీ మరియు ఫీజులు.
- NFT APIs: మెటాడేటా కవరేజ్.
- RPCలు: నెట్వర్క్ కవరేజ్ మరియు సామర్థ్యాలు.
- ట్రేడింగ్: API లాటెన్సీ మరియు డేటా ఫ్రెష్నెస్.
మీరు ఈ డేటాను మీ స్వంత టూల్స్లోకి తీసుకోవచ్చు. మేము ప్రతిదానికీ JSON ఎండ్పాయింట్లను అందిస్తాము. మీరు మీ README ఫైల్లకు లైవ్ ర్యాంక్ బ్యాడ్జ్లను కూడా జోడించవచ్చు.
నేను ఒక MCP సర్వర్ను కూడా రూపొందించాను. ఇది Claude లేదా Cursor వంటి AI ఏజెంట్లు లైవ్ ఇన్ఫ్రాస్ట్రక్చర్ డేటాను చదవడానికి అనుమతిస్తుంది. ఏజెంట్లు బెంచ్మార్క్లను జాబితా చేయవచ్చు, వివరాలను పొందవచ్చు లేదా పనితీరు గణాంకాలను కనుగొనడానికి గార్డెడ్ క్వెరీలను (guarded queries) రన్ చేయవచ్చు.
దీని ఆర్కిటెక్చర్ సరళంగా ఉంటుంది:
- Vercel పై Next.js.
- Upstash Redisలో స్నాప్షాట్లు.
- ప్రతి 60 సెకన్లకు డేటాను స్వీప్ చేయడానికి Railway పై వర్కర్లు.
- డేటా లేయర్ కోసం Prometheus.
ఖర్చు తక్కువ. పారదర్శకత ఎక్కువ.
అకౌంట్ అబ్స్ట్రాక్షన్ బండలర్లు (account abstraction bundlers), ఇంటెంట్ సాల్వర్లు (intent solvers) మరియు ZK ప్రూఫ్ నెట్వర్క్లను కూడా కవర్ చేసేలా విస్తరించాలని నేను అనుకుంటున్నాను. క్రిప్టో ఇన్ఫ్రాస్ట్రక్చర్ యొక్క "Consumer Reports"గా మారడమే నా లక్ష్యం.
కోడ్ ఓపెన్. డేటా ఓపెన్. మీరు నన్ను నమ్మాల్సిన అవసరం లేదు, నేరుగా చూసి తెలుసుకోవచ్చు.
ఇక్కడ చూడండి:
Site: openchainbench.com Methodology: openchainbench.com/methodology API: openchainbench.com/api/openapi.json MCP server: openchainbench.com/api/mcp/mcp GitHub: github.com/ChainBench/OpenChainBench
మీరు ఒక చైన్తో (chain) సంభాషించే సాధనాలను (tools) నిర్మిస్తే, మీరు దేనిని బెంచ్మార్క్ (benchmarked) చేయాలనుకుంటున్నారో నాకు చెప్పండి.