WebFPGA सह ब्राउझरमध्ये TinyML वेगवान करा

एक नवीन ओपन-सोर्स फ्रेमवर्क, WebFPGA, डेव्हलपर्सना १० ms पेक्षा कमी वेळात थेट वेब पेजवरून TinyML इन्फरन्स (inference) चालवण्याची सुविधा देते. हे USB-कनेक्टेड FPGA वापरते जे केवळ काही मिलीवॅट्स वीज वापरते आणि डेटाचा प्रत्येक बाईट उपकरणावरच सुरक्षित ठेवते.

TinyML मॉडेल्स—मायक्रो-कंट्रोलर्सवर चालणारे लहान न्यूरल नेटवर्क्स—आता ऑन-डिव्हाइस AI साठी डीफॉल्ट बनले आहेत. तरीही, जेव्हा डेव्हलपर्स इन्फरन्स ब्राउझरमध्ये नेण्याचा प्रयत्न करतात, तेव्हा त्यांना वेग, वीज आणि गोपनीयता (privacy) यांचा समतोल साधावा लागतो. पारंपारिक मार्ग WebGPU वर अवलंबून असतात, जे ग्राफिक्स प्रोसेसरवर चालते, किंवा क्लाउड सेवांवर अवलंबून असतात ज्या डेटा उपकरणाबाहेर पाठवतात. या दोन्ही पद्धतींमुळे लॅटन्सी (latency) वाढते, अधिक ऊर्जा खर्च होते आणि कच्चा डेटा (raw inputs) रिमोट सर्व्हरवर उघड होतो.

WebFPGA या समस्या दूर करते. ब्राउझर WebUSB API द्वारे थेट FPGA शी संवाद साधतो. हे API एका FTDI USB-to-serial कंट्रोलरशी संवाद साधते, जो Lattice iCE40-UP5K चिप प्रोग्राम करतो. बिटस्ट्रीम (bitstream) लोड झाल्यानंतर, FPGA एक TinyML रनटाइम चालवते जो पूर्णपणे हार्डवेअर अ‍ॅक्सिलरेटरवर मॉडेल कार्यान्वित करतो. डेव्हलपरच्या दृष्टीने, एक सिंगल JavaScript कॉल .bit फाईल लोड करतो आणि इनपुट टेन्सर्स (input tensors) स्ट्रीम करतो.

आकडेवारीची तुलना

  • WebFPGA: ४ ms लॅटन्सी, ~३० mW पॉवर, होस्टवरून कोणताही डेटा बाहेर जात नाही.
  • WebGPU: १२ ms लॅटन्सी, ~२०० mW, CPU/GPU अजूनही डेटा पाथचा काही भाग हाताळतात, त्यामुळे काही प्रमाणात डेटा उघड राहतो.
  • Cloud inference: ८० ms लॅटन्सी, नेटवर्क स्टॅक चालत असताना ~५०० mW, आणि प्रत्येक सॅम्पल रिमोट सर्व्हरकडे पाठवला जातो.

जिथे प्रत्येक मिलिसेकंद महत्त्वाचा असतो आणि बॅटरी लाईफ मर्यादित असते, अशा परिस्थितीसाठी हे आकडे स्पष्ट पुरावा देतात.

वास्तविक जगातील परिस्थिती

  1. Voice assistants ६ ms पेक्षा कमी वेळात प्रतिसाद देतात, ऑडिओ कधीही उपकरणाबाहेर पाठवत नाहीत.
  2. Industrial sensor monitoring इंटरनेट नसलेल्या आणि वेगळ्या मशीनवरही, विसंगती (anomalies) दिसताच लगेच सूचित करते.
  3. On-the-fly image filters १० ms पेक्षा कमी वेळात लागू होतात, ज्यामुळे UI रेंडरिंगसाठी CPU मोकळा राहतो.

सुरुवात कशी करावी

  1. ओपन-सोर्स टूलचेन इंस्टॉल करा: Yosys (synthesis), nextpnr-ice40 (place-and-route), आणि icepack (bitstream generation).
  2. tinyml-conv युटिलिटी वापरून TensorFlow Lite मॉडेल (.tflite) Verilog मध्ये रूपांतरित करा.
  3. सिंथेसिस (synthesis) चालवा आणि iCE40-UP5K साठी .bit फाईल तयार करा.
  4. वेब पेजवर webfpga.js समाविष्ट करा; एक सिंगल JavaScript कॉल WebUSB द्वारे बिटस्ट्रीम लोड करतो आणि इन्फरन्स डेटा स्ट्रीम करतो.

ही कार्यप्रणाली (workflow) सध्याच्या FPGA डेव्हलपमेंट पाइपलाइनसारखीच आहे, परंतु शेवटच्या पायरीसाठी फक्त एक मानक वेब ब्राउझर आणि USB केबल लागते—कोणतेही प्रोप्रायटरी ड्रायव्हर्स किंवा जड (heavyweight) SDKs ची गरज नाही.

काही डेव्हलपर्स अजूनही WebGPU किंवा क्लाउड का निवडू शकतात

लॅपटॉप आणि डेस्कटॉपवर WebGPU ला व्यापक हार्डवेअर सपोर्ट मिळतो आणि त्याच्या इकोसिस्टममध्ये आधीच प्रगत ग्राफिक्स ड्रायव्हर्स आणि टूल्स उपलब्ध आहेत.

WebFPGA हे दर्शवते की ब्राउझर केवळ UI लेयरपेक्षा अधिक काही असू शकतो; तो अल्ट्रा-लो-लॅटन्सी, गोपनीयता-जपणारे AI हार्डवेअरचे प्रवेशद्वार बनू शकतो. ज्या ॲप्लिकेशन्समध्ये प्रत्येक मिलिसेकंद महत्त्वाचा असतो आणि डेटा स्थानिक (local) ठेवणे आवश्यक असते, त्यांच्यासाठी हे फ्रेमवर्क GPU-केंद्रित किंवा क्लाउड-केंद्रित इन्फरन्स पाइपलाइनला एक उत्तम पर्याय देते.