लो-लेटेंसी इवेंट एनालिटिक्स का आर्किटेक्चर

बड़े भौतिक स्थानों (physical venues) के लिए डेटा पाइपलाइन बनाना कठिन है।

20,000 लोगों का इवेंट एक मानक वेब ऐप की तुलना में अलग तरह की समस्याएँ पैदा करता है। एक वेब ऐप में, उपयोगकर्ता अलग-अलग टाइम ज़ोन में फैले होते हैं। वहीं एक वेन्यू में, हज़ारों लोग एक ही समय में डेटा स्पाइक्स (data spikes) पैदा करते हैं।

बैच प्रोसेसिंग (Batch processing) या लॉन्ग-पोलिंग (long-polling) से लैग (lag) हो सकता है। भीड़ नियंत्रण (crowd control) में, 15 मिनट की देरी भी विफलता है। आप समस्याओं को रोकने के बजाय, पुरानी समस्याओं पर प्रतिक्रिया देने लगते हैं।

सब-सेकंड (sub-second) गति प्राप्त करने के लिए, आपको एज हार्डवेयर (edge hardware) से अपने डैशबोर्ड तक एक निरंतर स्ट्रीम की आवश्यकता होती है।

यहाँ एक लचीली (resilient) टेलीमेट्री पाइपलाइन का ब्लूप्रिंट दिया गया है।

लेयर 1: ऑफलाइन-फर्स्ट एज कंप्यूट (Offline-First Edge Compute)

आपको 5ms से कम की लेटेंसी की आवश्यकता है। आपको नेटवर्क ड्रॉप्स को भी संभालना होगा। Redis जैसे लोकल इन-मेमोरी कैश (in-memory cache) वाले एज नोड्स का उपयोग करें। इवेंट शुरू होने से पहले अपने क्लाउड डेटाबेस को इन नोड्स पर मिरर कर लें।

जब कोई प्रतिभागी टैग स्कैन करता है, तो सिस्टम लोकल कैश की जाँच करता है। यह इंटरनेट को बायपास करता है और गेट्स के सुचारू संचालन को सुनिश्चित करता है।

लेयर 2: MQTT के माध्यम से एसिंक्रोनस इंजेक्शन (Asynchronous Ingestion)

वेन्यू नेटवर्क अक्सर अस्थिर होते हैं। MQTT का उपयोग करें क्योंकि यह लाइटवेट (lightweight) है। एज नोड्स क्लाउड ब्रोकर को मैसेज पब्लिश करते हैं। इसके बाद ब्रोकर डेटा को आपके इंजेक्शन क्यूज़ (ingestion queues) तक रूट करता है।

लेयर 3: फुल-डुप्लेक्स वेबसॉकेट्स (Full-Duplex WebSockets)

अपने फ्रंटएंड को अपडेट के लिए रिक्वेस्ट न करने दें। अपने API गेटवे के साथ एक निरंतर कनेक्शन बनाए रखने के लिए WebSockets का उपयोग करें। इससे यह सुनिश्चित होता है कि ऑपरेशंस टीम एक सेकंड से भी कम समय में फ्लोर में होने वाले बदलावों को देख सके।

यह सेटअप टीमों को भीड़ के अचानक बढ़ने (crowd spikes) या कम जुड़ाव (low engagement) को तुरंत पहचानने की अनुमति देता है। आप बाधा (bottleneck) बनने से पहले ही स्टाफ को रीडायरेक्ट कर सकते हैं।

आप घनी भीड़ के लिए अपने IoT हार्डवेयर को कैसे ऑप्टिमाइज़ करते हैं? अपने विचार नीचे साझा करें।

स्रोत: https://dev.to/stampiq/architecting-low-latency-real-time-event-analytics-at-scale-from-edge-rfid-to-websockets-3098