تعمیراتی خاکہ: مقامات کے لیے کم لیٹنسی (Low-Latency) اینالیٹکس
کسی لائیو ایونٹ میں 20,000 لوگوں کا ڈیٹا سنبھالنا ویب ایپ بنانے جیسا نہیں ہے۔
ویب ایپس میں، صارفین مختلف ٹائم زونز میں پھیلے ہوتے ہیں۔ بڑے مقامات پر، ہزاروں لوگ ایک ہی وقت میں ڈیٹا کا بڑا ریلا (massive data bursts) پیدا کرتے ہیں۔ صبح کے رش کا وقت ایک عام سسٹم کو مفلوج کر سکتا ہے۔
اگر آپ بیچ پروسیسنگ (batch processing) یا لانگ پولنگ (long-polling) کا استعمال کرتے ہیں، تو آپ کا ڈیٹا دیر سے پہنچتا ہے۔ ہجوم کے کنٹرول میں، 15 منٹ کی تاخیر بھی ناکامی ہے۔ آپ ہجوم کی رکاوٹ کو صرف اس وقت دیکھ سکیں گے جب وہ ہو چکی ہو۔
آپ کو سیکنڈ کے ایک حصے سے بھی کم وقت میں اپ ڈیٹس کی ضرورت ہے۔ آپ کو ایج (edge) سے اپنے ڈیش بورڈ تک ایک اسٹریمنگ پائپ لائن بنانی ہوگی۔
یہ وہ آرکیٹیکچر ہے جس کی آپ کو ضرورت ہے:
- ایج لیئر (Ingestion) ہر داخلی راستے پر ایک انڈسٹریل ایج نوڈ (industrial edge node) لگائیں۔ اسے سیریل بس (serial bus) کے ذریعے RFID ریڈرز سے جوڑیں۔
فوری فیصلوں کے لیے کلاؤڈ پر بھروسہ نہ کریں۔ ایج نوڈ پر Redis جیسا مقامی ان میموری ڈیٹا بیس استعمال کریں۔ یہ سسٹم کو 5ms سے بھی کم وقت میں اجازت (permissions) چیک کرنے کی اجازت دیتا ہے۔ اگر مقام کا انٹرنیٹ بند بھی ہو جائے، تو گیٹ کام کرتے رہیں گے۔
- ٹرانسپورٹ لیئر (MQTT) ایج ہارڈ ویئر کے لیے HTTP REST اینڈ پوائنٹس کا استعمال بند کریں۔ ہزاروں چھوٹے اسکینز کے لیے HTTP میں بہت زیادہ اوور ہیڈ (overhead) ہوتا ہے۔
اس کے بجائے MQTT استعمال کریں۔ یہ کم سے کم پیکٹ سائز استعمال کرتا ہے اور ایک مستقل کنکشن برقرار رکھتا ہے۔ یہ غیر مستحکم نیٹ ورکس پر بھی کام کرتا ہے۔ ایج نوڈز کمپریسڈ ڈیٹا کو کلاؤڈ بروکر پر بھیجتے ہیں۔ بروکر ان ایونٹس کو فوری طور پر آپ کے ورکرز تک پہنچا دیتا ہے۔
- ویژول لیئر (WebSockets) آپ کی آپریشنز ٹیم کو تبدیلیاں اسی وقت نظر آنی چاہئیں جب وہ ہو رہی ہوں۔ براؤزر کو API کے ذریعے اپ ڈیٹس مانگنے پر مجبور نہ کریں۔
فل ڈپلیکس (full-duplex) کنکشن کے لیے WebSockets استعمال کریں۔ یہ ڈیٹا کو فوری طور پر ڈیش بورڈ پر بھیجتا ہے۔ جب کوئی ہال بہت زیادہ پرہجوم ہو جاتا ہے، تو ٹیم اسے ایک سیکنڈ سے بھی کم وقت میں دیکھ لیتی ہے۔ اس کے بعد وہ بہاؤ کو درست کرنے کے لیے عملہ منتقل کر سکتے ہیں یا ڈیجیٹل سائنز کو اپ ڈیٹ کر سکتے ہیں۔
اسٹیک کا خلاصہ:
- Edge: Local Redis + Industrial PC
- Transport: MQTT (EMQX یا HiveMQ)
- Frontend: ریئل ٹائم UI کے لیے WebSockets
آپ اپنے IoT سیٹ اپس میں گنجان ہجوم کے ڈیٹا کو کیسے سنبھالتے ہیں؟ آئیے نیچے انفراسٹرکچر پر بحث کرتے ہیں۔