Düşük Gecikmeli Etkinlik Analitiği Mimarisi Oluşturma

Büyük fiziksel mekanlar için veri boru hatları inşa etmek zordur.

20.000 kişilik bir etkinlik, standart bir web uygulamasından farklı sorunlar yaratır. Bir web uygulamasında kullanıcılar farklı zaman dilimlerine yayılır. Bir mekanda ise binlerce insan aynı anda veri sıçramalarına (data spikes) neden olur.

Toplu işleme (batch processing) veya uzun süreli sorgulama (long-polling) gecikmeye neden olur. Kalabalık kontrolünde 15 dakikalık bir gecikme başarısızlıktır. Sorunları durdurmak yerine, eski sorunlara tepki veriyor durumunda kalırsınız.

Saniyenin altında bir hız elde etmek için, uç donanımdan (edge hardware) kontrol panelinize (dashboard) kesintisiz bir akışa ihtiyacınız vardır.

İşte dayanıklı bir telemetri boru hattı için taslak.

Katman 1: Öncelikle Çevrimdışı Uç Bilişim (Offline-First Edge Compute)

5 ms'nin altında bir gecikmeye ihtiyacınız var. Ayrıca ağ kesintilerini de yönetmeniz gerekir. Redis gibi yerel bir bellek içi önbelleğe (in-memory cache) sahip uç düğümler (edge nodes) kullanın. Etkinlik başlamadan önce bulut veritabanınızı bu düğümlere aynalayın (mirror).

Bir katılımcı bir etiketi taradığında, sistem yerel önbelleği kontrol eder. Bu, interneti devre dışı bırakır ve geçişlerin akışını sağlar.

Katman 2: MQTT Aracılığıyla Asenkron Veri Alımı (Asynchronous Ingestion)

Mekan ağları genellikle istikrarsızdır. Hafif (lightweight) olduğu için MQTT kullanın. Uç düğümler, mesajları bir bulut aracıya (cloud broker) yayınlar. Aracı daha sonra verileri veri alım kuyruklarınıza (ingestion queues) yönlendirir.

Katman 3: Full-Duplex WebSockets

Ön yüzünüzün (frontend) güncellemeleri talep etmesine izin vermeyin. API ağ geçidinizle (API gateway) kalıcı bir bağlantı sürdürmek için WebSockets kullanın. Bu, operasyon ekibinin zemin değişikliklerini bir saniyeden kısa sürede görmesini sağlar.

Bu kurulum, ekiplerin kalabalık sıçramalarını veya düşük etkileşimi anında fark etmesini sağlar. Bir darboğaz (bottleneck) oluşmadan önce personeli yeniden yönlendirebilirsiniz.

IoT donanımınızı yoğun kalabalıklar için nasıl optimize ediyorsunuz? Düşüncelerinizi aşağıda paylaşın.

Kaynak: https://dev.to/stampiq/architecting-low-latency-real-time-event-analytics-at-scale-from-edge-rfid-to-websockets-3098