Gerçek Zamanlı Analitik İçin Gözlemlenebilirlik Odaklı Bir Veri Hattı Tasarlamak
Gerçek zamanlı analitik sağlayan bir veri hattı oluşturmak istiyorsunuz. Bunu gerçekleştirmek için yüksek hızdaki olayları (events) yönetebilen, bunları düşük gecikmeyle işleyebilen ve operatörlere uygulanabilir içgörüler sunabilen bir sistem tasarlamanız gerekir.
Temel bileşenler şunlardır:
- Veri alım katmanı (Ingest layer): Kafka veya Kinesis gibi akış kaynağı adaptörleri
- İşleme katmanı (Processing layer): toplama (aggregation) ve zenginleştirme (enrichment) için akış işleme (stream processing)
- Depolama katmanı (Storage layer): yeniden oynatılabilirlik (replayability) için değişmez olay deposu (immutable event store) ve analitik için okuma odaklı depolar
- Sunum/sorgu katmanı (Serving/query layer): materyalleştirilmiş görünümler (materialized views) ve önceden toplanmış tablolar
- Gözlemlenebilirlik katmanı (Observability layer): izleme (tracing), metrikler, günlükler (logs), panolar (dashboards) ve uyarı sistemleri (alerting)
Başlamak için gereksinimlerinizi belirleyin:
- Veri alım hızı: saniyede 100 bin olay
- Uçtan uca gecikme: ≤ 300 ms
- Sorgu modelleri: zaman sınırlı toplama işlemleri ve kuyruk gecikmesi (tail latency) için SLO'lar
Gözlemlenebilirlik çıktılarınızı seçin:
- Gecikmeyi ve veri sapmasını (data skew) teşhis etmek için yeterli telemetri
- Kesintiler için hızlı kök neden analizi