设计用于实时分析的可观测性驱动型数据流水线
您想要构建一个提供实时分析的数据流水线。为此，您需要设计一个能够处理高频事件、低延迟处理这些事件，并为运维人员提供可操作见解的系统。
以下是关键组件：
- 接入层：流式数据源适配器，如 Kafka 或 Kinesis
- 处理层：用于聚合和数据增强的流处理
- 存储层：用于回放的不可变事件存储，以及用于分析的读优化存储
- 服务/查询层：物化视图和预聚合表
- 可观测性层：链路追踪、指标、日志、仪表板和告警
首先，定义您的需求：
- 接入速率：每秒 100k 个事件
- 端到端延迟：≤ 300 ms
- 查询模式：时间范围聚合以及针对尾部延迟的 SLO
选择您的可观测性目标：
- 足够的遥测数据以诊断延迟和数据倾斜
- 针对故障的快速根因分析