设计以可观测性为先的数据平台
构建一个随着规模和复杂性增长而保持可靠的现代数据平台，需要具备“以可观测性为先”的思维方式。你需要设计一个能够摄取、处理、存储和查询大规模事件流的数据平台。
以下是关键组件：
- 接入：从多个源摄取流式事件
- 处理：轻量级转换与富化
- 存储：针对不同工作负载优化的热存储与冷存储
- 访问：面向下游系统的查询与分析 API
- 可观测性：对数据质量、延迟和系统健康状况的深度可见性
你可以使用这些组件构建端到端的数据平台。从“零日”开始就强调可观测性：指标、链路追踪、日志和数据血缘。提供务实的指导、示例代码和部署方面的考量。
一些关键要点：
- 使用具有向后兼容策略的紧凑且可演进的模式
- 维护一个带有版本化模式和兼容性检查器的中央注册表
- 捕获“源 -> 处理 -> 存储”的映射关系，并将血缘元数据附加到事件中