一位正在测试语音路由系统的开发人员添加了一个临时隔离机制，在发生故障后，强制下一次通话在 300 秒内使用不同的路径。这一调整阻止了软件重复尝试同一条损坏的路由，从而降低了发生级联故障的可能性。
为什么旧逻辑是个问题
原有的路由器遵循一条僵化的规则：当工作站忙碌时，它只是简单地再次尝试同一条路径。如果该路径持续失败，系统会记录错误，但从不改变其行为。在实践中，由于软件不断在同一个死胡同里循环，单个故障点可能会持续阻塞通话。
新的隔离机制
更新增加了三个约束条件：
- 非永久性 – 隔离标记会在短时间窗口后过期。
- 非全局性 – 它仅适用于发生故障的特定路径，而非所有路由。
- 有限内存 – 系统将故障记录在本地文件中，一旦新路径成功，就会将其清除。
当语音尝试失败时，路由器会为该路径写入一个“已隔离”标志。在接下来的 300 秒内，任何传入的请求都会自动重新路由到备选路径。一旦请求在另一条路由上成功，该标志就会清除，确保修复措施不会停留超过必要的时间。
收益与权衡
主要的收益是韧性：瞬时故障不再会导致整个服务瘫痪。通过将隔离限制在五分钟内，系统在避免长期服务中断的同时，仍为网络恢复留出了时间。
这种方法也带有风险。短暂的网络波动可能会触发隔离，迫使通话走上较差的路由，从而增加延迟或成本。如果备选路径也发生退化，系统可能会在不同路由之间来回切换，导致不稳定。运维人员需要能够直观地看到隔离标记，以判断重新路由是刻意为之，还是更深层次问题的征兆。
后续关注点
- 指标：监控隔离的频率和持续时间，以观察 300 秒的时间窗口是否合适。
- 范围：团队可能会尝试将此逻辑扩展到其他受静态重试模式影响的服务。
- 自动化：当路径反复进入隔离状态时添加警报，以便在用户察觉问题之前提示进行主动维护。
核心教训很简单：一个不记录近期故障的系统无法适应不断变化的环境。通过使故障历史可见并对其采取（临时的）行动，工程师可以在无需进行全面重新设计的情况下，保持语音服务的平稳运行。
来源：dev.to 上的原始开发者帖子。