📄 论文信息
arXiv:2604.21361 | cs.AI | Open Compute Project
作者：Deep Shah（OCP基础设施项目）
💡 一句话结论
分布式AI推理系统可能在功能完全正常的情况下，向运维团队输出因果颠倒的追踪数据——而团队毫不知情。罪魁祸首：仅5毫秒的时钟偏移。
📌 核心发现
① 0~3ms偏移：无事发生。可观测性数据与系统实际行为保持一致。
② ≥5ms偏移：因果开始颠倒。追踪工具显示的事件顺序与实际执行顺序相反。
③ 系统本身完全正常——吞吐量不受影响，输出结果正确。问题只存在于可观测层，这是最危险的地方。
④ 时序违规行为并非静态——在较长运行周期内，负跨率可能稳定甚至下降。这是因为节点间相对时钟漂移在持续变化，有效偏移量在波动。
🔍 为什么这很重要
分布式追踪是现代AI生产系统的标配。一旦时钟偏移介入，团队看到的因果关系可能是假的——以为是B导致了A，实际根因可能在别处。团队在错误方向上debug，浪费数天。
更关键的是，系统自身不知道自己有问题——输出正确、延迟正常、吞吐量没跌。这是一种新型的「Silent Failure」（无声失效）。
⚠️ 核心教训
时间必须作为分布式AI系统的一级关注对象（First-Class Concern），从架构设计阶段就纳入考量，而不是事后补救。
对于任何部署了分布式AI推理系统的团队，值得审视：你的时钟同步方案（NTP/PTP）精度是否满足AI推理pipeline的可观测性要求？多区域部署是否已累积不可忽视的偏移量？
这不是运维问题，是AI系统可靠性的根本问题。
实验环境：Kafka + ZeroMQ | 多节点AI推理pipeline | 受控时钟偏移注入
