大数据架构师必懂的5大实时计算技术要点

　　去年十一前夜，凌晨两点十七分，测试环境里那个 Flink 作业突然开始吞 offset——不是卡住，是吃进去、不吐、还假装消费成功。我盯着 Grafana 里 lag 曲线往下掉，心里发毛，这不像背压，像在演戏。张工趴在桌上改 checkpoint 配置，键盘上有个键按下去不回弹，空格键，他按了七次才敲出一个词。我截图发群里，李婷直接回“先切 Kafka 手动提交”，没等我敲字，她已经 ssh 进去 exec 了。结果呢？切完十秒，lag 暴涨到 200 万。这时候我才想起来——Flink 1.15 默认启用了 unaligned checkpoints，而我们用的 RocksDB backend 在高吞吐下会偷偷跳过部分 state 更新。我原以为只是配置调得急，结果是整个重启语义崩了。

　　白板上的数字擦了一半，“98.3%”剩个“98.”，后面那个小数点像句号。会议室又被占了，门缝底下透出投影仪蓝光。谁桌上摆着三台手机，静音横放，中间那台亮着监控告警推送。我蹲在机柜旁拔网线重插 flink-jobmanager 的心跳端口，手抖，插歪两次。这个 bug 其实四个月前就漏测过——那次是 on YARN 的 dynamic allocation 开关和 slot sharing group 冲突，导致反压时 task manager 直接失联，但当时只当是资源不足，重启就过了。没人记，也没人提单，因为不是阻塞上线，只是偶现。直到十一前这次，同一个路径，换了 Flink 版本，换了个更隐蔽的触发条件：两个 keyed state 在不同 operator chain 中做异步 I/O，而 state TTL 清理恰好在 checkpoint 触发前一秒完成。对，就那一秒。

　　用例管理工具一直在转圈，蓝色进度条卡在 73%，点了三次“刷新用例集”它都不动。我干脆关了。你说五大要点？第一点就是别信“Exactly-once”的默认行为——Flink 默认只保证 source 到 sink 的 at-least-once；Kafka consumer enable.auto.commit=true 下面藏着一个魔鬼；Spark Streaming micro-batch 的 watermark 和 trigger delay 堆叠三次以上，边界就塌了；Trino 实时视图连 upsert 都没语法支持，靠什么实时？靠人写脚本轮询；Pulsar Functions 那套 state store 假如你用的是 local disk，灰度一扩，state 就凭空蒸发。这些都不是理论题，是上线前两小时查日志查出来的事实。

　　外卖凉透了，酱汁凝在盒盖内侧。王磊端着保温杯进来问：“要不要一起复现下那个乱序窗口？”我说不用，我刚把 window trigger 改成 allowedLateness(30s) 后跑通了，但他不知道我其实删掉了两条模拟 late data 的测试数据——怕它又卡住。这算什么？算覆盖？算回归？反正用例库里那条“乱序数据延迟达 45s 场景”状态还是 PASS。我懒得改，因为明天晨会要讲“大数据架构师必懂的5大实时计算技术要点”，没人问 PASS 是怎么打上去的。我记得其中一条用例写着“watermark + processing time 联合触发”，可代码里根本没 processing time trigger，只写了 event time。我懒得标 fail，因为上周五 QA 已经被叫去支援新需求评审了，排期上写着“10.2 上线”，没留返工时间。谁还在意那条用例是不是真跑通了？

　　李婷后来在 slack 里甩了个 commit hash，说把 RocksDB 的 write buffer size 调小到 64MB，加了个 pre-checkpoint 的 state 大小校验钩子。我没看，因为第二天早上六点系统监控告警解除了。但我记得她改完之后，测试机的充电线不够长，她把主机拖到墙边，电源适配器悬在桌沿晃了二十分钟。这事儿跟五大要点没关系，但它比所有 PPT 都真。技术淘汰不是靠论文引用率，是靠哪天凌晨三点你改完参数、重启集群、喝口冷咖啡、发现 log 里终于没了 ERROR org.apache.flink.runtime.state.heap.HeapKeyedStateBackend，只有 INFO ——那种安静，才是筛选器。

文章配图，仅供参考

　　我翻自己那份没人看的用例，第47页写着“实时计算组件容灾切换验证（K8s Pod 摧毁后 15s 内恢复）”，旁边手写备注：“实际平均 23.4s，波动 ±9s，未计入 DNS 解析失败重试”。底下空白处画了半个笑脸。算了，先提个单吧——就写：“Flink on K8s 状态恢复时间超 SLA，建议评估 sidecar 方式注入 state snapshot 加速”。要不要带复现步骤？带。要不要附 jstack？带。要不要提影响范围？不写了，我自己都记不清是哪个迭代了，大概那个数。

（编辑：站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!