Linux服务器从零搭建到稳定运行全实战

　　上线前发现那个致命问题的那一刻——你猜怎么着？不是监控告警，不是日志报错，是运维老张叼着半截烟，在测试环境里手抖点开 nginx access 日志，指着最后三行说：“这访问路径…怎么连着打了一百多遍 /api/v2/user/profile?token=xxx&ts=1700000000？”

　　我原以为是压测脚本没关，结果翻了下 Jenkins 历史构建，那天没人跑压测。再查上游服务，token 签发逻辑正常，ts 也确实是客户端生成——可它偏偏每秒固定打一次，不重试、不退避、不带 User-Agent，像被人按着回车键反复捅。白板上的数字擦了一半，底下还剩个“37”，估计是上次估算漏测用例数时写的，现在谁也懒得补全。

　　“优胜劣汰”这话真不是嘴硬。去年十一，我们仨在机房守着那台刚装完 CentOS 8.5 的裸机，root 密码输错三次锁了 SSH，重启进单用户模式重设，结果 grub 配置里 kernel 参数少了个 console=ttyS0，串口不出日志——折腾俩钟头，人站着睡着了，键盘上有个键按下去不回弹，按的是 Tab，后来发现是机械轴卡灰了。没人修，就绕着用 Caps Lock 切输入法。你信不信？就这破环境，撑了三天没崩，反而是第七天灰度后，某个 Java 进程在凌晨三点突然 fullgc 挂掉，原因？-XX:+UseG1GC 配了但没调 -XX:MaxGCPauseMillis，GC 线程自己先被系统 OOM killer 杀了。

　　用例管理工具一直在转圈。不是卡，是转圈，蓝色小圈在右下角匀速旋，后台接口其实早返回了，前端就是不收手。你点“刷新”，它继续转；你切标签页再切回来，它还在转。李工说过，他改过源码，把 spinner timeout 从 15s 改成 60s，理由是“有时候网络真慢”。没人敢动生产配置。会议室又被占了，门缝底下塞着张纸条：“产研对齐会，9:00–11:30”，字是小王写的，蓝墨水，有点洇。

文章配图，仅供参考

　　跟开发争执那会儿，我说“兼容性要测 ARM64 容器镜像”，陈磊直接把终端截图甩过来：“你看 docker info 输出的 Architecture 是 amd64，你让我测啥？”——结果上线第三天，运维手动拉了一个 arm64 节点做横向扩容，没通知，没文档，服务一调度过去就 core dump。他桌上摆着三台手机：一部钉钉常亮，一部微信振动不停，一部锁屏，壁纸是女儿生日照，时间显示 2023/10/03 23:58。我没提这个漏洞。因为提了也没用。优先级打不过支付回调超时。那bug，记不清是哪个迭代了，反正不是十一前那个。

　　外卖凉透了。铝箔盒打开，青椒肉丝里的肉丁缩成褐色小球，油全凝在边缘。旁边堆着四五个空易拉罐，标签都没撕。谁点的？忘了。只记得当时盯着 kubectl get nodes 输出发愣：STATUS 那列里，“NotReady”下面混着个“Unknown”，而 describe 节点显示 kubelet 活着，只是 nodeIP 回复超时——最后查出来是防火墙规则漏加了 UDP 8472，VXLAN 流量被 silently drop。这事谁该背锅？不知道。反正复盘会纪要里写的是“网络策略待完善”，八个字，带标点。

　　最讽刺的是什么？我们花两周搞完自动化部署流水线，Ansible playbook 写得比业务代码还整齐，变量分三级嵌套，role 分七层，commit message 带 JIRA 编号。可线上第一次出问题，不是配置错了，是 Ansible 执行完忘记 chmod +x /opt/app/start.sh，shell 脚本没执行权限。运维手动 chmod 后恢复，日志里连 trace 都没留下一行。我问陈磊：“playbook 里加个 file 模块不就完了？”他说：“嗯，加了，但我忘了给 task 加 when: not app_start_script_executable。”——这不是水平问题，是疲劳。那天他连着改了八版 Dockerfile，因为 base 镜像 CVE 掉包太勤，根本追不上。

　　测试机的充电线不够长。拖线板接了两根，第三根实在找不到接口，就从隔壁工位借了一根，插的是茶水间那个常年积灰的插座，灯一闪一闪的，每次断电重连，jenkins job 就卡在 checkout 阶段，提示“fatal: unable to access 'https://...': Failed to connect to github.com port 443: Connection refused”。重试三次就过了。这事发生过五次？六次？大概那个数。没人统计。

　　“优胜劣汰”站得住，因为它根本不是设计出来的。它是你漏测一个并发注销导致 session id 重放，客户投诉前夜，你在生产库手动 delete 临时数据救火；是你发现某接口在 timezone=Asia/Shanghai 下返回毫秒级时间戳，换成 UTC+0 就少三位数，而前端用 new Date() 解析直接 NaN——这种 bug 不死在测试环境，它就死在线上，被真实流量撞碎。不是我们筛得有多严，是筛不掉的，活不到第二天。

　　自己那份没人看的用例。我写了 172 条边界 case，包括 token 过期时间设成 1 秒、手机号填 “123456789012”（12 位）、User-Agent 字符串塞进 8KB 的 header。评审会上没人翻第二页。陈磊说：“这些都不算主流程。”老张叼着烟点头。后来线上真出现过一次，第三方 SDK 往 header 塞了 13KB 的调试信息，nginx 返回 400，error log 里只写“client sent too large header”。我翻了三天文档才确认是 large_client_header_buffers 太小。

　　下一步？把 Ansible playbook 里的 file 模块加上，when 条件补上。别的……先顾好手头这单阻塞。产品昨天又改需求了，说登录态续期要支持“滑动窗口式”，我不懂什么叫滑动窗口式，等明天晨会听他们讲。对了，那个 /api/v2/user/profile 的无限请求，查到最后是某 Android SDK 初始化时默认轮询——SDK 版本号？没记录。他们说“大概那个版本”，我信了。反正不是我们的事。

（编辑：站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!