hectorzhao/lislgosms
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

docs: record preproduction monitoring repair

Browse Source
This commit is contained in:
hectorzhao
2026-08-26 14:44:25 +08:00
parent 5234812990
commit 444c65288c
1 changed files with 9 additions and 0 deletions
Download Patch File Download Diff File Expand all files Collapse all files
docs/testing-progress.md
+9
View File
@@ -4012,3 +4012,12 @@ git diff --check
- 单元回归覆盖接口bind后关闭、应用处于disabling且回执入队时已deleted/interface关闭、快速路径Inbox SQL不再提前检查业务状态，同时确认IP白名单与`Src_Id`校验仍保留；既有“接口关闭时新bind拒绝”和“HTTP-only应用不产生CMPP投递”用例继续通过。 - 单元回归覆盖接口bind后关闭、应用处于disabling且回执入队时已deleted/interface关闭、快速路径Inbox SQL不再提前检查业务状态，同时确认IP白名单与`Src_Id`校验仍保留；既有“接口关闭时新bind拒绝”和“HTTP-only应用不产生CMPP投递”用例继续通过。
- 提交前门禁：API全量45套526项通过；非增量TypeScript正式构建通过且未要求改写用户保留的`tsbuildinfo`；Gateway `go test ./... -count=1`和`go vet ./...`通过；`git diff --check`通过。无数据库迁移、无新增环境变量，部署脚本和环境变量校验无需修改；回滚只需revert本轮代码/文档提交并重新构建。 - 提交前门禁：API全量45套526项通过；非增量TypeScript正式构建通过且未要求改写用户保留的`tsbuildinfo`；Gateway `go test ./... -count=1`和`go vet ./...`通过；`git diff --check`通过。无数据库迁移、无新增环境变量，部署脚本和环境变量校验无需修改；回滚只需revert本轮代码/文档提交并重新构建。
- 本轮按用户授权仅在本地修复和验证，没有部署到测试环境，也没有执行新的短信发送或压力测试；测试环境仍运行旧部署标记`b5005f21d5092b7e2759efdce0ebd02798e4552f+test.phase6.tenant-microbatch.utc.keepalive.connection-race`，恢复资产仍为`/opt/cmpp-platform-backups/phase6-connection-race-20260825T095448Z`。因此P0已由代码和自动化测试验证，但尚未在测试环境重新做真实CMPP闭环验收；预生产/生产未访问，多Gateway P2未实施，未push远端。 - 本轮按用户授权仅在本地修复和验证，没有部署到测试环境，也没有执行新的短信发送或压力测试；测试环境仍运行旧部署标记`b5005f21d5092b7e2759efdce0ebd02798e4552f+test.phase6.tenant-microbatch.utc.keepalive.connection-race`，恢复资产仍为`/opt/cmpp-platform-backups/phase6-connection-race-20260825T095448Z`。因此P0已由代码和自动化测试验证，但尚未在测试环境重新做真实CMPP闭环验收；预生产/生产未访问，多Gateway P2未实施，未push远端。
## 2026-08-26 预生产 Prometheus 监控基础设施修复
- 只读诊断确认预生产`8.160.169.106`为 Alibaba Cloud Linux 4 ARM64，服务器没有 Prometheus、Node Exporter 或三个服务 Exporter；既有安装脚本仅接受`apt-get`，发布脚本也不会自动调用监控安装，因此页面按设计显示 Prometheus 不可用。API/Worker 自身回环指标端点在修复前仍为 HTTP 200，最近两份发布备份也均不含`/etc/prometheus`，排除近期业务发布误删。
- 最小修复保留 Debian/Ubuntu apt 路径，并为 Linux aarch64 增加官方 release 二进制安装、固定版本与 SHA-256 校验、systemd 基础单元、root 专属离线缓存及 API 托管告警规则目录的精确`ReadWritePaths`。部署中发现 Node Exporter systemd 正则发生二次转义告警，已追加修复并由`systemd-analyze verify`及新日志窗口确认告警消失。
- 发布前恢复点为`/opt/cmpp-platform-backups/releases/20260826T062955Z-before-b0bdb60-monitoring`，包含183415098字节 PostgreSQL custom dump、14647063字节运行目录、30849字节环境/systemd/Nginx配置、Gateway二进制、原部署标记和 SHA-256 清单；`pg_restore --list`、两份 tar 目录及全部清单均通过。校验过的5个官方 ARM64 release 包也移入该恢复点的`monitoring-release-cache/`并再次通过 SHA-256。
- 预生产最终监控标记和部署标记均为`523481299028d9ded470d7738add145ee2070bd1`。安装版本：Prometheus 3.14.0、Node Exporter 1.12.1、PostgreSQL Exporter 0.20.1、Redis Exporter 1.89.0、Nginx Exporter 1.5.3；Prometheus加载9个规则组共83条规则。
- 发布后 Prometheus 9个 target 全部`up`，`pg_up=1`、`redis_up=1`、`nginx_up=1`；9090/9100/9187/9121/9113及API/Worker metrics均只监听回环。Prometheus、5个 Exporter、MinIO、Nginx、API、Worker、Gateway、PostgreSQL和Redis均active，API/Gateway健康；供应商连接`desired=9/connected=9`，命令/结果 Stream 最终均`pending=0/lag=0`。
- 浏览器只读验收已到达预生产运营端登录页，因当前浏览器没有运营端登录会话，没有输入凭据或验证码，故本轮未把登录后的页面截图作为验收证据；监控可用性以 Prometheus targets、PromQL和API进程实际环境变量为当前证据。未发送短信、未压测、未修改余额/应用/企业/白名单/临时号段/通道配置，未操作正式生产，多 Gateway P2 未实施。