feat: add protocol interaction observability

2026-07-24 10:47:47 +08:00
parent 4f4fa5fcb7
commit 0bfeb0839e
17 changed files with 740 additions and 42 deletions
@@ -2317,3 +2317,15 @@ git diff --check
 - 预发布在真实 API/Gateway 保持运行的条件下，使用不触碰业务 Stream、不访问供应商且最终清理的专用 BullMQ 队列连续执行 3 轮 15000 条测试：完整提交结果与回执闭环分别为 3570.33、3650.92、3587.31 TPS，平均 3602.85 TPS；入队平均 18781.28 TPS。该指标只表示 Redis/BullMQ 与 Node Worker 的内部队列能力，不包含 Prisma 业务事务、计费、路由或真实 CMPP 网络。
 - 既往 284.16、376.52、438.93 TPS 的下降主要是测试环境争用而非已证实的代码回归：本机 3000 端口有另一会话从 2026-07-23 23:02 起运行的 API，压测与其争用 Redis 和 CPU；此前停止 API 后曾恢复至约 872—910 TPS。本轮未终止其他会话进程，改用独立 Redis 后完整 Phase 8 为 549.52 TPS并通过。预发布同一代码三轮约 3603 TPS且方差很小，进一步说明旧低值不能作为平台容量结论。
 - 当前真实发送配置的上限不是 3603 TPS：5 条 active 通道各配置 100 TPS，Gateway 总配置上限为 500 TPS；每条通道 1 个连接、窗口 16，API Send Worker 并发 50。真实持续吞吐还受供应商授权 TPS、网络往返、回执速度、数据库和计费事务影响，因此当前预发布应按“内部队列约 3600 TPS、配置发送上限 500 TPS、真实供应商持续能力仍需协议测试环境或供应商配合压测”理解。本次未发送真实短信、未修改生产业务数据。
+
+## 2026-07-24 回执缺失复核与通讯交互日志（本地未提交、未部署）
+
+- 预发布只读复核确认当前仍部署`afd3c960709b1660c18d028499c811321983cb22`。`13127620092`今日两次提交经“赛邮行业-王斯评中转”获得上游Msg_Id后停留submitted；该通道最后一条回执为2026-07-21 17:39:58（北京时间）。`18821203795`今日09:26“富泷物业-移动”测试提交上游Msg_Id `736025035345047554`，5分32秒抓包期间只有SubmitResp和心跳，没有供应商DELIVER。
+- 回执链路并非全局失效：同一“富泷物业-移动”通道在7月23 17:02收到DELIVRD，在本次`afd3c960`部署并重连后仍于7月24 08:49收到`UT:0010`失败回执；其他通道7月23、24也有回执落库。因此“7月24心跳/重连代码导致所有回执不能处理”与事实不符。Gateway的`handleDeliver`核心解析、匹配和API转发自7月8/9以来未改；最强证据仍指向特定提交或特定供应商账号未下发DELIVER，赛邮账号则需重点核查重启后的回执会话绑定。
+- 新增独立`ProtocolInteractionLog`及migration `20260724113000_add_protocol_interaction_logs`，记录CMPP/HTTP业务交互的协议、方向、事件、状态、消息/请求标识、脱敏手机号、结果码、耗时和安全详情。默认500ms/100条批量异步写入、10000条缓冲上限和30天保留；不逐包记录心跳，不保存正文、密码、密钥、Token、鉴权签名或完整请求体。
+- NestJS Gateway事件入口记录收到、成功和失败；公开HTTP发送记录受理/失败；HTTP Webhook记录成功、重试或失败。Go Gateway对DELIVER回执解包失败、上行解码失败、收到事件及转发API结果输出结构化日志，消除原先静默丢失盲点。
+- 运营端系统日志新增“通讯交互日志”页签，支持协议、方向、事件、结果、关键字和时间筛选，分页展示并提供安全详情弹窗；手机号脱敏说明可见，详情操作列固定。
+- 本地真实PostgreSQL已应用67条migration并为最新。使用新建的本地平台管理员、真实算术验证码和真实NestJS API提交无效CMPP认证，接口按预期返回400，查询API从PostgreSQL读到同一`connect`事件的`received`和`failed`两条记录，失败耗时17ms；未发送短信。
+- 自动化验证已通过：API全量25 suites / 306 tests（含通讯日志脱敏/过滤和公开HTTP回归）、Prisma generate/validate、API TypeScript build、前端TypeScript/Vite build、Gateway `go test ./...`。全量Jest使用`--forceExit`结束并保留既有异步句柄提示；前端仍有既有约1.93MB单chunk/578.69KB gzip警告。
+- 浏览器使用真实本地账号和验证码登录运营端，两个日志页签切换、真实数据表、筛选控件、分页和详情入口可见；桌面控制台0条error/warn，截图确认页面正常。最终构建在390×844和375×667复验均无页面级横向溢出，详情操作区分别完整位于`x=18..372`和`x=18..357`，控制台均为0条error/warn；截图保存在`outputs/protocol-interaction-logs/`。
+- 当前改动保持未提交、未推送、未部署。预发布尚无新通讯日志表和页面，后续发布前必须执行备份、migration、Gateway先于API重启及发布后真实回执链路观察。