feat: 完善服务监控与下游重投

2026-08-14 17:21:29 +08:00
parent d30d9ea4d0
commit 1ef4380422
50 changed files with 1279 additions and 82 deletions
@@ -1142,4 +1142,12 @@ global，不能错误归入client。`client-signature-*`、发送页、企业认

 - `api/src/security-detection/` 是安全事件、聚合告警、规则版本和人工封禁编排的唯一业务边界；登录、OpenAPI 和 Gateway 只上报固定类型的结构化事件，不复制聚合或封禁逻辑。
 - `gateway/cmd/security-agent/` 是最小特权执行边界，不依赖 NestJS Service，不接受任意命令、路径、jail、action 或 shell 参数。该二进制与 `deploy/security/`、`tools/security/install-security-agent.sh` 作为同一发布单元评审。
+- 安全代理可执行文件位置只由安装器的`agent_binary=$APP_DIR/dist/cmpp-security-agent`定义；systemd和Fail2ban模板使用同一占位符渲染，不能各自维护易漂移的绝对路径。
 - 前端 `src/apps/admin/security-detection/` 通过 `src/api/admin/security-detection.api.ts` 访问稳定门面，不直接访问 Fail2ban、Nginx、nftables 或安全代理。
+- NestJS进程边界由`api/src/main.ts`和生产环境`API_HOST`共同固定为回环监听，外部HTTP入口统一归Nginx模块治理；后续拆分不得让业务模块自行新增外部监听或绕过反向代理边界。
+
+## 基础设施指标领域边界补充（2026-08-14）
+
+- `api/src/metrics/`只负责API进程和HTTP路由模板的低基数计数/直方图，不依赖Prisma、Redis或业务Service；独立回环监听由`api/src/main.ts`组装。
+- `gateway/internal/metrics/`只负责线程安全聚合和Prometheus文本暴露；上游连接池、下游Session和Submit Worker仅提供总数或有界结果，不把实体ID或凭据交给监控模块。
+- `api/src/infrastructure-monitoring/`仍是运营端只读聚合门面，只消费固定PromQL和Recording Rules；Exporter安装、端口隔离和阈值归`tools/monitoring/`治理。
@@ -1,8 +1,8 @@
 # 下游投递后台批量重投任务设计与实现符合性审计

-> 版本：V1.0<br>
+> 版本：V1.1<br>
 > 需求确认日期：2026-08-12<br>
-> 文档整理日期：2026-08-13<br>
+> 文档整理日期：2026-08-13；业务口径更新：2026-08-14<br>
 > 适用页面：运营端 → 下游投递记录<br>
 > 审计基线：当前工作区 `HEAD=67fee216162e638ba21004fcf87e7711facefb91`；本功能相关文件相对 HEAD 无未提交修改<br>
 > 本文目的：还原 2026-08-12 已确认的设计口径，并将当前实现逐条映射到设计，不能以“已有代码”代替“符合设计”的结论。
@@ -27,9 +27,9 @@

 1. 保留单条重投、当前页勾选批量重投，新增“按筛选条件重投”；投递记录分页支持每页 10/25/50 条。
 2. 后台任务使用企业、应用、投递类型、状态、创建日期、关键词组成的筛选快照；页码和每页条数不属于任务范围。预检生成 `snapshotAt`，创建任务后产生的新记录不进入该任务。
-3. 第一版后台任务只允许 `pending`、`failed`、`unconfirmed`、`rejected`。不得批量重投客户端已确认的 `delivered`；处于 `awaiting_ack` 的记录不得并发重投。创建前展示真实命中数、可重投数、规则跳过数、状态分布，任务原因必填。
+3. 后台任务允许 `pending`、`failed`、`unconfirmed`、`rejected`、`delivered`。客户端已确认的 `delivered` 可按筛选快照再次投递，但必须醒目提示可能造成客户端重复处理；处于 `awaiting_ack` 的记录不得并发重投。创建前展示真实命中数、可重投数、规则跳过数、状态分布，任务原因必填。
 4. 任务按企业应用分批执行，默认每个应用 10 条/秒。单条失败不阻断整批；连续失败达到 10 条，或 ACK 超时/拒绝达到安全阈值时，自动暂停。客户离线、已有链路等待 ACK 属于“等待”，不能记作“跳过”。
-5. “跳过”严格表示本任务没有调用 Gateway。第一版跳过原因包括：执行前状态变化、已被客户确认、已被其他任务处理、本任务已成功处理、不属于任务快照、应用或投递能力已停用、投递数据不完整、缺少原 Submit 映射。
+5. “跳过”严格表示本任务没有调用 Gateway。跳过原因包括：执行前状态变化、创建任务后才被客户确认、已被其他任务处理、本任务已成功处理、不属于任务快照、应用或投递能力已停用、投递数据不完整、缺少原 Submit 映射。只有任务项冻结的原状态已是 `delivered` 时，才允许按已确认记录重投；其他状态在执行前收到迟到成功 ACK 时必须跳过。
 6. 任务支持列表、详情、暂停、继续、终止。终止只影响尚未发送的任务项。任务项以 `taskId + deliveryId` 幂等；执行前原子认领并复核当前状态；API 重启后继续执行；已获得成功 ACK 的任务项不得再次发送。
 7. 创建、暂停、继续、终止、自动暂停都必须写操作日志。任务必须使用真实 PostgreSQL、Gateway 和客户 ACK，不得使用 mock、静态数据或 localStorage。

@@ -54,7 +54,7 @@

 1. 用户设置筛选条件，点击“按筛选条件重投”。
 2. 后端在同一时点生成预检快照，返回：筛选条件、`snapshotAt`、筛选命中数、可重投数、规则跳过数、状态分布、涉及应用数、最早记录时间。
-3. 弹窗明确告知第一版允许和禁止的状态。
+3. 弹窗明确告知允许 `pending/failed/unconfirmed/rejected/delivered`、禁止 `awaiting_ack`，并提示已确认记录再次投递可能造成客户端重复处理。
 4. 用户选择执行速度，填写不少于 5 个字的事故原因、工单号或处理说明。
 5. 用户确认后，后端必须重新按预检的筛选快照和 `snapshotAt` 物化任务项，而不是使用前端传入的记录 ID 列表。
 6. 创建成功后关闭弹窗，任务出现在任务列表，状态为“排队中”。
@@ -160,8 +160,8 @@

 | 原因 | 判定 |
 | --- | --- |
-| 执行前状态已变化 | 已不属于允许重投状态，且不是等待 ACK/已确认 |
-| 已被客户确认 | 当前投递已是 `delivered` 且有效 ACK |
+| 执行前状态已变化 | 已不属于允许重投状态，且不是等待 ACK |
+| 创建任务后才被客户确认 | 任务项冻结原状态不是 `delivered`，执行前收到有效成功 ACK；避免把迟到确认变成未授权重复投递 |
 | 已被其他任务处理 | 其他任务已认领、等待 ACK 或成功 |
 | 本任务已成功处理 | 同任务项已有成功结果，重复扫描不得再调用 |
 | 不属于任务快照 | 创建时间晚于 `snapshotAt` 或不再满足冻结范围 |
@@ -222,7 +222,7 @@
 | --- | --- | --- |
 | DRQ-001 | 筛选快照 | 企业、应用、类型、状态、日期、关键词均生效；分页无关；快照后新记录不进入 |
 | DRQ-002 | 预检口径 | 命中、可重投、跳过和状态分布严格基于当前筛选条件 |
-| DRQ-003 | 状态白名单 | 只物化 `pending/failed/unconfirmed/rejected`；拒绝 `delivered/awaiting_ack` |
+| DRQ-003 | 状态白名单 | 物化 `pending/failed/unconfirmed/rejected/delivered`；拒绝 `awaiting_ack`；仅冻结原状态为 `delivered` 的任务项可按已确认记录重投 |
 | DRQ-004 | 每应用限速 | 多应用任务中每个应用独立达到配置速度，任意扫描重叠都不超速 |
 | DRQ-005 | 客户离线 | 进入等待连接，不记失败或跳过，恢复连接后继续 |
 | DRQ-006 | ACK 闭环 | 写出只进入等待；有效 ACK 成功；超时、拒绝、无效 Msg_Id 失败 |
@@ -250,13 +250,13 @@
 | --- | --- | --- |
 | 真实持久化 | 符合 | 已有任务表、任务项表和 migration，不使用前端本地状态代替任务 |
 | 快照时间上限 | 基本符合 | 创建时按 `snapshotAt` 限制 `createdAt`，快照后记录不物化 |
-| 后台状态白名单 | 符合 | `REPLAYABLE_STATUSES` 为 `pending/failed/unconfirmed/rejected` |
-| 禁止后台任务处理已确认/等待 ACK 筛选 | 符合 | 创建接口明确拒绝 `delivered/awaiting_ack` |
+| 后台状态白名单 | 符合 | `REPLAYABLE_STATUSES` 为 `pending/failed/unconfirmed/rejected/delivered` |
+| 禁止后台任务处理等待 ACK 筛选 | 符合 | 创建接口明确拒绝 `awaiting_ack`；`delivered` 按已确认重复投递风险口径放行 |
 | 原因校验 | 符合 | 少于 5 个字拒绝 |
 | 任务项幂等 | 符合 | 数据库唯一约束 `taskId + deliveryId` |
 | 执行前任务项认领 | 基本符合 | 通过 `status=queued` 的条件更新认领为 `processing` |
 | 执行前复核 | 基本符合 | 重新查询投递、应用、payload 和其他任务状态 |
-| 成功 ACK 不再发送 | 基本符合 | 已确认投递会跳过，其他任务 `success` 也会阻止调用 |
+| 成功 ACK 不再误发送 | 基本符合 | 非 `delivered` 快照项执行前才收到成功 ACK 时跳过；其他任务 `success` 也会阻止调用；冻结原状态为 `delivered` 的项目属于运营明确授权的再次投递 |
 | 人工控制 | 基本符合 | 已有暂停、继续、终止接口和页面按钮 |
 | 核心操作日志 | 基本符合 | 创建、暂停、继续、终止、自动暂停均写日志 |
 | 投递记录分页 | 符合 | 页面支持每页 10/25/50 条并回到第一页 |
@@ -279,7 +279,7 @@
 | P1 | 自动化覆盖远低于设计风险 | 专项仅4个测试：预检计数、参数拒绝、活动任务冲突、已确认跳过 | 未覆盖限速、多应用、离线等待、ACK阈值、重启恢复、并发扫描、完整分页及所有审计动作 |
 | P2 | 状态和详情表达偏内部化 | 任务列表/详情直接展示英文状态；任务详情只展示汇总和最近项 | 运营人员不易区分等待连接、等待外部ACK、任务写出等待ACK等状态 |
 | P2 | 终止后的未处理数未进入常规汇总 | 终止把`queued`改为`unprocessed`，但任务汇总只保存成功/失败/跳过/等待 | 任务进度分子可能小于总数，页面没有单独解释未处理数量 |
-| P2 | 已确认跳过原因存在口径混用 | `waiting_external_ack`最终由其他链路成功后记为“跳过：已由其他投递链路完成” | 可以接受为“本任务未调用Gateway”，但详情必须明确这是外部链路成功，不应让用户误以为业务未处理 |
+| P2 | 外部 ACK 跳过原因存在口径混用 | `waiting_external_ack`最终由其他链路成功后记为“跳过：已由其他投递链路完成” | 可以接受为“本任务未调用Gateway”，但详情必须明确这是外部链路成功，不应让用户误以为业务未处理；这与冻结原状态为 `delivered` 的主动再次投递是两种情形 |

 ### 11.3 综合结论

@@ -345,6 +345,7 @@ GET  /api/admin/security-detection/health
 4. 验证 Cloudflare 可信 IP 网段、`real_ip_header` 和源站绕过防护。
 5. 建立 root security agent、Unix Socket 权限、systemd 加固和固定协议。
 6. 发布前备份 PostgreSQL、运行源码、环境文件、Fail2ban/Nginx 平台生成配置和 nftables 当前规则。
+7. 安装器必须将systemd `ExecStart`与Fail2ban report-only `actionban`从同一占位符渲染为实际构建产物`$APP_DIR/dist/cmpp-security-agent`，并在旧路径或未替换占位符残留时失败关闭。

 ## 15. 分阶段实施建议

@@ -151,6 +151,7 @@
 | TC-F2B-OPS-005 | P1 | 执行30天事件、180天告警/审计保留任务 | 只删除到期且不受保护数据；活动封禁、未完成处置和审计期数据不删除 |
 | TC-F2B-OPS-006 | P1 | 大量扫描事件压测 | Collector 有界处理，API与Gateway业务不被阻塞；告警聚合避免写放大 |
 | TC-F2B-OPS-007 | P0 | 对比执行器、数据库和页面 | 当前封禁集合、到期时间和执行器类型一致；差异进入异常状态和告警 |
+| TC-F2B-OPS-008 | P0 | 在非默认`APP_DIR`构建并运行安全安装器，检查systemd与Fail2ban action的执行路径 | 两者均指向同一个真实可执行的`$APP_DIR/dist/cmpp-security-agent`；残留占位符、旧`current/bin`路径或不可执行目标时安装失败 |

 ## 13. 发布验收证据

@@ -1390,6 +1390,7 @@
 - 数据统计的“通道占比”默认统计北京时间当天，可选择单个历史日期重新查询；图表使用真实通道名称和该日期的通道提交量。
 - 输出 500 条/秒压测报告。
 - 输出 Linux 部署方案，至少覆盖 Docker Compose 或 systemd 部署、环境变量、数据库迁移、日志目录、备份恢复、服务健康检查和回滚步骤。
+- 标准发布脚本配置Nginx压缩时必须兼容发行版已有的HTTP级`gzip on`：先排除自身生成文件检查现有有效配置，已有时复用，没有时才创建平台级配置；重复发布不得因重复指令使`nginx -t`失败。

 ## 16. 新 Codex 会话提示词

@@ -2035,14 +2036,22 @@
 - 支持近1小时、近24小时和近7天固定范围，步长分别为60秒、300秒和1800秒。页面可见时每30秒刷新，隐藏或卸载后停止；手动刷新保留当前范围。
 - 页面展示Prometheus当前firing/pending告警，严重性使用`info/warning/critical`。告警阈值由Prometheus规则计算，前端不重复判断；第一版仅只读展示，不提供缺少审计模型的确认、备注、静默或关闭操作。
 - Prometheus不可用、查询超时、响应非法时接口返回`available=false`及安全错误摘要，页面清空陈旧指标并展示监控不可用；不能继续显示上一次数据造成误判。
+- 固定PromQL必须按Prometheus字符串与RE2正则两层语义正确转义，并由专项契约锁定systemd单元正则；任一查询导致整页降级时，API必须记录不含PromQL、地址或凭据的安全错误摘要，不能只向页面返回笼统不可用而没有服务端诊断证据。
+- 系统监控页只保留平台通用页头中的页面名称；内容区不得再次显示大号“系统监控”标题，可保留“服务器资源、核心服务与活动告警”说明、综合状态和时间范围操作。
 - 完整采集、查询、安全、响应契约、视觉规格和验收口径见`docs/prometheus-system-monitoring-design-20260814.md`。
+
+## 全局预警通知菜单（2026-08-14）
+
+- 运营端右上角铃铛统一作为预警入口，点击后必须分开显示“签名清退预警”和“安全检测与封禁”两个菜单项；审核待办继续使用独立审核图标和菜单，不得把审核数与预警数混合。
+- 签名清退项展示今日未读且未抑制的真实消息数并跳转`/admin/signature-retirement`；安全检测项展示`open/acknowledged/block_failed`真实待处置告警总数、严重告警摘要并跳转`/admin/security-detection`。
+- 铃铛角标为两个预警域数量之和；任一域接口失败时只把该域降级为0，不能影响另一域或审核待办。全局轮询使用专用轻量汇总接口，不得每30秒调用安全检测完整总览、代理回读或大列表。
 # 下游投递后台重投任务（2026-08-12）

 ## 完整设计口径与安全整改（2026-08-13）

 1. 后台任务按企业、应用、投递类型、状态、北京时间创建日期和关键词冻结筛选快照，分页、每页条数和当前页勾选不属于范围。预检的命中数、可重投数、规则跳过数、状态分布、涉及应用和最早记录必须严格基于当前筛选条件，不得把单一状态擅自扩为全部状态。
 2. 预检返回短期有效且绑定当前操作人、筛选条件和 `snapshotAt` 的服务端签名凭证；创建接口只接受该凭证、原因、速度和安全阈值，不再信任前端重传的范围。创建时后端按签名快照重新物化真实 PostgreSQL 任务项。
-3. 第一版后台任务仅处理 `pending/failed/unconfirmed/rejected`；`delivered/awaiting_ack` 不得进入批量任务。跳过严格表示本任务没有调用 Gateway；客户离线进入 `waiting_connection`，其他链路等待 ACK 进入 `waiting_external_ack`，本任务写出后进入 `waiting_ack`，三类等待均不计失败或跳过。
+3. 后台任务允许处理 `pending/failed/unconfirmed/rejected/delivered`；客户端已确认的 `delivered` 必须在预检、创建弹窗和任务项原状态中明确呈现，运营确认后可以再次投递，但页面必须提示可能造成客户端重复处理。`awaiting_ack` 不得进入批量任务。若任务项创建时不是 `delivered`、执行前才收到成功 ACK，则本任务必须跳过，不能把迟到确认变成未授权重复投递。跳过严格表示本任务没有调用 Gateway；客户离线进入 `waiting_connection`，其他链路等待 ACK 进入 `waiting_external_ack`，本任务写出后进入 `waiting_ack`，三类等待均不计失败或跳过。
 4. 限速以企业应用为维度，使用数据库原子秒级窗口在多实例、扫描重叠和执行耗时变化下保持每应用不超过配置速度。任务扫描使用数据库租约；`processing` 项使用认领租约，API 中断后过期恢复为 `queued` 并重新复核，已成功 ACK 的项目不得重放。
 5. 连续失败按应用隔离统计。Gateway 立即失败、ACK 超时、ACK 拒绝和无法安全关联均计入阈值；只有有效 ACK 成功才清零。达到阈值前原子暂停整个任务，记录触发应用、失败数、阈值和暂停时间，人工继续后从未完成项恢复。
 6. 任务列表支持状态筛选和真实分页，展示任务号、创建时间、企业/应用、原因、中文状态、总数、成功、失败、跳过、等待、创建人及进度。任务详情展示筛选快照、时间、安全参数、完整结果汇总和任务项分页；任务项可按中文结果、消息 ID、错误或跳过原因查询，不得仅返回最近 50 项。
@@ -2051,9 +2060,9 @@

 1. 运营端“下游投递记录”必须同时保留单条重投、当前页勾选批量重投，并新增“按筛选条件重投”；分页支持每页 `10/25/50` 条，切换后回到第一页并重新查询真实后端。
 2. 后台任务使用当前企业、应用、投递类型、状态、创建日期和关键词的后端筛选快照，分页不属于任务范围；任务创建时固定 `snapshotAt`，之后产生的记录不得被卷入。
-3. 第一版只允许 `pending/failed/unconfirmed/rejected`，不支持批量重投客户端已确认的 `delivered`，`awaiting_ack` 不得并发重投。创建前必须真实预检命中、可重投、跳过和状态分布，原因必填。
+3. 批量任务允许 `pending/failed/unconfirmed/rejected/delivered`，其中 `delivered` 会再次发送并可能造成客户端重复处理，创建弹窗必须醒目提示；`awaiting_ack` 不得并发重投。创建前必须真实预检命中、可重投、跳过和状态分布，原因必填。执行器仅允许重投在冻结快照中原状态已经是 `delivered` 的已确认任务项；任务建立后才变成 `delivered` 的项目必须跳过。
 4. 任务按应用分批执行，默认每秒 10 条；单条失败不阻断整批，连续失败达到 10 条或 ACK 超时/拒绝达到安全阈值时自动暂停。客户离线、等待 ACK 属于等待状态，不得误记为跳过。
-5. 跳过只表示未调用 Gateway，第一版原因包括：状态已变化、已被客户确认、已被其他任务处理、本任务已成功处理、不属于任务快照、应用或投递能力已停用、投递数据不完整、缺少原 Submit 映射。
+5. 跳过只表示未调用 Gateway，原因包括：状态已变化、创建任务后才被客户确认、已被其他任务处理、本任务已成功处理、不属于任务快照、应用或投递能力已停用、投递数据不完整、缺少原 Submit 映射。
 6. 任务必须支持列表、详情、暂停、继续和终止；终止只影响尚未发送的记录。任务项以 `taskId + deliveryId` 幂等，执行前原子认领并复核状态，API 重启后可继续，成功 ACK 的项目不得再次发送。
 7. 所有创建、暂停、继续、终止和自动暂停均写操作日志；任务使用真实 PostgreSQL、Gateway 和客户 ACK，不得使用 mock、静态数据或 localStorage。
 # 2026-08-13 HTTP 请求与 Gateway API 响应容量边界
@@ -2078,3 +2087,12 @@
 - NestJS 必须以专用非 root 用户运行，不得获得通用 sudo、任意 shell、直接编辑 `/etc/fail2ban/*` 或防火墙的能力。独立 root security agent 只监听本机 Unix Socket、接受固定 JSON 动作、使用参数数组执行固定操作，并在真实 nftables 或 Nginx deny 回读成功后才允许数据库标记 `blocked`。
 - 运营端/客户端的 Cloudflare 入口使用 Nginx real-IP deny；直连 HTTP API、SSH 与 CMPP 使用 nftables。只有可信代理 TCP 来源可以提供访客 IP；系统回环、私网、链路本地、组播和配置的运维/健康检查网段必须内置保护。
 - 规则更新先保存待应用版本，由安全代理生成固定 Fail2ban 配置、执行语法校验并 reload；失败保留上一生效值并展示失败原因，不得显示为已生效。完整架构、状态机、字段、接口和安全边界以 `docs/fail2ban-assisted-blocking-design-20260814.md` 为准。
+- 安全代理的systemd单元与Fail2ban report-only action必须由安装器从同一受控占位符渲染，并共同指向发布脚本实际生成的`$APP_DIR/dist/cmpp-security-agent`；安装后残留占位符、旧`current/bin`路径或不可执行目标时必须终止发布，禁止出现Agent服务可启动但Fail2ban action静默失效的分叉配置。
+- NestJS API生产进程必须显式绑定`127.0.0.1`，仅由Nginx受控入口反向代理；不得依赖框架默认的全网卡监听而把3000端口直接暴露到LAN、Tailscale或公网。非生产环境如确需其他地址，只能通过明确的`API_HOST`配置覆盖。
+
+## 服务内部指标与阈值（2026-08-14）
+
+- API、Gateway必须以回环端点暴露低基数运行指标；PostgreSQL、Redis、Nginx使用发行版Exporter，MinIO使用原生指标。任何指标端口都不得经Nginx或安全组对公网暴露。
+- 运营端展示API请求/错误/延迟/事件循环、Gateway Submit/队列/连接、PostgreSQL连接/死锁、Redis内存/连接/淘汰、Nginx连接/请求和MinIO可用性；指标缺失显示“待采集”，不以0伪装。
+- 告警必须使用持续窗口和最低样本量；默认阈值、收敛关系、标签禁止项和性能预算以`docs/prometheus-system-monitoring-design-20260814.md`第9节为准。
+- 指标不得包含手机号、短信正文、短信/CMPP/任务ID、密钥、完整URL或SQL原文；不得把时序指标高频写入业务PostgreSQL。
@@ -30,6 +30,9 @@ REPO_URL=http://175.27.255.91:3000/hectorzhao/lislgosms.git
 BRANCH=main
 PUBLIC_HTTP_PORT=12026
 API_PORT=3000
+API_HOST=127.0.0.1
+API_METRICS_HOST=127.0.0.1
+API_METRICS_PORT=9464
 HTTP_API_MASTER_KEY=<至少32位随机值，用于AES-256-GCM加密HTTP访问凭据和Webhook密钥>
 HTTP_API_PUBLIC_ORIGIN=https://api.lisglo.com
 API_ENABLE_SEND_WORKER=true
@@ -64,7 +67,7 @@ PROD_ADMIN_USERNAME=prod_admin
 PROD_ADMIN_PASSWORD='change-me'
 ```

-系统监控的Prometheus和Node Exporter需要在发布前单独安装，配置和规则位于`tools/monitoring/`。在Debian/Ubuntu服务器执行`bash tools/monitoring/install-prometheus-monitoring.sh`；脚本会先备份现有Prometheus配置并运行`promtool`校验，只重启Prometheus和Node Exporter，不重启CMPP业务服务。9090和9100必须只监听`127.0.0.1`，不得加入Nginx公网反向代理或安全组放行。安装完成且确认`curl http://127.0.0.1:9090/-/ready`成功后，才可在正常发布窗口重启API使系统监控接口生效；详细口径见`docs/prometheus-system-monitoring-design-20260814.md`。
+系统监控需要在发布前单独安装，配置和规则位于`tools/monitoring/`。在Debian/Ubuntu服务器依次执行`bash tools/monitoring/install-prometheus-monitoring.sh`和`bash tools/monitoring/install-service-exporters.sh`；前者安装Prometheus/Node Exporter，后者安装PostgreSQL/Redis/Nginx Exporter并开启MinIO回环原生指标。脚本必须先备份现有配置并运行`promtool`校验；9090、9100、9187、9121、9113、9464和API/Gateway控制端口必须只监听`127.0.0.1`，不得加入Nginx公网反向代理或安全组放行。安装完成且确认全部target为up后，才可完成发布；详细口径见`docs/prometheus-system-monitoring-design-20260814.md`。

 安全会话使用 HttpOnly Cookie，正式生产必须先为页面和管理 API 配置 HTTPS，并保持 `SESSION_COOKIE_SECURE=true`；纯 HTTP 的 `IP:12026` 不作为受支持的登录入口，即使切换期仍保留其监听，也只允许用于非登录的兼容检查并应尽快下线。`sms.lisglo.com` 只允许 Cloudflare 回源，`api.lisglo.com` 通过独立 Nginx SNI 虚拟主机只开放客户接口、客户 Swagger 和健康检查；Let’s Encrypt 使用 DNS-01 自动续期，不依赖开放 80 端口。

@@ -111,6 +114,8 @@ SECURITY_BUILTIN_PROTECTED_NETWORKS=<运维出口CIDR,健康检查CIDR,源站公

 部署脚本重启 Gateway、API 和 Nginx 后，会分别对 Gateway、API 健康接口执行最多 60 秒的逐秒就绪检查。Nest 初始化、活动通道恢复或生产数据量增加可能使 API 启动超过固定数秒；发布流程不得用单次固定延时把正常慢启动误判为失败。超过 60 秒仍不健康时才终止发布，并结合 systemd journal 和发布前数据库、源码、环境备份判断回滚方式。

+标准发布会先清空自身管理的`/etc/nginx/conf.d/cmpp-compression.conf`，再排除该文件检查Nginx现有配置。发行版或既有虚拟主机已经启用`gzip on`时直接复用；完全未启用时才写入平台级压缩配置。不得无条件叠加第二个HTTP级`gzip on`，每次重启前必须以`nginx -t`为准。
+
 ## 账号和密钥

 - 生产管理员账号写入 `/root/cmpp-platform-admin.txt`。
@@ -192,3 +192,48 @@ type InfrastructureOverview = {
 8. Prometheus/Exporter 只监听本机，公网不能连接 9090/9100。
 9. 页面在桌面和移动宽度下无重叠、截断和横向溢出，控制台无相关错误。
 10. TypeScript、API专项测试、生产构建、配置校验和 `git diff --check`通过。
+
+## 9. 服务内部指标扩展（V1.1）
+
+### 9.1 采集边界
+
+- API使用独立回环端口`127.0.0.1:9464/metrics`，采集进程内存、堆内存、事件循环P99、请求量、状态码和延迟直方图。
+- Gateway在已有回环控制端口`127.0.0.1:8090/metrics`暴露Go运行时、上下游连接总数、Submit成败和耗时、Redis Stream pending/lag/最旧年龄。
+- PostgreSQL、Redis、Nginx使用发行版Exporter；MinIO使用原生Prometheus端点。全部Exporter只监听回环地址。
+- 指标标签只允许方法、路由模板、HTTP状态、结果类别和固定服务名。禁止手机号、短信ID、CMPP Msg_Id、任务ID、通道凭据、短信正文、原始URL和SQL文本进入标签。
+- 监控页只查询`cmpp:service_*`固定Recording Rules，不为每张卡片执行一条高代价PromQL。
+
+### 9.2 默认阈值
+
+| 领域 | Warning | Critical | 持续窗口 |
+|---|---:|---:|---:|
+| CPU | >80% | >90% | 10m / 5m |
+| 内存 | >85% | >95% | 10m / 5m |
+| 磁盘或inode | >80% | >90% | 15m / 5m |
+| API 5xx | >1%且至少5次 | >5%且至少5次 | 5m |
+| API P95 | >1s | >3s | 10m / 5m |
+| API事件循环P99 | >200ms | >1s | 10m / 5m |
+| Gateway提交队列最旧pending | >30s | >120s | 2m |
+| Gateway实际上游连接 | — | 少于期朖2m | 2m |
+| PostgreSQL连接使用率 | >70% | >85% | 10m / 5m |
+| PostgreSQL死锁 | 15m内>0 | 15m内重复出现 | 1m |
+| Redis内存/maxmemory | >70% | >85% | 10m / 5m |
+| Redis淘汰或拒绝连接 | — | 5m内>0 | 1m |
+| 任一核心Exporter失联 | — | >2m | 2m |
+| Prometheus采集耗时/周期 | >80% | >100% | 5m |
+| Prometheus规则计算失败 | — | 5m内>0 | 1m |
+
+比例告警必须带最低样本量，不得把单次失败误报为100%错误率。短信最终回执可由运营商延迟数小时，不纳入Gateway基础设施短窗口Critical，仍由72小时业务终结机制和短信质量看板处理。
+
+### 9.3 告警收敛与校准
+
+- 主机或Node Exporter失联时，抑制其CPU、内存和磁盘派生告警；API/Gateway指标端点失联时，抑制对应延迟和错误率告警。
+- Critical表示需立即处理；Warning表示当日检查；趋势指标未达到可操作条件时只展示，不生成告警。
+- 上线后保留7至14天基线，核对业务高峰P95/P99、正常连接数和队列年龄。阈值调整必须同步修改设计、用例、规则和进度记录。
+
+### 9.4 性能预算
+
+- 全局采集周期保持15秒，无排障需求不降到1秒。
+- API和Gateway请求路径只做内存计数、有界直方图和原子计数，不在业务请求中写PostgreSQL或Redis。
+- PostgreSQL Exporter只使用发行版默认低代价查询，不采集SQL原文或扫描业务大表。
+- 时序仍受30天和8GB双重上限约束；时序增长时先缩短实际保留期，不允许无界占满业务盘。
@@ -4567,6 +4567,7 @@ npm run verify:phase8
 | TC-SIGNATURE-RETIREMENT-027 | 在抑制管理点击“取消抑制”，填写或不填写原因 | 只出现平台自研弹窗；未填原因不能确认，填写后调用真实取消接口并刷新消息及抑制列表，不出现浏览器`prompt/confirm` |
 | TC-REPORT-RECORD-LAYOUT-001 | 在报备记录页面查看长备注和短备注 | 备注列桌面宽度不小于320px，使用统一长文本换行样式；宽表允许内部横向滚动，备注不被其他固定列挤成窄竖列，详情仍展示全文 |
 | TC-DEPLOY-HEALTH-001 | 发布重启后模拟API初始化超过3秒但在60秒内恢复，并分别模拟API或Gateway持续60秒不可用 | 前者由部署脚本逐秒重试并正常完成，不触发误回滚；后者在60秒后明确失败并保留发布前数据库、源码和环境恢复资产，不把端口尚未就绪当作构建或migration失败 |
+| TC-DEPLOY-NGINX-001 | 分别在Ubuntu默认`nginx.conf`已有全局`gzip on`和完全没有gzip配置的环境执行两次标准发布 | 已有配置时平台生成文件保持为空并复用发行版配置；缺失时写入平台配置；两种环境连续执行两次`nginx -t`均通过且不存在重复gzip指令 |

 ### 2026-08-10 本地执行状态

@@ -4588,11 +4589,11 @@ npm run verify:phase8
 | 编号 | 场景 | 预期 |
 |---|---|---|
 | TC-DOWNSTREAM-REQUEUE-TASK-001 | 当前筛选条件预检 | 后端按企业、应用、类型、状态、日期、关键词和 `snapshotAt` 返回真实命中、可重投、跳过及状态分布；分页不影响数量。 |
-| TC-DOWNSTREAM-REQUEUE-TASK-002 | 创建任务 | 原因少于 5 字拒绝；仅物化 `pending/failed/unconfirmed/rejected`；`delivered/awaiting_ack` 不进入执行。 |
+| TC-DOWNSTREAM-REQUEUE-TASK-002 | 创建任务 | 原因少于 5 字拒绝；物化 `pending/failed/unconfirmed/rejected/delivered`；客户端已确认记录在预检中计为可重投并保留 `previousStatus=delivered`，`awaiting_ack` 不进入执行。 |
 | TC-DOWNSTREAM-REQUEUE-TASK-003 | 快照边界 | 创建任务后新增或筛选条件外记录不进入任务。 |
 | TC-DOWNSTREAM-REQUEUE-TASK-004 | 并发与幂等 | `taskId+deliveryId` 唯一；重复扫描、API 重启及并发任务不会重复调用 Gateway。 |
 | TC-DOWNSTREAM-REQUEUE-TASK-005 | ACK 闭环 | Gateway 写出后项目进入等待 ACK；`Result=0` 成功，拒绝/超时计失败并按阈值自动暂停。 |
-| TC-DOWNSTREAM-REQUEUE-TASK-006 | 状态变化跳过 | 执行前状态变化、已确认或被其他操作认领时不调用 Gateway，记录明确跳过原因。 |
+| TC-DOWNSTREAM-REQUEUE-TASK-006 | 状态变化跳过 | 创建任务时不是 `delivered`、执行前才收到成功 ACK 的记录，或已被其他操作认领时不调用 Gateway，记录明确跳过原因；快照原状态就是 `delivered` 的记录允许调用 Gateway。 |
 | TC-DOWNSTREAM-REQUEUE-TASK-007 | 任务控制 | 待执行/执行中任务可暂停、继续、终止；终止不撤回已写出消息。 |
 | TC-DOWNSTREAM-REQUEUE-TASK-008 | 审计 | 创建、暂停、继续、终止和自动暂停记录操作人、筛选快照、原因和结果。 |
 | TC-DOWNSTREAM-PAGE-SIZE-001 | 分页数量 | 可选 10/25/50；切换回第一页，后端返回对应条数，总数和筛选条件保持一致。 |
@@ -4610,6 +4611,8 @@ npm run verify:phase8
 | TC-DOWNSTREAM-REQUEUE-TASK-015 | 列表完整分页 | 任务列表支持状态和分页，第 11 条以后可访问，中文状态、创建人、原因、进度和各结果数准确。 |
 | TC-DOWNSTREAM-REQUEUE-TASK-016 | 完整任务项查询 | 任务项支持分页、结果及关键词查询，等待连接/外部 ACK/本任务 ACK、跳过、失败和未处理均中文展示并保留原因。 |
 | TC-DOWNSTREAM-REQUEUE-TASK-017 | 终止并发边界 | 终止后未认领和等待连接项置为未处理；处理中或已写出项不撤回；执行器不再认领新项。 |
+| TC-DOWNSTREAM-REQUEUE-TASK-018 | 已确认记录批量重投 | 以状态 `delivered` 预检并创建任务，核对任务项原状态后执行；页面显示重复投递风险，真实任务项进入等待 ACK/成功闭环；同一任务已成功项不重复调用 Gateway。 |
+| TC-DOWNSTREAM-REQUEUE-TASK-019 | 创建弹窗与列表留白 | 桌面及窄屏打开创建弹窗和后台任务列表，输入不足5字及合法原因 | 原因使用统一多行输入组件，必填、错误、说明、字数和焦点态清晰；任务列表与卡片边缘保持设计间距，行内容不贴边、不裁切，移动端留白同步收敛。 |
 # 2026-08-13 HTTP 与 Gateway 报文容量专项用例

 | 用例编号 | 优先级 | 验证内容 | 预期结果 |
@@ -4650,9 +4653,25 @@ npm run verify:phase8
 | TC-INFRA-MON-015 | 响应式与无障碍 | 在1536×1024、1280×800和390×844打开页面，操作范围和刷新按钮 | 桌面信息层级符合设计稿；窄屏无内容重叠和页面横向溢出；按钮有可读名称，活动范围和告警严重性不只依赖颜色表达 |
 | TC-INFRA-MON-016 | 配置和部署幂等 | 在测试服务器重复执行监控安装脚本和配置校验 | 不重复创建系统用户，不开放公网端口；配置通过`promtool check config/rules`，服务保持active，CMPP API/Gateway不因安装被重启 |
 | TC-INFRA-MON-017 | 业务数据隔离 | 运行监控24小时并检查PostgreSQL业务库和指标标签 | 监控时序只保存在Prometheus TSDB，业务PostgreSQL无高频指标写入；标签、日志和API响应不含手机号、短信正文、账号或密钥 |
+| TC-INFRA-MON-018 | systemd PromQL转义兼容 | 使用真实Prometheus执行API生成的服务状态查询，并检查自动化请求参数 | 查询文本向Prometheus传递双反斜杠转义的`\\.`正则，API返回`available=true`及真实服务状态；不得因`unknown escape sequence`把整页降级 |
+| TC-INFRA-MON-019 | 页面标题去重 | 打开系统监控页并检查平台页头和内容区 | 平台通用页头保留“系统监控”，内容区不再出现重复大号标题；说明、状态、范围和刷新操作完整可用 |
+| TC-INFRA-MON-020 | API内部指标 | 回环请求API metrics，再发起成功与失败的固定路由请求 | 请求量、状态码、延迟桶、堆内存和事件循环指标变化；route为路由模板，不含实体ID或查询串 |
+| TC-INFRA-MON-021 | Gateway内部指标 | 请求`127.0.0.1:8090/metrics`，交叉核对连接池和Redis Stream | 上下游连接、Submit计数/耗时、worker up、pending、lag和最旧pending年龄与真实状态一致 |
+| TC-INFRA-MON-022 | 服务Exporter目标 | 安装PostgreSQL、Redis、Nginx Exporter并开启MinIO原生指标 | Prometheus六个新服务target均up；数据库、Redis、MinIO、Nginx指标与各服务本地命令在采样误差内一致 |
+| TC-INFRA-MON-023 | Exporter端口隔离 | 执行`ss -lnt`并从LAN/公网探测9464、9187、9121、9113、9090、9100 | 全部只监听127.0.0.1或::1，Nginx业务站点不代理metrics端点 |
+| TC-INFRA-MON-024 | 阈值持续窗口 | 在隔离节点分别制造瞬时和持续的CPU/API错误/队列延迟 | 瞬时尖峰不告警；达到阈值与`for`窗口后进入pending/firing，恢复后移除 |
+| TC-INFRA-MON-025 | 低流量错误率保护 | 5分钟内只产生1次API请求且返回500 | 因未达至5次错误的最低样本量，不产生5xx比例告警 |
+| TC-INFRA-MON-026 | 高基数和敏感字段防护 | 检查API/Gateway/Exporter全量metrics文本及Prometheus label names/values | 不存在手机号、短信正文、message/submit/task/channel实体ID、凭据、原始URL或SQL文本 |
+| TC-INFRA-MON-027 | Recording Rules查询收敛 | 刷新系统监控页并检查Prometheus请求 | 服务卡片只读取`cmpp:service_*`固定聚合，不按卡片开放任意PromQL；缺失指标显示“待采集” |
+| TC-INFRA-MON-028 | 监控开销对比 | 在同等请求压力下对比开启前后API/Gateway CPU、RSS、P95和吞吐 | 无高基数增长、无业务PostgreSQL高频写入；开销超出预算时暂停发布并调整采集/桶配置 |
+| TC-GLOBAL-ALERT-001 | 铃铛分域预警菜单 | 准备签名清退未读消息和安全待处置告警后点击右上角铃铛 | 弹层分开显示“签名清退预警”和“安全检测与封禁”，分别展示真实数量和摘要，角标等于两项之和 |
+| TC-GLOBAL-ALERT-002 | 预警菜单跳转 | 分别点击铃铛中的两个菜单项 | 签名项跳转`/admin/signature-retirement`，安全项跳转`/admin/security-detection`，弹层关闭且对应页面读取真实后端数据 |
+| TC-GLOBAL-ALERT-003 | 域间故障隔离与轻量轮询 | 分别让一个汇总接口失败并观察30秒轮询请求 | 失败域显示0且另一域数据保留；安全预警使用专用汇总接口，不调用完整overview、规则、代理状态或告警大列表 |
+| TC-DEPLOY-NET-001 | API回环监听边界 | 使用标准生产环境启动API，执行`ss -lnt`并从LAN/Tailscale探测3000端口，同时经Nginx业务入口请求健康接口 | API仅监听`127.0.0.1:3000`，外部不能直连3000；Nginx入口仍正常返回真实API健康结果；部署静态门禁校验`API_HOST`默认值与启动参数一致 |
 ## Fail2ban 安全检测与人工封禁测试矩阵（2026-08-14）

 - 本模块必须执行 `docs/fail2ban-assisted-blocking-test-cases-20260814.md` 中 TC-F2B 全量用例，专项用例是本平台功能测试的组成部分，不是可选附录。
 - P0 门禁至少覆盖：九类规则真实 PostgreSQL 默认值与版本冲突、阈值边界、规则应用失败保留旧生效值、登录/HTTP/CMPP/SSH/Nginx 真实事件脱敏、事件键幂等、窗口聚合并发、可信代理 IP、Cloudflare 与直连入口执行器映射、系统和人工保护网段、近期重新认证、重复封禁原子认领、代理超时/失败、真实执行器回读、非 root NestJS 及任意命令/参数注入拒绝。
 - 集成验收必须在隔离测试节点或网络 namespace 使用文档保留 IP；不得封禁预生产运维出口、Cloudflare 节点或真实客户 IP。未安装真实 Fail2ban/nftables/Nginx 资产时，只能把相关用例标记阻塞，不得用 Mock 通过代替。
 - UI 验收覆盖桌面与窄屏的总览、告警、规则、封禁记录、保护名单、加载、空数据、失败和规则未生效状态；所有数字与操作结果必须能从 API、数据库、agent 与执行器证据交叉验证。
+- `TC-F2B-OPS-008`：在非默认`APP_DIR`构建安全代理后执行安装器，核对systemd `ExecStart`与Fail2ban `actionban`均指向同一个真实可执行的`$APP_DIR/dist/cmpp-security-agent`；任一文件残留占位符、旧`current/bin`路径或目标不可执行时，安装/发布必须失败。
@@ -3591,3 +3591,70 @@ git diff --check
 - Prisma schema validate、API与前端TypeScript、API全量40套/472项、Fail2ban专项和Gateway控制器3套/11项、Gateway全量`go test ./...`、Vite 8.1.5生产构建、3个Shell脚本语法和`git diff --check`通过；Vite仅有既有约2.11MiB单chunk提示，全量Jest仍使用`--forceExit`收尾既有异步句柄。
 - 浏览器优先接管本地路由，`/admin/security-detection`在无有效Session时正确跳转运营端登录并保留返回地址，控制台error/warn为0；未读取、重置或猜测账号，登录后页面视觉与交互验收尚未完成。真实Fail2ban、Nginx、nftables、Unix Socket和第88条migration未在本机数据库或预生产安装/执行，必须在具备恢复资产和文档保留测试IP的授权发布窗口完成，当前不以Mock替代集成验收。
 - 本轮未发送、补发或重投短信，未修改通道账号、密码、启停状态、企业余额、客户连接或预生产数据；`api/tsconfig.build.tsbuildinfo`、`tsconfig.tsbuildinfo`、`outputs/`和空文件`=`继续作为受保护项排除提交。
+
+# 2026-08-14 Prometheus 与 Fail2ban 两次提交本地部署复核（未推送、未发布）
+
+- 从侧边会话已经落到本地 `main` 的两个提交开始复核：`b78faa1aa24a89830892b511a6cb17cc5a5fbe68`（Prometheus 系统监控）和 `d30d9ea4d0ec8a46154dfb1e39a9bba2156ec455`（Fail2ban 安全检测）。复核时本地 `HEAD=d30d9ea`，`origin/main=96e475d`，本地领先2个提交；本轮没有再次提交、推送或发布。
+- migration 前已将本地真实 PostgreSQL 备份到 `C:\cmpp-platform-local\backups\cmpp-platform-before-d30d9ea-20260814-111254.dump`，637967字节，SHA-256=`523ecc82b55b5575ebe78fc4d253c5ec44932a76a51209130442f619e1971089`。Prisma generate、validate、migrate deploy/status均通过；`20260814150000_add_security_detection`真实应用一次，本地数据库由87条升级为88/88条migration，九类默认安全规则均存在且配置版本为1。
+- 本地API以正式构建产物运行在3000端口，前端Vite生产预览运行在4173端口，API health与前端HTTP均为200。为避免本地Gateway连接真实供应商，本轮只编译和测试Gateway，没有启动8090；因此API日志中的活动通道恢复和供应商状态对账失败是预期的本地Gateway离线结果，未修改任何通道参数，也未触发短信提交。
+- API全量40套/472项、API TypeScript正式构建、前端TypeScript与Vite 8.1.5生产构建、Gateway `go test ./... -count=1`及`go vet ./...`全部通过；Vite仅保留既有大chunk提示。Prometheus、Fail2ban、nftables和Linux systemd在Windows本机不可用，三个部署Shell及标准发布/初始化Shell均通过Bash语法检查，但不以语法检查冒充Linux真实安装验收。
+- 正式服务层连接真实本地PostgreSQL和真实不可达的 `127.0.0.1:9090` 验证：监控概览返回 `available=false`，所有指标为`null`、趋势为空，非法范围`30d`返回400；安全检测写入保留测试地址`203.0.113.10`的一条 `http_invalid_api_key` 事件，证据中的访问密钥已存为`[REDACTED]`，同一`eventKey=local-qa-d30d9ea-http-invalid-api-key`第二次上报命中幂等去重且未达到告警阈值。该真实本地测试事件保留作审计证据，没有创建封禁或调用安全代理。
+- 未认证HTTP请求访问监控总览、安全总览和规则列表均返回401。经用户明确授权，只临时替换本地专用 `codex_local_admin` 的密码哈希完成图形验证码登录；登录后立即恢复原密码哈希、失败计数和锁定时间，未新建账号、未变更session版本。浏览器桌面验收确认监控页切换到近1小时并刷新后仍明确显示Prometheus不可用且没有Mock/缓存数值；安全页显示24小时事件1条、安全代理不可用，并从真实数据库展示9条规则及`1/1`版本。390×844窄屏下两页核心内容和交互可用，控制台warning/error为0；安全页五个页签在窄屏中文字换行偏碎，记为非阻断视觉问题。
+- 19份既有结构门禁中11份通过、8份失败；失败集中在后台重投/异常处置API、通道/发送质量哈希、报备导出、运营商集合、定时调度、全局长文本样式和签名查询等既有契约漂移，与这两个提交新增文件无交集，本轮不顺带改写其他模块契约。`git diff --check`通过。
+- 本轮没有发送、补发或重投真实短信，没有修改真实通道账号、密码、启停状态、企业余额或客户连接。既有`api/tsconfig.build.tsbuildinfo`、`tsconfig.tsbuildinfo`、`outputs/`和空文件`=`继续保护；本段测试记录是本轮新增的唯一业务工作区修改。
+
+# 2026-08-14 Prometheus 与 Fail2ban 本地服务器部署及真实集成验收
+
+- 经用户明确授权，将本地`HEAD=d30d9ea4d0ec8a46154dfb1e39a9bba2156ec455`及当前工作区的部署修复安装到全新Ubuntu 24.04测试节点`100.93.204.60`；未把该节点当作预生产。部署前只读盘点确认4核、7.8GiB内存、根盘约98GiB且无既有平台目录/数据库/环境文件，恢复基线位于`/opt/cmpp-platform-backups/releases/20260814-135221-before-d30d9ea-localserver`，API回环修复前增量备份位于`/opt/cmpp-platform-backups/releases/20260814-144709-before-api-loopback`。
+- 基础源码归档SHA-256=`c9e0b4ba5895b0d434a3335dcc6044f291779337841bb19b636bbed5d91b1b96`，首轮修复overlay=`24c5720dd0da6fab1b745d3c976cfc70d1a2f1b49da13443157a0ae89eac1bad`，API回环修复overlay=`3d6cdd45a87e12fcad50a10d18862a1527c6a36fae2b18391142c0fba61e717e`；运行标识写为`d30d9ea4d0ec8a46154dfb1e39a9bba2156ec455+localfix.3d6cdd45a87e`。生成的本地管理员凭据以0600权限保存在服务器`/home/hector/cmpp-platform-admin.txt`，未写入仓库或测试记录。
+- 已安装Node 22.21.1、Go 1.26.0、PostgreSQL 16.14、Redis 7.0.15、Nginx 1.24、Fail2ban 1.0.2、Prometheus 2.45.3及Node Exporter 1.7。由于该LAN的DNS/代理返回不可路由的fake-IP，安装期间备份原DNS、hosts和APT源后改用清华Ubuntu镜像并为必要下载域名写入临时hosts固定解析；这些固定解析仅为安装绕行，网络恢复后应按恢复资产移除。首次部署因MinIO官方二进制跳转GitHub后不可达，依照部署文档临时使用真实服务器文件存储驱动`local`，没有用Mock或localStorage伪造对象存储；后续已按用户提供的MinIO二进制完成正式切换，证据见下方补充记录。
+- 第88条migration真实应用，Prisma报告88 migrations且schema up to date；`SecurityDetectionRule`真实9条，`configVersion/effectiveVersion`均为1。该全新节点的通道、短信记录、下游重投任务和安全封禁记录均为0，未连接真实供应商或客户。
+- 真实Linux集成检查通过：API、Gateway、安全代理、PostgreSQL、Redis、Nginx、Prometheus、Node Exporter及Fail2ban均active；API/Gateway/Prometheus健康、Redis PONG、PostgreSQL ready、Nginx语法和Fail2ban配置通过。Prometheus两个target均为`up`，配置有效且告警文件12条规则通过`promtool`；9090/9100仅监听127.0.0.1。安全代理Unix Socket为0660 root:cmpp-security，NestJS用户`cmpp-api`无sudo，systemd与Fail2ban action共同指向`/opt/cmpp-platform/dist/cmpp-security-agent`，nftables专用IPv4/IPv6 timeout set存在，Fail2ban sshd jail运行。
+- 部署中发现并修复三项真实Fresh-Install缺陷：安全代理systemd与Fail2ban action旧路径漂移；Ubuntu默认gzip与发布脚本重复声明导致`nginx -t`失败；NestJS文档要求回环但代码默认监听全网卡。前两项由安装/发布静态门禁保护，第三项新增`API_HOST`并默认127.0.0.1。修复后服务器`ss`确认3000/5432/6379/8090/9090/9100均为回环，外部探测12026和17890可连、3000/9090/9100不可连，Nginx入口`/api/health`返回200。专项部署门禁、API TypeScript正式构建、Shell语法和`git diff --check`通过。
+- 内置浏览器两次导航该Tailscale地址均在页面加载阶段超时；用户随后明确要求改用系统Chrome，Chrome控制扩展同样在新建页导航阶段超时，而同机PowerShell对同URL返回HTTP 200，判定为浏览器控制链路到Tailscale HTTP地址的环境阻塞。两次尝试均未到验证码或登录提交；管理员密码哈希、失败次数和锁定时间已从临时数据库备份恢复，临时备份表已删除。未绕过图形验证码，也未把登录后桌面/窄屏视觉验收伪报为通过。页面构建与真实后端/基础设施证据已通过，登录后视觉及范围切换仍需用户在本机Chrome手动打开页面，或共享已打开的具体标签页后补验。
+- 本轮没有发送、补发、重投短信或创建重投任务，没有修改真实通道账号、密码、启停状态、企业余额或客户连接。工作区修复与文档尚未提交、推送；`api/tsconfig.build.tsbuildinfo`、`tsconfig.tsbuildinfo`、`outputs/`及空文件`=`继续作为受保护项，不删除、不提交、不归因。
+
+## MinIO 正式切换补充（2026-08-14）
+
+- 用户提供`D:\迅雷下载\minio.linux-amd64.RELEASE.2025-09-07T16-13-09Z`，本地与服务器SHA-256均为`7c5bd8512c6e966455b1d198209358b2d191c77a83ab377c4073281065fb855f`；服务器`file`确认其为静态链接Linux x86-64 ELF，运行版本为`RELEASE.2025-09-07T16-13-09Z`、Go 1.24.6。
+- 切换前确认`/var/lib/cmpp-platform/object-storage`文件数为0，并将环境、MinIO环境、systemd单元和本地对象存储目录备份到`/opt/cmpp-platform-backups/releases/20260814-151145-before-minio`。安装后`cmpp-minio`与API均active，API使用`OBJECT_STORAGE_DRIVER=minio`；9000/9001只监听127.0.0.1/::1，外部探测均不可连接。
+- 使用API同款MinIO Node客户端真实创建`cmpp-platform` bucket，并执行测试对象写入、读取内容比对和删除，三步均成功且测试对象已清理。API健康、Gateway、Prometheus、Node Exporter及Fail2ban继续active；未创建业务附件记录、短信、重投任务或通道连接。
+
+# 2026-08-14 系统监控恢复、标题去重与全局预警菜单（测试服务器已部署）
+
+- 用户在`100.93.204.60`真实页面看到系统监控整体降级。只读诊断确认Prometheus、Node Exporter、API、MinIO均active，两个采集target均为`up`，CPU、内存、磁盘、网络、负载、运行时长和systemd查询单独执行都成功；直接运行实际`InfrastructureMonitoringService`后捕获到systemd查询HTTP 400，Prometheus明确返回`unknown escape sequence '.'`。根因是TypeScript字符串只向PromQL传递单反斜杠`\.`，而Prometheus字符串层要求双反斜杠后再交给RE2。
+- systemd固定PromQL改为TypeScript四反斜杠字面量，实际查询文本正确传递双反斜杠；专项测试锁定请求参数。整页降级行为继续清空陈旧数据，但新增仅含错误摘要的服务端warning，不记录PromQL、地址或凭据。部署后真实服务返回`available=true`、综合状态`healthy`、核心服务6/6、1小时CPU趋势56点，API发布后无新增监控不可用warning。
+- 系统监控内容区删除重复的大号`<h1>系统监控</h1>`，保留平台通用页头、说明、状态、时间范围和刷新操作。构建产物与部署源码静态核对确认重复标题不存在。
+- 右上角铃铛由签名清退直接链接改为“预警中心”弹层，分开显示“签名清退预警”和“安全检测与封禁”；审核待办继续使用独立图标和菜单。签名项读取今日未读且未抑制消息数，安全项新增轻量`GET /api/admin/security-detection/notification-summary`，只统计`open/acknowledged/block_failed`总数与严重数，不轮询完整总览、规则或安全代理。任一域失败由`Promise.allSettled`独立降级，不清空另一域。
+- 本地监控/安全专项2套8项、API全量40套473项、前后端TypeScript和Vite生产构建全部通过；全量Jest仍因既有异步句柄使用`--forceExit`收尾，Vite只保留既有大chunk提示，`git diff --check`通过。
+- 发布归档`outputs/cmpp-monitor-alert-fix-20260814-152652.tar.gz`及服务器副本SHA-256均为`8a00a02714ced5311b25fbc3e1cfc17f3d1a38759f1499db78c52089bc0b60b7`。发布前PostgreSQL、环境和运行源码恢复资产位于`/opt/cmpp-platform-backups/releases/20260814-152719-before-monitor-alert-fix`，三项SHA校验、源码tar目录和pg_restore清单均通过；运行标识为`d30d9ea4d0ec8a46154dfb1e39a9bba2156ec455+localfix.monitor-alert.8a00a02714ce`。
+- 经用户明确要求，在该空白测试服务器真实PostgreSQL创建可清理的`qa-bell-alerts-*`预警验收数据：2条签名清退未读消息，关联一个`interfaceEnabled=false/status=disabled`的QA应用和两条QA签名；3条安全告警通过真实内部安全事件接口按规则阈值触发，使用文档保留IP`203.0.113.101-103`，其中critical 1条。铃铛真实汇总为2+3=5；封禁记录0、短信记录0，没有调用安全代理封禁、Gateway提交或供应商连接。
+- Chrome中已存在登录后的测试服务器页面，但浏览器控制扩展在接管该标签页阶段持续超时，因此未伪报点击和响应式视觉验收通过。服务器真实服务、数据库、接口服务层、构建产物和静态契约均已验收；用户刷新页面即可查看，后续以用户截图继续视觉核对。
+- 本轮没有发送、补发或重投短信，没有修改真实通道账号、密码、余额或客户连接。代码和文档尚未提交、推送；受保护的`*.tsbuildinfo`、`outputs/`及空文件`=`继续保留，不归因或提交。
+
+# 2026-08-14 后台重投支持客户端已确认记录与创建/列表样式优化（本地未部署）
+
+- 后台任务可重投状态由`pending/failed/unconfirmed/rejected`扩展为`pending/failed/unconfirmed/rejected/delivered`；状态筛选为`delivered`时，预检将客户端已确认记录计入可重投数并在真实PostgreSQL任务项保存`previousStatus=delivered`。`awaiting_ack`继续由预检计为不可重投且创建接口明确拒绝，避免确认窗口内并发写出。
+- 执行器不是简单放开当前`delivered`状态：只有冻结快照原状态已经是`delivered`的任务项才允许再次调用Gateway；任务创建时为失败/待投递等状态、执行前才收到迟到成功ACK的项目会以“创建任务后已被客户确认”跳过。该判断用于保留运营明确选择已确认记录时的重复投递能力，同时防止其他任务范围意外扩大。
+- 创建弹窗将原生无统一样式的`textarea`替换为平台`Textarea`，增加必填标识、少于5字错误、说明、200字计数、统一焦点态和重复投递风险提示。后台任务列表使用独立内容边框和圆角，桌面卡片边缘保留24px、行内保留20px，窄屏收敛为16px；标题区和分页同步使用设计间距。
+- 已同步`docs/downstream-requeue-task-design-20260812.md` V1.1、平台需求和系统测试用例，新增已确认批量重投、迟到ACK保护及桌面/窄屏视觉用例。专项Jest 10/10、API全量41套/477项、前后端TypeScript、API正式编译、Vite 8.1.5生产构建（2549 modules）、SendChain R10结构契约和`git diff --check`通过；Vite仅保留既有约2.11MiB单chunk提示。Operations R2结构门禁仍因本轮开始前已有的`sendQuality`查询哈希漂移失败，与本次下游重投文件无交集，未为通过门禁改写其他会话业务契约。
+- 本地真实PostgreSQL为88/88条migration且schema up to date。使用现有失败投递在单一数据库事务中临时改为`delivered`，真实验证状态白名单命中1条并成功物化`previousStatus=delivered`任务项1条，随后强制回滚；事务后原投递恢复`failed`且测试任务持久化数为0。该验证没有启动任务扫描、调用Gateway或发送短信。
+- 本轮尚未部署测试服务器或预生产，因当前需求只授权修改且交接约束要求部署另行明确授权；没有创建真实重投任务、发送/补发/重投短信、修改通道账号、密码、启停状态、企业余额或客户连接。既有监控/预警工作区修改及`*.tsbuildinfo`、`outputs/`、空文件`=`继续保护，不归因于本次改动。
+
+# 2026-08-14 服务内部Prometheus指标、阈值与测试机部署
+
+- 在现有工作区上增量实施，未reset/checkout或覆盖其他会话改动。API新增独立`127.0.0.1:9464/metrics`，仅使用路由模板、HTTP方法和状态的低基数标签；Gateway回环`8090/metrics`新增Go运行时、上下游连接、Submit结果/耗时及Redis Stream pending/lag/最旧年龄。两者均只在内存计数，不写业务PostgreSQL或Redis。
+- 测试机`100.93.204.60`安装Ubuntu发行版`prometheus-postgres-exporter 0.15.0`、`prometheus-redis-exporter 1.54.0`和`prometheus-nginx-exporter 1.1.0`，开启MinIO回环原生指标；Prometheus现实际采集`prometheus/node/cmpp-api/cmpp-gateway/postgresql/redis/minio/nginx`8个target，全部`up`。
+- 规则扩展至61条，覆盖主机资源、API 5xx/P95/事件循环、Gateway worker/连接/队列年龄、PostgreSQL连接/死锁、Redis内存/淘汰/拒绝连接、MinIO容量/离线盘、Nginx可用性和Prometheus自监控。比例告警有最低错误样本量，Warning/Critical范围不重叠；`promtool check rules/config`通过，8个规则组计算失败计数全为0，部署后无活动告警。
+- Recording Rules真实返回API P95约0.048s、Gateway pending/lag均0、PostgreSQL连接使用率3%、Redis连接10/已用约1.78MB、MinIO容量使用率约20.8%/离线盘0、Nginx活跃连接4。系统监控页新增六组“服务关键指标”卡片，只读取`cmpp:service_*`聚合；缺失指标显示破折号/待采集，不以0伪造。
+- 外部真实TCP探测确认仅业务端口12026可连接；3000、8090、9000、9090、9100、9113、9121、9187、9464全部从LAN不可连接。各监控进程当时CPU合计约0.4%，Prometheus RSS约101MB、三个新Exporter RSS合计约57MB；各8个target抓取耗时0.0008至0.037s，明显低于15s周期，TSDB当时5790条series。
+- 本地API专项2套5项、API全量41套/477项、API/前端TypeScript、Gateway全量`go test ./... -count=1`和`go vet ./...`通过；测试机Vite 8.0.16生产构建、API/Gateway构建和健康检查通过，仅保留既有大chunk提示。API/Gateway/Prometheus发布后warning级journal为0。
+- 完整恢复资产位于`/opt/cmpp-platform-backups/releases/20260814-164653-before-service-metrics`，包含PostgreSQL、运行源码、环境/监控/Nginx/systemd配置，SHA-256和gzip校验通过。`20260814-164636-before-service-metrics`是因`pg_dump`不接受Prisma `schema` URL参数而立即停止的不完整目录，不可用于恢复；未删除以保留证据。当前运行标识为`d30d9ea4d0ec8a46154dfb1e39a9bba2156ec455+workspace.service-metrics.28575bc8a7d8.minio`。
+- Edge现有测试机页面会话未登录，访问系统监控被正常引导到带图形验证码的登录页；未代填或绕过验证码，因此登录后页面视觉验收留待用户使用已有测试账号查看。本轮未发送、补发或重投短信，未修改通道账号/密码/启停、余额或客户连接；代码未提交、未推送、未发布预生产。
+
+# 2026-08-14 跨会话工作区合并复核
+
+- 合并复核覆盖系统监控恢复与预警菜单、服务内部Prometheus指标/Exporter/阈值、Fail2ban部署路径修复，以及后台重投支持客户端已确认记录和创建/列表样式优化。Git不存在未合并文件或冲突标记；共同修改的API模块、全局布局/样式、部署脚本、平台需求、系统用例和进度记录均已逐项核对，没有发现状态口径、路由、样式选择器或部署时间线互相覆盖。
+- 测试机静态包只读核对显示当前已部署“服务关键指标”，但尚未包含“重复投递风险”和已确认重投的新表单文案，证明服务指标会话使用定向发布，没有把尚未授权部署的下游重投改动意外带入测试机；两项发布记录保持一致。
+- 合并后统一回归通过：API全量41套/477项、前后端TypeScript、API正式编译、Vite 8.1.5生产构建（2549 modules）、Gateway全量`go test ./... -count=1`与`go vet ./...`、SendChain R10、生产部署和安全代理静态契约、5个Shell脚本语法、真实本地PostgreSQL 88/88 migration状态及`git diff --check`。Vite仅保留既有约2.11MiB单chunk提示；Operations R2仍因本轮开始前已有的`sendQuality`查询哈希漂移失败，与本次合并文件无交集。
+- 本次合并没有发送、补发或重投短信，没有创建后台重投任务，没有修改通道账号、密码、启停状态、企业余额或客户连接；提交范围继续排除`api/tsconfig.build.tsbuildinfo`、`tsconfig.tsbuildinfo`、`outputs/`和空文件`=`。