feat: 完善服务监控与下游重投

docs/testing-progress.md

@@ -3591,3 +3591,70 @@ git diff --check
 - Prisma schema validate、API与前端TypeScript、API全量40套/472项、Fail2ban专项和Gateway控制器3套/11项、Gateway全量`go test ./...`、Vite 8.1.5生产构建、3个Shell脚本语法和`git diff --check`通过；Vite仅有既有约2.11MiB单chunk提示，全量Jest仍使用`--forceExit`收尾既有异步句柄。
 - 浏览器优先接管本地路由，`/admin/security-detection`在无有效Session时正确跳转运营端登录并保留返回地址，控制台error/warn为0；未读取、重置或猜测账号，登录后页面视觉与交互验收尚未完成。真实Fail2ban、Nginx、nftables、Unix Socket和第88条migration未在本机数据库或预生产安装/执行，必须在具备恢复资产和文档保留测试IP的授权发布窗口完成，当前不以Mock替代集成验收。
 - 本轮未发送、补发或重投短信，未修改通道账号、密码、启停状态、企业余额、客户连接或预生产数据；`api/tsconfig.build.tsbuildinfo`、`tsconfig.tsbuildinfo`、`outputs/`和空文件`=`继续作为受保护项排除提交。
+
+# 2026-08-14 Prometheus 与 Fail2ban 两次提交本地部署复核（未推送、未发布）
+
+- 从侧边会话已经落到本地 `main` 的两个提交开始复核：`b78faa1aa24a89830892b511a6cb17cc5a5fbe68`（Prometheus 系统监控）和 `d30d9ea4d0ec8a46154dfb1e39a9bba2156ec455`（Fail2ban 安全检测）。复核时本地 `HEAD=d30d9ea`，`origin/main=96e475d`，本地领先2个提交；本轮没有再次提交、推送或发布。
+- migration 前已将本地真实 PostgreSQL 备份到 `C:\cmpp-platform-local\backups\cmpp-platform-before-d30d9ea-20260814-111254.dump`，637967字节，SHA-256=`523ecc82b55b5575ebe78fc4d253c5ec44932a76a51209130442f619e1971089`。Prisma generate、validate、migrate deploy/status均通过；`20260814150000_add_security_detection`真实应用一次，本地数据库由87条升级为88/88条migration，九类默认安全规则均存在且配置版本为1。
+- 本地API以正式构建产物运行在3000端口，前端Vite生产预览运行在4173端口，API health与前端HTTP均为200。为避免本地Gateway连接真实供应商，本轮只编译和测试Gateway，没有启动8090；因此API日志中的活动通道恢复和供应商状态对账失败是预期的本地Gateway离线结果，未修改任何通道参数，也未触发短信提交。
+- API全量40套/472项、API TypeScript正式构建、前端TypeScript与Vite 8.1.5生产构建、Gateway `go test ./... -count=1`及`go vet ./...`全部通过；Vite仅保留既有大chunk提示。Prometheus、Fail2ban、nftables和Linux systemd在Windows本机不可用，三个部署Shell及标准发布/初始化Shell均通过Bash语法检查，但不以语法检查冒充Linux真实安装验收。
+- 正式服务层连接真实本地PostgreSQL和真实不可达的 `127.0.0.1:9090` 验证：监控概览返回 `available=false`，所有指标为`null`、趋势为空，非法范围`30d`返回400；安全检测写入保留测试地址`203.0.113.10`的一条 `http_invalid_api_key` 事件，证据中的访问密钥已存为`[REDACTED]`，同一`eventKey=local-qa-d30d9ea-http-invalid-api-key`第二次上报命中幂等去重且未达到告警阈值。该真实本地测试事件保留作审计证据，没有创建封禁或调用安全代理。
+- 未认证HTTP请求访问监控总览、安全总览和规则列表均返回401。经用户明确授权，只临时替换本地专用 `codex_local_admin` 的密码哈希完成图形验证码登录；登录后立即恢复原密码哈希、失败计数和锁定时间，未新建账号、未变更session版本。浏览器桌面验收确认监控页切换到近1小时并刷新后仍明确显示Prometheus不可用且没有Mock/缓存数值；安全页显示24小时事件1条、安全代理不可用，并从真实数据库展示9条规则及`1/1`版本。390×844窄屏下两页核心内容和交互可用，控制台warning/error为0；安全页五个页签在窄屏中文字换行偏碎，记为非阻断视觉问题。
+- 19份既有结构门禁中11份通过、8份失败；失败集中在后台重投/异常处置API、通道/发送质量哈希、报备导出、运营商集合、定时调度、全局长文本样式和签名查询等既有契约漂移，与这两个提交新增文件无交集，本轮不顺带改写其他模块契约。`git diff --check`通过。
+- 本轮没有发送、补发或重投真实短信，没有修改真实通道账号、密码、启停状态、企业余额或客户连接。既有`api/tsconfig.build.tsbuildinfo`、`tsconfig.tsbuildinfo`、`outputs/`和空文件`=`继续保护；本段测试记录是本轮新增的唯一业务工作区修改。
+
+# 2026-08-14 Prometheus 与 Fail2ban 本地服务器部署及真实集成验收
+
+- 经用户明确授权，将本地`HEAD=d30d9ea4d0ec8a46154dfb1e39a9bba2156ec455`及当前工作区的部署修复安装到全新Ubuntu 24.04测试节点`100.93.204.60`；未把该节点当作预生产。部署前只读盘点确认4核、7.8GiB内存、根盘约98GiB且无既有平台目录/数据库/环境文件，恢复基线位于`/opt/cmpp-platform-backups/releases/20260814-135221-before-d30d9ea-localserver`，API回环修复前增量备份位于`/opt/cmpp-platform-backups/releases/20260814-144709-before-api-loopback`。
+- 基础源码归档SHA-256=`c9e0b4ba5895b0d434a3335dcc6044f291779337841bb19b636bbed5d91b1b96`，首轮修复overlay=`24c5720dd0da6fab1b745d3c976cfc70d1a2f1b49da13443157a0ae89eac1bad`，API回环修复overlay=`3d6cdd45a87e12fcad50a10d18862a1527c6a36fae2b18391142c0fba61e717e`；运行标识写为`d30d9ea4d0ec8a46154dfb1e39a9bba2156ec455+localfix.3d6cdd45a87e`。生成的本地管理员凭据以0600权限保存在服务器`/home/hector/cmpp-platform-admin.txt`，未写入仓库或测试记录。
+- 已安装Node 22.21.1、Go 1.26.0、PostgreSQL 16.14、Redis 7.0.15、Nginx 1.24、Fail2ban 1.0.2、Prometheus 2.45.3及Node Exporter 1.7。由于该LAN的DNS/代理返回不可路由的fake-IP，安装期间备份原DNS、hosts和APT源后改用清华Ubuntu镜像并为必要下载域名写入临时hosts固定解析；这些固定解析仅为安装绕行，网络恢复后应按恢复资产移除。首次部署因MinIO官方二进制跳转GitHub后不可达，依照部署文档临时使用真实服务器文件存储驱动`local`，没有用Mock或localStorage伪造对象存储；后续已按用户提供的MinIO二进制完成正式切换，证据见下方补充记录。
+- 第88条migration真实应用，Prisma报告88 migrations且schema up to date；`SecurityDetectionRule`真实9条，`configVersion/effectiveVersion`均为1。该全新节点的通道、短信记录、下游重投任务和安全封禁记录均为0，未连接真实供应商或客户。
+- 真实Linux集成检查通过：API、Gateway、安全代理、PostgreSQL、Redis、Nginx、Prometheus、Node Exporter及Fail2ban均active；API/Gateway/Prometheus健康、Redis PONG、PostgreSQL ready、Nginx语法和Fail2ban配置通过。Prometheus两个target均为`up`，配置有效且告警文件12条规则通过`promtool`；9090/9100仅监听127.0.0.1。安全代理Unix Socket为0660 root:cmpp-security，NestJS用户`cmpp-api`无sudo，systemd与Fail2ban action共同指向`/opt/cmpp-platform/dist/cmpp-security-agent`，nftables专用IPv4/IPv6 timeout set存在，Fail2ban sshd jail运行。
+- 部署中发现并修复三项真实Fresh-Install缺陷：安全代理systemd与Fail2ban action旧路径漂移；Ubuntu默认gzip与发布脚本重复声明导致`nginx -t`失败；NestJS文档要求回环但代码默认监听全网卡。前两项由安装/发布静态门禁保护，第三项新增`API_HOST`并默认127.0.0.1。修复后服务器`ss`确认3000/5432/6379/8090/9090/9100均为回环，外部探测12026和17890可连、3000/9090/9100不可连，Nginx入口`/api/health`返回200。专项部署门禁、API TypeScript正式构建、Shell语法和`git diff --check`通过。
+- 内置浏览器两次导航该Tailscale地址均在页面加载阶段超时；用户随后明确要求改用系统Chrome，Chrome控制扩展同样在新建页导航阶段超时，而同机PowerShell对同URL返回HTTP 200，判定为浏览器控制链路到Tailscale HTTP地址的环境阻塞。两次尝试均未到验证码或登录提交；管理员密码哈希、失败次数和锁定时间已从临时数据库备份恢复，临时备份表已删除。未绕过图形验证码，也未把登录后桌面/窄屏视觉验收伪报为通过。页面构建与真实后端/基础设施证据已通过，登录后视觉及范围切换仍需用户在本机Chrome手动打开页面，或共享已打开的具体标签页后补验。
+- 本轮没有发送、补发、重投短信或创建重投任务，没有修改真实通道账号、密码、启停状态、企业余额或客户连接。工作区修复与文档尚未提交、推送；`api/tsconfig.build.tsbuildinfo`、`tsconfig.tsbuildinfo`、`outputs/`及空文件`=`继续作为受保护项，不删除、不提交、不归因。
+
+## MinIO 正式切换补充（2026-08-14）
+
+- 用户提供`D:\迅雷下载\minio.linux-amd64.RELEASE.2025-09-07T16-13-09Z`，本地与服务器SHA-256均为`7c5bd8512c6e966455b1d198209358b2d191c77a83ab377c4073281065fb855f`；服务器`file`确认其为静态链接Linux x86-64 ELF，运行版本为`RELEASE.2025-09-07T16-13-09Z`、Go 1.24.6。
+- 切换前确认`/var/lib/cmpp-platform/object-storage`文件数为0，并将环境、MinIO环境、systemd单元和本地对象存储目录备份到`/opt/cmpp-platform-backups/releases/20260814-151145-before-minio`。安装后`cmpp-minio`与API均active，API使用`OBJECT_STORAGE_DRIVER=minio`；9000/9001只监听127.0.0.1/::1，外部探测均不可连接。
+- 使用API同款MinIO Node客户端真实创建`cmpp-platform` bucket，并执行测试对象写入、读取内容比对和删除，三步均成功且测试对象已清理。API健康、Gateway、Prometheus、Node Exporter及Fail2ban继续active；未创建业务附件记录、短信、重投任务或通道连接。
+
+# 2026-08-14 系统监控恢复、标题去重与全局预警菜单（测试服务器已部署）
+
+- 用户在`100.93.204.60`真实页面看到系统监控整体降级。只读诊断确认Prometheus、Node Exporter、API、MinIO均active，两个采集target均为`up`，CPU、内存、磁盘、网络、负载、运行时长和systemd查询单独执行都成功；直接运行实际`InfrastructureMonitoringService`后捕获到systemd查询HTTP 400，Prometheus明确返回`unknown escape sequence '.'`。根因是TypeScript字符串只向PromQL传递单反斜杠`\.`，而Prometheus字符串层要求双反斜杠后再交给RE2。
+- systemd固定PromQL改为TypeScript四反斜杠字面量，实际查询文本正确传递双反斜杠；专项测试锁定请求参数。整页降级行为继续清空陈旧数据，但新增仅含错误摘要的服务端warning，不记录PromQL、地址或凭据。部署后真实服务返回`available=true`、综合状态`healthy`、核心服务6/6、1小时CPU趋势56点，API发布后无新增监控不可用warning。
+- 系统监控内容区删除重复的大号`<h1>系统监控</h1>`，保留平台通用页头、说明、状态、时间范围和刷新操作。构建产物与部署源码静态核对确认重复标题不存在。
+- 右上角铃铛由签名清退直接链接改为“预警中心”弹层，分开显示“签名清退预警”和“安全检测与封禁”；审核待办继续使用独立图标和菜单。签名项读取今日未读且未抑制消息数，安全项新增轻量`GET /api/admin/security-detection/notification-summary`，只统计`open/acknowledged/block_failed`总数与严重数，不轮询完整总览、规则或安全代理。任一域失败由`Promise.allSettled`独立降级，不清空另一域。
+- 本地监控/安全专项2套8项、API全量40套473项、前后端TypeScript和Vite生产构建全部通过；全量Jest仍因既有异步句柄使用`--forceExit`收尾，Vite只保留既有大chunk提示，`git diff --check`通过。
+- 发布归档`outputs/cmpp-monitor-alert-fix-20260814-152652.tar.gz`及服务器副本SHA-256均为`8a00a02714ced5311b25fbc3e1cfc17f3d1a38759f1499db78c52089bc0b60b7`。发布前PostgreSQL、环境和运行源码恢复资产位于`/opt/cmpp-platform-backups/releases/20260814-152719-before-monitor-alert-fix`，三项SHA校验、源码tar目录和pg_restore清单均通过；运行标识为`d30d9ea4d0ec8a46154dfb1e39a9bba2156ec455+localfix.monitor-alert.8a00a02714ce`。
+- 经用户明确要求，在该空白测试服务器真实PostgreSQL创建可清理的`qa-bell-alerts-*`预警验收数据：2条签名清退未读消息，关联一个`interfaceEnabled=false/status=disabled`的QA应用和两条QA签名；3条安全告警通过真实内部安全事件接口按规则阈值触发，使用文档保留IP`203.0.113.101-103`，其中critical 1条。铃铛真实汇总为2+3=5；封禁记录0、短信记录0，没有调用安全代理封禁、Gateway提交或供应商连接。
+- Chrome中已存在登录后的测试服务器页面，但浏览器控制扩展在接管该标签页阶段持续超时，因此未伪报点击和响应式视觉验收通过。服务器真实服务、数据库、接口服务层、构建产物和静态契约均已验收；用户刷新页面即可查看，后续以用户截图继续视觉核对。
+- 本轮没有发送、补发或重投短信，没有修改真实通道账号、密码、余额或客户连接。代码和文档尚未提交、推送；受保护的`*.tsbuildinfo`、`outputs/`及空文件`=`继续保留，不归因或提交。
+
+# 2026-08-14 后台重投支持客户端已确认记录与创建/列表样式优化（本地未部署）
+
+- 后台任务可重投状态由`pending/failed/unconfirmed/rejected`扩展为`pending/failed/unconfirmed/rejected/delivered`；状态筛选为`delivered`时，预检将客户端已确认记录计入可重投数并在真实PostgreSQL任务项保存`previousStatus=delivered`。`awaiting_ack`继续由预检计为不可重投且创建接口明确拒绝，避免确认窗口内并发写出。
+- 执行器不是简单放开当前`delivered`状态：只有冻结快照原状态已经是`delivered`的任务项才允许再次调用Gateway；任务创建时为失败/待投递等状态、执行前才收到迟到成功ACK的项目会以“创建任务后已被客户确认”跳过。该判断用于保留运营明确选择已确认记录时的重复投递能力，同时防止其他任务范围意外扩大。
+- 创建弹窗将原生无统一样式的`textarea`替换为平台`Textarea`，增加必填标识、少于5字错误、说明、200字计数、统一焦点态和重复投递风险提示。后台任务列表使用独立内容边框和圆角，桌面卡片边缘保留24px、行内保留20px，窄屏收敛为16px；标题区和分页同步使用设计间距。
+- 已同步`docs/downstream-requeue-task-design-20260812.md` V1.1、平台需求和系统测试用例，新增已确认批量重投、迟到ACK保护及桌面/窄屏视觉用例。专项Jest 10/10、API全量41套/477项、前后端TypeScript、API正式编译、Vite 8.1.5生产构建（2549 modules）、SendChain R10结构契约和`git diff --check`通过；Vite仅保留既有约2.11MiB单chunk提示。Operations R2结构门禁仍因本轮开始前已有的`sendQuality`查询哈希漂移失败，与本次下游重投文件无交集，未为通过门禁改写其他会话业务契约。
+- 本地真实PostgreSQL为88/88条migration且schema up to date。使用现有失败投递在单一数据库事务中临时改为`delivered`，真实验证状态白名单命中1条并成功物化`previousStatus=delivered`任务项1条，随后强制回滚；事务后原投递恢复`failed`且测试任务持久化数为0。该验证没有启动任务扫描、调用Gateway或发送短信。
+- 本轮尚未部署测试服务器或预生产，因当前需求只授权修改且交接约束要求部署另行明确授权；没有创建真实重投任务、发送/补发/重投短信、修改通道账号、密码、启停状态、企业余额或客户连接。既有监控/预警工作区修改及`*.tsbuildinfo`、`outputs/`、空文件`=`继续保护，不归因于本次改动。
+
+# 2026-08-14 服务内部Prometheus指标、阈值与测试机部署
+
+- 在现有工作区上增量实施，未reset/checkout或覆盖其他会话改动。API新增独立`127.0.0.1:9464/metrics`，仅使用路由模板、HTTP方法和状态的低基数标签；Gateway回环`8090/metrics`新增Go运行时、上下游连接、Submit结果/耗时及Redis Stream pending/lag/最旧年龄。两者均只在内存计数，不写业务PostgreSQL或Redis。
+- 测试机`100.93.204.60`安装Ubuntu发行版`prometheus-postgres-exporter 0.15.0`、`prometheus-redis-exporter 1.54.0`和`prometheus-nginx-exporter 1.1.0`，开启MinIO回环原生指标；Prometheus现实际采集`prometheus/node/cmpp-api/cmpp-gateway/postgresql/redis/minio/nginx`8个target，全部`up`。
+- 规则扩展至61条，覆盖主机资源、API 5xx/P95/事件循环、Gateway worker/连接/队列年龄、PostgreSQL连接/死锁、Redis内存/淘汰/拒绝连接、MinIO容量/离线盘、Nginx可用性和Prometheus自监控。比例告警有最低错误样本量，Warning/Critical范围不重叠；`promtool check rules/config`通过，8个规则组计算失败计数全为0，部署后无活动告警。
+- Recording Rules真实返回API P95约0.048s、Gateway pending/lag均0、PostgreSQL连接使用率3%、Redis连接10/已用约1.78MB、MinIO容量使用率约20.8%/离线盘0、Nginx活跃连接4。系统监控页新增六组“服务关键指标”卡片，只读取`cmpp:service_*`聚合；缺失指标显示破折号/待采集，不以0伪造。
+- 外部真实TCP探测确认仅业务端口12026可连接；3000、8090、9000、9090、9100、9113、9121、9187、9464全部从LAN不可连接。各监控进程当时CPU合计约0.4%，Prometheus RSS约101MB、三个新Exporter RSS合计约57MB；各8个target抓取耗时0.0008至0.037s，明显低于15s周期，TSDB当时5790条series。
+- 本地API专项2套5项、API全量41套/477项、API/前端TypeScript、Gateway全量`go test ./... -count=1`和`go vet ./...`通过；测试机Vite 8.0.16生产构建、API/Gateway构建和健康检查通过，仅保留既有大chunk提示。API/Gateway/Prometheus发布后warning级journal为0。
+- 完整恢复资产位于`/opt/cmpp-platform-backups/releases/20260814-164653-before-service-metrics`，包含PostgreSQL、运行源码、环境/监控/Nginx/systemd配置，SHA-256和gzip校验通过。`20260814-164636-before-service-metrics`是因`pg_dump`不接受Prisma `schema` URL参数而立即停止的不完整目录，不可用于恢复；未删除以保留证据。当前运行标识为`d30d9ea4d0ec8a46154dfb1e39a9bba2156ec455+workspace.service-metrics.28575bc8a7d8.minio`。
+- Edge现有测试机页面会话未登录，访问系统监控被正常引导到带图形验证码的登录页；未代填或绕过验证码，因此登录后页面视觉验收留待用户使用已有测试账号查看。本轮未发送、补发或重投短信，未修改通道账号/密码/启停、余额或客户连接；代码未提交、未推送、未发布预生产。
+
+# 2026-08-14 跨会话工作区合并复核
+
+- 合并复核覆盖系统监控恢复与预警菜单、服务内部Prometheus指标/Exporter/阈值、Fail2ban部署路径修复，以及后台重投支持客户端已确认记录和创建/列表样式优化。Git不存在未合并文件或冲突标记；共同修改的API模块、全局布局/样式、部署脚本、平台需求、系统用例和进度记录均已逐项核对，没有发现状态口径、路由、样式选择器或部署时间线互相覆盖。
+- 测试机静态包只读核对显示当前已部署“服务关键指标”，但尚未包含“重复投递风险”和已确认重投的新表单文案，证明服务指标会话使用定向发布，没有把尚未授权部署的下游重投改动意外带入测试机；两项发布记录保持一致。
+- 合并后统一回归通过：API全量41套/477项、前后端TypeScript、API正式编译、Vite 8.1.5生产构建（2549 modules）、Gateway全量`go test ./... -count=1`与`go vet ./...`、SendChain R10、生产部署和安全代理静态契约、5个Shell脚本语法、真实本地PostgreSQL 88/88 migration状态及`git diff --check`。Vite仅保留既有约2.11MiB单chunk提示；Operations R2仍因本轮开始前已有的`sendQuality`查询哈希漂移失败，与本次合并文件无交集。
+- 本次合并没有发送、补发或重投短信，没有创建后台重投任务，没有修改通道账号、密码、启停状态、企业余额或客户连接；提交范围继续排除`api/tsconfig.build.tsbuildinfo`、`tsconfig.tsbuildinfo`、`outputs/`和空文件`=`。