feat: 完善服务监控与下游重投
This commit is contained in:
hectorzhao
@@ -1390,6 +1390,7 @@
|
||||
- 数据统计的“通道占比”默认统计北京时间当天，可选择单个历史日期重新查询；图表使用真实通道名称和该日期的通道提交量。
|
||||
- 输出 500 条/秒压测报告。
|
||||
- 输出 Linux 部署方案，至少覆盖 Docker Compose 或 systemd 部署、环境变量、数据库迁移、日志目录、备份恢复、服务健康检查和回滚步骤。
|
||||
- 标准发布脚本配置Nginx压缩时必须兼容发行版已有的HTTP级`gzip on`：先排除自身生成文件检查现有有效配置，已有时复用，没有时才创建平台级配置；重复发布不得因重复指令使`nginx -t`失败。
|
||||
|
||||
## 16. 新 Codex 会话提示词
|
||||
|
||||
@@ -2035,14 +2036,22 @@
|
||||
- 支持近1小时、近24小时和近7天固定范围，步长分别为60秒、300秒和1800秒。页面可见时每30秒刷新，隐藏或卸载后停止；手动刷新保留当前范围。
|
||||
- 页面展示Prometheus当前firing/pending告警，严重性使用`info/warning/critical`。告警阈值由Prometheus规则计算，前端不重复判断；第一版仅只读展示，不提供缺少审计模型的确认、备注、静默或关闭操作。
|
||||
- Prometheus不可用、查询超时、响应非法时接口返回`available=false`及安全错误摘要，页面清空陈旧指标并展示监控不可用；不能继续显示上一次数据造成误判。
|
||||
- 固定PromQL必须按Prometheus字符串与RE2正则两层语义正确转义，并由专项契约锁定systemd单元正则；任一查询导致整页降级时，API必须记录不含PromQL、地址或凭据的安全错误摘要，不能只向页面返回笼统不可用而没有服务端诊断证据。
|
||||
- 系统监控页只保留平台通用页头中的页面名称；内容区不得再次显示大号“系统监控”标题，可保留“服务器资源、核心服务与活动告警”说明、综合状态和时间范围操作。
|
||||
- 完整采集、查询、安全、响应契约、视觉规格和验收口径见`docs/prometheus-system-monitoring-design-20260814.md`。
|
||||
|
||||
## 全局预警通知菜单（2026-08-14）
|
||||
|
||||
- 运营端右上角铃铛统一作为预警入口，点击后必须分开显示“签名清退预警”和“安全检测与封禁”两个菜单项；审核待办继续使用独立审核图标和菜单，不得把审核数与预警数混合。
|
||||
- 签名清退项展示今日未读且未抑制的真实消息数并跳转`/admin/signature-retirement`；安全检测项展示`open/acknowledged/block_failed`真实待处置告警总数、严重告警摘要并跳转`/admin/security-detection`。
|
||||
- 铃铛角标为两个预警域数量之和；任一域接口失败时只把该域降级为0，不能影响另一域或审核待办。全局轮询使用专用轻量汇总接口，不得每30秒调用安全检测完整总览、代理回读或大列表。
|
||||
# 下游投递后台重投任务（2026-08-12）
|
||||
|
||||
## 完整设计口径与安全整改（2026-08-13）
|
||||
|
||||
1. 后台任务按企业、应用、投递类型、状态、北京时间创建日期和关键词冻结筛选快照，分页、每页条数和当前页勾选不属于范围。预检的命中数、可重投数、规则跳过数、状态分布、涉及应用和最早记录必须严格基于当前筛选条件，不得把单一状态擅自扩为全部状态。
|
||||
2. 预检返回短期有效且绑定当前操作人、筛选条件和 `snapshotAt` 的服务端签名凭证；创建接口只接受该凭证、原因、速度和安全阈值，不再信任前端重传的范围。创建时后端按签名快照重新物化真实 PostgreSQL 任务项。
|
||||
3. 第一版后台任务仅处理 `pending/failed/unconfirmed/rejected`；`delivered/awaiting_ack` 不得进入批量任务。跳过严格表示本任务没有调用 Gateway；客户离线进入 `waiting_connection`，其他链路等待 ACK 进入 `waiting_external_ack`，本任务写出后进入 `waiting_ack`，三类等待均不计失败或跳过。
|
||||
3. 后台任务允许处理 `pending/failed/unconfirmed/rejected/delivered`；客户端已确认的 `delivered` 必须在预检、创建弹窗和任务项原状态中明确呈现，运营确认后可以再次投递，但页面必须提示可能造成客户端重复处理。`awaiting_ack` 不得进入批量任务。若任务项创建时不是 `delivered`、执行前才收到成功 ACK，则本任务必须跳过，不能把迟到确认变成未授权重复投递。跳过严格表示本任务没有调用 Gateway；客户离线进入 `waiting_connection`，其他链路等待 ACK 进入 `waiting_external_ack`，本任务写出后进入 `waiting_ack`，三类等待均不计失败或跳过。
|
||||
4. 限速以企业应用为维度，使用数据库原子秒级窗口在多实例、扫描重叠和执行耗时变化下保持每应用不超过配置速度。任务扫描使用数据库租约；`processing` 项使用认领租约，API 中断后过期恢复为 `queued` 并重新复核，已成功 ACK 的项目不得重放。
|
||||
5. 连续失败按应用隔离统计。Gateway 立即失败、ACK 超时、ACK 拒绝和无法安全关联均计入阈值；只有有效 ACK 成功才清零。达到阈值前原子暂停整个任务，记录触发应用、失败数、阈值和暂停时间，人工继续后从未完成项恢复。
|
||||
6. 任务列表支持状态筛选和真实分页，展示任务号、创建时间、企业/应用、原因、中文状态、总数、成功、失败、跳过、等待、创建人及进度。任务详情展示筛选快照、时间、安全参数、完整结果汇总和任务项分页；任务项可按中文结果、消息 ID、错误或跳过原因查询，不得仅返回最近 50 项。
|
||||
@@ -2051,9 +2060,9 @@
|
||||
|
||||
1. 运营端“下游投递记录”必须同时保留单条重投、当前页勾选批量重投，并新增“按筛选条件重投”；分页支持每页 `10/25/50` 条，切换后回到第一页并重新查询真实后端。
|
||||
2. 后台任务使用当前企业、应用、投递类型、状态、创建日期和关键词的后端筛选快照，分页不属于任务范围；任务创建时固定 `snapshotAt`，之后产生的记录不得被卷入。
|
||||
3. 第一版只允许 `pending/failed/unconfirmed/rejected`，不支持批量重投客户端已确认的 `delivered`，`awaiting_ack` 不得并发重投。创建前必须真实预检命中、可重投、跳过和状态分布，原因必填。
|
||||
3. 批量任务允许 `pending/failed/unconfirmed/rejected/delivered`，其中 `delivered` 会再次发送并可能造成客户端重复处理，创建弹窗必须醒目提示；`awaiting_ack` 不得并发重投。创建前必须真实预检命中、可重投、跳过和状态分布，原因必填。执行器仅允许重投在冻结快照中原状态已经是 `delivered` 的已确认任务项；任务建立后才变成 `delivered` 的项目必须跳过。
|
||||
4. 任务按应用分批执行，默认每秒 10 条；单条失败不阻断整批，连续失败达到 10 条或 ACK 超时/拒绝达到安全阈值时自动暂停。客户离线、等待 ACK 属于等待状态，不得误记为跳过。
|
||||
5. 跳过只表示未调用 Gateway，第一版原因包括：状态已变化、已被客户确认、已被其他任务处理、本任务已成功处理、不属于任务快照、应用或投递能力已停用、投递数据不完整、缺少原 Submit 映射。
|
||||
5. 跳过只表示未调用 Gateway，原因包括：状态已变化、创建任务后才被客户确认、已被其他任务处理、本任务已成功处理、不属于任务快照、应用或投递能力已停用、投递数据不完整、缺少原 Submit 映射。
|
||||
6. 任务必须支持列表、详情、暂停、继续和终止；终止只影响尚未发送的记录。任务项以 `taskId + deliveryId` 幂等，执行前原子认领并复核状态，API 重启后可继续，成功 ACK 的项目不得再次发送。
|
||||
7. 所有创建、暂停、继续、终止和自动暂停均写操作日志；任务使用真实 PostgreSQL、Gateway 和客户 ACK，不得使用 mock、静态数据或 localStorage。
|
||||
# 2026-08-13 HTTP 请求与 Gateway API 响应容量边界
|
||||
@@ -2078,3 +2087,12 @@
|
||||
- NestJS 必须以专用非 root 用户运行，不得获得通用 sudo、任意 shell、直接编辑 `/etc/fail2ban/*` 或防火墙的能力。独立 root security agent 只监听本机 Unix Socket、接受固定 JSON 动作、使用参数数组执行固定操作，并在真实 nftables 或 Nginx deny 回读成功后才允许数据库标记 `blocked`。
|
||||
- 运营端/客户端的 Cloudflare 入口使用 Nginx real-IP deny；直连 HTTP API、SSH 与 CMPP 使用 nftables。只有可信代理 TCP 来源可以提供访客 IP；系统回环、私网、链路本地、组播和配置的运维/健康检查网段必须内置保护。
|
||||
- 规则更新先保存待应用版本，由安全代理生成固定 Fail2ban 配置、执行语法校验并 reload；失败保留上一生效值并展示失败原因，不得显示为已生效。完整架构、状态机、字段、接口和安全边界以 `docs/fail2ban-assisted-blocking-design-20260814.md` 为准。
|
||||
- 安全代理的systemd单元与Fail2ban report-only action必须由安装器从同一受控占位符渲染，并共同指向发布脚本实际生成的`$APP_DIR/dist/cmpp-security-agent`；安装后残留占位符、旧`current/bin`路径或不可执行目标时必须终止发布，禁止出现Agent服务可启动但Fail2ban action静默失效的分叉配置。
|
||||
- NestJS API生产进程必须显式绑定`127.0.0.1`，仅由Nginx受控入口反向代理；不得依赖框架默认的全网卡监听而把3000端口直接暴露到LAN、Tailscale或公网。非生产环境如确需其他地址，只能通过明确的`API_HOST`配置覆盖。
|
||||
|
||||
## 服务内部指标与阈值（2026-08-14）
|
||||
|
||||
- API、Gateway必须以回环端点暴露低基数运行指标；PostgreSQL、Redis、Nginx使用发行版Exporter，MinIO使用原生指标。任何指标端口都不得经Nginx或安全组对公网暴露。
|
||||
- 运营端展示API请求/错误/延迟/事件循环、Gateway Submit/队列/连接、PostgreSQL连接/死锁、Redis内存/连接/淘汰、Nginx连接/请求和MinIO可用性；指标缺失显示“待采集”，不以0伪装。
|
||||
- 告警必须使用持续窗口和最低样本量；默认阈值、收敛关系、标签禁止项和性能预算以`docs/prometheus-system-monitoring-design-20260814.md`第9节为准。
|
||||
- 指标不得包含手机号、短信正文、短信/CMPP/任务ID、密钥、完整URL或SQL原文；不得把时序指标高频写入业务PostgreSQL。
|
||||
|
||||
Reference in New Issue
Block a user