fix: 修复未报备签名统计的中文编码兼容性
This commit is contained in:
hectorzhao
@@ -2392,3 +2392,8 @@ Webhook需在当前受支持Node运行时通过真实HTTPS投递；SSRF校验后
|
||||
- 按已协商的 CMPP 2.0/2.1、3.0 编解码 60/71 字节回执；不得在 3.0 静默使用 2.0 布局。合法序号 0 可恢复下游原 Msg_Id，回绕不得覆盖在途记录；所有非零 CONNECT_RESP 状态失败，合法多号码大包可接收且异常长度有界拒绝。
|
||||
- 同一回执并发首次接收只形成一个持久化事实。历史应急记录缺失序号不自动补填，不再次触发通知、补发或账务。
|
||||
- 详细字段、迁移发布边界及验收依据：[CMPP 字段兼容性方案](cmpp-protocol-field-compatibility-remediation-20260920.md)。本轮授权并完成本地实现/验收/提交，环境上线另行执行标准发布。
|
||||
|
||||
|
||||
## 2026-09-21 未报备签名统计编码兼容修正
|
||||
|
||||
保持既有未报备签名定义：规范正文开头签名在当前企业应用有效签名库不存在才计入。实时统计和日报聚合须同时兼容现有SQL_ASCII及UTF8数据库；不能因汉字共享编码字节漏统计，也不能放宽空签名、嵌套括号或非规范开头限制。不更改分页、权限、归属、数据库编码或已冻结历史报表。根因和本地验收见[排查及修复记录](unreported-signature-diagnosis-20260921.md)。
|
||||
|
||||
@@ -5730,3 +5730,15 @@ TC-SQA-01～14：真实隔离PG覆盖核心日期/日报/长短信/事务/分页
|
||||
| T17～T18 | inbound/protocol_fields_test.go、verify-protocol-fields.mjs | 2.0/3.0 本机 TCP 重连零序号回执与 ACK，历史缺失序号不回填且终态/通知不重开；通过 |
|
||||
|
||||
后续上线须追加目标 schema/版本、真实供应商/客户互通、队列排空和账务对账证据。当前不标记目标环境完成，也不执行历史回执重投。
|
||||
|
||||
|
||||
## 2026-09-21 未报备签名编码回归
|
||||
|
||||
| 用例 | 场景与预期 |
|
||||
|---|---|
|
||||
| TC-UNREPORTED-ENC-001 | 真实SQL_ASCII、UTF8隔离库提取26种输入：目标签名、中文、ASCII、emoji、换行、引号、长文本完整提取；空签名、前导空白/BOM、未关闭和嵌套括号不提取，保留原规范。 |
|
||||
| TC-UNREPORTED-ENC-002 | 64条【宜都市万商市场投资有限公司】无signatureId消息在本应用无签名、其他应用/企业有同名时仍聚合64；当前应用有效或待审核同名排除，deleted不排除；已有signatureId及无应用记录按原逻辑排除。 |
|
||||
| TC-UNREPORTED-ENC-003 | 北京时间日初包含、次日日初排除、日末包含；实时和日报聚合一致，真实日报持久化与HTTP查询一致；13组按每页10条分两页，三类搜索、空结果、非法参数不改变既有语义。 |
|
||||
| TC-UNREPORTED-ENC-004 | 已冻结日报在源记录改变后普通生成跳过、补建覆盖拒绝，原内容保持；隔离测试不创建任何供应商Submit。 |
|
||||
|
||||
执行：本机PostgreSQL16.14两编码各113项提交内迁移，verify-unreported-signature-encoding.mjs全部通过；真实Nest控制器/服务/PG，不含全局登录鉴权、浏览器及在线发送。完整结果和证据见[本轮记录](unreported-signature-diagnosis-20260921.md)。
|
||||
|
||||
@@ -5210,3 +5210,14 @@ API全量81套/880项通过并达覆盖率门禁（语句67.73%、分支52.89%
|
||||
- 迁移：从已提交基线排除其他会话未提交 mobile-rule 迁移，新空库部署 113 迁移成功。七表 21 行小样本证明末表负值使此前 DDL 整体回滚，锁等待 5 秒失败回滚，旧值/NULL/7 索引保留；最终有效扩容约 106ms、WAL 81800 字节。生产规模、真实发布备份/恢复与 3.0 供应商非规范布局抽样待上线前补验，禁止把小样本当容量承诺。
|
||||
- 证据：.local-data/protocol-fields-20260920/ 保留原失败和复验日志；最终 real-chain-verified.log、migrate-verified.log、api-coverage-final.log、api-incremental.log、go-final.log、gocmpp-final.log。专用 Redis 5.0.14.1 的真实 Stream 验证有效，但低于 BullMQ 推荐 6.2；PG 并发 query 弃用提示记为存量，未修改依赖。测试脚本要求全新本机 cmpp_qa_* 数据库，避免固定最大 Msg_Id fixture 跨轮冲突。
|
||||
- 方案/需求/用例同步：docs/cmpp-protocol-field-compatibility-remediation-20260920.md 第 10 节完整映射 T01～T18。无前端/CSS改动、未执行浏览器回归；客户端 JSON 类型保持不变。业务状态与资金未通过迁移回填。后续所有相关进程须与 BigInt schema 配套，旧客户端不能读取高位值；应用回退不执行 bigint 缩回 integer。
|
||||
|
||||
|
||||
## 2026-09-21 未报备签名漏统计修复与本地提交
|
||||
|
||||
预生产001d5f2只读诊断发现：【宜都市万商市场投资有限公司】今日64条、当前应用有效同名签名0，SQL_ASCII使中文排除字符集合误判，旧提取全部NULL。用户随后授权修复并提交；新增共用SQL提取函数，实时与日报均按完整括号排除嵌套，保持原日期/应用/签名库/分页及冻结历史规则，无迁移。15:33:24预生产READ ONLY对照旧0/新64，不是线上发布。
|
||||
|
||||
本地真实PG16.14 UTF8/SQL_ASCII新空库各113项已提交迁移；26输入、64条案例、租户应用/签名状态、日期边界、13组两页、三类搜索、参数校验、真实日报落库和Nest控制器HTTP、冻结历史保护均通过，Submit=0。首次分页夹具用不支持的2返回400，改现有10并新库复验通过；旧运行目录initdb缺dict_snowball改用完整既有运行库通过，失败证据保留。API87套990项全通过，覆盖率68.05/53.73/69/70.77达到门禁，生产构建、定向lint/格式通过。
|
||||
|
||||
代码与需求口径一致，相关需求和TC-UNREPORTED-ENC-001～004同步。原始证据.local-data/unreported-signature-20260921/，详情见[诊断及修复记录](unreported-signature-diagnosis-20260921.md)。本轮仅本地修改和提交，无推送、部署或历史重算；不包含其他会话草稿。真实HTTP为最小控制器验收，未注册应用全局登录鉴权，未做浏览器或线上页面验收；前端/Go未变不重跑。预生产仍需单独授权部署后验收。
|
||||
|
||||
提交前从暂存区导出的精确候选另行通过API86套922项、覆盖率68.05/53.73/69.02/70.77和生产构建；候选产物在两种编码新库重新执行完整真实PG/HTTP/日报脚本通过。前述990项含他轮未提交测试，不作为本次精确提交测试数。最终candidate-api-coverage.log、candidate-build.log及real-*-candidate.log留档；专用PG已停止，数据保留。
|
||||
|
||||
@@ -0,0 +1,48 @@
|
||||
# 2026-09-21 预生产未报备签名漏统计只读诊断
|
||||
|
||||
核验时间：2026-09-21 15:09～15:12（北京时间）。授权仅排查，不修复、不部署、不改变线上数据。
|
||||
|
||||
## 当前证据
|
||||
|
||||
- 预生产 8.160.169.106，运行提交 `001d5f2cbdbd19e56c4de914bd3b94a04c3b19c5`，cmpp-api active；实际工作目录 `/opt/cmpp-platform/api`。本地 main 同提交，现有 origin/main 跟踪差异 0/0，未 fetch；暂存区为空，其他会话修改保留。
|
||||
- 真实 PostgreSQL `cmpp_platform` 的 `server_encoding=SQL_ASCII`。查询全部在 READ ONLY 事务内，statement_timeout 12～15 秒，结束回滚。
|
||||
- 今天【宜都市万商市场投资有限公司】共有64条业务短信，企业为“启瑞企业”，应用为“启瑞物业-From老平台”，入队时间北京时间12:12:21.238～14:19:39.114。全部 signatureId 为空，status=failed，errorCode=SIGNATURE，错误说明“短信内容未识别到已审核通过的签名”。未查询或输出收件号码及完整正文。
|
||||
- 当前企业应用有效签名库精确同名记录为0。存在的是另一个名称【宜都市万商商业运营有限公司】，审核/报备均 approved，不能替代用户询问的签名。
|
||||
- 正文从规范黑括号开始，前缀字节为 `e38090`。线上运行产物 `api/dist/signature-retirement/signature-retirement.service.js:520` 使用 `SUBSTRING(message.content FROM '^【[^【】]+】')`；该表达式对全部64条返回NULL。
|
||||
- 只读对照表达式 `^【.+?】` 对同一64条均提取出完整目标签名。对照仅证明现有表达式漏识别，不代表替代表达式已满足异常/嵌套括号等全部验收规则。
|
||||
|
||||
## 根因及范围
|
||||
|
||||
当前数据库按 SQL_ASCII 处理字符串，现有排除字符集合 `[^【】]` 按字节处理中文括号及正文，误排除共享字节的汉字；提取结果为空后被 `signature_name IS NOT NULL` 条件剔除。因此该签名按业务规则应进入统计，实际因统计提取缺陷漏掉，非日期或已登记签名排除。
|
||||
|
||||
需求依据：first-version-development-requirements.md 未报备签名规则；测试依据：system-functional-test-cases.md 的 TC-SIGNATURE-RETIREMENT-022/023/028/029。同一表达式同时存在于实时查询 `api/src/signature-retirement/signature-retirement.service.ts` 与日报聚合 `api/src/signature-analytics/analytics-aggregate.ts`，修复须同时覆盖。历史冻结报表不应未经授权重算。
|
||||
|
||||
15:11～15:12扩大只读对照：今天signatureId为空1327条，原表达式识别629条，对照识别1318条；进一步限定真实企业/应用关联、有效签名库无同名记录，得到655条/61个签名与应用组合的潜在遗漏。此为对照候选量，未逐一核验异常正文，不能冒称全部应补计或历史总影响。
|
||||
|
||||
## 后续最小修复建议与边界
|
||||
|
||||
在保持规范开头签名、企业应用归属和有效签名库判定不变的前提下，修复实时及日报提取对 SQL_ASCII 的兼容；在真实 SQL_ASCII 与 UTF8 隔离数据库验证汉字、非规范开头、嵌套括号、已有签名、分页及数量。无需将迁移数据库编码作为本次最小修复。
|
||||
|
||||
本轮未调用HTTP登录后接口、未做浏览器页面验收；数据库和线上运行表达式已直接复现原因。无业务代码修改、提交、推送、部署、发短信、重投或配置变更，仅新增本记录及进度条目。初次前缀字符截取因SQL_ASCII字节截断产生UTF8转换错误，改为完整字节十六进制核验；扩大统计初次SQL列名歧义，限定x.name后通过，失败事务均未写入数据。
|
||||
|
||||
## 后续授权修复与本地验收（2026-09-21）
|
||||
|
||||
用户在诊断后明确授权“修复、提交代码”，不包含推送、部署或历史重算；上文仅排查边界保留为前一阶段记录。
|
||||
|
||||
最小修复：新增共用 `leadingSignatureSql`，实时查询和日报聚合统一采用 `^【(?:(?!【|】).)+】`。负向前瞻检查完整开闭括号，不再用中文排除字符集合；非捕获分组保证提取结果包含外侧括号。保留非空内容、开头定位、拒绝嵌套括号，以及原租户/应用/有效签名匹配、signatureId、日期、排序和分页逻辑。无数据库迁移、编码变更、接口字段或权限修改；现有需求不变，无需新增业务设计。
|
||||
|
||||
验证结果：
|
||||
|
||||
- PostgreSQL 16.14 两种编码各自新建本机隔离库，使用提交内的113项迁移（排除其他会话未提交的mobile-rule迁移）。`tools/testing/verify-unreported-signature-encoding.mjs` 在UTF8、SQL_ASCII均通过：26种直接提取输入，64条目标案例，日期起止边界、其他企业/应用同名、有效/待审核/已删除签名、已有signatureId、空应用、非规范及嵌套括号。
|
||||
- 真实后端服务生成并持久化昨日日报，两日均得到13个预期聚合组；真实Nest控制器HTTP返回与数据库一致，验证每页10条的两页、三类搜索、空结果、参数化输入及非法日期/页码。测试仅注册所需控制器及服务，不注册整套应用全局认证/授权，不能冒称登录权限或浏览器已验收。没有启动发送/通知调度、Gateway、Redis或MinIO，实际Submit记录为0。
|
||||
- 隔离库验证冻结日期已有报表不重算：源消息改变后普通生成跳过，补建覆盖被拒绝，历史计数仍为1。
|
||||
- API全量87套/990项通过，覆盖率语句68.05%、分支53.73%、函数69%、行70.77%，达到现有门禁；新公共函数覆盖100%。API生产TypeScript构建、五个本轮代码文件ESLint（零错误零警告）、Prettier通过。
|
||||
- 15:33:24北京时间在预生产READ ONLY事务中对同一64条再次对照：旧提取0、新提取64，结束回滚。仅查询表达式对照，不是部署或页面修复。
|
||||
|
||||
原始失败保留：首先使用的旧PostgreSQL16运行目录缺dict_snowball，initdb失败，改用现有完整pgsql运行目录后成功；初次HTTP分页验收传入不支持的pageSize=2，返回400。夹具改为13组、每页10条，并在两种编码新空库重新迁移和完整复验通过，未放宽业务规则。原失败库/日志保留。
|
||||
|
||||
证据目录：`.local-data/unreported-signature-20260921/`，包括 `real-utf8-verified.log`、`real-ascii-verified.log`、两份 `migrate-*-verified.log`、`api-coverage.log`、`build.log`、`lint.log`、`format.log`、`preprod-readonly-comparison.log`。复跑需API构建、全迁移的本机新空库，设置 `SIGNATURE_TEST_DATABASE_URL`（库名须以cmpp_qa_signature_encoding_开头），执行上述脚本；脚本拒绝远端/非隔离库及已有租户库，不自动清空数据。
|
||||
|
||||
本轮交付为本地代码、回归脚本、需求兼容说明、测试用例及实施记录；本地提交号以Git结果为准。未推送、未部署，预生产页面仍运行旧统计逻辑，冻结报表未修正。无前端/Gateway变更，未重跑前端、Go或线上登录页面验收。
|
||||
|
||||
提交前补充精确版本复验：从暂存区导出独立候选，仅共享已安装依赖，未带入其他会话未提交代码/测试。候选API全量86套/922项通过，覆盖率68.05/53.73/69.02/70.77达门禁，生产构建通过；候选编译产物在两种编码的另外两个全新库完整复跑上述真实PG/日报/HTTP脚本均通过。前文87套/990项为工作区验证，包含他轮未提交测试，不能用作本次精确提交测试数。最终证据为 `candidate-api-coverage.log`、`candidate-build.log`、`real-utf8-candidate.log`、`real-ascii-candidate.log` 及对应迁移日志。专用本机PG集群已停止，数据和日志保留。暂存脚本初次读取较大进度文档达到Node默认输出缓冲限制，检查已暂存范围后提高本地缓冲并续接，没有覆盖其他会话内容。
|
||||
Reference in New Issue
Block a user