@customize-agent/knowledge 4.3.0 → 4.3.2

package/dist/cleaning/text-cleaner.js

@@ -109,9 +109,9 @@ function collectTenderFormatBlock(lines, start) {
 /** 招标文件：泛化引用行（"详见投标人须知前附表"类短行，无实质项目信息；后缀短语可选） */
 const TENDER_GENERIC_LINE_RE = /^(详见|具体见|以|按).{0,30}?(前附表|招标文件|招标公告|补疑|澄清|清单|图纸|合同文件)((的)?(要求|规定|为准|执行))?[。；;]?$|^投标人应(仔细|认真)(阅读|核对)(招标文件|本项目)(的全部内容)?[。；;]?$|^未(按|依照|按照)(上述|本|招标文件)要求/u;
 /** 招标文件：电子投标程序句（行级）。投标人须知条目式排版无可靠段落边界，按句删除
- * 程序性操作（加密/解密/上传/撤回/签号/病毒防范）；双重信号（程序动词 + 程序对象）
- * 防止误删技术条款。仅招标文件生效。 */
-const TENDER_EPROCEDURE_LINE_RE = /(?:电子交易系统|数字证书|加密|解密|撤回操作|上传投标文件|签号|病毒防范).{0,30}(?:上传|递交|撤回|解密|完成|显示|关闭|发放|防范)|(?:投标截止时间).{0,25}(?:上传|递交|撤回|自动关闭)/u;
+ * 程序性操作（加密/解密/上传/撤回/签号/病毒防范/获取/发布/提出/发出/发送/下载/拒收）；
+ * 双重信号（程序动词 + 程序对象）防止误删技术条款。仅招标文件生效。 */
+const TENDER_EPROCEDURE_LINE_RE = /(?:电子交易系统|数字证书|加密|解密|撤回操作|上传投标文件|签号|病毒防范).{0,30}(?:上传|递交|撤回|解密|完成|显示|关闭|发放|发送|防范|获取|发布|提出|发出|下载|拒收|查看|接收)|(?:投标截止时间).{0,25}(?:上传|递交|撤回|自动关闭)/u;
 /** 补疑文件：零信息回复行（"答：按招标文件执行"类套话；含数字/单位的实质回复不删） */
 const CLARIFICATION_BOILERPLATE_RE = /^(?:(?:答|答复|回复)[：:]\s*)?(?:按|以)(招标文件|招标公告|合同文件|清单|图纸|补疑|答疑)?(约定|规定|要求|执行|为准)[。；;]?$|^(?:(?:答|答复|回复)[：:]\s*)?不(作|做|予)(调整|修改|变更)[。；;]?$|^(?:(?:答|答复|回复)[：:]\s*)?维持(不变|原状)[。；;]?$|^(?:(?:答|答复|回复)[：:]\s*)?(本项|此项)(无|没有)(调整|修改|变化)[。；;]?$/u;
 /** 图纸：无汉字纯坐标数字行（≥2 组相邻 "数字,数字" 坐标对即 ≥3 个连续坐标值，设计坐标不写入施组正文） */
@@ -324,7 +324,11 @@ export function cleanExtractedText(input) {
         return { text: input.text, removedChars: 0, removedLines: 0, stats: zeroStats() };
     const docKind = detectDocKind(input.fileName || '', input.text.slice(0, 4000));
     const isCad = input.category === 'cad' || input.category === 'diagram';
-    const lines = input.text.split(/\r?\n/u);
+    // CAD 控制码还原前置：确定性无损替换（%%U/%%O 格式开关删除、%%%→%），
+    // 不参与行级启发式删除与 30% 回退保护——纯图纸文件（标高/图元行占比高）常触发
+    // 回退保护使整个清洗作废，控制码还原若挂在行级规则里会随之失效
+    const sourceText = isCad ? cleanCadControlCodes(input.text) : input.text;
+    const lines = sourceText.split(/\r?\n/u);
     const totalLines = lines.length;
     // 全文高重复行统计（页眉/页脚/图框标题栏判定依据）
     const lineCounts = new Map();
@@ -451,10 +455,7 @@ export function cleanExtractedText(input) {
             index += 1;
             continue;
         }
-        // 11. 图纸：CAD 文本格式控制码还原（%%U/%%O 格式开关删除、%%D/%%P/%%C 符号映射、
-        // %%% 百分号转义「95%%%」→「95%」；还原后行保留，仅替换字符）
-        const keptLine = isCad && CAD_CONTROL_CODE_RE.test(line) ? cleanCadControlCodes(line) : line;
-        kept.push(keptLine);
+        kept.push(line);
         index += 1;
     }
     const resultText = kept.join('\n');
@@ -462,13 +463,14 @@ export function cleanExtractedText(input) {
     // 1) 行级启发式删除导致剩余不足原文 30% → 判定误伤，回退原文；
     // 2) K2 章节级删除（标题 + 规模/内容 + 边界三重证据）置信度高，不参与 30% 判定，
     //    否则通用条款占比高的合同文件永远洗不掉；但剩余不足原文 10% 时仍整体回退（防极端全删）
-    const totalChars = input.text.trim().length;
+    // 回退时返回 sourceText（已做 CAD 控制码还原），保证确定性还原在回退路径同样生效
+    const totalChars = sourceText.trim().length;
     const remainingRatio = totalChars > 0 ? resultText.trim().length / totalChars : 1;
     const lineLevelRemovedChars = removedChars - sectionRemovedChars;
     const lineLevelSafe = lineLevelRemovedChars === 0 || remainingRatio >= 0.3;
     const extremeSafe = remainingRatio >= 0.1;
     if (removedChars > 0 && totalChars > 2000 && (!lineLevelSafe || !extremeSafe)) {
-        return { text: input.text, removedChars: 0, removedLines: 0, stats: zeroStats() };
+        return { text: sourceText, removedChars: 0, removedLines: 0, stats: zeroStats() };
     }
     return { text: resultText, removedChars, removedLines, stats };
 }

package/package.json

@@ -1,6 +1,6 @@
 {
   "name": "@customize-agent/knowledge",
-  "version": "4.3.0",
+  "version": "4.3.2",
   "description": "Local knowledge base infrastructure for customize-agent",
   "type": "module",
   "main": "./dist/index.js",