union_kb_ingest 1.0.3 → 1.0.4

package/README.md

@@ -61,7 +61,7 @@ python ingest.py validate
 
 `draft` 默认按 `config/config.yaml` 的 `draft.max_chars` 控制单次送入模型的原文长度，并额外提供文档目录和相邻片段摘要作为辅助上下文。这样可以降低私有模型单轮负载，同时尽量保留前后章节关系。命令行仍可用 `--max-chars` 临时覆盖。
 
-每条知识库文件会写入分类画像元数据：`category`、`category_description` 和 `category_keywords`。这些字段优先来自源文件一级标题、首页标题、章节目录和文件名，用于标识一个批次/业务场景的大类。后续 RAG 入库和检索时，应把这些字段写入向量库 metadata，并用于分类过滤、查询路由或重排加权，降低不同场景之间因为相似词命中而串场的概率。
+每条知识库文件会写入分类画像元数据：`category`、`subcategory`、`category_keywords` 和 `related_items`。这些字段优先来自源文件一级标题、首页标题、章节目录、文件名、当前小类正文和关联小类语义，用于标识知识大类、小类、关键词和条目间关系。后续 RAG 入库和检索时，应把这些字段写入向量库 metadata，并用于分类过滤、查询路由或重排加权，降低不同场景之间因为相似词命中而串场的概率。
 
 生成结果会按原始输入遍历顺序写入 `source_order`，并用 `000001-...md` 这样的文件名前缀保持目录排序与原文从上到下的顺序一致。页码只写入 Front Matter 的 `source_pages`/`source_trace` 和正文 `## 5. 来源依据`，不会进入正文 `## 1. 核心内容` 到 `## 4. 关联能力`。
 

package/config/config.yaml

@@ -3,7 +3,7 @@ llm:
   timeout_seconds: 120
   max_tokens: 8192
   temperature: 0.1
-  api_key: "your-zhipu-api-key"
+  api_key: ""
   model: "GLM-4.7-Flash"
   base_url: "https://open.bigmodel.cn/api/paas/v4/"
 

package/ingest.py

@@ -118,11 +118,11 @@ def _attach_block_context(
         parts = []
         if outline:
             parts.append(f"文档章节目录：\n{outline}")
-        if block.category_description:
+        if block.category or block.subcategory or block.category_keywords:
             parts.append(
-                "知识大类说明：\n"
-                f"大类：{block.category}\n"
-                f"说明：{block.category_description}\n"
+                "知识分类：\n"
+                f"大类标题：{block.category}\n"
+                f"小类标题：{block.subcategory}\n"
                 f"关键词：{', '.join(block.category_keywords)}"
             )
         if idx > 0:
@@ -147,6 +147,13 @@ def _attach_block_context(
             category=block.category,
             category_description=block.category_description,
             category_keywords=block.category_keywords,
+            source_doc_description=block.source_doc_description,
+            subcategory=block.subcategory,
+            subcategory_description=block.subcategory_description,
+            category_path=block.category_path,
+            related_categories=block.related_categories,
+            relation_notes=block.relation_notes,
+            related_items=block.related_items,
         ))
     return output