ugc-lens 0.0.5 → 0.0.7

package/README.md

@@ -1,8 +1,8 @@
 # ugc-lens
 
-面向中文社媒用户互动内容（评论、回复、弹幕等）的轻量分析 Agent。直接启动后用自然语言描述目标，它会选择工具导入数据、生成带原文引用的报告、连续追问或监听目录。以 npm 包形式提供命令行和代码调用，也提供 stdio MCP 服务供宿主调用。
+面向中文文本记录和社媒用户互动内容（问卷、工单、访谈、评论、回复、弹幕等）的轻量分析 Agent。直接启动后用自然语言描述目标，它会选择工具导入数据、生成带原文引用的报告、连续追问或监听目录。以 npm 包形式提供命令行和代码调用，也提供 stdio MCP 服务供宿主调用。
 
-> 状态：0.0.x 试用版。目前只支持 JSON 文件，接口和报告格式还可能调整。
+> 状态：0.0.x 试用版。支持 JSON、JSONL/NDJSON、CSV/TSV、TXT、Markdown 和日志文本，接口和报告格式还可能调整。
 
 ## 安装
 
@@ -81,6 +81,35 @@ ugc-lens <命令> --help    # 查看全部选项
 - 统计、去重、关键词、引用校验都由代码完成，模型只负责分块总结和合并，一个 10 万条评论的文件大约用 6～7 万 token。
 - `watch` 的任务状态存在 `.ugc-lens/tasks.json`，按 Ctrl+C 停止后再启动会继续没做完的任务。
 
+## 输入格式
+
+所有入口共用导入器：命令行、持续对话、MCP 和代码 API 都支持下列格式。
+
+| 格式 | 读取方式 |
+|---|---|
+| JSON | 保留原有任意结构识别；字符串数组可直接导入 |
+| JSONL / NDJSON | 每个非空行一个 JSON 对象或字符串，对象可以包含嵌套字段；同一文件保持类型一致 |
+| CSV | 首个非空记录为表头，支持逗号或分号分隔、引号内换行和双引号转义 |
+| TSV | 首个非空记录为表头，制表符分隔，支持带引号的字段 |
+| TXT / LOG | 每个非空行作为一条记录，ID 对应原始行号，例如 `line_3` |
+| MD / Markdown | 用空行分隔段落，保留段内换行，ID 对应段落起始行 |
+
+CSV/TSV 列由模型识别，规则会缓存；列名或顺序变化后重新识别。前导零 ID、日期等单元格保留为字符串，再按映射转换已知元数据字段。表头需要唯一且非空，损坏的 JSONL 行、CSV 引号或列数会明确报错。TXT、LOG、Markdown 和字符串数组用内置映射，无需额外调用模型识别格式；生成报告和问答仍使用配置的模型。
+
+通用数据使用 `record` 类型，可分析商品评价、问卷开放题、客服工单、访谈等。报告使用“文本记录”等名称，默认方向为主要主题、反复出现的问题、需求与建议、差异与分歧，也可用 `--focus` 指定方向。短答案如“好”“无”会保留，不套用评论的低信息过滤。长记录也不采用评论的 500 字截断；超过分块软上限时独立成块，仍受 `--chars` 总预算限制，放不下的记录会体现在报告覆盖率里。
+
+```bash
+ugc-lens analyze survey.csv --focus 主要问题,改进建议
+ugc-lens analyze feedback.jsonl
+ugc-lens ask notes.txt "有哪些反复出现的问题？"
+ugc-lens analyze interviews.md
+ugc-lens watch ./data --pattern "*.jsonl,*.ndjson,*.csv,*.tsv,*.txt,*.md,*.log"
+# 在源码目录测试，无需构建：
+node src/cli/index.ts analyze survey.csv
+```
+
+监听默认仍只匹配 `*_all.json`；其他格式通过 `--pattern` 指定。文件上限 100 MB，支持 UTF-8（含 BOM）和带 BOM 的 UTF-16 LE/BE。GBK 等编码需先转为 UTF-8；Excel 工作簿、PDF、Word 等二进制文件不属于此次支持范围。CSV 主要用于文本记录，暂不提供数值表格分析或执行公式。
+
 ## 分析手册与经验
 
 分析规则放在 Markdown 手册里，按“项目 `.ugc-lens/playbook.md` → 全局 `~/.ugc-lens/playbook.md` → 包内默认”选择。`init` 首次创建全局副本，已有内容会保留。
@@ -101,12 +130,22 @@ ugc-lens playbook --reject <ID>       # 丢弃待审修改
 
 代码 API 默认使用包内规则，不写经验文件。传入 `memory: { cwd: process.cwd() }` 启用项目规则和记录；也可将 `loadPlaybook(...)` 返回的快照通过 `playbook` 传给 `askDataset` / `analyzeDataset`。
 
+## 情感分析与采样
+
+在持续对话或 `ask` 中直接说“分析这份数据的情感分数和正负面比例”，模型会调用 `analyze_sentiment`。它分批让 AI 对每条原文给出 -1～1 的分数及理由，再由代码汇总，最后让对话模型解读。可指定评价对象、`kinds` 和 `content_id`；不指定对象时评估文本整体情绪，情绪不等于对某个选择的支持/反对。
+
+每条记录等权，不按点赞加权。分数 >0.2 为正面、<-0.2 为负面，其余中性；无法判断单独计数。比例以已评估条数（含无法判断）为分母，均值仅使用有效数值；同时返回导入样本内的实际评估覆盖率。完整逐条评分保存在当前工作目录 `.ugc-lens/sentiment/*.json`。默认独立 token 预算 30000，达到预算后返回已完成部分；预算为软上限，失败、遗漏和超长未处理项均不会算作中性。此用量在工具结果中单独返回，不包含在外层对话的 token 统计中。当前 `analyze` 固定报告流水线不会自动增加情感调用。
+
+采样数据可以分析样本内主题和情绪，搜集占平台全量的比例并不等于采样完成率。缺少采样设计元数据时，不推测置信度或整体误差保证，也不把样本内比例说成平台全量比例。默认手册已更新；已有项目或全局 `playbook.md` 保留原文，需要手动同步上述采样和情感规则，新对话才会加载。
+
+代码调用可使用 `analyzeSentiment({ dataset, model, target?, kinds?, contentId?, tokenBudget? })`，返回完整逐条评分和汇总，不自动写文件。
+
 ## MCP 接入
 
 先用 `ugc-lens init` 配置模型。MCP 由宿主启动，不需要自己开一个服务终端。Claude Code 中可以添加：
 
 ```bash
-claude mcp add --transport stdio ugc-lens -- npx -y ugc-lens@0.0.5 mcp --cwd /绝对路径/数据项目
+claude mcp add --transport stdio ugc-lens -- npx -y ugc-lens@0.0.6 mcp --cwd /绝对路径/数据项目
 ```
 
 测试本地源码时：
@@ -124,7 +163,7 @@ claude mcp add --transport stdio ugc-lens -- node /绝对路径/ugc-lens/src/cli
   "mcpServers": {
     "ugc-lens": {
       "command": "npx",
-      "args": ["-y", "ugc-lens@0.0.5", "mcp", "--cwd", "/绝对路径/数据项目"]
+      "args": ["-y", "ugc-lens@0.0.6", "mcp", "--cwd", "/绝对路径/数据项目"]
     }
   }
 }
@@ -137,6 +176,7 @@ claude mcp add --transport stdio ugc-lens -- node /绝对路径/ugc-lens/src/cli
 | `get_dataset_stats` | 查看数据概况 |
 | `search_feedback` | 按关键词、类型、点赞等筛选并分页 |
 | `get_feedback` | 查看全文和回复链 |
+| `analyze_sentiment` | 分批逐条情感评分，返回汇总、示例和完整结果路径 |
 | `analyze` | 自动导入并生成完整报告，返回正文和保存路径 |
 | `ask` | 调用配置的模型回答，返回引用核对结果及追问 ID |
 

package/dist/agent/loop.js

@@ -15,7 +15,7 @@ const FINALIZE_LABELS = {
 };
 export function finalizeNotice(reason) {
     const label = FINALIZE_LABELS[reason] ?? reason;
-    return `【系统说明】已达到${label}，不能再调用工具。请基于以上已有信息直接回答用户的问题，并说明哪些信息还不足。`;
+    return `【系统说明】已达到${label}，不能再调用工具。请基于已核对的信息回答，并说明尚未完成的分析。运行限制不代表源数据缺失或采样无效；只说明影响当前结论的具体限制，不机械生成“数据不足”。`;
 }
 export async function runAgent(options) {
     const limits = { ...DEFAULT_LIMITS, ...options.limits };

package/dist/ask/index.js

@@ -6,7 +6,7 @@ import { createMemoryTools } from '../memory/tools.js';
 import { recordOutcome } from '../memory/learnings.js';
 import { createDataTools } from '../tools/data/index.js';
 export function buildAskPrompt(playbook) {
-    return `你是用户互动内容（评论、回复、弹幕、回答）的分析助手。用户已经导入了数据集，你通过工具查询数据来回答问题。
+    return `你是文本记录与用户互动内容（问卷、工单、访谈、评论、回复等）的分析助手。用户已经导入了数据集，你通过工具查询数据来回答问题。
 
 ${playbookRules(playbook, 'ask')}
 
@@ -22,7 +22,7 @@ export async function askDataset(options) {
     const run = await runAgent({
         model: options.model,
         messages: [...history, { role: 'user', content: options.question }],
-        tools: [...createDataTools(store, options.tools), ...(options.memory ? createMemoryTools(store, options.memory, playbook) : [])],
+        tools: [...createDataTools(store, { ...options.tools, sentimentModel: options.tools?.sentimentModel ?? options.model }), ...(options.memory ? createMemoryTools(store, options.memory, playbook) : [])],
         limits: { ...ASK_LIMITS, ...options.limits },
         signal: options.signal,
         onEvent: options.onEvent,

package/dist/chat/session.js

@@ -15,7 +15,7 @@ import { resolveDataset } from '../tools/data/shared.js';
 import { defineTool } from '../tools/define.js';
 import { watchDirectory } from '../watch/index.js';
 const SESSION_ACTIONS = `你也负责完成用户的操作目标。用户不需要选择子命令：
-- 可以先用 list_files 查找 JSON 数据；位置或目标不明确才询问，不擅自批量分析所有文件。
+- 可以先用 list_files 查找 支持格式的数据；位置或目标不明确才询问，不擅自批量分析所有文件。
 - load_dataset 导入后直接用数据查询工具回答，后续追问复用数据。多个数据集时指定 dataset_id。
 - 需要完整报告时用 analyze_dataset，可直接提供 file；报告由固定流水线生成，说明保存位置。
 - 用户要求持续监听时用 start_watch，之后仍能对话；用 watch_status 查进度，stop_watch 停止。
@@ -60,7 +60,7 @@ export function createSession(options) {
             active = undefined;
     };
     const tools = [
-        ...createDataTools(store),
+        ...createDataTools(store, { sentimentModel: model }),
         ...(options.memory ? createMemoryTools(store, options.memory, playbook) : []),
         defineTool({
             name: 'list_files',
@@ -73,7 +73,7 @@ export function createSession(options) {
             },
         }),
         defineTool({
-            name: 'load_dataset', description: '导入用户指定的 JSON 数据文件，返回数据集 ID，之后用数据工具查询并连续追问。',
+            name: 'load_dataset', description: '导入用户指定的 JSON/JSONL/CSV/TSV/TXT/Markdown/LOG 数据文件，返回数据集 ID，之后用数据工具查询并连续追问。',
             parameters: z.object({ file: z.string().min(1) }),
             async execute({ file }, ctx) {
                 const dataset = await importFile(file, ctx.signal);
@@ -90,7 +90,7 @@ export function createSession(options) {
             },
         }),
         defineTool({
-            name: 'start_watch', description: '后台监听目录，新 JSON 文件写入完成后生成报告；不阻塞后续对话。默认只处理新增 *_all.json。一次只监听一个目录。',
+            name: 'start_watch', description: '后台监听目录，新匹配文件写入完成后生成报告；不阻塞后续对话。默认只处理新增 *_all.json。一次只监听一个目录。',
             parameters: z.object({ dir: z.string().min(1), existing: z.boolean().default(false), patterns: z.array(z.string().min(1)).min(1).optional(), directions: z.array(z.string().min(1)).min(1).optional() }),
             async execute({ dir, existing, patterns, directions }, ctx) {
                 ctx.signal.throwIfAborted();

package/dist/cli/analyze.js

@@ -3,7 +3,7 @@ import { parseArgs } from 'node:util';
 import { loadLlmConfig } from '../config.js';
 import { loadDataset } from '../ingest/index.js';
 import { analyzeDataset } from '../pipeline/analyze.js';
-import { abortOnInterrupt, analysisModel, formatAnalyzeProgress, positiveNumber, splitList, UsageError } from './common.js';
+import { mappingSource, abortOnInterrupt, analysisModel, formatAnalyzeProgress, positiveNumber, splitList, UsageError } from './common.js';
 export const ANALYZE_USAGE = `用法：ugc-lens analyze <文件> [选项]
 
 分析一个数据文件，Markdown 报告打印到标准输出，并保存到 .ugc-lens/reports/。
@@ -45,7 +45,7 @@ export async function runAnalyze(argv) {
     const model = analysisModel(config);
     const { signal } = abortOnInterrupt('正在取消');
     const dataset = await loadDataset(args.file, { model, signal });
-    console.error(`已导入 ${dataset.items.length} 条（文件结构${dataset.mapping.from_cache ? '规则来自缓存' : '由模型识别'}）`);
+    console.error(`已导入 ${dataset.items.length} 条（文件结构${mappingSource(dataset.mapping)}）`);
     const result = await analyzeDataset({
         memory: { cwd: process.cwd(), onWarning: (message) => console.error(message) },
         model,

package/dist/cli/ask.js

@@ -2,7 +2,7 @@ import { parseArgs } from 'node:util';
 import { askDataset } from '../ask/index.js';
 import { loadLlmConfig } from '../config.js';
 import { loadDataset } from '../ingest/index.js';
-import { abortOnInterrupt, askModel, UsageError } from './common.js';
+import { mappingSource, abortOnInterrupt, askModel, UsageError } from './common.js';
 import { formatEvent } from './format_event.js';
 export const ASK_USAGE = `用法：ugc-lens ask <文件> <问题> [追问...]
 
@@ -29,7 +29,7 @@ export async function runAsk(argv) {
     const model = askModel(config);
     const { signal } = abortOnInterrupt('正在取消');
     const dataset = await loadDataset(args.file, { model, signal });
-    console.error(`已导入 ${dataset.items.length} 条（文件结构${dataset.mapping.from_cache ? '规则来自缓存' : '由模型识别'}）`);
+    console.error(`已导入 ${dataset.items.length} 条（文件结构${mappingSource(dataset.mapping)}）`);
     let history;
     for (const [i, question] of args.questions.entries()) {
         if (args.questions.length > 1)

package/dist/cli/common.d.ts

@@ -14,3 +14,7 @@ export declare function askModel(config: LlmConfig): AgentModel;
 export declare function formatAnalyzeProgress(event: AnalyzeProgress): string;
 /** 第一次 Ctrl+C 取消，第二次直接退出 */
 export declare function abortOnInterrupt(message: string): AbortController;
+export declare function mappingSource(mapping: {
+    from_cache: boolean;
+    builtin?: boolean;
+}): string;

package/dist/cli/common.js

@@ -42,3 +42,6 @@ export function abortOnInterrupt(message) {
     });
     return controller;
 }
+export function mappingSource(mapping) {
+    return mapping.builtin ? '由内置规则读取' : mapping.from_cache ? '规则来自缓存' : '由模型识别';
+}

package/dist/cli/index.js

@@ -22,7 +22,7 @@ const COMMANDS = {
     ask: { run: runAsk, usage: ASK_USAGE },
     watch: { run: runWatch, usage: WATCH_USAGE },
 };
-const MAIN_USAGE = `ugc-lens：分析评论、弹幕等用户互动内容
+const MAIN_USAGE = `ugc-lens：分析文本记录、评论、弹幕等内容
 
 用法：
   ugc-lens                             持续对话，自动选择导入、查询、分析和监听工具

package/dist/dataset/types.d.ts

@@ -1,7 +1,7 @@
 /** 平台名，由模型根据文件内容判断，如 bilibili、xhs；判断不了时为 unknown */
 export type Platform = string;
-export type FeedbackKind = 'comment' | 'reply' | 'danmaku' | 'answer';
-export declare const FEEDBACK_KINDS: readonly ["comment", "reply", "danmaku", "answer"];
+export type FeedbackKind = 'comment' | 'reply' | 'danmaku' | 'answer' | 'record';
+export declare const FEEDBACK_KINDS: readonly ["comment", "reply", "danmaku", "answer", "record"];
 export interface FeedbackAuthor {
     id?: string;
     name?: string;
@@ -81,9 +81,13 @@ export interface Dataset {
     contents: ContentInfo[];
     items: FeedbackItem[];
     imported_at: string;
+    source?: {
+        format: string;
+    };
     mapping: {
         fingerprint: string;
         from_cache: boolean;
+        builtin?: boolean;
     };
     report: ImportReport;
 }

package/dist/dataset/types.js

@@ -1 +1 @@
-export const FEEDBACK_KINDS = ['comment', 'reply', 'danmaku', 'answer'];
+export const FEEDBACK_KINDS = ['comment', 'reply', 'danmaku', 'answer', 'record'];

package/dist/index.d.ts

@@ -8,14 +8,15 @@ export type { AgentModel, AgentModelRequest } from './agent/model.js';
 export { createFakeModel, type FakeModel, type FakeReply, type FakeScript } from './agent/fake_model.js';
 export { runAgent, DEFAULT_LIMITS, type AgentLimits, type AgentRunResult, type RunAgentOptions, type StopReason } from './agent/loop.js';
 export type { RunEvent, RunEventListener } from './agent/events.js';
-export { loadDataset, datasetId, ImportError, type ImportErrorCode, type LoadDatasetOptions } from './ingest/index.js';
+export { loadDataset, datasetId, ImportError, type ImportErrorCode, type LoadDatasetOptions, type InputFormat } from './ingest/index.js';
 export type { ContentInfo, Dataset, FeedbackAuthor, FeedbackItem, FeedbackKind, ImportReport } from './dataset/types.js';
 export { computeStats, type DatasetStats } from './dataset/stats.js';
 export { findCitations, getFeedback, getReplies, searchFeedback, type FeedbackPage, type FeedbackQuery } from './dataset/query.js';
 export { analyzeDataset, type AnalyzeOptions, type AnalyzeProgress, type AnalyzeResult } from './pipeline/analyze.js';
-export { DEFAULT_DIRECTIONS, type Finding, type FindingRef } from './pipeline/summarize.js';
+export { DEFAULT_DIRECTIONS, RECORD_DIRECTIONS, type Finding, type FindingRef } from './pipeline/summarize.js';
 export type { Theme } from './pipeline/merge.js';
 export { askDataset, type AskOptions, type AskResult } from './ask/index.js';
+export { analyzeSentiment, sentimentStats, type SentimentOptions, type SentimentRecord, type SentimentResult } from './sentiment/index.js';
 export { openTaskStore, defaultTasksPath, type Task, type TaskStatus, type TaskStore } from './store/tasks.js';
 export { watchDirectory, type AnalyzeOutcome, type WatchEvent, type WatchOptions } from './watch/index.js';
 export { DEFAULT_PATTERNS } from './watch/pattern.js';

package/dist/index.js

@@ -9,8 +9,9 @@ export { loadDataset, datasetId, ImportError } from './ingest/index.js';
 export { computeStats } from './dataset/stats.js';
 export { findCitations, getFeedback, getReplies, searchFeedback } from './dataset/query.js';
 export { analyzeDataset } from './pipeline/analyze.js';
-export { DEFAULT_DIRECTIONS } from './pipeline/summarize.js';
+export { DEFAULT_DIRECTIONS, RECORD_DIRECTIONS } from './pipeline/summarize.js';
 export { askDataset } from './ask/index.js';
+export { analyzeSentiment, sentimentStats } from './sentiment/index.js';
 export { openTaskStore, defaultTasksPath } from './store/tasks.js';
 export { watchDirectory } from './watch/index.js';
 export { DEFAULT_PATTERNS } from './watch/pattern.js';

package/dist/ingest/cache.d.ts

@@ -32,6 +32,7 @@ declare const ruleSchema: z.ZodObject<{
                     answer: "answer";
                     comment: "comment";
                     danmaku: "danmaku";
+                    record: "record";
                     reply: "reply";
                 }>;
                 path: z.ZodString;
@@ -55,6 +56,7 @@ declare const ruleSchema: z.ZodObject<{
                         answer: "answer";
                         comment: "comment";
                         danmaku: "danmaku";
+                        record: "record";
                         reply: "reply";
                     }>>;
                     path: z.ZodString;
@@ -79,6 +81,7 @@ declare const ruleSchema: z.ZodObject<{
                             answer: "answer";
                             comment: "comment";
                             danmaku: "danmaku";
+                            record: "record";
                             reply: "reply";
                         }>>;
                         path: z.ZodString;
@@ -144,6 +147,7 @@ declare const entrySchema: z.ZodObject<{
                         answer: "answer";
                         comment: "comment";
                         danmaku: "danmaku";
+                        record: "record";
                         reply: "reply";
                     }>;
                     path: z.ZodString;
@@ -167,6 +171,7 @@ declare const entrySchema: z.ZodObject<{
                             answer: "answer";
                             comment: "comment";
                             danmaku: "danmaku";
+                            record: "record";
                             reply: "reply";
                         }>>;
                         path: z.ZodString;
@@ -191,6 +196,7 @@ declare const entrySchema: z.ZodObject<{
                                 answer: "answer";
                                 comment: "comment";
                                 danmaku: "danmaku";
+                                record: "record";
                                 reply: "reply";
                             }>>;
                             path: z.ZodString;

package/dist/ingest/errors.d.ts

@@ -0,0 +1,7 @@
+export type ImportErrorCode = 'read_failed' | 'too_large' | 'not_json' | 'not_jsonl' | 'not_csv' | 'empty_data' | 'unsupported_format' | 'invalid_encoding' | 'not_feedback' | 'no_model' | 'inference_failed';
+export declare class ImportError extends Error {
+    name: string;
+    readonly code: ImportErrorCode;
+    constructor(code: ImportErrorCode, message: string);
+}
+export declare const MAX_FILE_BYTES: number;

package/dist/ingest/errors.js

@@ -0,0 +1,9 @@
+export class ImportError extends Error {
+    name = 'ImportError';
+    code;
+    constructor(code, message) {
+        super(message);
+        this.code = code;
+    }
+}
+export const MAX_FILE_BYTES = 100 * 1024 * 1024;

package/dist/ingest/formats.d.ts

@@ -0,0 +1,18 @@
+import type { Mapping } from './mapping.js';
+export type InputFormat = 'json' | 'jsonl' | 'csv' | 'tsv' | 'txt' | 'markdown' | 'log';
+export interface ParsedInput {
+    data: unknown;
+    format: InputFormat;
+    builtin?: Mapping;
+}
+export declare function parseJsonLines(text: string): ParsedInput;
+interface DelimitedRow {
+    cells: string[];
+    line: number;
+}
+/** 状态机保留引号内的换行和分隔符，不能按行或逗号直接 split。 */
+export declare function parseDelimited(text: string, delimiter: string): DelimitedRow[];
+export declare function parseTable(text: string, format: 'csv' | 'tsv'): ParsedInput;
+export declare function parseInput(text: string, format: InputFormat): ParsedInput;
+export declare function readInput(filePath: string, signal?: AbortSignal): Promise<ParsedInput>;
+export {};

package/dist/ingest/formats.js

@@ -0,0 +1,221 @@
+import { readFile, stat } from 'node:fs/promises';
+import { extname } from 'node:path';
+import { ImportError, MAX_FILE_BYTES } from './errors.js';
+const TEXT_MAPPING = { platform: 'unknown', collections: [{ kind: 'record', path: '$', fields: { text: 'text', id: 'source_id' } }] };
+function textRecords(rows, format) {
+    const data = rows.filter((row) => row.text.trim()).map((row) => ({ source_id: `line_${row.line}`, text: row.text }));
+    if (!data.length)
+        throw new ImportError('empty_data', '文件中没有非空文本记录');
+    return { data, format, builtin: TEXT_MAPPING };
+}
+export function parseJsonLines(text) {
+    const rows = [];
+    for (const [index, line] of text.split(/\r\n|\n|\r/).entries()) {
+        if (!line.trim())
+            continue;
+        let value;
+        try {
+            value = JSON.parse(line);
+        }
+        catch {
+            throw new ImportError('not_jsonl', `JSONL 第 ${index + 1} 行不是有效 JSON`);
+        }
+        if (typeof value !== 'string' && (value === null || typeof value !== 'object' || Array.isArray(value)))
+            throw new ImportError('not_jsonl', `JSONL 第 ${index + 1} 行需要对象或字符串`);
+        rows.push({ value, line: index + 1 });
+    }
+    if (!rows.length)
+        throw new ImportError('empty_data', 'JSONL 中没有非空记录');
+    if (rows.every((row) => typeof row.value === 'string'))
+        return textRecords(rows.map((row) => ({ text: row.value, line: row.line })), 'jsonl');
+    if (rows.some((row) => typeof row.value === 'string'))
+        throw new ImportError('not_jsonl', 'JSONL 不支持混合对象和字符串，请统一记录结构');
+    return { data: rows.map((row) => row.value), format: 'jsonl' };
+}
+/** 状态机保留引号内的换行和分隔符，不能按行或逗号直接 split。 */
+export function parseDelimited(text, delimiter) {
+    const rows = [];
+    let cells = [];
+    let value = '';
+    let quoted = false;
+    let closed = false;
+    let line = 1;
+    let start = 1;
+    const fail = (reason) => { throw new ImportError('not_csv', `表格第 ${line} 行：${reason}`); };
+    const finishRow = () => {
+        if (cells.length || value.trim() || closed)
+            rows.push({ cells: [...cells, value], line: start });
+        cells = [];
+        value = '';
+        closed = false;
+    };
+    for (let i = 0; i < text.length; i++) {
+        const char = text[i];
+        if (quoted) {
+            if (char === '"') {
+                if (text[i + 1] === '"') {
+                    value += '"';
+                    i++;
+                }
+                else {
+                    quoted = false;
+                    closed = true;
+                }
+            }
+            else {
+                value += char;
+                if (char === '\n' || (char === '\r' && text[i + 1] !== '\n'))
+                    line++;
+            }
+            continue;
+        }
+        if (char === delimiter) {
+            cells.push(value);
+            value = '';
+            closed = false;
+        }
+        else if (char === '\r' || char === '\n') {
+            finishRow();
+            if (char === '\r' && text[i + 1] === '\n')
+                i++;
+            line++;
+            start = line;
+        }
+        else if (char === '"') {
+            if (value || closed)
+                fail('双引号必须位于字段开头');
+            quoted = true;
+        }
+        else {
+            if (closed)
+                fail('结束引号后只能是分隔符或换行');
+            value += char;
+        }
+    }
+    if (quoted)
+        fail(`从第 ${start} 行开始的引号未闭合`);
+    finishRow();
+    return rows;
+}
+function csvDelimiter(text) {
+    const counts = new Map([[',', 0], [';', 0]]);
+    let quoted = false;
+    for (let i = 0; i < text.length; i++) {
+        const char = text[i];
+        if (char === '"') {
+            if (quoted && text[i + 1] === '"')
+                i++;
+            else
+                quoted = !quoted;
+        }
+        else if (!quoted) {
+            if (char === '\n' || char === '\r') {
+                if ([...counts.values()].some((n) => n > 0))
+                    break;
+            }
+            else if (counts.has(char))
+                counts.set(char, counts.get(char) + 1);
+        }
+    }
+    return counts.get(';') > counts.get(',') ? ';' : ',';
+}
+export function parseTable(text, format) {
+    const rows = parseDelimited(text, format === 'tsv' ? '\t' : csvDelimiter(text));
+    const headers = rows.shift()?.cells.map((cell) => cell.trim());
+    if (!headers)
+        throw new ImportError('empty_data', '表格为空');
+    if (headers.some((h) => !h) || new Set(headers).size !== headers.length)
+        throw new ImportError('not_csv', '表头不能为空或重复，请给每一列唯一名称');
+    if (!rows.length)
+        throw new ImportError('empty_data', '表格只有表头，没有数据记录');
+    const keys = headers.map((_, i) => `column_${i + 1}`);
+    const data = rows.map((row) => {
+        if (row.cells.length !== headers.length)
+            throw new ImportError('not_csv', `表格第 ${row.line} 行有 ${row.cells.length} 列，表头有 ${headers.length} 列`);
+        return Object.fromEntries([['source_id', `line_${row.line}`], ...keys.map((key, i) => [key, row.cells[i]])]);
+    });
+    return { data: { columns: Object.fromEntries(keys.map((key, i) => [key, headers[i]])), rows: data }, format };
+}
+export function parseInput(text, format) {
+    if (!text.trim())
+        throw new ImportError('empty_data', '文件为空或只有空白字符');
+    if (format === 'csv' || format === 'tsv')
+        return parseTable(text, format);
+    if (format === 'jsonl')
+        return parseJsonLines(text);
+    if (format === 'json') {
+        let data;
+        try {
+            data = JSON.parse(text);
+        }
+        catch {
+            throw new ImportError('not_json', '文件不是有效的 JSON');
+        }
+        if (Array.isArray(data) && data.every((entry) => typeof entry === 'string'))
+            return textRecords(data.map((entry, i) => ({ text: entry, line: i + 1 })), format);
+        return { data, format };
+    }
+    const lines = text.split(/\r\n|\n|\r/);
+    if (format !== 'markdown')
+        return textRecords(lines.map((line, i) => ({ text: line, line: i + 1 })), format);
+    const paragraphs = [];
+    let start = 1;
+    let buffer = [];
+    for (const [i, line] of lines.entries()) {
+        if (!line.trim()) {
+            if (buffer.length)
+                paragraphs.push({ text: buffer.join('\n'), line: start });
+            buffer = [];
+        }
+        else {
+            if (!buffer.length)
+                start = i + 1;
+            buffer.push(line);
+        }
+    }
+    if (buffer.length)
+        paragraphs.push({ text: buffer.join('\n'), line: start });
+    return textRecords(paragraphs, format);
+}
+const EXTENSIONS = { '.json': 'json', '.jsonl': 'jsonl', '.ndjson': 'jsonl', '.csv': 'csv', '.tsv': 'tsv', '.txt': 'txt', '.md': 'markdown', '.markdown': 'markdown', '.log': 'log' };
+export async function readInput(filePath, signal) {
+    signal?.throwIfAborted();
+    let bytes;
+    try {
+        const info = await stat(filePath);
+        if (!info.isFile())
+            throw new ImportError('read_failed', `不是文件：${filePath}`);
+        if (info.size > MAX_FILE_BYTES)
+            throw new ImportError('too_large', `文件超过 ${MAX_FILE_BYTES / 1024 / 1024} MB 上限：${filePath}`);
+        bytes = await readFile(filePath, { signal });
+    }
+    catch (error) {
+        if (error instanceof ImportError || signal?.aborted)
+            throw error;
+        throw new ImportError('read_failed', `无法读取 ${filePath}：${error.message}`);
+    }
+    if (bytes.length > MAX_FILE_BYTES)
+        throw new ImportError('too_large', `文件超过 ${MAX_FILE_BYTES / 1024 / 1024} MB 上限：${filePath}`);
+    let text;
+    try {
+        const encoding = bytes[0] === 0xff && bytes[1] === 0xfe ? 'utf-16le' : bytes[0] === 0xfe && bytes[1] === 0xff ? 'utf-16be' : 'utf-8';
+        text = new TextDecoder(encoding, { fatal: true }).decode(bytes);
+        if (/[\u0000-\u0008\u000b\u000c\u000e-\u001f]/u.test(text))
+            throw new Error('binary');
+    }
+    catch {
+        throw new ImportError('invalid_encoding', '文件不是有效文本；请使用 UTF-8 或带 BOM 的 UTF-16 文本文件');
+    }
+    signal?.throwIfAborted();
+    // 无后缀和历史自定义后缀仍可作为 JSON 读入，避免破坏原有 API。
+    const format = EXTENSIONS[extname(filePath).toLowerCase()];
+    if (!format) {
+        try {
+            return parseInput(text, 'json');
+        }
+        catch {
+            throw new ImportError('unsupported_format', '不支持此文件格式；可用 JSON、JSONL、CSV、TSV、TXT、Markdown 或 LOG');
+        }
+    }
+    return parseInput(text, format);
+}

package/dist/ingest/index.d.ts

@@ -1,13 +1,8 @@
 import type { RunEventListener } from '../agent/events.js';
 import type { AgentModel } from '../agent/model.js';
 import type { Dataset } from '../dataset/types.js';
-export type ImportErrorCode = 'read_failed' | 'too_large' | 'not_json' | 'not_feedback' | 'no_model' | 'inference_failed';
-export declare class ImportError extends Error {
-    name: string;
-    readonly code: ImportErrorCode;
-    constructor(code: ImportErrorCode, message: string);
-}
-export declare const MAX_FILE_BYTES: number;
+export { ImportError, MAX_FILE_BYTES, type ImportErrorCode } from './errors.js';
+export type { InputFormat } from './formats.js';
 export interface LoadDatasetOptions {
     /** 缓存里没有可用规则时，用它推断映射规则 */
     model?: AgentModel;
@@ -20,7 +15,7 @@ export interface LoadDatasetOptions {
 }
 export declare function datasetId(filePath: string): string;
 export declare function defaultCacheDir(cwd?: string): string;
-/** 读入任意 JSON 文件，转换成统一格式。流程见 docs/architecture.md 第 5.3 节 */
+/** 读入结构化文件或文本记录，转换成统一格式。流程见 docs/architecture.md 第 5.3 节 */
 export declare function loadDataset(filePath: string, options?: LoadDatasetOptions): Promise<Dataset>;
 export { describeShape, type Shape } from './shape.js';
 export { applyMapping, formatReport } from './apply.js';