ugc-lens 0.0.3 → 0.0.4

package/README.md

@@ -1,6 +1,6 @@
 # ugc-lens
 
-面向中文社媒用户互动内容（评论、回复、弹幕等）的轻量分析 Agent。直接启动后用自然语言描述目标，它会选择工具导入数据、生成带原文引用的报告、连续追问或监听目录。以 npm 包形式提供命令行和代码调用，MCP 服务后续提供。
+面向中文社媒用户互动内容（评论、回复、弹幕等）的轻量分析 Agent。直接启动后用自然语言描述目标，它会选择工具导入数据、生成带原文引用的报告、连续追问或监听目录。以 npm 包形式提供命令行和代码调用，也提供 stdio MCP 服务供宿主调用。
 
 > 状态：0.0.x 试用版。目前只支持 JSON 文件，接口和报告格式还可能调整。
 
@@ -81,6 +81,49 @@ ugc-lens <命令> --help    # 查看全部选项
 - 统计、去重、关键词、引用校验都由代码完成，模型只负责分块总结和合并，一个 10 万条评论的文件大约用 6～7 万 token。
 - `watch` 的任务状态存在 `.ugc-lens/tasks.json`，按 Ctrl+C 停止后再启动会继续没做完的任务。
 
+## MCP 接入
+
+先用 `ugc-lens init` 配置模型。MCP 由宿主启动，不需要自己开一个服务终端。Claude Code 中可以添加：
+
+```bash
+claude mcp add --transport stdio ugc-lens -- npx -y ugc-lens@0.0.4 mcp --cwd /绝对路径/数据项目
+```
+
+测试本地源码时：
+
+```bash
+claude mcp add --transport stdio ugc-lens -- node /绝对路径/ugc-lens/src/cli/index.ts mcp --cwd /绝对路径/数据项目
+```
+
+两种配置选一种。在 Claude Code 的 `/mcp` 中确认连接，然后直接说“分析 `/绝对路径/video_all.json`，重点看价格”，宿主会选择工具。`--cwd` 指定配置、缓存、报告和相对数据路径的基准目录；服务沿用环境变量、项目配置、全局配置的优先级。
+
+其他支持 stdio 的宿主可使用同等配置：
+
+```json
+{
+  "mcpServers": {
+    "ugc-lens": {
+      "command": "npx",
+      "args": ["-y", "ugc-lens@0.0.4", "mcp", "--cwd", "/绝对路径/数据项目"]
+    }
+  }
+}
+```
+
+| 工具 | 用途 |
+|---|---|
+| `load_dataset` | 导入 JSON，返回数据集 ID |
+| `list_datasets` | 列出本次服务已导入的数据 |
+| `get_dataset_stats` | 查看数据概况 |
+| `search_feedback` | 按关键词、类型、点赞等筛选并分页 |
+| `get_feedback` | 查看全文和回复链 |
+| `analyze` | 自动导入并生成完整报告，返回正文和保存路径 |
+| `ask` | 调用配置的模型回答，返回引用核对结果及追问 ID |
+
+`analyze`、`ask` 可以传 `file` 自动导入，也可用 `dataset_id`；两者不能同时提供。`ask` 返回 `conversation_id`，继续追问时传回这个 ID 和新 `question`，可省略文件。数据集和对话只在当前服务进程内保留；报告和映射缓存保存在磁盘。MCP 本身不使用宿主的模型授权，识别结构和模型分析仍需要 ugc-lens 的模型配置；握手和工具发现不需要 key。
+
+技能指引位于 [skills/ugc-lens/SKILL.md](skills/ugc-lens/SKILL.md)，随 npm 包提供，可按宿主的技能安装方式添加。代码调用者可从 `ugc-lens/mcp` 导入 `createMcpServer` 创建独立实例。
+
 ## 代码调用
 
 ```ts

package/dist/cli/index.js

@@ -12,8 +12,10 @@ import { UsageError } from './common.js';
 import { runChat } from './chat.js';
 import { INIT_USAGE, runInit } from './init.js';
 import { runWatch, WATCH_USAGE } from './watch.js';
+import { MCP_USAGE, runMcp } from './mcp.js';
 const COMMANDS = {
     init: { run: runInit, usage: INIT_USAGE },
+    mcp: { run: runMcp, usage: MCP_USAGE },
     analyze: { run: runAnalyze, usage: ANALYZE_USAGE },
     ask: { run: runAsk, usage: ASK_USAGE },
     watch: { run: runWatch, usage: WATCH_USAGE },
@@ -26,6 +28,7 @@ const MAIN_USAGE = `ugc-lens：分析评论、弹幕等用户互动内容
   ugc-lens analyze <文件>               生成 Markdown 分析报告
   ugc-lens ask <文件> <问题> [追问...]   追问，回答带 [ID] 引用
   ugc-lens watch <目录>                 监听目录，新的 *_all.json 写完后自动分析
+  ugc-lens mcp [--cwd <目录>]           通过 stdio 向宿主提供 MCP 工具
   ugc-lens <命令> --help                查看命令的选项
   ugc-lens --version
 

package/dist/cli/mcp.d.ts

@@ -0,0 +1,5 @@
+export declare const MCP_USAGE = "\u7528\u6CD5\uFF1Augc-lens mcp [--cwd <\u76EE\u5F55>]\n\n\u901A\u8FC7 stdio \u63D0\u4F9B MCP \u5DE5\u5177\uFF0C\u7531 Claude Code \u7B49\u5BBF\u4E3B\u542F\u52A8\u3002\n  --cwd <\u76EE\u5F55>   \u914D\u7F6E\u3001\u7F13\u5B58\u3001\u62A5\u544A\u548C\u76F8\u5BF9\u6570\u636E\u8DEF\u5F84\u7684\u57FA\u51C6\u76EE\u5F55\uFF0C\u9ED8\u8BA4\u5F53\u524D\u76EE\u5F55\n\n\u6807\u51C6\u8F93\u51FA\u4EC5\u7528\u4E8E MCP \u534F\u8BAE\uFF0C\u4E0D\u80FD\u4F5C\u4E3A\u4EA4\u4E92\u5BF9\u8BDD\u7EC8\u7AEF\u4F7F\u7528\u3002";
+export declare function parseMcpArgs(argv: readonly string[]): {
+    cwd: string;
+};
+export declare function runMcp(argv: readonly string[]): Promise<void>;

package/dist/cli/mcp.js

@@ -0,0 +1,59 @@
+import { stat } from 'node:fs/promises';
+import { resolve } from 'node:path';
+import { parseArgs } from 'node:util';
+import { UsageError } from './common.js';
+export const MCP_USAGE = `用法：ugc-lens mcp [--cwd <目录>]
+
+通过 stdio 提供 MCP 工具，由 Claude Code 等宿主启动。
+  --cwd <目录>   配置、缓存、报告和相对数据路径的基准目录，默认当前目录
+
+标准输出仅用于 MCP 协议，不能作为交互对话终端使用。`;
+export function parseMcpArgs(argv) {
+    const { values, positionals } = parseArgs({ args: [...argv], allowPositionals: true, options: { cwd: { type: 'string' } } });
+    if (positionals.length)
+        throw new UsageError('mcp 不接受位置参数，请用 --cwd 指定工作目录');
+    if (values.cwd !== undefined && !values.cwd.trim())
+        throw new UsageError('--cwd 需要目录路径');
+    return { cwd: resolve(values.cwd ?? process.cwd()) };
+}
+export async function runMcp(argv) {
+    const { cwd } = parseMcpArgs(argv);
+    try {
+        if (!(await stat(cwd)).isDirectory())
+            throw new Error('不是目录');
+    }
+    catch {
+        throw new UsageError(`MCP 工作目录不存在或不是目录：${cwd}`);
+    }
+    const [{ serveStdio }, { createMcpServer }] = await Promise.all([
+        import('@modelcontextprotocol/server/stdio'), import('../mcp/server.js'),
+    ]);
+    let finished;
+    const done = new Promise((resolve) => { finished = resolve; });
+    const handle = serveStdio(() => {
+        const server = createMcpServer({ cwd });
+        const onclose = server.server.onclose;
+        server.server.onclose = () => { onclose?.(); finished(); };
+        return server;
+    }, { onerror: (error) => console.error(`MCP：${error.message}`) });
+    const stop = () => {
+        void handle.close().then(finished, (error) => {
+            console.error(`MCP 关闭失败：${error instanceof Error ? error.message : String(error)}`);
+            process.exitCode = 1;
+            finished();
+        });
+    };
+    process.on('SIGINT', stop);
+    process.on('SIGTERM', stop);
+    // 没有握手就 EOF 时也应退出；有请求时由 SDK 取消并清理。
+    process.stdin.once('end', stop);
+    try {
+        await done;
+    }
+    finally {
+        await handle.close();
+        process.removeListener('SIGINT', stop);
+        process.removeListener('SIGTERM', stop);
+        process.stdin.removeListener('end', stop);
+    }
+}

package/dist/index.d.ts

@@ -1,4 +1,4 @@
-/** 代码 API。命令行和以后的 MCP 服务只通过这些函数使用核心功能 */
+/** 代码 API。命令行和 MCP 服务只通过这些函数使用核心功能 */
 export { loadLlmConfig, ConfigError, type LlmConfig, type LlmConfigFile } from './config.js';
 export { createChatClient, LlmError, type ChatClient, type ChatClientOptions } from './llm/client.js';
 export { PROVIDERS, type ProviderId, type ProviderPreset, type Region } from './llm/providers.js';

package/dist/index.js

@@ -1,4 +1,4 @@
-/** 代码 API。命令行和以后的 MCP 服务只通过这些函数使用核心功能 */
+/** 代码 API。命令行和 MCP 服务只通过这些函数使用核心功能 */
 export { loadLlmConfig, ConfigError } from './config.js';
 export { createChatClient, LlmError } from './llm/client.js';
 export { PROVIDERS } from './llm/providers.js';

package/dist/mcp/server.d.ts

@@ -0,0 +1,14 @@
+import { McpServer } from '@modelcontextprotocol/server';
+import type { AgentModel } from '../agent/model.js';
+import { loadDataset } from '../ingest/index.js';
+import { type AnalyzeOptions, type AnalyzeResult } from '../pipeline/analyze.js';
+export interface McpServerOptions {
+    cwd?: string;
+    model?: AgentModel;
+    analysisModel?: AgentModel;
+    modelName?: string;
+    load?: typeof loadDataset;
+    analyze?: (options: AnalyzeOptions) => Promise<Pick<AnalyzeResult, 'markdown' | 'path' | 'calls' | 'usage'>>;
+}
+/** 每次创建独立状态；宿主直接调数据工具时，不需要再嵌套一个问答 Agent。 */
+export declare function createMcpServer(options?: McpServerOptions): McpServer;

package/dist/mcp/server.js

@@ -0,0 +1,156 @@
+import { randomUUID } from 'node:crypto';
+import { readFileSync } from 'node:fs';
+import { join, resolve } from 'node:path';
+import { fromJsonSchema, McpServer } from '@modelcontextprotocol/server';
+import * as z from 'zod';
+import { createLlmModel } from '../agent/llm_model.js';
+import { askDataset } from '../ask/index.js';
+import { loadLlmConfig } from '../config.js';
+import { loadDataset } from '../ingest/index.js';
+import { createChatClient } from '../llm/client.js';
+import { analyzeDataset } from '../pipeline/analyze.js';
+import { denyAll } from '../tools/approval.js';
+import { createDataTools } from '../tools/data/index.js';
+import { resolveDataset } from '../tools/data/shared.js';
+import { defineTool } from '../tools/define.js';
+const selector = {
+    file: z.string().min(1).optional().describe('JSON 文件路径，相对于服务工作目录；提供后自动导入'),
+    dataset_id: z.string().min(1).optional().describe('已导入的数据集 ID，不能与 file 同时提供；只有一个数据集时可省略'),
+};
+/** 每次创建独立状态；宿主直接调数据工具时，不需要再嵌套一个问答 Agent。 */
+export function createMcpServer(options = {}) {
+    const cwd = resolve(options.cwd ?? process.cwd());
+    const lifetime = new AbortController();
+    const datasets = new Map();
+    const conversations = new Map();
+    const store = { list: () => [...datasets.values()], get: (id) => datasets.get(id) };
+    const version = JSON.parse(readFileSync(new URL('../../package.json', import.meta.url), 'utf8')).version;
+    const server = new McpServer({ name: 'ugc-lens', version }, {
+        instructions: '分析本地 JSON 评论、回复与弹幕。load_dataset 导入后可直接使用数据工具查询；analyze 生成报告；ask 使用配置的模型回答并返回 conversation_id，继续追问时传回该 ID。所有相对路径以服务 cwd 为准。',
+    });
+    let models;
+    const getModels = () => {
+        if (models)
+            return models;
+        if (options.model) {
+            models = { ask: options.model, analysis: options.analysisModel ?? options.model, name: options.modelName };
+        }
+        else {
+            const config = loadLlmConfig({}, cwd);
+            const client = createChatClient(config);
+            models = {
+                ask: createLlmModel(client, { temperature: 0.2 }),
+                analysis: options.analysisModel ?? createLlmModel(client, { temperature: 0, maxTokens: 4_000, disableThinking: true }),
+                name: config.model,
+            };
+        }
+        return models;
+    };
+    const importFile = async (file, signal) => {
+        const path = resolve(cwd, file);
+        const cached = store.list().find((dataset) => dataset.file_path === path);
+        if (cached)
+            return cached;
+        const dataset = await (options.load ?? loadDataset)(path, {
+            model: getModels().analysis, signal, cacheDir: join(cwd, '.ugc-lens', 'mappings'),
+        });
+        signal.throwIfAborted();
+        datasets.set(dataset.id, dataset);
+        return dataset;
+    };
+    const select = async (args, signal) => {
+        if (args.file && args.dataset_id)
+            throw new Error('file 和 dataset_id 只能提供一个');
+        return args.file ? importFile(args.file, signal) : resolveDataset(store, args.dataset_id);
+    };
+    const dataTools = createDataTools(store);
+    const tools = [
+        ...dataTools,
+        defineTool({
+            name: 'load_dataset', description: '导入本地 JSON 评论、回复或弹幕文件，返回 dataset_id。后续查询可复用，不需要反复发送原始文件。',
+            parameters: z.object({ file: z.string().min(1) }),
+            async execute({ file }, ctx) {
+                const dataset = await importFile(file, ctx.signal);
+                return JSON.stringify({ dataset_id: dataset.id, file: dataset.file_path, items: dataset.items.length, contents: dataset.contents.length });
+            },
+        }),
+        defineTool({
+            name: 'analyze', description: '对本地 JSON 文件或已导入数据生成完整的 Markdown 分析报告，返回报告正文和保存路径。需要配置 ugc-lens 模型。',
+            parameters: z.object({
+                ...selector,
+                directions: z.array(z.string().min(1)).min(1).optional().describe('关注方向；不传使用默认分析方向'),
+                max_total_chars: z.number().int().positive().optional().describe('发送给模型的评论总字数上限，默认 80000'),
+            }),
+            async execute({ directions, max_total_chars, ...args }, ctx) {
+                const dataset = await select(args, ctx.signal);
+                const models = getModels();
+                const result = await (options.analyze ?? analyzeDataset)({
+                    dataset, model: models.analysis, modelName: models.name, cwd, directions,
+                    maxTotalChars: max_total_chars, signal: ctx.signal,
+                });
+                ctx.signal.throwIfAborted();
+                return JSON.stringify({ dataset_id: dataset.id, path: result.path, markdown: result.markdown, calls: result.calls, usage: result.usage });
+            },
+        }),
+        defineTool({
+            name: 'ask', description: '使用 ugc-lens 配置的模型查询数据并回答，返回带 [ID] 的回答和引用核对结果。连续追问时传回 conversation_id；宿主自己分析时可直接调用数据工具。',
+            parameters: z.object({
+                ...selector,
+                question: z.string().trim().min(1),
+                conversation_id: z.string().min(1).optional().describe('上一轮返回的 ID；不填则创建独立对话'),
+            }),
+            async execute({ conversation_id, question, ...args }, ctx) {
+                const previous = conversation_id ? conversations.get(conversation_id) : undefined;
+                if (conversation_id && !previous)
+                    throw new Error('找不到追问会话，请不传 conversation_id 开始新对话');
+                if (previous?.busy)
+                    throw new Error('这段对话的上一轮尚未完成，请等待后重试');
+                if (previous)
+                    previous.busy = true;
+                try {
+                    const dataset = previous && !args.file && !args.dataset_id
+                        ? resolveDataset(store, previous.dataset_id)
+                        : await select(args, ctx.signal);
+                    if (previous && previous.dataset_id !== dataset.id)
+                        throw new Error('追问会话绑定了其他数据集，请不传 conversation_id 开始新对话');
+                    const result = await askDataset({ model: getModels().ask, datasets: [dataset], question, history: previous?.history, signal: ctx.signal });
+                    ctx.signal.throwIfAborted();
+                    const id = conversation_id ?? randomUUID();
+                    conversations.set(id, { dataset_id: dataset.id, history: result.run.messages, busy: false });
+                    return JSON.stringify({
+                        conversation_id: id, dataset_id: dataset.id, answer: result.answer, citations: result.citations,
+                        stop_reason: result.run.stop_reason, steps: result.run.steps.length, usage: result.run.usage,
+                    });
+                }
+                finally {
+                    if (previous)
+                        previous.busy = false;
+                }
+            },
+        }),
+    ];
+    const readOnly = new Set(dataTools.map((tool) => tool.name));
+    for (const tool of tools) {
+        server.registerTool(tool.name, {
+            description: tool.description,
+            inputSchema: fromJsonSchema(tool.parameters),
+            annotations: { readOnlyHint: readOnly.has(tool.name), destructiveHint: false, openWorldHint: !readOnly.has(tool.name) },
+        }, async (args, request) => {
+            const signal = AbortSignal.any([lifetime.signal, request.mcpReq.signal]);
+            const context = { run_id: randomUUID(), cwd, signal, approve: denyAll };
+            try {
+                signal.throwIfAborted();
+                return { content: [{ type: 'text', text: await tool.execute(args, context) }] };
+            }
+            catch (error) {
+                return { isError: true, content: [{ type: 'text', text: `错误：${error instanceof Error ? error.message : String(error)}` }] };
+            }
+        });
+    }
+    server.server.onclose = () => {
+        lifetime.abort();
+        datasets.clear();
+        conversations.clear();
+    };
+    return server;
+}

package/package.json

@@ -1,6 +1,6 @@
 {
   "name": "ugc-lens",
-  "version": "0.0.3",
+  "version": "0.0.4",
   "description": "面向评论、弹幕等用户互动内容的轻量分析 Agent",
   "keywords": [
     "ugc",
@@ -32,12 +32,17 @@
       "types": "./dist/index.d.ts",
       "default": "./dist/index.js"
     },
-    "./package.json": "./package.json"
+    "./package.json": "./package.json",
+    "./mcp": {
+      "types": "./dist/mcp/server.d.ts",
+      "default": "./dist/mcp/server.js"
+    }
   },
   "main": "./dist/index.js",
   "types": "./dist/index.d.ts",
   "files": [
-    "dist"
+    "dist",
+    "skills"
   ],
   "engines": {
     "node": ">=22.18"
@@ -63,10 +68,12 @@
     "smoke": "node examples/00_hello.ts && node examples/01_list_models.ts && node examples/03_agent_loop.ts 1 && node examples/04_tools.ts < /dev/null && node examples/06_retry_budget.ts retry && node examples/07_dataset_stats.ts --fresh && node examples/08_ask.ts \"评论里有人提到价格吗？\" && node examples/09_chunks.ts && node examples/09_summarize.ts && node examples/09_analyze.ts > /dev/null"
   },
   "devDependencies": {
+    "@modelcontextprotocol/client": "2.4.0",
     "@types/node": "22.20.5",
     "typescript": "7.0.2"
   },
   "dependencies": {
+    "@modelcontextprotocol/server": "2.4.0",
     "zod": "4.6.7"
   }
 }

package/skills/ugc-lens/SKILL.md

@@ -0,0 +1,28 @@
+---
+name: ugc-lens
+description: 使用 ugc-lens MCP 工具分析本地 JSON 中的评论、回复和弹幕，生成带原文证据的报告或连续追问；不负责搜集平台数据。
+---
+
+# ugc-lens 数据分析
+
+用户提供的是已经搜集好的 JSON 文件。文件结构由 ugc-lens 识别，不要自行假设字段名，也不要把整个大文件读进上下文。工具名前缀由宿主决定，以下使用服务内名称。
+
+## 选择工具
+
+- 需要完整分析报告时调用 `analyze`，用 `file` 指定路径，可用 `directions` 指定用户关注点。工具会自动导入、运行流水线并保存报告；向用户给出返回的报告路径。
+- 宿主自己回答具体问题时，先 `load_dataset`，再用 `get_dataset_stats`、`search_feedback` 和 `get_feedback` 查证。只有一个数据集时可以省略 `dataset_id`；有多个时用 `list_datasets` 选择。
+- 需要 ugc-lens 配置的模型代为查询并回答时调用 `ask`，第一次用 `file` 或 `dataset_id` 和 `question`；同一数据集连续追问时传回 `conversation_id`，不需要重复导入。新问题需要独立上下文时不传这个 ID。
+
+## 查询和证据
+
+`search_feedback` 的关键词以空格表示同时匹配，以 `|` 表示任意匹配；支持按点赞、类型、属地等筛选。根据返回的下一页 `offset` 翻页。搜索结果正文会截断，需要全文或回复链时调用 `get_feedback`。
+
+结论用工具结果里真实出现的 `[ID]` 引用，保留原文。区分样本中的支持数量和全平台比例；回复可能未全部搜集，不据此推断没有回复。`ask` 返回 `citations.invalid` 时不要把这些 ID 当作证据。
+
+## 路径和运行
+
+相对路径以 MCP 启动时 `--cwd` 指定的目录为准。宿主与服务工作目录不同时使用绝对路径。数据集和追问历史仅在本次服务进程内保留，重启后需要重新导入；相同文件的结构映射可从磁盘缓存复用。
+
+握手和工具发现不需要 API key；导入时识别结构、`analyze` 和 `ask` 使用 ugc-lens 的模型配置。配置缺失时说明错误并指导用户运行 `ugc-lens init`，不要要求用户把 key 发进聊天或写进可提交的宿主配置。
+
+`analyze` 会写报告，模型调用也会产生用量。按用户任务选择工具，不为了一个具体问题重复生成整份报告。工具报错时根据错误修正路径或参数，实际成功后再说明完成。