foliko 1.1.65 → 1.1.67

package/plugins/data-splitter-plugin.js

@@ -1,323 +0,0 @@
-/**
- * DataSplitterPlugin — 大数据自动分拆插件
- *
- * 功能：
- * 1. 注册 `split_and_process` 工具：AI 可主动调用，将大文本分拆给子 Agent 处理
- * 2. 注册 `get_content_preview` 工具：获取大内容的前 N 行，判断是否需要分拆
- * 3. 自动检测工具返回的大数据，触发透明分拆
- * 4. 系统提示词中告知 AI 大数据处理能力
- */
-
-const { Plugin } = require('../src/core/plugin-base');
-const { z } = require('zod');
-const { logger } = require('../src/utils/logger');
-const { DataSplitter } = require('../src/utils/data-splitter');
-
-// 超过此大小的工具结果自动触发分拆（字符数，默认 100K tokens ≈ 200K chars）
-const AUTO_SPLIT_THRESHOLD = 50000;
-
-class DataSplitterPlugin extends Plugin {
-  constructor(config = {}) {
-    super();
-    this.name = 'data-splitter';
-    this.version = '1.0.0';
-    this.description = '大数据自动分拆处理：读取大文件或抓取网页时，自动分拆为多个子Agent并行处理';
-    this.priority = 5;
-
-    this._framework = null;
-    this._splitter = null;
-
-    // 配置
-    this.config = {
-      autoSplitThreshold: config.autoSplitThreshold || AUTO_SPLIT_THRESHOLD,
-      chunkSize: config.chunkSize || 60000,
-      maxConcurrent: config.maxConcurrent || 3,
-      ...config,
-    };
-  }
-
-  install(framework) {
-    this._framework = framework;
-    this._splitter = new DataSplitter(framework, {
-      chunkSize: this.config.chunkSize,
-      safeThreshold: this.config.autoSplitThreshold,
-      maxConcurrent: this.config.maxConcurrent,
-    });
-
-    return this;
-  }
-
-  start(framework) {
-    // 注册大数据处理工具
-    this._registerSplitTools();
-
-    // 注册系统提示词
-    this.registerPromptPart('data-splitter-rules', 85, () => this._getPromptRules());
-
-    // 注册工具结果监听器（自动检测大结果）
-    this._registerAutoSplitHook();
-
-    logger.info('[DataSplitterPlugin] 已启动，阈值:', this.config.autoSplitThreshold);
-  }
-
-  /**
-   * 注册分拆工具
-   * @private
-   */
-  _registerSplitTools() {
-    const framework = this._framework;
-
-    // ─── 工具1: split_and_process — AI 主动调用分拆 ───
-    framework.registerTool({
-      name: 'split_and_process',
-      description: `将大文本内容按大小分块，创建多个子 Agent 并行处理每块内容，最后自动汇总结果。
-当你读取文件或抓取网页返回的内容超过 10 万字符时，应该使用此工具来分拆处理。
-它会将内容拆成多块，每块由一个子 Agent 独立处理，最后给你一个汇总。`,
-      inputSchema: z.object({
-        content: z.string().describe('要分拆处理的大文本内容（如果超过 100K 字符建议使用此工具）'),
-        taskDescription: z.string().describe('每个子 Agent 要执行的任务描述，例如"提取所有函数定义"、"总结内容要点"等'),
-        chunkSize: z.number().optional().default(60000).describe('每块最大字符数，默认 60000'),
-        maxConcurrent: z.number().optional().default(3).describe('最大并行子 Agent 数，默认 3'),
-      }),
-      execute: async (args, ctx) => {
-        const { content, taskDescription, chunkSize, maxConcurrent } = args;
-        const splitter = this._getSplitter(ctx);
-
-        if (!content || content.length === 0) {
-          return { success: false, error: '内容为空，无需处理' };
-        }
-
-        const stats = splitter.getContentStats(content);
-        if (!splitter.needsSplit(content)) {
-          // 内容较小，直接返回
-          return {
-            success: true,
-            data: content,
-            metadata: {
-              needsSplit: false,
-              stats,
-              message: '内容大小在安全范围内，无需分拆处理。可直接使用原始内容。'
-            }
-          };
-        }
-
-        // 生成上下文中的 sessionId 用于取消信号
-        const sessionCtx = ctx?.getCurrentSessionContext?.();
-        const signal = sessionCtx?.abortSignal;
-
-        logger.info(
-          `[split_and_process] 开始分拆: ${stats.chars} 字符, ` +
-            `${stats.chunks} 块, 任务="${taskDescription?.slice(0, 40)}..."`
-        );
-
-        const startTime = Date.now();
-        const chunks = splitter.splitContent(content, chunkSize);
-        const result = await splitter.dispatchToSubAgents({
-          chunks,
-          taskDescription,
-          maxConcurrent: maxConcurrent || this.config.maxConcurrent,
-          signal,
-        });
-        const duration = ((Date.now() - startTime) / 1000).toFixed(1);
-
-        return {
-          success: true,
-          data: result.summary,
-          metadata: {
-            needsSplit: true,
-            stats: { ...stats, actualChunks: chunks.length },
-            totalChunks: chunks.length,
-            successfulChunks: result.results.filter((r) => r.success).length,
-            failedChunks: result.errors.length,
-            durationSec: parseFloat(duration),
-          },
-        };
-      },
-    });
-
-    // ─── 工具2: get_content_preview — 获取大内容预览信息 ───
-    framework.registerTool({
-      name: 'get_content_preview',
-      description: `获取大文本内容的预览信息（前 20 行 + 统计），判断是否需要分拆处理。
-适合在读取大文件或抓取网页后用于检查内容大小。`,
-      inputSchema: z.object({
-        content: z.string().describe('要预览的大文本内容'),
-        previewLines: z.number().optional().default(20).describe('预览前 N 行，默认 20'),
-      }),
-      execute: async (args) => {
-        const { content, previewLines = 20 } = args;
-        const splitter = this._getSplitter();
-
-        const stats = splitter.getContentStats(content);
-        const lines = content.split('\n');
-        const preview = lines.slice(0, previewLines).join('\n');
-
-        return {
-          success: true,
-          data: preview || '(空内容)',
-          metadata: {
-            stats,
-            needsSplit: splitter.needsSplit(content),
-            totalLines: lines.length,
-            suggestion: splitter.needsSplit(content)
-              ? `内容较大 (${stats.chars} 字符, 约 ${stats.estimatedTokens} tokens)，建议使用 split_and_process 分拆处理`
-              : '内容大小在安全范围内',
-          }
-        };
-      },
-    });
-  }
-
-  /**
-   * 获取系统提示词
-   * @private
-   */
-  _getPromptRules() {
-    return `## 大数据处理能力
-
-你具备自动处理大文件和大网页的能力：
-
-1. **内容预览**：当工具返回的内容很大时，先用 \`get_content_preview\` 查看统计信息
-2. **分拆处理**：如果内容超过 10 万字符，用 \`split_and_process\` 将内容分块，每块交给独立的子 Agent 并行处理
-3. **自动汇总**：\`split_and_process\` 会自动汇总所有子 Agent 的处理结果，你只需基于汇总结果回答即可
-4. **性能提示**：分拆处理会并行运行多个子 Agent，处理大文件时效率很高
-
-### 使用建议
-- 读取大文件（> 100KB）时：先读取，如果内容太大，用 \`split_and_process\` 分拆分析
-- 抓取网页时：如果页面内容过多，用 \`split_and_process\` 分拆提取
-- 分拆时指定清晰的任务描述，例如"提取所有关键代码函数"、"总结每段内容要点"`;
-  }
-
-  /**
-   * 注册自动分拆钩子
-   * 监听 tool:result 事件，如果结果太大自动触发分拆
-   * @private
-   */
-  _registerAutoSplitHook() {
-    const framework = this._framework;
-
-    // 监听工具结果，检测大数据
-    this._toolResultHandler = (data) => {
-      const { name, result } = data;
-
-      // 跳过已经标记为分拆结果的工具
-      if (name === 'split_and_process') return;
-
-      // 检查工具返回的内容是否过大（优先使用 data 字段）
-      let checkContent = '';
-      if (result && typeof result === 'object' && result.data) {
-        checkContent = typeof result.data === 'string' ? result.data : JSON.stringify(result.data);
-      } else {
-        checkContent = typeof result === 'string' ? result : JSON.stringify(result);
-      }
-      if (!checkContent || checkContent.length < this.config.autoSplitThreshold) return;
-
-      // 不阻塞执行，只在日志中记录建议
-      logger.info(
-        `[DataSplitter] 检测到大数据工具结果: ${name}, ` +
-          `${checkContent.length} 字符, 建议使用 split_and_process 分拆处理`
-      );
-    };
-
-    framework.on('tool:result', this._toolResultHandler);
-  }
-
-  /**
-   * 获取 DataSplitter 实例
-   * @private
-   */
-  _getSplitter(ctx) {
-    return this._splitter || new DataSplitter(this._framework, this.config);
-  }
-
-  reload(framework) {
-    // 清理旧监听器
-    if (this._toolResultHandler) {
-      framework.off('tool:result', this._toolResultHandler);
-    }
-
-    this._framework = framework;
-    this._splitter = new DataSplitter(framework, this.config);
-
-    // 重新注册
-    if (framework._mainAgent) {
-      this.start(framework);
-    }
-
-    // 请求刷新 mainAgent 的 system prompt
-    if (framework._mainAgent) {
-      framework._mainAgent._refreshContext();
-    }
-  }
-
-  uninstall(framework) {
-    if (this._toolResultHandler) {
-      framework.off('tool:result', this._toolResultHandler);
-    }
-  }
-}
-
-/**
- * 自动检测工具结果是否过大，并透明处理
- * 在 agent-chat 中调用
- *
- * @param {string} toolName - 工具名称
- * @param {*} result - 工具返回结果
- * @param {Object} framework - Framework 实例
- * @returns {Promise<{ wasSplit: boolean, result: *, splitterResult?: Object }>}
- */
-async function autoSplitToolResult(toolName, result, framework) {
-  // 跳过某些工具
-  const skipTools = ['split_and_process', 'get_content_preview'];
-  if (skipTools.includes(toolName)) return { wasSplit: false, result };
-
-  // 无 framework 时无法创建子 Agent，跳过
-  if (!framework || typeof framework.createSubAgent !== 'function') {
-    return { wasSplit: false, result };
-  }
-
-  // 提取用于判断大小的内容
-  // 优先使用 result.data（统一格式），再回退到整个结果字符串
-  let checkContent = '';
-  if (typeof result === 'object' && result !== null && result.data) {
-    checkContent = typeof result.data === 'string' ? result.data : JSON.stringify(result.data);
-  } else {
-    checkContent = typeof result === 'string' ? result : JSON.stringify(result);
-  }
-  if (!checkContent || checkContent.length < AUTO_SPLIT_THRESHOLD) {
-    return { wasSplit: false, result };
-  }
-
-  const splitter = new DataSplitter(framework);
-  const taskDescription = `从以下内容中提取关键信息（代码、配置、数据等），以结构化方式输出。`;
-
-  logger.info(
-    `[DataSplitter] 自动分拆工具 "${toolName}": ${checkContent.length} 字符`
-  );
-
-  try {
-    const chunks = splitter.splitContent(checkContent);
-    const splitResult = await splitter.dispatchToSubAgents({
-      chunks,
-      taskDescription,
-      maxConcurrent: 3,
-    });
-
-    return {
-      wasSplit: true,
-      // 返回原始结果 + 分拆汇总，AI 可以同时看到两者
-      result: {
-        _autoSplit: true,
-        _originalSize: checkContent.length,
-        _summary: splitResult.summary,
-        _originalResult: result, // 保留原始结果供参考
-      },
-      splitterResult: splitResult,
-    };
-  } catch (err) {
-    logger.warn(`[DataSplitter] 自动分拆失败: ${err.message}`);
-    return { wasSplit: false, result };
-  }
-}
-
-module.exports = { DataSplitterPlugin, autoSplitToolResult };

package/src/core/constants.js

@@ -1,198 +0,0 @@
-/**
- * Foliko Framework 统一常量
- *
- * 集中管理所有 magic numbers / strings，消除散落各处的重复值。
- * 所有模块应引用此文件而非硬编码。
- */
-
-const path = require('path');
-
-// ============================================================================
-// AI 模型与提供者
-// ============================================================================
-
-/** 默认 AI 提供者 */
-const DEFAULT_PROVIDER = 'deepseek';
-
-/** 默认 AI 模型 */
-const DEFAULT_MODEL = 'deepseek-chat';
-
-/** 默认 Max Output Tokens */
-const DEFAULT_MAX_OUTPUT_TOKENS = 8192;
-
-/** 默认 Temperature */
-const DEFAULT_TEMPERATURE = 0.3;
-
-/** 默认 Max Steps（工具调用最大轮数） */
-const DEFAULT_MAX_STEPS = 20;
-
-/** 需要禁用 temperature 的 thinking mode 模型列表 */
-const THINKING_MODELS = [
-  'deepseek-v4-pro',
-  'deepseek-v4-flash',
-  'deepseek-reasoner',
-];
-
-// ============================================================================
-// Session 上下文
-// ============================================================================
-
-/** Session TTL：默认 30 分钟 */
-const DEFAULT_SESSION_TTL_MS = 30 * 60 * 1000;
-
-/** Session 清理检查间隔 */
-const DEFAULT_SESSION_CLEANUP_INTERVAL_MS = 60 * 1000;
-
-/** 每个 Session 最大消息数 */
-const DEFAULT_MAX_MESSAGES_PER_SESSION = 1000;
-
-// ============================================================================
-// 上下文压缩
-// ============================================================================
-
-/** 保留最近的 N 条消息 */
-const KEEP_RECENT_MESSAGES = 20;
-
-/** 智能压缩启用 */
-const ENABLE_SMART_COMPRESS = true;
-
-/** 压缩超时（毫秒） */
-const COMPRESSION_TIMEOUT_MS = 1_200_000;
-
-/** 工具结果最大字符数 */
-const MAX_TOOL_RESULT_SIZE = 4000;
-
-// ============================================================================
-// 消息队列
-// ============================================================================
-
-/** 默认最大并发数 */
-const DEFAULT_MAX_CONCURRENT = 1;
-
-/** 默认重试次数 */
-const DEFAULT_RETRY_ATTEMPTS = 3;
-
-/** 默认重试延迟（毫秒） */
-const DEFAULT_RETRY_DELAY_MS = 2000;
-
-// ============================================================================
-// System Prompt 优先级
-// ============================================================================
-
-const PROMPT_PRIORITY = {
-  DATETIME: 50,
-  ORIGINAL_PROMPT: 100,
-  SHARED_PROMPT: 200,
-  METADATA: 300,
-  TOOLS: 400,
-  SKILLS: 500,
-  SUB_AGENTS: 600,
-  CAPABILITIES: 700,
-  MCP_TOOLS: 750,
-  EXTENSION_TOOLS: 800,
-  TOOL_CORE_RULES: 95,
-};
-
-// ============================================================================
-// 熔断器
-// ============================================================================
-
-/** 熔断器默认失败阈值 */
-const DEFAULT_CIRCUIT_FAILURE_THRESHOLD = 3;
-
-/** 熔断器默认成功阈值 */
-const DEFAULT_CIRCUIT_SUCCESS_THRESHOLD = 2;
-
-/** 熔断器默认超时（毫秒） */
-const DEFAULT_CIRCUIT_TIMEOUT_MS = 60_000;
-
-// ============================================================================
-// 插件
-// ============================================================================
-
-/** 默认插件优先级 */
-const DEFAULT_PLUGIN_PRIORITY = 100;
-
-/** 系统插件名称集合 */
-const SYSTEM_PLUGINS = new Set([
-  'ai', 'defaults', 'tools', 'skill-manager', 'session',
-  'storage', 'audit', 'rules', 'file-system',
-]);
-
-/** Agent 配置目录名 */
-const AGENT_DIR = '.agent';
-
-// ============================================================================
-// Session 存储
-// ============================================================================
-
-/** 默认 Session 存储类型 */
-const DEFAULT_SESSION_STORAGE_TYPE = 'file';
-
-/** 默认 Session 存储目录 */
-const DEFAULT_SESSION_STORAGE_DIR = path.join(AGENT_DIR, 'sessions');
-
-// ============================================================================
-// Token 计数（估算系数）
-// ============================================================================
-
-/** 每字符对应的 token 数（中文系数更大） */
-const TOKENS_PER_CHAR = 0.25;
-
-/** 每工具对应的 token 数 */
-const TOKENS_PER_TOOL = 500;
-
-/** 每消息固定开销 token */
-const TOKENS_PER_MESSAGE_OVERHEAD = 4;
-
-// ============================================================================
-// 导出
-// ============================================================================
-
-module.exports = {
-  // AI
-  DEFAULT_PROVIDER,
-  DEFAULT_MODEL,
-  DEFAULT_MAX_OUTPUT_TOKENS,
-  DEFAULT_TEMPERATURE,
-  DEFAULT_MAX_STEPS,
-  THINKING_MODELS,
-
-  // Session
-  DEFAULT_SESSION_TTL_MS,
-  DEFAULT_SESSION_CLEANUP_INTERVAL_MS,
-  DEFAULT_MAX_MESSAGES_PER_SESSION,
-
-  // Compression
-  KEEP_RECENT_MESSAGES,
-  ENABLE_SMART_COMPRESS,
-  COMPRESSION_TIMEOUT_MS,
-  MAX_TOOL_RESULT_SIZE,
-
-  // Queue
-  DEFAULT_MAX_CONCURRENT,
-  DEFAULT_RETRY_ATTEMPTS,
-  DEFAULT_RETRY_DELAY_MS,
-
-  // Priority
-  PROMPT_PRIORITY,
-
-  // Circuit Breaker
-  DEFAULT_CIRCUIT_FAILURE_THRESHOLD,
-  DEFAULT_CIRCUIT_SUCCESS_THRESHOLD,
-  DEFAULT_CIRCUIT_TIMEOUT_MS,
-
-  // Plugin
-  DEFAULT_PLUGIN_PRIORITY,
-  SYSTEM_PLUGINS,
-  AGENT_DIR,
-
-  // Storage
-  DEFAULT_SESSION_STORAGE_TYPE,
-  DEFAULT_SESSION_STORAGE_DIR,
-
-  // Token
-  TOKENS_PER_CHAR,
-  TOKENS_PER_TOOL,
-  TOKENS_PER_MESSAGE_OVERHEAD,
-};