@templmf/temp-solf-lmf 0.0.43 → 0.0.45

package/ai-gateway/src/skills/detector.js

@@ -0,0 +1,145 @@
+/**
+ * AI 驱动的 Skill 检测器
+ *
+ * 替代原来的关键词匹配，用轻量模型做语义分类：
+ *   1. 把所有已加载的 Skill 列表（name + description）发给模型
+ *   2. 模型返回命中的 Skill 名称数组（JSON）
+ *   3. 结果缓存 30 秒，避免每次请求都多一次模型调用
+ *
+ * 降级策略：模型调用失败时自动 fallback 到关键词匹配
+ */
+
+import OpenAI from "openai";
+import { logger } from "../utils/logger.js";
+
+// ─────────────────────────────────────────────────────
+// 轻量检测用的模型客户端（和主客户端共享配置）
+// ─────────────────────────────────────────────────────
+let detectorClient = null;
+
+export function initDetector() {
+  detectorClient = new OpenAI({
+    apiKey:  process.env.UPSTREAM_API_KEY  || "none",
+    baseURL: process.env.UPSTREAM_BASE_URL || "http://localhost:8000/v1",
+    timeout: 10_000,   // 检测超时短一点，快速失败
+    maxRetries: 0
+  });
+}
+
+// ─────────────────────────────────────────────────────
+// 简单 LRU 缓存（避免同一会话重复检测）
+// key = 最近 2 条消息的文本摘要，TTL = 30s
+// ─────────────────────────────────────────────────────
+const cache = new Map();
+const CACHE_TTL = 30_000;
+
+function getCacheKey(messages) {
+  return messages
+    .slice(-2)
+    .map(m => (typeof m.content === "string" ? m.content : "").slice(0, 80))
+    .join("|");
+}
+
+// ─────────────────────────────────────────────────────
+// AI 驱动的 Skill 检测（主路径）
+// ─────────────────────────────────────────────────────
+export async function detectSkillsWithAI(messages, skillDefinitions, loadedSkills) {
+  if (!detectorClient) return null;
+
+  // 只有已加载的 Skill 才参与检测
+  const available = Object.entries(skillDefinitions)
+    .filter(([name]) => loadedSkills[name])
+    .map(([name, def]) => ({
+      name,
+      description: def.description,
+      // 把关键词也给模型做参考，但不作为唯一判断依据
+      hints: def.keywords?.slice(0, 5).join(", ")
+    }));
+
+  if (available.length === 0) return [];
+
+  // 缓存命中
+  const cacheKey = getCacheKey(messages);
+  const cached = cache.get(cacheKey);
+  if (cached && Date.now() - cached.ts < CACHE_TTL) {
+    logger.debug("Skill detection cache hit", { key: cacheKey, skills: cached.skills });
+    return cached.skills;
+  }
+
+  // 取最近 3 条消息做上下文
+  const recentMessages = messages.slice(-3).map(m => ({
+    role: m.role,
+    content: typeof m.content === "string"
+      ? m.content.slice(0, 300)   // 截断避免 token 浪费
+      : "[非文本内容]"
+  }));
+
+  // 构建检测 prompt
+  const skillList = available
+    .map(s => `- ${s.name}：${s.description}${s.hints ? `（关键词：${s.hints}）` : ""}`)
+    .join("\n");
+
+  const detectionPrompt = `你是一个任务分类器。根据用户的对话内容，从下面的 Skill 列表中选出需要激活的 Skill。
+
+## 可用 Skill 列表
+${skillList}
+
+## 用户最近的对话
+${recentMessages.map(m => `[${m.role}]: ${m.content}`).join("\n")}
+
+## 要求
+- 只返回 JSON 数组，包含需要激活的 Skill name
+- 如果不需要任何 Skill，返回空数组 []
+- 不要返回任何解释文字
+- 示例：["react", "ticket"] 或 []`;
+
+  try {
+    const resp = await detectorClient.chat.completions.create({
+      model:       process.env.DETECTOR_MODEL || process.env.DEFAULT_MODEL || "qwen2.5-7b-instruct",
+      max_tokens:  64,
+      temperature: 0,   // 分类任务用确定性输出
+      messages: [
+        { role: "system", content: "你是一个 JSON 输出机器人，只输出 JSON，不输出任何其他内容。" },
+        { role: "user", content: detectionPrompt }
+      ]
+    });
+
+    const raw = resp.choices[0]?.message?.content?.trim() || "[]";
+
+    // 解析 JSON，容错处理
+    let skillNames = [];
+    try {
+      // 去掉可能的代码块包裹
+      const cleaned = raw.replace(/```json|```/g, "").trim();
+      skillNames = JSON.parse(cleaned);
+      if (!Array.isArray(skillNames)) skillNames = [];
+    } catch {
+      logger.warn("Skill detection parse failed, raw:", { raw });
+      return null;  // 解析失败，触发 fallback
+    }
+
+    // 过滤掉不存在的 Skill 名称（防止模型幻觉）
+    const valid = skillNames.filter(n => loadedSkills[n]);
+
+    logger.debug("AI skill detection", { detected: valid, raw });
+
+    // 写入缓存
+    cache.set(cacheKey, { skills: valid, ts: Date.now() });
+
+    return valid;
+
+  } catch (err) {
+    logger.warn("Skill detection failed, fallback to keyword match", { error: err.message });
+    return null;  // 返回 null 触发 fallback
+  }
+}
+
+// ─────────────────────────────────────────────────────
+// 定期清理过期缓存
+// ─────────────────────────────────────────────────────
+setInterval(() => {
+  const now = Date.now();
+  for (const [k, v] of cache.entries()) {
+    if (now - v.ts > CACHE_TTL) cache.delete(k);
+  }
+}, 60_000);

package/ai-gateway/src/skills/html.md

@@ -0,0 +1,18 @@
+# HTML 生成规范
+
+生成语义化、可直接渲染的 HTML 片段。
+
+## 要求
+- 使用语义化标签（header/main/section/article/nav/footer）
+- 内联 CSS 样式（不依赖外部 CSS 文件）
+- 响应式：使用 flexbox 或 grid 布局
+- 禁止 <script> 标签（安全限制）
+- 禁止外部资源引用（img src 除外）
+
+## 样式规范
+- 字体：system-ui, sans-serif
+- 颜色：使用 CSS 变量或 HSL 颜色
+- 间距：使用 rem 单位
+
+## 输出
+直接输出 HTML 代码，不要用 Markdown 代码块包裹。

package/ai-gateway/src/skills/markdown.md

@@ -0,0 +1,18 @@
+# Markdown 生成规范
+
+生成标准 GitHub Flavored Markdown（GFM）文档。
+
+## 格式要求
+- 使用 ATX 风格标题（# ## ###）
+- 代码块必须标注语言（```javascript）
+- 表格使用 GFM 表格语法
+- 列表使用 - 而非 *
+- 数学公式使用 $...$ 行内或 $$...$$ 块级
+
+## 文档结构
+技术文档：标题 → 概述 → 详细内容 → 示例 → 注意事项
+报告类：执行摘要 → 背景 → 分析 → 结论 → 建议
+
+## 禁止事项
+- 不要输出 HTML 标签
+- 不要在代码块外使用反引号

package/ai-gateway/src/skills/react.md

@@ -0,0 +1,27 @@
+# React 组件生成规范
+
+生成 React 18 函数式组件。
+
+## 规范
+- 使用函数式组件 + Hooks（useState, useEffect, useMemo 等）
+- 默认使用 TypeScript（.tsx）
+- Props 必须定义 interface
+- 样式优先使用 Tailwind className，无 Tailwind 时用 CSS-in-JS 对象
+
+## 组件结构
+```tsx
+interface Props {
+  // prop 定义
+}
+
+export default function ComponentName({ ...props }: Props) {
+  // hooks
+  // handlers
+  return (/* JSX */);
+}
+```
+
+## 禁止
+- 不要使用 class 组件
+- 不要直接操作 DOM（除非封装为 ref）
+- 不要在渲染函数中做副作用

package/ai-gateway/src/skills/registry.js

@@ -0,0 +1,441 @@
+/**
+ * Skill 注册表与加载器 v2
+ *
+ * 支持两种 Skill 类型：
+ *
+ *   单文件 Skill（simple）
+ *     src/skills/react.md
+ *     加载时直接读取文件内容注入 system prompt。
+ *
+ *   目录型 Skill（directory）
+ *     src/skills/skill-creator/
+ *       SKILL.md          ← 入口，必须存在
+ *       agents/           ← 子 agent 指令
+ *       references/       ← 参考资料
+ *       scripts/          ← 可执行脚本（不注入 prompt，按需引用路径）
+ *       ...
+ *
+ *     目录型 Skill 的加载策略：
+ *       - SKILL.md 内容始终注入 system prompt（主指令）
+ *       - agents/*.md、references/*.md 等文本子文件作为"可引用资源"
+ *         注册到 system prompt 的资源索引里，模型按需通过工具读取
+ *       - scripts/ 目录不注入内容，只告知模型路径，由模型决定是否调用
+ */
+
+import fs from "fs";
+import path from "path";
+import { fileURLToPath } from "url";
+
+const __dirname = path.dirname(fileURLToPath(import.meta.url));
+
+// ─────────────────────────────────────────────────────
+// Skill 定义表
+// ─────────────────────────────────────────────────────
+const SKILL_DEFINITIONS = {
+
+  // ── 单文件 Skill ────────────────────────────────────
+  ticket: {
+    type: "simple",
+    description: "AI 驱动式提单/工单助手",
+    keywords: ["提单", "工单", "故障单", "需求单", "issue", "ticket", "bug"],
+    file: "ticket.md"
+  },
+  markdown: {
+    type: "simple",
+    description: "生成或渲染 Markdown 文档",
+    keywords: ["markdown", "md", "渲染", "文档生成", "readme", "笔记"],
+    file: "markdown.md"
+  },
+  html: {
+    type: "simple",
+    description: "生成或渲染 HTML 页面/组件",
+    keywords: ["html", "网页", "页面", "渲染"],
+    file: "html.md"
+  },
+  react: {
+    type: "simple",
+    description: "生成 React 组件代码",
+    keywords: ["react", "jsx", "tsx", "hooks", "next.js"],
+    file: "react.md"
+  },
+  vue: {
+    type: "simple",
+    description: "生成 Vue 3 单文件组件",
+    keywords: ["vue", "sfc", "composition api", "options api", "nuxt"],
+    file: "vue.md"
+  },
+  docx: {
+    type: "simple",
+    description: "创建或编辑 Word (.docx) 文档",
+    keywords: ["word", "文档", "docx", ".doc", "报告", "合同", "简历"],
+    file: "docx.md"
+  },
+  pptx: {
+    type: "simple",
+    description: "创建演示文稿 (.pptx)",
+    keywords: ["ppt", "pptx", "幻灯片", "演示", "presentation"],
+    file: "pptx.md"
+  },
+  xlsx: {
+    type: "simple",
+    description: "创建或处理电子表格 (.xlsx)",
+    keywords: ["excel", "xlsx", "表格", "spreadsheet", "数据统计"],
+    file: "xlsx.md"
+  },
+
+  // ── 目录型 Skill ────────────────────────────────────
+  "skill-creator": {
+    type: "directory",
+    // description 是 AI 检测模式的主要判断依据，要足够明确
+    description: "创建、编写、改进或评测任何类型的 Skill 文档（SKILL.md）。只要用户提到要'写/做/建/创建一个skill'、'skill文档'、'技能文档'，无论 skill 是关于什么领域的，都应使用此条目。",
+    keywords: [
+      // 精确单词命中
+      "skill creator", "skill.md", "SKILL.md",
+      "创建skill", "写skill", "做skill", "建skill",
+      "制作技能", "评测skill", "改进skill",
+      // 自然口语表达
+      "写个skill", "做个skill", "建个skill", "写一个skill",
+      "创建一个skill", "做一个skill", "新建skill",
+      "skill文档", "写skill文档", "技能文档", "技能描述",
+      // 组合规则：同时包含多个词时才命中（避免误触发）
+      // 格式：{ all: ["词1", "词2"] } 表示必须同时包含这两个词
+      { all: ["帮我写", "skill"] },
+      { all: ["帮我做", "skill"] },
+      { all: ["帮我创建", "skill"] },
+      { all: ["写一个", "skill"] },
+      { all: ["做一个", "skill"] },
+      { all: ["创建一个", "skill"] },
+      { all: ["写个", "skill"] }
+    ],
+    dir: "skill-creator",
+    injectSubPaths: [
+      "references/schemas.md"
+    ],
+    referenceSubDirs: [
+      "agents",
+      "scripts"
+    ]
+  }
+
+  // 在这里继续添加更多目录型 Skill，例如：
+  // "my-complex-skill": {
+  //   type: "directory",
+  //   description: "...",
+  //   keywords: [...],
+  //   dir: "my-complex-skill",
+  //   injectSubPaths: ["references/guide.md"],
+  //   referenceSubDirs: ["agents", "scripts"]
+  // }
+};
+
+// ─────────────────────────────────────────────────────
+// 已加载的 Skill 内容缓存
+// ─────────────────────────────────────────────────────
+const LOADED_SKILLS = {};  // name -> { promptContent, resourceIndex }
+
+// ─────────────────────────────────────────────────────
+// 启动时预加载所有 Skill
+// ─────────────────────────────────────────────────────
+export function loadAllSkills(skillsDir) {
+  const resolvedDir = path.resolve(skillsDir);
+  let loaded = 0;
+  let missing = 0;
+
+  for (const [name, def] of Object.entries(SKILL_DEFINITIONS)) {
+    try {
+      if (def.type === "simple") {
+        const result = loadSimpleSkill(resolvedDir, def);
+        if (result) { LOADED_SKILLS[name] = result; loaded++; }
+        else missing++;
+      } else if (def.type === "directory") {
+        const result = loadDirectorySkill(resolvedDir, def);
+        if (result) { LOADED_SKILLS[name] = result; loaded++; }
+        else missing++;
+      }
+    } catch (err) {
+      console.warn(`[skill-loader] Failed to load "${name}": ${err.message}`);
+      missing++;
+    }
+  }
+
+  return { loaded, missing, total: Object.keys(SKILL_DEFINITIONS).length };
+}
+
+// ─────────────────────────────────────────────────────
+// 单文件 Skill 加载
+// ─────────────────────────────────────────────────────
+function loadSimpleSkill(skillsDir, def) {
+  const filePath = path.join(skillsDir, def.file);
+  if (!fs.existsSync(filePath)) return null;
+
+  const content = fs.readFileSync(filePath, "utf-8");
+  return {
+    promptContent: content,
+    resourceIndex: null
+  };
+}
+
+// ─────────────────────────────────────────────────────
+// 目录型 Skill 加载
+// ─────────────────────────────────────────────────────
+function loadDirectorySkill(skillsDir, def) {
+  const skillDir = path.join(skillsDir, def.dir);
+  if (!fs.existsSync(skillDir)) return null;
+
+  // 1. 读取入口 SKILL.md（必须存在）
+  const mainPath = path.join(skillDir, "SKILL.md");
+  if (!fs.existsSync(mainPath)) return null;
+  let promptContent = fs.readFileSync(mainPath, "utf-8");
+
+  // 2. 注入指定的子文件内容
+  const injectedSections = [];
+  for (const subPath of (def.injectSubPaths || [])) {
+    const fullPath = path.join(skillDir, subPath);
+    if (fs.existsSync(fullPath)) {
+      const content = fs.readFileSync(fullPath, "utf-8");
+      injectedSections.push(`\n\n---\n### 附件：${subPath}\n\n${content}`);
+    }
+  }
+  if (injectedSections.length > 0) {
+    promptContent += injectedSections.join("");
+  }
+
+  // 3. 构建资源索引（告知模型有哪些子资源可按需读取）
+  const resourceIndex = buildResourceIndex(skillDir, def);
+
+  // 4. 把资源索引追加到 prompt，让模型知道可用资源
+  if (resourceIndex.length > 0) {
+    promptContent += buildResourceIndexPrompt(resourceIndex, skillDir);
+  }
+
+  return { promptContent, resourceIndex };
+}
+
+// ─────────────────────────────────────────────────────
+// 扫描 referenceSubDirs，构建资源索引列表
+// ─────────────────────────────────────────────────────
+function buildResourceIndex(skillDir, def) {
+  const index = [];
+
+  for (const subDir of (def.referenceSubDirs || [])) {
+    const fullDir = path.join(skillDir, subDir);
+    if (!fs.existsSync(fullDir)) continue;
+
+    const files = fs.readdirSync(fullDir)
+      .filter(f => /\.(md|txt|py|js|json|html)$/.test(f))
+      .sort();
+
+    for (const file of files) {
+      const relativePath = path.join(subDir, file);
+      const fullPath = path.join(skillDir, relativePath);
+      const stat = fs.statSync(fullPath);
+
+      // 读取文件前几行作为摘要
+      const preview = readPreview(fullPath, 3);
+
+      index.push({
+        path: relativePath,       // agents/analyzer.md
+        fullPath,                 // 绝对路径，供工具读取
+        size: stat.size,
+        preview
+      });
+    }
+  }
+
+  return index;
+}
+
+// ─────────────────────────────────────────────────────
+// 把资源索引格式化为 prompt 片段
+// ─────────────────────────────────────────────────────
+function buildResourceIndexPrompt(resourceIndex, skillDir) {
+  const lines = resourceIndex.map(r =>
+    `  - ${r.path}  (${formatSize(r.size)})${r.preview ? `\n    > ${r.preview}` : ""}`
+  );
+
+  return `\n\n---\n## 可用子资源\n\n以下文件可通过工具按需读取（路径相对于 skill 根目录 \`${skillDir}\`）：\n\n${lines.join("\n")}\n\n如需读取某个文件，使用 bash 工具执行 \`cat <fullPath>\` 获取完整内容。`;
+}
+
+// ─────────────────────────────────────────────────────
+// 读取文件前 N 行作为摘要
+// ─────────────────────────────────────────────────────
+function readPreview(filePath, lines = 3) {
+  try {
+    const content = fs.readFileSync(filePath, "utf-8");
+    return content
+      .split("\n")
+      .slice(0, lines)
+      .map(l => l.trim())
+      .filter(Boolean)
+      .join(" · ")
+      .slice(0, 120);
+  } catch {
+    return "";
+  }
+}
+
+function formatSize(bytes) {
+  if (bytes < 1024) return `${bytes}B`;
+  return `${(bytes / 1024).toFixed(1)}KB`;
+}
+
+// ─────────────────────────────────────────────────────
+// 根据用户消息自动检测需要哪些 Skill（关键词模式）
+//
+// keywords 支持两种格式：
+//   "字符串"            → 文本包含该词即命中
+//   { all: ["a","b"] } → 文本同时包含所有词才命中（组合匹配）
+// ─────────────────────────────────────────────────────
+export function detectSkills(messages) {
+  const recentText = messages
+    .slice(-3)
+    .map(m => (typeof m.content === "string" ? m.content : JSON.stringify(m.content)))
+    .join(" ")
+    .toLowerCase();
+
+  return Object.entries(SKILL_DEFINITIONS)
+    .filter(([name, def]) => {
+      if (!LOADED_SKILLS[name]) return false;
+      return (def.keywords || []).some(kw => matchKeyword(kw, recentText));
+    })
+    .map(([name]) => name);
+}
+
+// 单条关键词匹配（支持字符串和组合规则）
+function matchKeyword(kw, text) {
+  if (typeof kw === "string") {
+    return text.includes(kw.toLowerCase());
+  }
+  // { all: [...] } 组合规则：所有词都必须出现
+  if (kw && Array.isArray(kw.all)) {
+    return kw.all.every(word => text.includes(word.toLowerCase()));
+  }
+  return false;
+}
+
+// ─────────────────────────────────────────────────────
+// 将 Skill 内容拼装为 system prompt 片段
+// ─────────────────────────────────────────────────────
+export function buildSkillPrompt(skillNames) {
+  if (skillNames.length === 0) return "";
+
+  const blocks = skillNames
+    .filter(name => LOADED_SKILLS[name])
+    .map(name => {
+      const skill = LOADED_SKILLS[name];
+      return `<skill name="${name}">\n${skill.promptContent}\n</skill>`;
+    });
+
+  if (blocks.length === 0) return "";
+
+  return `\n\n以下是本次任务需要严格遵守的操作规范：\n\n${blocks.join("\n\n")}`;
+}
+
+// ─────────────────────────────────────────────────────
+// 按名称获取 Skill 的资源索引（供外部按需读取子文件）
+// ─────────────────────────────────────────────────────
+export function getSkillResources(skillName) {
+  return LOADED_SKILLS[skillName]?.resourceIndex || [];
+}
+
+// ─────────────────────────────────────────────────────
+// 健康检查：返回 Skill 注册表状态
+// ─────────────────────────────────────────────────────
+export function getSkillRegistry() {
+  return Object.entries(SKILL_DEFINITIONS).map(([name, def]) => ({
+    name,
+    type: def.type,
+    description: def.description,
+    loaded: !!LOADED_SKILLS[name],
+    keywords: def.keywords,
+    ...(def.type === "directory" && {
+      resources: LOADED_SKILLS[name]?.resourceIndex?.map(r => r.path) || []
+    })
+  }));
+}
+
+// ─────────────────────────────────────────────────────
+// AI 辅助 Skill 筛选
+//
+// 把 skill 列表和最近消息发给轻量模型（haiku/qwen-7b），
+// 让它判断应该加载哪些 skill，比关键词匹配更智能。
+//
+// 返回：{ names: string[], reasoning: string }
+// ─────────────────────────────────────────────────────
+export async function detectSkillsWithAI(messages, upstreamClient, model) {
+  // 构建 skill 候选列表（只含已加载的）
+  const candidates = Object.entries(SKILL_DEFINITIONS)
+    .filter(([name]) => !!LOADED_SKILLS[name])
+    .map(([name, def]) => `- ${name}: ${def.description}`)
+    .join("\n");
+
+  if (!candidates) return { names: [], reasoning: "no skills loaded" };
+
+  // 取最近 3 条消息作为上下文
+  const recentText = messages
+    .slice(-3)
+    .map(m => {
+      const role    = m.role === "user" ? "用户" : "助手";
+      const content = typeof m.content === "string"
+        ? m.content
+        : JSON.stringify(m.content);
+      return `${role}：${content.slice(0, 300)}`;
+    })
+    .join("\n");
+
+  const systemPrompt = `你是一个 skill 路由器。根据对话内容，从候选 skill 列表中选出最合适的 skill（可多选，也可以不选）。
+
+可用 skill 列表：
+${candidates}
+
+规则：
+1. 只返回 JSON，格式：{"skills": ["skill名1", "skill名2"], "reasoning": "一句话说明原因"}
+2. 不确定时不选，宁缺勿滥
+3. 最多选 3 个`;
+
+  try {
+    const resp = await upstreamClient.chat.completions.create({
+      model:       model || process.env.DEFAULT_MODEL,
+      max_tokens:  120,
+      temperature: 0,
+      messages: [
+        { role: "system",  content: systemPrompt },
+        { role: "user",    content: `当前对话：\n${recentText}\n\n请选择合适的 skill：` }
+      ]
+    });
+
+    const raw  = resp.choices[0]?.message?.content || "{}";
+    // 从返回里提取 JSON（模型可能带多余文字）
+    const match = raw.match(/\{[\s\S]*\}/);
+    if (!match) return { names: [], reasoning: "parse failed" };
+
+    const parsed = JSON.parse(match[0]);
+    const names  = (parsed.skills || [])
+      .filter(n => LOADED_SKILLS[n]);  // 过滤掉不存在的
+
+    return {
+      names,
+      reasoning: parsed.reasoning || ""
+    };
+  } catch (err) {
+    // AI 筛选失败时 fallback 到关键词匹配
+    return {
+      names:     detectSkills(messages),
+      reasoning: `AI detection failed (${err.message}), fallback to keyword match`
+    };
+  }
+}
+
+// ─────────────────────────────────────────────────────
+// 关键词 fallback 检测（供外部直接调用）
+// 复用 detectSkills，保持组合规则支持一致
+// ─────────────────────────────────────────────────────
+export function detectSkillsByKeyword(messages) {
+  return detectSkills(messages);
+}
+
+// ─────────────────────────────────────────────────────
+// 暴露给 detector 使用的内部数据
+// ─────────────────────────────────────────────────────
+export function getSkillDefinitions() { return SKILL_DEFINITIONS; }
+export function getLoadedSkills()     { return LOADED_SKILLS; }