log-ai-compressor 2.0.0__py3-none-any.whl

log_ai_compressor/__init__.py

@@ -0,0 +1,20 @@
+# -*- coding: utf-8 -*-
+"""log-ai-compressor：本地日志分析取证台（零数据出网）。
+
+核心定位：
+1. 日志压缩投喂大模型 —— 将海量日志压缩为结构化错误报告，适配 LLM 上下文窗口；
+2. 快速故障排查 —— 聚类去重、根因定位、优先级排序，辅助人工快速定位问题；
+3. 本地优先 —— 全部计算在本机完成，日志不出网，不需要账号、云服务或数据上传。
+
+分层架构（单向依赖 rules → core → export → 接入层）：
+- log_ai_compressor.rules        可插拔解析规则引擎（YAML 配置驱动）
+- log_ai_compressor.core         核心处理层（解析/过滤/聚类/分析/管线/对比，零 UI 依赖）
+- log_ai_compressor.export       导出层（Markdown / JSON / 纯文本 / HTML 报告）
+- log_ai_compressor.web          本地 Web 服务（FastAPI，浏览器界面 + REST + SSE）
+- log_ai_compressor.mcp          MCP 服务器（把分析能力暴露给 AI Agent）
+- log_ai_compressor.ai           可选 AI 解读层（OpenAI 兼容端点 / 本地 Ollama，不配 key 可用）
+- log_ai_compressor.cli          命令行入口（run / compare / rules / web / mcp / ai）
+"""
+
+__version__ = "2.0.0"
+__app_name__ = "log-ai-compressor"

log_ai_compressor/__main__.py

@@ -0,0 +1,6 @@
+# -*- coding: utf-8 -*-
+"""支持 `python -m log_ai_compressor` 方式启动。"""
+from log_ai_compressor.cli import main
+
+if __name__ == "__main__":
+    main()

log_ai_compressor/ai/__init__.py

@@ -0,0 +1,112 @@
+# -*- coding: utf-8 -*-
+"""可选 AI 解读层。
+
+设计原则
+--------
+1. **可选**：不配置任何 API Key 时，整个工具照常工作（聚类 / 根因 / 异常检测
+   / 导出全是本地算法）。AI 只在压缩结果之上再生成一段人话解读。
+2. **三家通吃**：所有主流厂商都提供 OpenAI 兼容协议，只需换 base_url；
+   本地 Ollama 走同一套协议，另外支持它的原生 /api/chat 接口。
+3. **零新增依赖**：只用 httpx（FastAPI 已带），不引入各家 SDK。
+4. **不静默外传**：未配置时前端明确显示「未启用」，不会偷偷把日志发出去。
+"""
+from __future__ import annotations
+
+from typing import Any, Dict
+
+from log_ai_compressor.ai.client import LLMError, chat
+from log_ai_compressor.ai.config import (
+    AIConfig,
+    load_config,
+    save_config,
+    describe_config,
+)
+from log_ai_compressor.ai.prompts import (
+    SYSTEM_ANALYST,
+    build_explain_prompt,
+    build_cluster_prompt,
+)
+
+__all__ = [
+    "AIConfig", "LLMError", "chat", "load_config", "save_config",
+    "describe_config", "build_explain_prompt", "build_cluster_prompt",
+    "SYSTEM_ANALYST", "explain_result", "explain_cluster", "explain_job",
+]
+
+
+def _require_config() -> AIConfig:
+    cfg = load_config()
+    if not cfg.enabled:
+        raise LLMError(
+            "AI 解读未启用。请在「AI 设置」里选择一个服务商并填写 API Key，"
+            "或改用本地 Ollama（完全离线、零成本）。")
+    return cfg
+
+
+def explain_result(result, *, cfg: AIConfig | None = None,
+                   top_n: int = 5, question: str = "") -> str:
+    """对整份分析结果生成 AI 解读。
+
+    Args:
+        result: core 层 AnalysisResult
+        cfg: 可覆盖默认配置
+        top_n: 送进上下文的错误簇数量（控制 token 成本）
+        question: 用户额外追问（可选）
+    """
+    cfg = cfg or _require_config()
+    from log_ai_compressor import service as S
+    payload = S.result_to_dict(result, top_n=top_n, with_samples=False)
+    prompt = build_explain_prompt(payload, question=question)
+    return chat(prompt, cfg=cfg)
+
+
+def explain_cluster(result, cluster_id: int, *,
+                    cfg: AIConfig | None = None, question: str = "") -> str:
+    """针对单个错误簇生成 AI 解读（带典型样例与降噪堆栈）。"""
+    cfg = cfg or _require_config()
+    from log_ai_compressor import service as S
+    from log_ai_compressor.core.analysis import cooccurring_clusters
+    target = next((c for c in result.clusters if c.cluster_id == cluster_id), None)
+    if target is None:
+        raise LLMError(f"错误簇 {cluster_id} 不存在")
+    ctx = {
+        "stats": S.result_to_dict(result, with_samples=False)["stats"],
+        "cluster": S.cluster_to_dict(target, full=True),
+        "cooccurring": [
+            {"id": o.cluster_id, "hits": hits, "summary": o.summary}
+            for o, hits in cooccurring_clusters(target, result.clusters)
+        ],
+    }
+    prompt = build_cluster_prompt(ctx, question=question)
+    return chat(prompt, cfg=cfg)
+
+
+def explain_job(req: Dict[str, Any]) -> Dict[str, Any]:
+    """Web 端点实现：按 job_id 找到结果 → 生成解读。
+
+    Args:
+        req: {"job_id": str, "cluster_id": int|None, "question": str, ...}
+    """
+    from log_ai_compressor.web import jobs as J
+
+    job_id = str(req.get("job_id") or "")
+    job = J.REGISTRY.get(job_id)
+    if job is None or job.result is None:
+        raise LLMError("结果不存在或已被淘汰（请重新分析）")
+
+    cluster_id = req.get("cluster_id")
+    question = str(req.get("question") or "")
+    try:
+        cfg = load_config(req.get("config") or {})
+        if cluster_id not in (None, "", 0):
+            text = explain_cluster(job.result, int(cluster_id), cfg=cfg,
+                                   question=question)
+        else:
+            top_n = int(req.get("top_n") or 5)
+            text = explain_result(job.result, cfg=cfg, top_n=top_n,
+                                  question=question)
+    except LLMError:
+        raise
+    except (TypeError, ValueError) as exc:
+        raise LLMError(f"参数错误：{exc}")
+    return {"text": text, "cluster_id": cluster_id, "config": cfg.to_public()}

log_ai_compressor/ai/client.py

@@ -0,0 +1,146 @@
+# -*- coding: utf-8 -*-
+"""LLM 客户端：OpenAI 兼容协议 + Ollama 原生协议，只依赖 httpx。
+
+为什么不用各家官方 SDK
+----------------------
+各家 SDK 语义大同小异（都是 POST /chat/completions），引进来要多 6~8 个
+依赖，且换服务商还要改代码。统一走 OpenAI 兼容协议后，新增一家服务商
+只是往 PROVIDERS 里加一条记录。
+"""
+from __future__ import annotations
+
+from typing import Any, Dict, List, Optional
+
+import httpx
+
+from log_ai_compressor.ai.config import AIConfig
+
+# Ollama 原生接口（OpenAI 兼容层在部分版本上 /v1 不完整，原生更稳）
+_OLLAMA_CHAT = "/api/chat"
+
+
+class LLMError(RuntimeError):
+    """AI 调用失败（配置问题、网络问题、被拒答、格式异常都归这里）。"""
+
+
+def _chat_url(cfg: AIConfig) -> str:
+    if cfg.native_ollama:
+        return f"{cfg.base_url}{_OLLAMA_CHAT}"
+    return f"{cfg.base_url}/chat/completions"
+
+
+def _headers(cfg: AIConfig) -> Dict[str, str]:
+    headers = {"Content-Type": "application/json"}
+    if not cfg.native_ollama and cfg.api_key:
+        headers["Authorization"] = f"Bearer {cfg.api_key}"
+    return headers
+
+
+def _payload(prompt: str, system: str, cfg: AIConfig,
+             stream: bool = False) -> Dict[str, Any]:
+    if cfg.native_ollama:
+        return {
+            "model": cfg.model,
+            "messages": [{"role": "system", "content": system},
+                         {"role": "user", "content": prompt}],
+            "stream": stream,
+            "options": {
+                "temperature": cfg.temperature,
+                "num_predict": cfg.max_tokens,
+            },
+        }
+    return {
+        "model": cfg.model,
+        "messages": [{"role": "system", "content": system},
+                     {"role": "user", "content": prompt}],
+        "temperature": cfg.temperature,
+        "max_tokens": cfg.max_tokens,
+        "stream": stream,
+    }
+
+
+def _extract_text(data: Dict[str, Any], native: bool) -> str:
+    """两种协议的响应结构不同，统一取出正文。"""
+    if native:
+        message = data.get("message") or {}
+        text = message.get("content")
+        if isinstance(text, list):        # 部分版本返回内容块数组
+            text = "".join(part.get("text", "") for part in text
+                           if isinstance(part, dict))
+        return (text or "").strip()
+    choices = data.get("choices") or []
+    if not choices:
+        return ""
+    message = choices[0].get("message") or {}
+    return (message.get("content") or "").strip()
+
+
+def chat(prompt: str, *, cfg: Optional[AIConfig] = None,
+         system: str = "", history: Optional[List[Dict[str, str]]] = None
+         ) -> str:
+    """发起一次对话并返回文本。
+
+    Args:
+        prompt: 用户提示词
+        cfg: 配置；None 时从配置文件/环境变量读
+        system: 系统提示词
+        history: 可选的历史消息 [{"role","content"}, ...]
+
+    Raises:
+        LLMError: 未启用 / 网络失败 / HTTP 报错 / 响应里没有正文
+    """
+    from log_ai_compressor.ai.config import load_config
+    from log_ai_compressor.ai.prompts import SYSTEM_ANALYST
+
+    cfg = cfg or load_config()
+    if not cfg.enabled:
+        raise LLMError(
+            "AI 解读未启用：请在「AI 设置」选择服务商并填 API Key，"
+            "或改用本地 Ollama（完全离线）。")
+
+    messages: List[Dict[str, str]] = [{"role": "system",
+                                        "content": system or SYSTEM_ANALYST}]
+    if history:
+        messages.extend(history)
+    messages.append({"role": "user", "content": prompt})
+
+    body = _payload(prompt, system or SYSTEM_ANALYST, cfg)
+    if history:
+        body["messages"] = messages
+
+    url = _chat_url(cfg)
+    try:
+        with httpx.Client(timeout=cfg.timeout) as client:
+            resp = client.post(url, headers=_headers(cfg), json=body)
+    except httpx.TimeoutException:
+        raise LLMError(f"请求超时（{cfg.timeout:.0f}s）。本地 Ollama 场景请确认 "
+                       f"模型已拉取：ollama pull {cfg.model}")
+    except httpx.ConnectError:
+        raise LLMError(f"连不上 {url}。若用本地 Ollama，请先启动：ollama serve")
+    except httpx.HTTPError as exc:
+        raise LLMError(f"网络错误：{exc}")
+
+    if resp.status_code >= 400:
+        detail = ""
+        try:
+            detail = resp.json().get("error", {}).get("message", "")
+        except ValueError:
+            detail = resp.text[:200]
+        hint = ""
+        if resp.status_code in (401, 403):
+            hint = " —— 疑似 API Key 无效或无权限"
+        elif resp.status_code == 404:
+            hint = f" —— 疑似模型名不存在（当前 {cfg.model}）或 base_url 配错"
+        elif resp.status_code == 429:
+            hint = " —— 触发限流或余额不足"
+        raise LLMError(f"服务商返回 {resp.status_code}{hint}：{detail or resp.text[:200]}")
+
+    try:
+        data = resp.json()
+    except ValueError:
+        raise LLMError(f"响应不是合法 JSON：{resp.text[:200]}")
+
+    text = _extract_text(data, cfg.native_ollama)
+    if not text:
+        raise LLMError("服务商返回了空内容（可能被内容安全策略拦截或模型未响应）")
+    return text

log_ai_compressor/ai/config.py

@@ -0,0 +1,214 @@
+# -*- coding: utf-8 -*-
+"""AI 服务商配置：环境变量 + 用户配置文件双来源。
+
+优先级按字段区分（详见 load_config 的 docstring）：服务商/模型看配置文件，
+Key 优先看环境变量。简单记法：**在界面上选好的东西别被环境变量改掉，
+但 Key 仍可安全地只放在环境变量里。**
+
+为什么配置文件放用户主目录而不是项目目录
+--------------------------------------
+项目目录可能被 clone 到只读位置、或多人共用的 CI 上；而 API Key 属于
+用户个人凭据，必须跟着用户走，不该进版本库。
+"""
+from __future__ import annotations
+
+import json
+import os
+from dataclasses import asdict, dataclass, field
+from pathlib import Path
+from typing import Any, Dict, Optional
+
+CONFIG_DIR = Path(os.path.expanduser("~")) / ".log-ai-compressor"
+CONFIG_FILE = CONFIG_DIR / "ai.json"
+
+# 内置服务商：全部走 OpenAI 兼容协议，只有 Ollama 额外支持原生接口
+PROVIDERS: Dict[str, Dict[str, Any]] = {
+    "none": {
+        "label": "不启用（仅本地分析）",
+        "base_url": "", "model": "", "env_key": "",
+        "note": "不配置任何外部服务，零出网、零成本。AI 解读不可用。",
+    },
+    "deepseek": {
+        "label": "DeepSeek（国内直连，最便宜）",
+        "base_url": "https://api.deepseek.com/v1",
+        "model": "deepseek-chat",
+        "env_key": "DEEPSEEK_API_KEY",
+        "note": "输入约 $0.14 / 百万 tokens，中文日志理解好，推荐首选。",
+    },
+    "qwen": {
+        "label": "阿里百炼 Qwen（通义千问）",
+        "base_url": "https://dashscope.aliyuncs.com/compatible-mode/v1",
+        "model": "qwen-plus",
+        "env_key": "DASHSCOPE_API_KEY",
+        "note": "国内节点多，企业合规友好。",
+    },
+    "glm": {
+        "label": "智谱 GLM",
+        "base_url": "https://open.bigmodel.cn/api/paas/v4",
+        "model": "glm-4-flash",
+        "env_key": "ZHIPU_API_KEY",
+        "note": "GLM-4-Flash 近乎免费，中文场景性价比高。",
+    },
+    "kimi": {
+        "label": "月之暗面 Kimi",
+        "base_url": "https://api.moonshot.cn/v1",
+        "model": "moonshot-v1-32k",
+        "env_key": "MOONSHOT_API_KEY",
+        "note": "长上下文（128K+），适合超大日志。",
+    },
+    "openai": {
+        "label": "OpenAI",
+        "base_url": "https://api.openai.com/v1",
+        "model": "gpt-4o-mini",
+        "env_key": "OPENAI_API_KEY",
+        "note": "国内访问通常需要代理。",
+    },
+    "ollama": {
+        "label": "本地 Ollama（完全离线，零成本）",
+        "base_url": "http://127.0.0.1:11434",
+        "model": "qwen2.5:7b",
+        "env_key": "",
+        "note": "数据完全不出本机，无需 API Key。需先 ollama pull 模型。",
+    },
+    "custom": {
+        "label": "自定义 OpenAI 兼容端点",
+        "base_url": "", "model": "", "env_key": "OPENAI_API_KEY",
+        "note": "任何暴露 /chat/completions 的服务都可以填进来。",
+    },
+}
+
+
+@dataclass
+class AIConfig:
+    """一份可直接发起对话的配置。"""
+    provider: str = "none"
+    base_url: str = ""
+    model: str = ""
+    api_key: str = ""
+    temperature: float = 0.2
+    max_tokens: int = 2000
+    timeout: float = 120.0
+    # 由 provider 推导，custom 时可强制指定
+    native_ollama: bool = False
+    extra: Dict[str, Any] = field(default_factory=dict)
+
+    @property
+    def enabled(self) -> bool:
+        if self.provider == "none" or self.provider == "":
+            return False
+        if self.provider == "ollama":
+            # 本地 Ollama 不需要 key，但要有 base_url
+            return bool(self.base_url and self.model)
+        return bool(self.base_url and self.model and self.api_key)
+
+    def masked_key(self) -> str:
+        if not self.api_key:
+            return ""
+        if len(self.api_key) <= 8:
+            return "*" * len(self.api_key)
+        return f"{self.api_key[:4]}{'*' * 6}{self.api_key[-4:]}"
+
+    def to_public(self) -> Dict[str, Any]:
+        """给前端的表示：绝不回传明文 Key。"""
+        return {
+            "provider": self.provider,
+            "base_url": self.base_url,
+            "model": self.model,
+            "has_key": bool(self.api_key),
+            "masked_key": self.masked_key(),
+            "temperature": self.temperature,
+            "max_tokens": self.max_tokens,
+        }
+
+
+def load_config(overrides: Optional[Dict[str, Any]] = None) -> AIConfig:
+    """合并三层来源得到最终配置。
+
+    优先级**分字段**决定，不是统一一套：
+
+    - provider / base_url / model：显式入参 > **配置文件** > 环境变量 > 默认
+      理由：Web 界面与 CLI config 是用户最明确的操作，环境变量只是逃生舱；
+      若让环境变量压过配置文件，用户在界面上选好的服务商会被一个残留的
+      环境变量悄悄改掉。
+    - api_key：显式入参 > **环境变量** > 配置文件
+      理由：Key 是机密，最常见的用法是「界面上选好服务商与模型，Key 走
+      环境变量注入」，不该为了换个 Key 去改配置文件。
+    """
+    stored: Dict[str, Any] = {}
+    try:
+        if CONFIG_FILE.is_file():
+            stored = json.loads(CONFIG_FILE.read_text(encoding="utf-8"))
+    except (OSError, ValueError):
+        # 配置文件损坏不该让程序起不来，退回默认即可
+        stored = {}
+
+    ov = overrides or {}
+
+    def pick(key: str, env_name: str, default: str = "") -> str:
+        value = ov.get(key)
+        if value not in (None, ""):
+            return str(value)
+        value = stored.get(key)
+        if value not in (None, ""):
+            return str(value)
+        return os.environ.get(env_name, default) or default
+
+    provider = pick("provider", "LOG_AI_PROVIDER", "none")
+    preset = PROVIDERS.get(provider, PROVIDERS["none"])
+
+    base_url = (pick("base_url", "LOG_AI_BASE_URL")
+                or preset.get("base_url") or "").rstrip("/")
+    model = pick("model", "LOG_AI_MODEL") or preset.get("model") or ""
+
+    env_key = preset.get("env_key") or ""
+    api_key = (str(ov.get("api_key") or "").strip()
+               or (os.environ.get(env_key, "").strip() if env_key else "")
+               or str(stored.get("api_key") or "").strip())
+
+    def _num(key: str, default: float) -> float:
+        raw = ov.get(key, stored.get(key, default))
+        try:
+            return float(raw)
+        except (TypeError, ValueError):
+            return default
+
+    return AIConfig(
+        provider=provider,
+        base_url=base_url,
+        model=model,
+        api_key=api_key,
+        temperature=_num("temperature", 0.2),
+        max_tokens=int(_num("max_tokens", 2000)),
+        timeout=_num("timeout", 120.0),
+        native_ollama=(provider == "ollama"),
+    )
+
+
+def save_config(cfg: AIConfig) -> None:
+    """落盘到用户配置目录（不写入项目目录，避免误提交）。"""
+    CONFIG_DIR.mkdir(parents=True, exist_ok=True)
+    data = asdict(cfg)
+    data.pop("native_ollama", None)
+    CONFIG_FILE.write_text(
+        json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")
+
+
+def describe_config() -> Dict[str, Any]:
+    """给 /api/health 与前端设置面板用。"""
+    cfg = load_config()
+    return {
+        "available": cfg.enabled,
+        "config": cfg.to_public(),
+        "config_file": str(CONFIG_FILE),
+        "providers": [
+            {"key": key,
+             "label": meta.get("label", key),
+             "note": meta.get("note", ""),
+             "env_key": meta.get("env_key", ""),
+             "needs_key": bool(meta.get("env_key")) and key != "ollama"}
+            for key, meta in PROVIDERS.items()
+        ],
+        "reason": "" if cfg.enabled else (
+            "未配置服务商 —— 聚类/根因/异常检测等本地能力不受影响，仅 AI 解读不可用。"
+        ),
+    }