jarvis-agent 0.1.0__tar.gz

jarvis_agent-0.1.0/PKG-INFO

@@ -0,0 +1,49 @@
+Metadata-Version: 2.4
+Name: jarvis-agent
+Version: 0.1.0
+Summary: J.A.R.V.I.S — Personal computer AI agent, referencing core architecture design from mainstream AI Coding Agents, rewritten in Python
+Requires-Python: >=3.11
+Requires-Dist: anthropic>=0.39.0
+Requires-Dist: openai>=1.50.0
+Requires-Dist: pydantic>=2.7.0
+Requires-Dist: pydantic-settings>=2.3.0
+Requires-Dist: rich>=13.7.0
+Requires-Dist: prompt_toolkit>=3.0.0
+Requires-Dist: pyyaml>=6.0
+Requires-Dist: tomli>=2.0; python_version < "3.11"
+Provides-Extra: gui
+Requires-Dist: pyautogui>=0.9.54; extra == "gui"
+Requires-Dist: pillow>=10.0.0; extra == "gui"
+Requires-Dist: pywinauto>=0.6.9; sys_platform == "win32" and extra == "gui"
+Requires-Dist: pygetwindow>=0.0.9; sys_platform != "linux" and extra == "gui"
+Provides-Extra: browser
+Requires-Dist: playwright>=1.40.0; extra == "browser"
+Provides-Extra: mcp
+Requires-Dist: mcp>=1.0.0; extra == "mcp"
+Provides-Extra: camera
+Requires-Dist: opencv-python>=4.8.0; extra == "camera"
+Provides-Extra: vision
+Requires-Dist: mediapipe>=0.10.14; extra == "vision"
+Requires-Dist: opencv-python>=4.8.0; extra == "vision"
+Requires-Dist: paddleocr>=2.7.0; extra == "vision"
+Provides-Extra: voice
+Requires-Dist: dashscope>=1.20.0; extra == "voice"
+Requires-Dist: pyaudio>=0.2.14; extra == "voice"
+Provides-Extra: daemon
+Requires-Dist: pystray>=0.19.0; extra == "daemon"
+Requires-Dist: pywin32>=227; sys_platform == "win32" and extra == "daemon"
+Requires-Dist: keyboard>=0.13.0; sys_platform != "darwin" and extra == "daemon"
+Requires-Dist: pillow>=10.0.0; extra == "daemon"
+Requires-Dist: psutil>=5.9.0; extra == "daemon"
+Provides-Extra: dev
+Requires-Dist: pytest>=8.0.0; extra == "dev"
+Requires-Dist: pytest-asyncio>=0.23.0; extra == "dev"
+Requires-Dist: ruff>=0.5.0; extra == "dev"
+Provides-Extra: all
+Requires-Dist: jarvis-agent[gui]; extra == "all"
+Requires-Dist: jarvis-agent[browser]; extra == "all"
+Requires-Dist: jarvis-agent[mcp]; extra == "all"
+Requires-Dist: jarvis-agent[camera]; extra == "all"
+Requires-Dist: jarvis-agent[vision]; extra == "all"
+Requires-Dist: jarvis-agent[voice]; extra == "all"
+Requires-Dist: jarvis-agent[daemon]; extra == "all"

jarvis_agent-0.1.0/README.md

@@ -0,0 +1,289 @@
+<div align="center">
+  <pre>
+   ██ ▄████▄ █████▄  ██  ██ ██ ▄█████
+   ██ ██▄▄██ ██▄▄██▄ ██▄▄██ ██ ▀▀▀▄▄▄
+████▀ ██  ██ ██   ██  ▀██▀  ██ █████▀
+  </pre>
+</div>
+
+# J.A.R.V.I.S
+
+> **J**ust **A** **R**ather **V**ery **I**ntelligent **S**ystem
+>
+> 「随时为您效劳，先生。」
+
+这是一个为个人电脑打造的 AI Agent —— 能像《钢铁侠》里的贾维斯一样与你对话、帮你操作电脑、常驻后台听你召唤、能听会说。它的工具协议、权限系统、编排模型、MCP 集成、上下文压缩等核心思想有着现代 AI Agent 的最佳实践，实现语言、交互方式和产品形态都围绕「个人电脑助手」设计，把「终端原生、工具驱动、可扩展」的智能助手带到你自己的个人电脑系统中。
+
+## 平台支持
+
+| 功能 | Windows | macOS | Linux |
+|---|---|---|---|
+| REPL 对话 + 文件/命令工具 | ✅ | ✅ | ✅ |
+| LLM Provider（OpenAI / Anthropic / DashScope） | ✅ | ✅ | ✅ |
+| MCP 集成 / 会话记忆 / 上下文压缩 | ✅ | ✅ | ✅ |
+| Rich 终端 UI + 启动动画 | ✅ | ✅ | ✅ |
+| 语音 TTS / STT（`/voice`） | ✅ | ✅ | ✅ |
+| 鼠标 / 键盘 / 截屏（pyautogui） | ✅ | ✅¹ | ✅² |
+| 摄像头 / 视觉监控 | ✅ | ✅ | ✅ |
+| `--daemon` 后台常驻模式 | ✅ | ✅ | ⚠️ 前台运行³ |
+| 开机自启 | ✅ Startup | ✅ LaunchAgent | ❌ 手动 systemd |
+| 桌面快捷方式 | ✅ .lnk | ✅ .command | ✅ .desktop |
+| 全局热键 | ✅ | ❌ | ⚠️ 需 root |
+
+> ¹ macOS 需在「系统设置 → 隐私与安全 → 辅助功能」中授权终端/Python
+> ² Linux 鼠标键盘操作需 DISPLAY 环境变量（X11/Wayland 桌面环境）
+> ³ Linux 上 `--daemon` 会以前台模式运行（无法后台分离），功能完整
+
+## 安装
+
+### 从 PyPI 安装（推荐）
+
+```bash
+# 一键安装全功能（语音 + GUI + daemon + MCP + 浏览器 + 摄像头/视觉）
+pip install "jarvis-agent[all]"
+
+# 仅安装核心对话功能
+pip install jarvis-agent
+```
+
+### 从 GitHub 安装
+
+```bash
+# 克隆仓库
+git clone https://github.com/yourname/J.A.R.V.I.S.git
+cd J.A.R.V.I.S/jarvis
+
+# 安装核心包（开发模式）
+pip install -e .
+
+# 开发模式全功能
+pip install -e ".[all]"
+```
+
+### 用 uv 安装（更快）
+
+[uv](https://docs.astral.sh/uv/) 是 Rust 编写的高性能 Python 包管理器，推荐新用户尝试：
+
+```bash
+# 作为全局工具安装
+uv tool install "jarvis-agent[all]"
+
+# 之后直接用
+jarvis
+```
+
+### 安装可选功能
+
+jarvis 将不同能力拆分为可选依赖组，按需安装：
+
+| 依赖组 | 功能 |
+|---|---|
+| `gui` | 鼠标/键盘/截屏/窗口管理 |
+| `browser` | 浏览器自动化（Playwright） |
+| `mcp` | MCP 工具集成 |
+| `camera` | 摄像头拍照 |
+| `vision` | 实时视觉监控 + OCR |
+| `voice` | 语音对话（TTS + STT） |
+| `daemon` | 后台常驻/托盘/热键/开机自启 |
+| `all` | 上面全部 |
+
+```bash
+# 一键安装全部功能（推荐）
+pip install "jarvis-agent[all]"
+
+# 或按需安装
+pip install "jarvis-agent[voice]"                    # 语音对话
+pip install "jarvis-agent[gui]"                      # 鼠标/键盘/截屏
+pip install "jarvis-agent[daemon]"                   # 后台常驻模式
+pip install "jarvis-agent[mcp]"                      # MCP 工具集成
+pip install "jarvis-agent[camera,vision]"            # 摄像头/视觉监控
+pip install "jarvis-agent[browser]"                  # 浏览器自动化
+pip install playwright && playwright install chromium  # 浏览器需要额外安装 Chromium
+```
+
+### 平台系统依赖
+
+**macOS**:
+
+```bash
+brew install portaudio          # pyaudio 编译依赖（语音功能必需）
+# 系统设置 → 隐私与安全 → 辅助功能 → 允许终端/Python（GUI 操作必需）
+# 系统设置 → 隐私与安全 → 麦克风 → 允许终端/Python（语音输入必需）
+```
+
+**Linux (Ubuntu/Debian)**:
+
+```bash
+sudo apt install portaudio19-dev python3-pyaudio  # 语音功能
+sudo apt install libgtk-3-dev libnotify-dev        # 系统托盘（pystray）
+sudo apt install python3-tk                        # pyautogui 截屏依赖
+# 全局热键需要 root 权限: sudo jarvis --daemon
+```
+
+**Linux (Fedora/RHEL)**:
+
+```bash
+sudo dnf install portaudio-devel gtk3-devel
+```
+
+**Windows**: 无需额外系统依赖，直接 `pip install` 即可。
+
+## 快速开始
+
+```bash
+# 默认接阿里云 DashScope（qwen3.7-plus，多模态视觉模型）
+export DASHSCOPE_API_KEY=sk-xxx
+jarvis
+```
+
+> Windows PowerShell 用 `$env:DASHSCOPE_API_KEY = "sk-xxx"` 设置环境变量。
+
+默认配置在 `configs/settings.toml`，环境变量 `JARVIS_*` 和 CLI 参数可覆盖。
+API Key 识别优先级：`DASHSCOPE_API_KEY` > `ANTHROPIC_API_KEY` > `OPENAI_API_KEY` > `JARVIS_API_KEY`。
+
+### 模型管理（`/models`）
+
+内置 qwen 系列模型开箱即用，也支持添加自定义模型（DeepSeek / Claude / GPT 等）：
+
+- `/models` — 交互式模型列表，↑↓ 选择、Enter 切换、空格管理配置
+- `/model <name>` — 快速切换到指定模型
+- 内置模型可按空格键修改接口类型 / API Key / 模型类型（多模态 or 纯文本），保存为自定义覆盖配置
+- 自定义模型支持编辑和删除，配置持久化到 `~/.jarvis/settings.toml`
+- 接口类型支持：**OpenAI 兼容** / **Anthropic 兼容** / **DashScope SDK**（qwen 原生协议，支持 `MultiModalConversation` 和 `Generation` 双端点）
+
+## 目录结构
+
+```
+agent/
+├── core/           # 核心：Tool 协议、QueryLoop、Orchestrator、上下文压缩、
+│                   #   会话记忆、Skill 系统、MCP 客户端、子代理、调度器
+├── permissions/    # 五层权限系统：规则、校验、路径守护、命令分类
+├── tools/          # 内置工具（30+）：bash / 文件 / glob / grep / todo / ask_user +
+│                   #   GUI（鼠标/键盘/屏幕/窗口/浏览器）+ 摄像头 / 视觉监控 +
+│                   #   MCP 代理 / 子代理 / 日程 / 系统监控
+├── llm/            # LLM 抽象层：base + openai_provider + anthropic_provider + dashscope_provider
+├── ui/             # Rich 终端 UI + 启动动画 + prompt_toolkit 补全
+├── prompts/        # 系统提示组装
+├── config/         # 配置加载（TOML 多源合并 + 环境变量覆盖 + 用户级覆盖）
+├── voice/          # 语音引擎：TTS（CosyVoice）+ STT（Qwen3-ASR / Paraformer 双后端）+ /voice 闭环
+├── daemon/         # 常驻模式：后台守护 + 全局热键 + 系统托盘 + 开机自启
+└── memory/         # 会话 / 记忆持久化
+```
+
+## REPL 命令
+
+启动后输入 `/` 自动弹出命令列表（Tab 补全）：
+
+| 命令 | 说明 |
+|---|---|
+| `/help` `/h` | 查看所有命令帮助 |
+| `/exit` `/quit` | 退出贾维斯 |
+| `/mode <m>` | 切换权限模式（default / plan / accept_edits / yolo）|
+| `/model` | 交互式模型选择 |
+| `/model <name>` | 直接切换到指定模型 |
+| `/models` | 管理模型列表（添加 / 编辑 / 删除） |
+| `/think` | 开关深度思考模式（ReAct 思维链） |
+| `/voice` `/talk` | 进入语音对话模式 |
+| `/say <text>` | TTS 语音朗读 |
+| `/listen` `/mic` | 录音识别成文字 |
+| `/save [name]` | 保存当前会话 |
+| `/load <name>` `/resume <n>` | 加载已保存会话 |
+| `/sessions` | 列出所有已保存会话 |
+| `/memory` | 查看长期记忆文件 |
+| `/skills` | 列出已加载技能包 |
+| `/mcp` | 查看 MCP server 连接状态 |
+| `/tools` | 列出所有可用工具 |
+| `/reset` `/clear` | 清空对话历史 |
+| `/compact` | 手动压缩上下文 |
+
+## 深度思考（ReAct 思维链）
+
+启用后，模型在每次回复前先输出 `reasoning_content`（思考过程），再进行正式回复或工具调用，形成完整的 **Think → Act → Observe** ReAct 循环。
+
+- 思考内容在终端显示为「💭 思考过程」暗色面板，不干扰正式回复输出
+- 配置：`configs/settings.toml` 中 `enable_thinking = true` / `thinking_budget = 2000`
+- 运行时开关：`/think on` / `/think off`
+- 环境变量关闭：`JARVIS_ENABLE_THINKING=0`
+
+## 语音对话（`/voice`）
+
+进入语音对话模式后，形成 **STT → LLM → TTS** 闭环：
+
+- **语音输入**：Qwen3-ASR 流式识别（WebSocket），支持中英文
+- **语音输出**：CosyVoice TTS 自然语音合成
+- **打断机制**：ESC 打断当前回复，LLM 意图识别退出（说"退下"）
+- **思考模式**：语音模式下思考内容显示在终端面板，不进入 TTS 朗读
+- **markdown 清洗**：自动过滤代码块 / 表格 / 链接等不适合朗读的内容
+
+## 常驻模式（贾维斯形态）
+
+```bash
+jarvis --daemon          # 后台启动，自动进入语音对话
+```
+
+**跨平台行为**：
+
+| 平台 | 后台分离方式 | 说明 |
+|---|---|---|
+| Windows | `pythonw.exe` + `DETACHED_PROCESS` | 无窗口进程，关闭终端不影响 |
+| macOS | `start_new_session=True` | 新会话脱离终端，关闭 Terminal.app 不影响 |
+| Linux | 不支持后台分离 | 以前台模式运行（功能完整，关闭终端即退出） |
+
+启动后系统托盘出现蓝色同心圆图标。默认自动进入语音对话模式——说「退下」进待机，说「贾维斯」唤醒。
+
+**托盘菜单（右键）：**
+
+| 菜单项 | 行为 |
+|---|---|
+| 语音对话 | 唤起语音对话模式 |
+| 文本对话 | 弹出终端窗口运行完整 REPL（自动恢复上次会话） |
+| 退出贾维斯 | 立即终止守护进程 |
+
+> 文本对话弹窗：Windows 用 Git Bash / CMD，macOS 用 Terminal.app，Linux 用 gnome-terminal / xterm。
+
+### 开机自启 / 桌面快捷方式
+
+```bash
+python -m agent.daemon.autostart install            # 安装开机自启
+python -m agent.daemon.autostart uninstall          # 卸载开机自启
+python -m agent.daemon.autostart status             # 查看状态
+
+python -m agent.daemon.autostart desktop            # 创建桌面快捷方式
+python -m agent.daemon.autostart desktop-uninstall  # 删除桌面快捷方式
+```
+
+| 平台 | 开机自启 | 桌面快捷方式 |
+|---|---|---|
+| Windows | Startup 文件夹 .lnk | .lnk（指向 VBS 无窗口启动） |
+| macOS | LaunchAgent plist（`launchctl load`） | .command（Terminal.app 打开） |
+| Linux | 不支持（提示手动 systemd） | .desktop 文件 |
+
+### 其他启动方式
+
+| 方式 | 说明 |
+|---|---|
+| `jarvis` | 前台 REPL 模式（带启动动画） |
+| `jarvis --with-tray` | 前台 REPL + 托盘图标 |
+| `jarvis --daemon` | 后台常驻模式（Windows/macOS 后台分离，Linux 前台运行） |
+
+### 会话恢复
+
+异常退出时下次启动自动提示恢复上次会话（对话历史 + 工作目录）。文本对话窗口也会自动恢复。
+
+## 可选依赖
+
+GUI 工具（鼠标 / 键盘 / 屏幕 / 窗口）未安装时自动跳过，不影响基础功能：
+
+```bash
+pip install -e ".[gui]"                              # 鼠标/键盘/截屏
+pip install -e ".[browser]" && playwright install chromium  # 浏览器自动化
+```
+
+## 开发路线
+
+- [x] 阶段 1：最小可用 Agent（对话 + 文件 + 命令 + 五层权限）
+- [x] 阶段 2：电脑操作能力（GUI + 多模态视觉 + 浏览器自动化 + 摄像头拍照）
+- [x] 阶段 3：实时语音（TTS + STT + /voice 闭环 + 打断）
+- [x] 阶段 4：记忆与生态（会话持久化 / 长期记忆 / MCP 接入 / 上下文压缩 / Skill 系统）
+- [x] 阶段 5：贾维斯形态（daemon 常驻 + 全局热键 + 系统托盘 + 开机自启 + 子代理 + 主动感知 + 视觉监控）
+- [x] 阶段 6：跨平台适配（Windows / macOS / Linux）

jarvis_agent-0.1.0/agent/__init__.py

@@ -0,0 +1,3 @@
+"""jarvis: 个人电脑 AI Agent（J.A.R.V.I.S.），借鉴 Claude Code 架构思想用 Python 重写"""
+
+__version__ = "0.1.0"

jarvis_agent-0.1.0/agent/acp.py

@@ -0,0 +1,183 @@
+"""ACP (Agent Client Protocol) stdio transport.
+
+cc-connect 通过 ACP 协议桥接贾维斯到 IM 平台（飞书/钉钉/微信）。
+此模块实现 ACP agent 端的最小必要方法，通过 stdin/stdout 通信。
+
+协议：JSON-RPC 2.0 over stdio, 每行一条消息，\n 分隔。
+参考：https://agentclientprotocol.com/protocol/v1/overview
+"""
+
+from __future__ import annotations
+
+import json
+import sys
+from typing import Any
+
+
+PROTOCOL_VERSION = "0.1"
+
+
+class ACPServer:
+    """ACP stdio server。处理 initialize / session/new / session/prompt。"""
+
+    def __init__(self):
+        self._session_id = "jarvis-session"
+        self._initialized = False
+        self._pending_req_id: int | str | None = None
+
+    # ---- public API ----
+
+    def run(self) -> None:
+        """阻塞式主循环：读 stdin，逐条处理 JSON-RPC。"""
+        for line in sys.stdin:
+            line = line.strip()
+            if not line:
+                continue
+            try:
+                msg = json.loads(line)
+            except json.JSONDecodeError:
+                continue
+            self._dispatch(msg)
+
+    # ---- dispatch ----
+
+    def _dispatch(self, msg: dict[str, Any]) -> None:
+        method = msg.get("method", "")
+        req_id = msg.get("id")
+
+        if method == "initialize":
+            self._handle_initialize(req_id, msg.get("params", {}))
+        elif method == "session/new":
+            self._handle_session_new(req_id)
+        elif method == "session/prompt":
+            self._handle_prompt(req_id, msg.get("params", {}))
+        elif method == "session/cancel":
+            self._send_result(req_id, {})
+        else:
+            self._send_error(req_id, -32601, f"未知方法: {method}")
+
+    # ---- handlers ----
+
+    def _handle_initialize(self, req_id: Any, params: dict) -> None:
+        self._send_result(req_id, {
+            "protocolVersion": 1,  # cc-connect 要求整数类型
+            "agentInfo": {"name": "jarvis", "version": "0.1"},
+            "capabilities": {},
+        })
+        self._initialized = True
+
+    def _handle_session_new(self, req_id: Any) -> None:
+        if not self._initialized:
+            self._send_error(req_id, -32000, "未初始化")
+            return
+        self._send_result(req_id, {"sessionId": self._session_id})
+
+    def _handle_prompt(self, req_id: Any, params: dict) -> None:
+        if not self._initialized:
+            self._send_error(req_id, -32000, "未初始化")
+            return
+
+        prompt = params.get("prompt", [])
+        text = ""
+        for p in prompt:
+            if isinstance(p, dict) and p.get("type") == "text":
+                text += p.get("text", "")
+
+        if not text:
+            self._send_result(req_id, {"stopReason": "end_turn"})
+            return
+
+        self._pending_req_id = req_id
+        # 回调交给外部 agent 循环
+        self._on_prompt(text, self._notify_update, self._finish_prompt)
+
+    # ---- callbacks for agent ----
+
+    def _on_prompt(self, text: str, on_update, on_finish):
+        """子类覆盖此方法实现 agent 逻辑。"""
+        on_update("thought", f"收到消息: {text}")
+        on_finish("end_turn")
+
+    # ---- send helpers ----
+
+    def _notify_update(self, update_type: str, text: str) -> None:
+        """发送 session/update 通知（思考/回复文本）。"""
+        content_type = "thought" if update_type == "thought" else "text"
+        self._write({
+            "jsonrpc": "2.0",
+            "method": "session/update",
+            "params": {
+                "sessionId": self._session_id,
+                "update": {
+                    "type": "agent_message_chunk",
+                    "content": {"type": content_type, "text": text},
+                },
+            },
+        })
+
+    def _finish_prompt(self, stop_reason: str = "end_turn") -> None:
+        """完成本轮 prompt，发送 result。"""
+        if self._pending_req_id is not None:
+            self._send_result(self._pending_req_id, {"stopReason": stop_reason})
+            self._pending_req_id = None
+
+    def _send_result(self, req_id: Any, result: Any) -> None:
+        if req_id is None:
+            return  # 通知消息无 id，不回复
+        self._write({"jsonrpc": "2.0", "id": req_id, "result": result})
+
+    def _send_error(self, req_id: Any, code: int, message: str) -> None:
+        if req_id is None:
+            return
+        self._write({"jsonrpc": "2.0", "id": req_id, "error": {"code": code, "message": message}})
+
+    def _write(self, msg: dict) -> None:
+        sys.stdout.write(json.dumps(msg, ensure_ascii=False) + "\n")
+        sys.stdout.flush()
+
+
+class JarvisACP(ACPServer):
+    """贾维斯 ACP 适配器：把 stdin JSON-RPC 转成 QueryLoop 调用。"""
+
+    def __init__(self, settings, provider, loop, ctx, messages):
+        super().__init__()
+        self._settings = settings
+        self._provider = provider
+        self._loop = loop
+        self._ctx = ctx
+        self._messages = messages
+        self._session_id = "jarvis-" + str(id(self))[:8]
+
+    def _on_prompt(self, text: str, on_update, on_finish):
+        """执行 agent 循环，思考/文本通过 on_update 推给 cc-connect。"""
+        try:
+            # 装配 UI 回调：输出走 ACP 通知
+            class _ACPUI:
+                verbose = False
+
+                def info(self, *a, **kw):
+                    pass
+
+                def warn(self, *a, **kw):
+                    pass
+
+                def error(self, *a, **kw):
+                    pass
+
+                def assistant_text(self, t):
+                    on_update("text", t)
+
+                def assistant_thinking(self, t):
+                    on_update("thought", t)
+
+            self._ctx.ui = _ACPUI()
+            self._ctx.on_assistant_text = None
+
+            import asyncio
+            asyncio.get_event_loop().run_until_complete(
+                self._loop.run(text, self._ctx)
+            )
+            on_finish("end_turn")
+        except Exception as e:
+            on_update("thought", f"[错误] {e}")
+            on_finish("error")

jarvis_agent-0.1.0/agent/config/__init__.py

@@ -0,0 +1,5 @@
+"""配置层。"""
+
+from agent.config.settings import Settings, load_settings
+
+__all__ = ["Settings", "load_settings"]