jarvis-ai-assistant 0.1.149__py3-none-any.whl → 0.1.151__py3-none-any.whl

jarvis/jarvis_tools/ask_codebase.py

@@ -156,10 +156,9 @@ class AskCodebaseTool:
 2. 使用fd命令查找可能相关的文件
 3. 使用rg命令搜索关键词和代码模式
 4. 使用read_code工具直接读取和分析相关文件内容
-5. 只有在fd、rg和read_code都无法解决问题时才考虑使用RAG工具
-6. 根据文件内容提供具体、准确的回答
-7. 确保分析的完整性，收集充分的信息后再得出结论，不要在只掌握部分信息就得出结论
-8. 优先查阅README文件、文档目录和项目文档
+5. 根据文件内容提供具体、准确的回答
+6. 确保分析的完整性，收集充分的信息后再得出结论，不要在只掌握部分信息就得出结论
+7. 优先查阅README文件、文档目录和项目文档
 
 ## 分析步骤
 1. **确定项目的编程语言**:
@@ -186,12 +185,6 @@ class AskCodebaseTool:
    - 提供基于直接分析代码的具体回答
    - 引用具体文件和代码片段作为依据
 
-## 关于RAG工具使用
-- RAG工具应作为最后选择，仅在fd、rg和read_code都无法解决问题时使用
-- 必须通过查看实际代码文件验证RAG返回的每条重要信息
-- 对于关键发现，始终使用`read_code`工具查看原始文件内容进行求证
-- 如发现RAG结果与实际代码不符，以实际代码为准
-
 ## 输出要求
 - 提供准确、具体的回答，避免模糊不清的描述
 - 引用具体文件路径和代码片段作为依据

jarvis/jarvis_tools/file_operation.py

@@ -8,15 +8,14 @@ from jarvis.jarvis_utils.globals import add_read_file_record
 from jarvis.jarvis_utils.output import OutputType, PrettyOutput
 # 导入文件处理器
 from jarvis.jarvis_utils.file_processors import (
-    TextFileProcessor, PDFProcessor, DocxProcessor, 
-    PPTProcessor, ExcelProcessor
+    TextFileProcessor
 )
 
 
 
 class FileOperationTool:
     name = "file_operation"
-    description = "文件批量操作工具，可批量读写多个文件，支持文本、PDF、Word、Excel、PPT等格式，适用于需要同时处理多个文件的场景（读取配置文件、保存生成内容等）"
+    description = "文件批量操作工具，可批量读写多个文件，仅支持文本文件，适用于需要同时处理多个文件的场景（读取配置文件、保存生成内容等）"
     parameters = {
         "type": "object",
         "properties": {
@@ -44,10 +43,6 @@ class FileOperationTool:
     def _get_file_processor(self, file_path: str):
         """获取适合处理指定文件的处理器"""
         processors = [
-            PDFProcessor,    # PDF文件处理器
-            DocxProcessor,   # Word文档处理器
-            PPTProcessor,    # PowerPoint演示文稿处理器
-            ExcelProcessor,  # Excel表格处理器
             TextFileProcessor  # 文本文件处理器(放在最后作为兜底)
         ]
         
@@ -126,25 +121,11 @@ class FileOperationTool:
                                 "stderr": f"读取文本文件失败: {str(e)}"
                             }
                     else:
-                        # 使用专用处理器来提取非文本文件的内容
-                        try:
-                            spinner.text = f"使用 {processor.__name__} 提取 {abs_path} 的内容..."
-                            content = processor.extract_text(abs_path)
-                            # 获取文件类型友好名称
-                            file_type_names = {
-                                PDFProcessor: "PDF文档",
-                                DocxProcessor: "Word文档",
-                                PPTProcessor: "PowerPoint演示文稿",
-                                ExcelProcessor: "Excel表格"
-                            }
-                            file_type = file_type_names.get(processor, file_extension)
-                            file_info = f"\n文件: {abs_path} ({file_type})"
-                        except Exception as e:
-                            return {
-                                "success": False,
-                                "stdout": "",
-                                "stderr": f"提取 {file_extension} 文件内容失败: {str(e)}"
-                            }
+                        return {
+                            "success": False,
+                            "stdout": "",
+                            "stderr": f"不支持的文件类型: {file_extension}"
+                        }
                     
                     # 构建输出信息
                     output = f"{file_info}\n{content}" + "\n\n"

jarvis/jarvis_tools/methodology.py

@@ -3,6 +3,7 @@ import json
 import hashlib
 from typing import Dict, Any
 
+from jarvis.jarvis_utils.config import get_data_dir
 from jarvis.jarvis_utils.output import OutputType, PrettyOutput
 
 
@@ -35,7 +36,7 @@ class MethodologyTool:
 
     def __init__(self):
         """初始化经验管理工具"""
-        self.methodology_dir = os.path.expanduser("~/.jarvis/methodologies")
+        self.methodology_dir = os.path.join(get_data_dir(), "methodologies")
         self._ensure_dir_exists()
 
     def _ensure_dir_exists(self):

jarvis/jarvis_tools/registry.py

@@ -10,10 +10,13 @@ import yaml
 from jarvis.jarvis_agent.output_handler import OutputHandler
 from jarvis.jarvis_platform.registry import PlatformRegistry
 from jarvis.jarvis_tools.base import Tool
-from jarvis.jarvis_utils.config import INPUT_WINDOW_REVERSE_SIZE, get_max_input_token_count
+from jarvis.jarvis_utils.config import INPUT_WINDOW_REVERSE_SIZE, get_max_input_token_count, get_data_dir
 from jarvis.jarvis_utils.embedding import get_context_token_count
 from jarvis.jarvis_utils.output import OutputType, PrettyOutput
 from jarvis.jarvis_utils.utils import ct, ot, init_env
+from jarvis.jarvis_mcp.local_mcp_client import LocalMcpClient
+from jarvis.jarvis_mcp.remote_mcp_client import RemoteMcpClient
+from jarvis.jarvis_mcp import McpClient
 
 
 
@@ -131,11 +134,12 @@ class ToolRegistry(OutputHandler):
         # 加载内置工具和外部工具
         self._load_builtin_tools()
         self._load_external_tools()
+        self._load_mcp_tools()
         self.max_input_token_count = get_max_input_token_count() - INPUT_WINDOW_REVERSE_SIZE
 
     def use_tools(self, name: List[str]) -> None:
         """使用指定工具
-        
+
         参数:
             name: 要使用的工具名称列表
         """
@@ -146,12 +150,22 @@ class ToolRegistry(OutputHandler):
 
     def dont_use_tools(self, names: List[str]) -> None:
         """从注册表中移除指定工具
-        
+
         参数:
             names: 要移除的工具名称列表
         """
         self.tools = {name: tool for name, tool in self.tools.items() if name not in names}
 
+    def _load_mcp_tools(self) -> None:
+        """从jarvis_data/tools/mcp加载工具"""
+        mcp_tools_dir = Path(get_data_dir()) / 'mcp'
+        if not mcp_tools_dir.exists():
+            return
+
+        # 遍历目录中的所有.yaml文件
+        for file_path in mcp_tools_dir.glob("*.yaml"):
+            self.register_mcp_tool_by_file(str(file_path))
+
     def _load_builtin_tools(self) -> None:
         """从内置工具目录加载工具"""
         tools_dir = Path(__file__).parent
@@ -165,8 +179,8 @@ class ToolRegistry(OutputHandler):
             self.register_tool_by_file(str(file_path))
 
     def _load_external_tools(self) -> None:
-        """从~/.jarvis/tools加载外部工具"""
-        external_tools_dir = Path.home() / '.jarvis/tools'
+        """从jarvis_data/tools加载外部工具"""
+        external_tools_dir = Path(get_data_dir()) / 'tools'
         if not external_tools_dir.exists():
             return
 
@@ -178,6 +192,139 @@ class ToolRegistry(OutputHandler):
 
             self.register_tool_by_file(str(file_path))
 
+    def register_mcp_tool_by_file(self, file_path: str) -> bool:
+        """从指定文件加载并注册工具
+
+        参数:
+            file_path: 工具文件的路径
+
+        返回:
+            bool: 工具是否加载成功
+        """
+        try:
+            config = yaml.safe_load(open(file_path, 'r', encoding='utf-8'))
+            if 'type' not in config:
+                PrettyOutput.print(f"文件 {file_path} 缺少type字段", OutputType.WARNING)
+                return False
+
+            # 检查enable标志
+            if not config.get('enable', True):
+                PrettyOutput.print(f"文件 {file_path} 已禁用(enable=false)，跳过注册", OutputType.INFO)
+                return False
+
+            name = config.get('name', Path(file_path).stem)
+
+
+            # 注册资源工具
+            def create_resource_list_func(client: McpClient):
+                def execute(arguments: Dict[str, Any]) -> Dict[str, Any]:
+                    args = arguments.copy()
+                    args.pop('agent', None)
+                    args.pop('want', None)
+                    ret = client.get_resource_list()
+                    PrettyOutput.print(f"MCP {name} 资源列表:\n{yaml.safe_dump(ret)}", OutputType.TOOL)
+                    return {
+                        'success': True,
+                        'stdout': yaml.safe_dump(ret),
+                        'stderr': ''
+                    }
+                return execute
+
+            def create_resource_get_func(client: McpClient):
+                def execute(arguments: Dict[str, Any]) -> Dict[str, Any]:
+                    args = arguments.copy()
+                    args.pop('agent', None)
+                    args.pop('want', None)
+                    if 'uri' not in args:
+                        return {
+                            'success': False,
+                            'stdout': '',
+                            'stderr': '缺少必需的uri参数'
+                        }
+                    ret = client.get_resource(args['uri'])
+                    PrettyOutput.print(f"MCP {name} 获取资源:\n{yaml.safe_dump(ret)}", OutputType.TOOL)
+                    return ret
+                return execute
+
+            def create_mcp_execute_func(tool_name: str, client: McpClient):
+                def execute(arguments: Dict[str, Any]) -> Dict[str, Any]:
+                    args = arguments.copy()
+                    args.pop('agent', None)
+                    args.pop('want', None)
+                    ret = client.execute(tool_name, args)
+                    PrettyOutput.print(f"MCP {name} {tool_name} 执行结果:\n{yaml.safe_dump(ret)}", OutputType.TOOL)
+                    return ret
+                return execute
+
+            if config['type'] == 'local':
+                if 'command' not in config:
+                    PrettyOutput.print(f"文件 {file_path} 缺少command字段", OutputType.WARNING)
+                    return False
+            elif config['type'] == 'remote':
+                if 'base_url' not in config:
+                    PrettyOutput.print(f"文件 {file_path} 缺少base_url字段", OutputType.WARNING)
+                    return False
+            else:
+                PrettyOutput.print(f"文件 {file_path} 类型错误: {config['type']}", OutputType.WARNING)
+                return False
+
+            # 创建MCP客户端
+            mcp_client: McpClient = LocalMcpClient(config) if config['type'] == 'local' else RemoteMcpClient(config)
+
+            # 获取工具信息
+            tools = mcp_client.get_tool_list()
+            if not tools:
+                PrettyOutput.print(f"从 {file_path} 获取工具列表失败", OutputType.WARNING)
+                return False
+
+            # 注册每个工具
+            for tool in tools:
+
+                # 注册工具
+                self.register_tool(
+                    name=f"{name}.tool_call.{tool['name']}",
+                    description=tool['description'],
+                    parameters=tool['parameters'],
+                    func=create_mcp_execute_func(tool['name'], mcp_client)
+                )
+
+
+            # 注册资源列表工具
+            self.register_tool(
+                name=f"{name}.resource.get_resource_list",
+                description=f"获取{name}MCP服务器上的资源列表",
+                parameters={
+                    'type': 'object',
+                    'properties': {},
+                    'required': []
+                },
+                func=create_resource_list_func(mcp_client)
+            )
+
+            # 注册获取资源工具
+            self.register_tool(
+                name=f"{name}.resource.get_resource",
+                description=f"获取{name}MCP服务器上的指定资源",
+                parameters={
+                    'type': 'object',
+                    'properties': {
+                        'uri': {
+                            'type': 'string',
+                            'description': '资源的URI标识符'
+                        }
+                    },
+                    'required': ['uri']
+                },
+                func=create_resource_get_func(mcp_client)
+            )
+
+            return True
+
+
+        except Exception as e:
+            PrettyOutput.print(f"文件 {file_path} 加载失败: {str(e)}", OutputType.WARNING)
+            return False
+
     def register_tool_by_file(self, file_path: str) -> bool:
         """从指定文件加载并注册工具
 
@@ -243,12 +390,12 @@ class ToolRegistry(OutputHandler):
         except Exception as e:
             PrettyOutput.print(f"从 {Path(file_path).name} 加载工具失败: {str(e)}", OutputType.ERROR)
             return False
-        
+
     @staticmethod
     def _has_tool_calls_block(content: str) -> bool:
         """从内容中提取工具调用块"""
         return re.search(ot("TOOL_CALL")+r'(.*?)'+ct("TOOL_CALL"), content, re.DOTALL) is not None
-        
+
     @staticmethod
     def _extract_tool_calls(content: str) -> Tuple[Dict[str, Dict[str, Any]], str]:
         """从内容中提取工具调用。
@@ -271,20 +418,20 @@ class ToolRegistry(OutputHandler):
                 if 'name' in msg and 'arguments' in msg and 'want' in msg:
                     ret.append(msg)
                 else:
-                    return {}, f"""工具调用格式错误，请检查工具调用格式。 
-                    
-                    {tool_call_help}""" 
+                    return {}, f"""工具调用格式错误，请检查工具调用格式。
+
+                    {tool_call_help}"""
             except Exception as e:
-                return {}, f"""工具调用格式错误，请检查工具调用格式。 
-                
-                {tool_call_help}""" 
+                return {}, f"""工具调用格式错误，请检查工具调用格式。
+
+                {tool_call_help}"""
         if len(ret) > 1:
             return {}, "检测到多个工具调用，请一次只处理一个工具调用。"
         return ret[0] if ret else {}, ""
 
-    def register_tool(self, name: str, description: str, parameters: Dict[str, Dict[str, Any]], func: Callable[..., Dict[str, Any]]) -> None:
+    def register_tool(self, name: str, description: str, parameters: Any, func: Callable[..., Dict[str, Any]]) -> None:
         """注册新工具
-        
+
         参数:
             name: 工具名称
             description: 工具描述
@@ -295,10 +442,10 @@ class ToolRegistry(OutputHandler):
 
     def get_tool(self, name: str) -> Optional[Tool]:
         """获取工具
-        
+
         参数:
             name: 工具名称
-            
+
         返回:
             Optional[Tool]: 找到的工具实例，如果不存在则返回None
         """
@@ -306,7 +453,7 @@ class ToolRegistry(OutputHandler):
 
     def get_all_tools(self) -> List[Dict[str, Any]]:
         """获取所有工具（Ollama格式定义）
-        
+
         返回:
             List[Dict[str, Any]]: 包含所有工具信息的列表
         """
@@ -314,11 +461,11 @@ class ToolRegistry(OutputHandler):
 
     def execute_tool(self, name: str, arguments: Dict[str, Any]) -> Dict[str, Any]:
         """执行指定工具
-        
+
         参数:
             name: 工具名称
             arguments: 工具参数
-            
+
         返回:
             Dict[str, Any]: 包含执行结果的字典，包含success、stdout和stderr字段
         """
@@ -380,7 +527,7 @@ class ToolRegistry(OutputHandler):
                 return f"""工具调用原始输出过长，以下是根据输出提出的信息：
 
 {platform.chat_until_success(prompt)}"""
-                
+
             return output
 
         except Exception as e:

jarvis/jarvis_utils/config.py

@@ -29,16 +29,8 @@ def get_max_input_token_count() -> int:
     返回:
         int: 模型能处理的最大输入token数量。
     """
-    return int(os.getenv('JARVIS_MAX_INPUT_TOKEN_COUNT', '32000'))
+    return int(os.getenv('JARVIS_MAX_INPUT_TOKEN_COUNT', '64000'))
 
-def get_thread_count() -> int:
-    """
-    获取用于并行处理的线程数。
-
-    返回：
-        int: 线程数，默认为1
-    """
-    return int(os.getenv('JARVIS_THREAD_COUNT', '1'))
 
 def is_auto_complete() -> bool:
     """
@@ -118,3 +110,17 @@ def get_max_tool_call_count() -> int:
         int: 最大连续工具调用次数，默认为20
     """
     return int(os.getenv('JARVIS_MAX_TOOL_CALL_COUNT', '20'))
+
+
+def get_data_dir() -> str:
+    """
+    获取Jarvis数据存储目录路径。
+    
+    返回:
+        str: 数据目录路径，优先从JARVIS_DATA_PATH环境变量获取，
+             如果未设置或为空，则使用~/.jarvis作为默认值
+    """
+    data_path = os.getenv('JARVIS_DATA_PATH', '').strip()
+    if not data_path:
+        return os.path.expanduser('~/.jarvis')
+    return data_path

jarvis/jarvis_utils/embedding.py

@@ -4,9 +4,9 @@ from typing import List
 import functools
 
 from jarvis.jarvis_utils.output import PrettyOutput, OutputType
+from jarvis.jarvis_utils.config import get_data_dir
 
 # 全局缓存，避免重复加载模型
-_global_models = {}
 _global_tokenizers = {}
 
 def get_context_token_count(text: str) -> int:
@@ -155,7 +155,7 @@ def load_tokenizer() -> AutoTokenizer:
         AutoTokenizer: 加载的分词器
     """
     model_name = "gpt2"
-    cache_dir = os.path.expanduser("~/.cache/huggingface/hub")
+    cache_dir = os.path.join(get_data_dir(), "huggingface", "hub")
 
     # 检查全局缓存
     if model_name in _global_tokenizers: