aigroup-econ-mcp 0.3.8__py3-none-any.whl → 0.4.1__py3-none-any.whl

aigroup_econ_mcp/tools/__init__.py

@@ -3,7 +3,7 @@
 """
 
 from . import regression, statistics, time_series, machine_learning, panel_data
-from . import validation, cache, monitoring
+from . import validation, cache, monitoring, file_parser
 
 __all__ = [
     "regression", 
@@ -13,5 +13,6 @@ __all__ = [
     "panel_data",
     "validation",
     "cache", 
-    "monitoring"
+    "monitoring",
+    "file_parser"
 ]

aigroup_econ_mcp/tools/data_loader.py

@@ -0,0 +1,171 @@
+"""
+数据加载辅助模块
+提供通用的CSV文件加载功能
+"""
+
+from typing import Dict, List, Union
+from pathlib import Path
+import pandas as pd
+
+
+async def load_data_if_path(
+    data: Union[Dict[str, List[float]], str],
+    ctx = None
+) -> Dict[str, List[float]]:
+    """
+    智能加载数据：如果是字符串则作为文件路径加载，否则直接返回
+    
+    Args:
+        data: 数据字典或CSV文件路径
+        ctx: MCP上下文对象（可选，用于日志）
+        
+    Returns:
+        数据字典
+        
+    Raises:
+        ValueError: 文件不存在或读取失败
+    """
+    # 如果已经是字典，直接返回
+    if isinstance(data, dict):
+        return data
+    
+    # 如果是字符串，作为文件路径处理
+    if isinstance(data, str):
+        if ctx:
+            await ctx.info(f"📁 检测到文件路径，正在加载: {data}")
+        
+        try:
+            # 检查文件是否存在
+            path = Path(data)
+            if not path.exists():
+                raise ValueError(f"文件不存在: {data}")
+            
+            # 读取CSV文件
+            df = pd.read_csv(path)
+            
+            # 转换为字典格式
+            result = {col: df[col].tolist() for col in df.columns}
+            
+            if ctx:
+                await ctx.info(f"✅ CSV文件加载成功：{len(df.columns)}个变量，{len(df)}个观测")
+            
+            return result
+            
+        except FileNotFoundError:
+            raise ValueError(f"文件不存在: {data}")
+        except Exception as e:
+            raise ValueError(f"CSV文件读取失败: {str(e)}")
+    
+    # 其他类型报错
+
+async def load_single_var_if_path(
+    data: Union[List[float], str],
+    ctx = None,
+    column_name: str = None
+) -> List[float]:
+    """
+    智能加载单变量数据：如果是字符串则作为文件路径加载，否则直接返回
+    
+    Args:
+        data: 数据列表或CSV文件路径
+        ctx: MCP上下文对象（可选，用于日志）
+        column_name: CSV文件中要读取的列名（可选，默认读取第一列）
+        
+    Returns:
+        数据列表
+        
+    Raises:
+        ValueError: 文件不存在或读取失败
+    """
+    # 如果已经是列表，直接返回
+    if isinstance(data, list):
+        return data
+    
+    # 如果是字符串，作为文件路径处理
+    if isinstance(data, str):
+        if ctx:
+            await ctx.info(f"📁 检测到文件路径，正在加载: {data}")
+        
+        try:
+            # 检查文件是否存在
+            path = Path(data)
+            if not path.exists():
+                raise ValueError(f"文件不存在: {data}")
+            
+            # 读取CSV文件
+            df = pd.read_csv(path)
+            
+            # 确定要读取的列
+            if column_name:
+                if column_name not in df.columns:
+                    raise ValueError(f"列'{column_name}'不存在于CSV文件中。可用列: {list(df.columns)}")
+                result = df[column_name].tolist()
+            else:
+                # 默认读取第一列
+                result = df.iloc[:, 0].tolist()
+                if ctx:
+                    await ctx.info(f"未指定列名，使用第一列: {df.columns[0]}")
+            
+            if ctx:
+                await ctx.info(f"✅ CSV文件加载成功：{len(result)}个观测")
+            
+            return result
+            
+        except FileNotFoundError:
+            raise ValueError(f"文件不存在: {data}")
+        except Exception as e:
+            raise ValueError(f"CSV文件读取失败: {str(e)}")
+    
+    # 其他类型报错
+    raise TypeError(f"不支持的数据类型: {type(data)}，期望List或str")
+async def load_x_data_if_path(
+    data: Union[List[List[float]], str],
+    ctx = None
+) -> List[List[float]]:
+    """
+    智能加载自变量数据：如果是字符串则作为文件路径加载，否则直接返回
+    
+    Args:
+        data: 自变量数据（二维列表）或CSV文件路径
+        ctx: MCP上下文对象（可选，用于日志）
+        
+    Returns:
+        自变量数据（二维列表）
+        
+    Raises:
+        ValueError: 文件不存在或读取失败
+    """
+    # 如果已经是二维列表，直接返回
+    if isinstance(data, list) and all(isinstance(item, list) for item in data):
+        return data
+    
+    # 如果是字符串，作为文件路径处理
+    if isinstance(data, str):
+        if ctx:
+            await ctx.info(f"📁 检测到自变量文件路径，正在加载: {data}")
+        
+        try:
+            # 检查文件是否存在
+            path = Path(data)
+            if not path.exists():
+                raise ValueError(f"文件不存在: {data}")
+            
+            # 读取CSV文件
+            df = pd.read_csv(path)
+            
+            # 转换为二维列表格式
+            result = df.values.tolist()
+            
+            if ctx:
+                await ctx.info(f"✅ 自变量CSV文件加载成功：{len(result)}个观测，{len(result[0]) if result else 0}个自变量")
+            
+            return result
+            
+        except FileNotFoundError:
+            raise ValueError(f"文件不存在: {data}")
+        except Exception as e:
+            raise ValueError(f"自变量CSV文件读取失败: {str(e)}")
+    
+    # 其他类型报错
+    raise TypeError(f"不支持的数据类型: {type(data)}，期望List[List[float]]或str")
+    raise TypeError(f"不支持的数据类型: {type(data)}，期望Dict或str")

aigroup_econ_mcp/tools/decorators.py

@@ -0,0 +1,178 @@
+"""
+工具装饰器模块
+提供自动文件输入处理、错误处理等功能
+"""
+
+from typing import Callable, Optional, Dict, Any, List
+from functools import wraps
+from mcp.server.session import ServerSession
+from mcp.server.fastmcp import Context
+from mcp.types import CallToolResult, TextContent
+
+from .file_parser import FileParser
+
+
+def with_file_input(tool_type: str):
+    """
+    为工具函数添加文件输入支持的装饰器
+    
+    支持两种输入方式：
+    1. file_path: CSV/JSON文件路径
+    2. file_content: 文件内容字符串
+    
+    Args:
+        tool_type: 工具类型 ('single_var', 'multi_var_dict', 'regression', 'panel', 'time_series')
+    
+    使用示例:
+        @with_file_input('regression')
+        async def my_tool(ctx, y_data=None, x_data=None, file_path=None, file_content=None, file_format='auto', **kwargs):
+            # 如果提供了file_path或file_content，数据会被自动填充
+            pass
+    """
+    def decorator(func: Callable) -> Callable:
+        @wraps(func)
+        async def wrapper(*args, **kwargs):
+            # 提取上下文和文件参数
+            ctx = args[0] if args else kwargs.get('ctx')
+            file_path = kwargs.get('file_path')
+            file_content = kwargs.get('file_content')
+            file_format = kwargs.get('file_format', 'auto')
+            
+            # 优先处理file_path
+            if file_path:
+                try:
+                    await ctx.info(f"检测到文件路径输入: {file_path}")
+                    
+                    # 从文件路径解析
+                    parsed = FileParser.parse_file_path(file_path, file_format)
+                    
+                    await ctx.info(
+                        f"文件解析成功：{parsed['n_variables']}个变量，"
+                        f"{parsed['n_observations']}个观测"
+                    )
+                    
+                    # 转换为工具格式
+                    converted = FileParser.convert_to_tool_format(parsed, tool_type)
+                    
+                    # 更新kwargs
+                    kwargs.update(converted)
+                    
+                    await ctx.info(f"数据已转换为{tool_type}格式")
+                    
+                except Exception as e:
+                    await ctx.error(f"文件解析失败: {str(e)}")
+                    return CallToolResult(
+                        content=[TextContent(type="text", text=f"文件解析错误: {str(e)}")],
+                        isError=True
+                    )
+            
+            # 如果没有file_path但有file_content，处理文件内容
+            elif file_content:
+                try:
+                    await ctx.info("检测到文件内容输入，开始解析...")
+                    
+                    # 解析文件内容
+                    parsed = FileParser.parse_file_content(file_content, file_format)
+                    
+                    await ctx.info(
+                        f"文件解析成功：{parsed['n_variables']}个变量，"
+                        f"{parsed['n_observations']}个观测"
+                    )
+                    
+                    # 转换为工具格式
+                    converted = FileParser.convert_to_tool_format(parsed, tool_type)
+                    
+                    # 更新kwargs
+                    kwargs.update(converted)
+                    
+                    await ctx.info(f"数据已转换为{tool_type}格式")
+                    
+                except Exception as e:
+                    await ctx.error(f"文件解析失败: {str(e)}")
+                    return CallToolResult(
+                        content=[TextContent(type="text", text=f"文件解析错误: {str(e)}")],
+                        isError=True
+                    )
+            
+            # 调用原函数
+            return await func(*args, **kwargs)
+        
+        return wrapper
+    return decorator
+
+
+def with_error_handling(func: Callable) -> Callable:
+    """
+    为工具函数添加统一错误处理的装饰器
+    """
+    @wraps(func)
+    async def wrapper(*args, **kwargs):
+        ctx = args[0] if args else kwargs.get('ctx')
+        tool_name = func.__name__
+        
+        try:
+            return await func(*args, **kwargs)
+        except Exception as e:
+            await ctx.error(f"{tool_name}执行出错: {str(e)}")
+            return CallToolResult(
+                content=[TextContent(type="text", text=f"错误: {str(e)}")],
+                isError=True
+            )
+    
+    return wrapper
+
+
+def with_logging(func: Callable) -> Callable:
+    """
+    为工具函数添加日志记录的装饰器
+    """
+    @wraps(func)
+    async def wrapper(*args, **kwargs):
+        ctx = args[0] if args else kwargs.get('ctx')
+        tool_name = func.__name__
+        
+        await ctx.info(f"开始执行 {tool_name}")
+        result = await func(*args, **kwargs)
+        await ctx.info(f"{tool_name} 执行完成")
+        
+        return result
+    
+    return wrapper
+
+
+def econometric_tool(
+    tool_type: str,
+    with_file_support: bool = True,
+    with_error_handling: bool = True,
+    with_logging: bool = True
+):
+    """
+    组合装饰器：为计量经济学工具添加所有标准功能
+    
+    Args:
+        tool_type: 工具类型
+        with_file_support: 是否启用文件输入支持
+        with_error_handling: 是否启用错误处理
+        with_logging: 是否启用日志记录
+    
+    使用示例:
+        @econometric_tool('regression')
+        async def ols_regression(ctx, y_data=None, x_data=None, **kwargs):
+            # 只需要编写核心业务逻辑
+            pass
+    """
+    def decorator(func: Callable) -> Callable:
+        wrapped = func
+        
+        if with_error_handling:
+            wrapped = globals()['with_error_handling'](wrapped)
+        
+        if with_file_support:
+            wrapped = with_file_input(tool_type)(wrapped)
+        
+        if with_logging:
+            wrapped = globals()['with_logging'](wrapped)
+        
+        return wrapped
+    
+    return decorator

aigroup_econ_mcp/tools/file_input_handler.py

@@ -0,0 +1,268 @@
+"""
+文件输入处理组件
+提供统一的文件输入处理接口，支持所有工具
+"""
+
+from typing import Dict, List, Any, Optional, Callable
+from functools import wraps
+from .file_parser import FileParser
+
+
+class FileInputHandler:
+    """
+    文件输入处理组件
+    
+    使用组件模式，为任何工具函数添加文件输入支持
+    """
+    
+    @staticmethod
+    def process_input(
+        file_content: Optional[str],
+        file_format: str,
+        tool_type: str,
+        data_params: Dict[str, Any]
+    ) -> Dict[str, Any]:
+        """
+        处理文件输入并转换为工具参数
+        
+        Args:
+            file_content: 文件内容
+            file_format: 文件格式
+            tool_type: 工具类型
+            data_params: 当前数据参数
+        
+        Returns:
+            更新后的参数字典
+        """
+        # 如果没有文件输入，直接返回原参数
+        if file_content is None:
+            return data_params
+        
+        # 解析文件
+        parsed = FileParser.parse_file_content(file_content, file_format)
+        
+        # 转换为工具格式
+        converted = FileParser.convert_to_tool_format(parsed, tool_type)
+        
+        # 合并参数（文件数据优先）
+        result = {**data_params, **converted}
+        
+        return result
+    
+    @staticmethod
+    def with_file_support(tool_type: str):
+        """
+        装饰器：为工具函数添加文件输入支持
+        
+        Args:
+            tool_type: 工具类型（single_var, multi_var_dict, regression, panel等）
+        
+        Returns:
+            装饰后的函数
+        
+        使用示例：
+            @FileInputHandler.with_file_support('regression')
+            async def my_regression_tool(y_data, x_data, file_content=None, file_format='auto'):
+                # 函数会自动处理file_content并填充y_data和x_data
+                pass
+        """
+        def decorator(func: Callable) -> Callable:
+            @wraps(func)
+            async def wrapper(*args, **kwargs):
+                # 提取文件相关参数
+                file_content = kwargs.get('file_content')
+                file_format = kwargs.get('file_format', 'auto')
+                
+                if file_content is not None:
+                    # 处理文件输入
+                    processed = FileInputHandler.process_input(
+                        file_content=file_content,
+                        file_format=file_format,
+                        tool_type=tool_type,
+                        data_params=kwargs
+                    )
+                    
+                    # 更新kwargs
+                    kwargs.update(processed)
+                
+                # 调用原函数
+                return await func(*args, **kwargs)
+            
+            return wrapper
+        return decorator
+
+
+class FileInputMixin:
+    """
+    文件输入混入类
+    
+    为类提供文件输入处理能力
+    """
+    
+    def parse_file_input(
+        self,
+        file_content: Optional[str],
+        file_format: str = "auto"
+    ) -> Optional[Dict[str, Any]]:
+        """解析文件输入"""
+        if file_content is None:
+            return None
+        return FileParser.parse_file_content(file_content, file_format)
+    
+    def convert_for_tool(
+        self,
+        parsed_data: Dict[str, Any],
+        tool_type: str
+    ) -> Dict[str, Any]:
+        """转换为工具格式"""
+        return FileParser.convert_to_tool_format(parsed_data, tool_type)
+    
+    def get_recommendations(
+        self,
+        parsed_data: Dict[str, Any]
+    ) -> Dict[str, Any]:
+        """获取工具推荐"""
+        return FileParser.auto_detect_tool_params(parsed_data)
+
+
+def create_file_params(
+    description: str = "CSV或JSON文件内容"
+) -> Dict[str, Any]:
+    """
+    创建标准的文件输入参数定义
+    
+    Args:
+        description: 参数描述
+    
+    Returns:
+        参数定义字典，可直接用于Field()
+    """
+    return {
+        "file_content": {
+            "default": None,
+            "description": f"""{description}
+            
+📁 支持格式：
+- CSV: 带表头的列数据，自动检测分隔符
+- JSON: {{"变量名": [数据], ...}} 或 [{{"变量1": 值, ...}}, ...]
+
+💡 使用方式：
+- 提供文件内容字符串（可以是base64编码）
+- 系统会自动解析并识别变量
+- 优先使用file_content，如果提供则忽略其他数据参数"""
+        },
+        "file_format": {
+            "default": "auto",
+            "description": """文件格式
+            
+可选值：
+- "auto": 自动检测（默认）
+- "csv": CSV格式
+- "json": JSON格式"""
+        }
+    }
+
+
+class UnifiedFileInput:
+    """
+    统一文件输入接口
+    
+    所有工具通过此类统一处理文件输入
+    """
+    
+    @staticmethod
+    async def handle(
+        ctx: Any,
+        file_content: Optional[str],
+        file_format: str,
+        tool_type: str,
+        original_params: Dict[str, Any]
+    ) -> Dict[str, Any]:
+        """
+        统一处理文件输入
+        
+        Args:
+            ctx: MCP上下文
+            file_content: 文件内容
+            file_format: 文件格式
+            tool_type: 工具类型
+            original_params: 原始参数
+        
+        Returns:
+            处理后的参数
+        """
+        if file_content is None:
+            return original_params
+        
+        try:
+            # 记录日志
+            await ctx.info("检测到文件输入，开始解析...")
+            
+            # 解析文件
+            parsed = FileParser.parse_file_content(file_content, file_format)
+            
+            # 记录解析结果
+            await ctx.info(
+                f"文件解析成功：{parsed['n_variables']}个变量，"
+                f"{parsed['n_observations']}个观测，"
+                f"数据类型={parsed['data_type']}"
+            )
+            
+            # 转换为工具格式
+            converted = FileParser.convert_to_tool_format(parsed, tool_type)
+            
+            # 合并参数
+            result = {**original_params}
+            result.update(converted)
+            
+            # 记录转换结果
+            if tool_type == 'regression':
+                await ctx.info(
+                    f"数据已转换：因变量={converted.get('y_variable')}，"
+                    f"自变量={converted.get('feature_names')}"
+                )
+            elif tool_type == 'panel':
+                await ctx.info(
+                    f"面板数据已识别：{len(set(converted.get('entity_ids', [])))}个实体，"
+                    f"{len(set(converted.get('time_periods', [])))}个时间点"
+                )
+            else:
+                await ctx.info(f"数据已转换为{tool_type}格式")
+            
+            return result
+            
+        except Exception as e:
+            await ctx.error(f"文件解析失败: {str(e)}")
+            raise ValueError(f"文件解析失败: {str(e)}")
+
+
+# 便捷函数
+async def process_file_for_tool(
+    ctx: Any,
+    file_content: Optional[str],
+    file_format: str,
+    tool_type: str,
+    **kwargs
+) -> Dict[str, Any]:
+    """
+    为工具处理文件输入的便捷函数
+    
+    使用示例：
+        params = await process_file_for_tool(
+            ctx=ctx,
+            file_content=file_content,
+            file_format=file_format,
+            tool_type='regression',
+            y_data=y_data,
+            x_data=x_data,
+            feature_names=feature_names
+        )
+        # params 现在包含处理后的所有参数
+    """
+    return await UnifiedFileInput.handle(
+        ctx=ctx,
+        file_content=file_content,
+        file_format=file_format,
+        tool_type=tool_type,
+        original_params=kwargs
+    )