web2json-agent 1.0.0__py3-none-any.whl

agent/planner.py

@@ -0,0 +1,61 @@
+"""
+Agent 规划器
+负责分析任务并生成执行计划（简化版，无需 LLM）
+"""
+from typing import List, Dict
+from pathlib import Path
+from loguru import logger
+from config.settings import settings
+
+
+class AgentPlanner:
+    """Agent规划器，负责任务分析和计划生成"""
+
+    def __init__(self):
+        """初始化规划器（不再需要 LLM）"""
+        pass
+
+    def create_plan(self, html_files: List[str], domain: str = None) -> Dict:
+        """
+        创建解析任务计划
+
+        Args:
+            html_files: 待解析的HTML文件路径列表
+            domain: 域名（可选）
+
+        Returns:
+            执行计划字典
+        """
+        logger.info(f"正在为 {len(html_files)} 个HTML文件创建执行计划...")
+
+        # 如果没有提供域名，使用默认值
+        if not domain:
+            domain = "local_html_files"
+
+        # 使用所有输入的HTML文件
+        sample_files = html_files
+        num_samples = len(html_files)
+
+        # 构建标准执行计划
+        plan = {
+            'domain': domain,
+            'total_files': len(html_files),
+            'sample_files': sample_files,  # HTML文件路径列表
+            'sample_urls': sample_files,   # 为了兼容性，保留这个字段
+            'num_samples': num_samples,
+            'steps': [
+                'read_html_file',       # 1. 读取HTML文件
+                'capture_screenshot',   # 2. 渲染并截图
+                'extract_schema',       # 3. 提取JSON Schema
+                'generate_code',        # 4. 生成解析代码
+            ],
+        }
+
+        logger.success(f"执行计划创建完成:")
+        logger.info(f"  域名: {domain}")
+        logger.info(f"  HTML文件数量: {num_samples}")
+        logger.info(f"  Schema迭代: {num_samples}轮")
+        logger.info(f"  代码迭代: {num_samples}轮")
+        logger.info(f"  执行步骤: {len(plan['steps'])} 个")
+
+        return plan

cli.py

@@ -0,0 +1,195 @@
+"""
+web2json-agent CLI 入口点
+提供 pip 安装后的命令行接口，支持多个子命令
+"""
+import sys
+import argparse
+from pathlib import Path
+from config.validator import ConfigValidator, check_config_or_guide
+
+
+def cmd_init(args):
+    """初始化配置文件"""
+    print("\n🚀 初始化 web2json-agent 配置\n")
+
+    target_dir = Path(args.dir) if args.dir else Path.cwd()
+    env_file = ConfigValidator.create_env_file(target_dir)
+
+    print("\n下一步:")
+    print(f"  1. 编辑 {env_file}")
+    print("  2. 填入你的 API 密钥（OPENAI_API_KEY 和 OPENAI_API_BASE）")
+    print("  3. 运行 'web2json check --test-api' 检查API响应")
+    print()
+
+
+def cmd_setup(args):
+    """交互式配置向导"""
+    print("\n🚀 web2json-agent 交互式配置\n")
+    ConfigValidator.interactive_setup()
+
+
+def cmd_check(args):
+    """检查配置"""
+    print("\n🔍 检查配置...\n")
+    is_valid, missing = ConfigValidator.check_config(verbose=True)
+
+    if not is_valid:
+        print("\n❌ 配置不完整")
+        print("\n解决方法:")
+        print("  1. 运行 'web2json init' 创建配置文件")
+        print("  2. 或运行 'web2json setup' 使用交互式配置向导")
+        sys.exit(1)
+
+    # 如果基本配置通过，且用户要求测试 API
+    if args.test_api:
+        print("\n🔌 测试 API 连接...\n")
+        api_valid, errors = ConfigValidator.test_api_connection(test_models=True)
+
+        if not api_valid:
+            print("\n❌ API 连接测试失败")
+            for model_name, error in errors.items():
+                print(f"  ✗ {model_name}: {error}")
+            print("\n请检查:")
+            print("  1. API 密钥是否正确")
+            print("  2. API Base URL 是否可访问")
+            print("  3. 模型名称是否正确")
+            print("  4. 网络连接是否正常")
+            sys.exit(1)
+
+    print("\n✅ 所有检查通过！可以开始使用了")
+    print("\n示例命令:")
+    print("  web2json -d input_html/ -o output/blog")
+
+
+
+def cmd_generate(args):
+    """生成解析器（主功能）"""
+    # 在执行主功能前检查配置
+    if not args.skip_config_check:
+        check_config_or_guide()
+
+    # 导入并执行主程序
+    from main import main as main_func, setup_logger, read_html_files_from_directory
+    from agent import ParserAgent
+    from loguru import logger
+
+    setup_logger()
+
+    logger.info("="*70)
+    logger.info("web2json-agent - 智能网页解析代码生成器")
+    logger.info("="*70)
+
+    # 获取HTML文件列表
+    logger.info(f"从目录读取HTML文件: {args.directory}")
+    html_files = read_html_files_from_directory(args.directory)
+    logger.info(f"读取到 {len(html_files)} 个HTML文件")
+
+    # 创建Agent
+    agent = ParserAgent(output_dir=args.output)
+
+    # 生成解析器
+    result = agent.generate_parser(
+        html_files=html_files,
+        domain=args.domain
+    )
+
+    # 输出结果
+    if result['success']:
+        logger.success("\n✓ 解析器生成成功!")
+        logger.info(f"  解析器路径: {result['parser_path']}")
+        logger.info(f"  配置路径: {result['config_path']}")
+
+        logger.info("\n使用方法:")
+        logger.info(f"  python {result['parser_path']} <url_or_html_file>")
+    else:
+        logger.error("\n✗ 解析器生成失败")
+        if 'error' in result:
+            logger.error(f"  错误: {result['error']}")
+        sys.exit(1)
+
+
+def main():
+    """CLI 主入口"""
+    parser = argparse.ArgumentParser(
+        prog='web2json',
+        description='web2json-agent - 智能网页解析代码生成器',
+        formatter_class=argparse.RawDescriptionHelpFormatter,
+        epilog="""
+示例:
+  # 首次使用：初始化配置
+  web2json init
+  web2json setup          # 或使用交互式配置向导
+
+  # 检查配置
+  web2json check
+  web2json check --test-api
+
+  # 从目录读取HTML文件并生成解析器
+  web2json -d input_html/ -o output/blog
+
+更多信息: https://github.com/ccprocessor/web2json-agent
+        """
+    )
+
+    subparsers = parser.add_subparsers(dest='command', help='子命令')
+
+    # init 命令
+    parser_init = subparsers.add_parser('init', help='初始化配置文件')
+    parser_init.add_argument(
+        '--dir',
+        help='配置文件目录（默认: 当前目录）'
+    )
+    parser_init.set_defaults(func=cmd_init)
+
+    # setup 命令
+    parser_setup = subparsers.add_parser('setup', help='交互式配置向导')
+    parser_setup.set_defaults(func=cmd_setup)
+
+    # check 命令
+    parser_check = subparsers.add_parser('check', help='检查配置')
+    parser_check.add_argument(
+        '--test-api',
+        action='store_true',
+        help='测试 API 连接和模型可用性'
+    )
+    parser_check.set_defaults(func=cmd_check)
+
+    # 主命令参数（生成解析器）
+    parser.add_argument(
+        '-d', '--directory',
+        help='HTML文件目录路径'
+    )
+    parser.add_argument(
+        '-o', '--output',
+        default='output',
+        help='输出目录（默认: output）'
+    )
+    parser.add_argument(
+        '--domain',
+        help='域名（可选）'
+    )
+    parser.add_argument(
+        '--skip-config-check',
+        action='store_true',
+        help='跳过配置检查（不推荐）'
+    )
+
+    # 解析参数
+    args = parser.parse_args()
+
+    # 如果没有指定子命令，检查是否提供了目录参数
+    if args.command is None:
+        if args.directory:
+            # 当作生成命令处理
+            cmd_generate(args)
+        else:
+            # 显示帮助信息
+            parser.print_help()
+            print("\n💡 提示: 首次使用请先运行 'web2json init' 或 'web2json setup'")
+    else:
+        # 执行子命令
+        args.func(args)
+
+
+if __name__ == "__main__":
+    main()

config/__init__.py

@@ -0,0 +1,4 @@
+from .settings import Settings
+
+__all__ = ["Settings"]
+

config/settings.py

@@ -0,0 +1,72 @@
+"""
+HtmlParserAgent 配置管理模块
+"""
+import os
+from typing import Optional
+from pydantic import BaseModel, Field
+from pathlib import Path
+from dotenv import load_dotenv
+
+# 加载环境变量
+env_path = Path(__file__).parent.parent / ".env"
+load_dotenv(env_path)
+
+
+class Settings(BaseModel):
+    """全局配置"""
+
+    # ============================================
+    # API 配置
+    # ============================================
+    openai_api_key: str = Field(default_factory=lambda: os.getenv("OPENAI_API_KEY", ""))
+    openai_api_base: str = Field(default_factory=lambda: os.getenv("OPENAI_API_BASE", "https://api.openai.com/v1"))
+
+    # ============================================
+    # 模型配置
+    # ============================================
+    # 默认模型（通用场景）
+    default_model: str = Field(default_factory=lambda: os.getenv("DEFAULT_MODEL", "claude-sonnet-4-5-20250929"))
+    default_temperature: float = Field(default_factory=lambda: float(os.getenv("DEFAULT_TEMPERATURE", "0.3")))
+
+    # Agent
+    agent_model: str = Field(default_factory=lambda: os.getenv("AGENT_MODEL", "claude-sonnet-4-5-20250929"))
+    agent_temperature: float = Field(default_factory=lambda: float(os.getenv("AGENT_TEMPERATURE", "0")))
+
+    # 代码生成
+    code_gen_model: str = Field(default_factory=lambda: os.getenv("CODE_GEN_MODEL", "claude-sonnet-4-5-20250929"))
+    code_gen_temperature: float = Field(default_factory=lambda: float(os.getenv("CODE_GEN_TEMPERATURE", "0.3")))
+    code_gen_max_tokens: int = Field(default_factory=lambda: int(os.getenv("CODE_GEN_MAX_TOKENS", "16384")))
+
+    # 视觉理解
+    vision_model: str = Field(default_factory=lambda: os.getenv("VISION_MODEL", "qwen-vl-max"))
+    vision_temperature: float = Field(default_factory=lambda: float(os.getenv("VISION_TEMPERATURE", "0")))
+    vision_max_tokens: int = Field(default_factory=lambda: int(os.getenv("VISION_MAX_TOKENS", "16384")))
+
+    # ============================================
+    # Agent 配置
+    # ============================================
+    # 迭代次数由输入URL数量决定，无需配置
+
+    # ============================================
+    # 浏览器配置
+    # ============================================
+    headless: bool = Field(default_factory=lambda: os.getenv("HEADLESS", "true").lower() == "true")
+    timeout: int = Field(default_factory=lambda: int(os.getenv("TIMEOUT", "30000")))
+    screenshot_full_page: bool = Field(default_factory=lambda: os.getenv("SCREENSHOT_FULL_PAGE", "true").lower() == "true")
+
+    # ============================================
+    # HTML精简配置
+    # ============================================
+    html_simplify_mode: str = Field(default_factory=lambda: os.getenv("HTML_SIMPLIFY_MODE", "xpath"))
+    html_keep_attrs: list = Field(default_factory=lambda: [
+        attr.strip() for attr in os.getenv("HTML_KEEP_ATTRS", "class,id,href,src,data-id").split(",")
+    ])
+
+    class Config:
+        """Pydantic配置"""
+        env_file = ".env"
+        env_file_encoding = "utf-8"
+
+
+# 全局配置实例
+settings = Settings()