lp-auto 0.1.0__py3-none-any.whl

lp_auto/__init__.py

@@ -0,0 +1,41 @@
+"""lp_auto：基于 DrissionPage 的 liepin 自动化工具包。
+
+提供浏览器复用、登录、搜索筛选、翻页与简历信息导出能力，
+既可作为命令行工具使用，也可作为 Python 库导入。
+
+典型用法：
+
+    # 命令行
+    $ lp-auto login
+    $ lp-auto run --save-dir ./resumes
+
+    # Python 函数
+    from lp_auto import AppConfig, BrowserManager, LoginFlow
+
+    cfg = AppConfig(chrome_exe=r"D:\\Chrome\\chrome.exe")
+    page = BrowserManager(cfg).get_page(open_url="https://lpt.liepin.com/login")
+    LoginFlow().verify(page)
+"""
+from ._version import __version__
+from .config import AppConfig
+from .core import (
+    BrowserManager,
+    Collector,
+    LoginFlow,
+    Pagination,
+    SearchController,
+    TabManager,
+)
+from . import exceptions
+
+__all__ = [
+    "__version__",
+    "AppConfig",
+    "BrowserManager",
+    "LoginFlow",
+    "SearchController",
+    "Pagination",
+    "Collector",
+    "TabManager",
+    "exceptions",
+]

lp_auto/__main__.py

@@ -0,0 +1,6 @@
+"""支持 python -m lp_auto 直接调用 CLI。"""
+
+from .cli import app
+
+if __name__ == "__main__":
+    app()

lp_auto/_version.py

@@ -0,0 +1,3 @@
+"""包版本号，pyproject.toml 通过动态属性读取此值。"""
+
+__version__ = "0.1.0"

lp_auto/cli.py

@@ -0,0 +1,215 @@
+"""Typer 命令行入口。
+
+命令一览：
+    lp-auto login        启动/接管浏览器并手动登录
+    lp-auto verify       校验当前登录态是否有效
+    lp-auto identify     识别搜索页的输入控件（调试用）
+    lp-auto search       按配置文件执行搜索筛选
+    lp-auto collect      导出当前页的简历卡片
+    lp-auto paginate     翻页（可配合 collect 逐页导出）
+    lp-auto run          组合：搜索 -> 逐页导出（一键任务）
+
+所有命令均可通过 --help 查看详细用法，例如：
+    lp-auto collect --help
+"""
+from __future__ import annotations
+
+
+from typing import Optional
+
+import typer
+
+from .config import AppConfig
+from .core import (
+    BrowserManager,
+    Collector,
+    LoginFlow,
+    Pagination,
+    SearchController,
+    TabManager,
+)
+from . import constants as C
+
+app = typer.Typer(
+    name="lp-auto",
+    help="基于 DrissionPage 的 liepin 自动化工具包。",
+    no_args_is_help=True,
+)
+
+# ---------------------------------------------------------------- 通用配置选项
+_PORT = typer.Option(None, "--port", help="Chrome 调试端口（默认 46517）")
+_CHROME = typer.Option(None, "--chrome", help="Chrome 可执行文件路径")
+_USER_DATA = typer.Option(None, "--user-data", help="Chrome 用户数据目录")
+_SAVE_DIR = typer.Option(None, "--save-dir", help="简历保存目录")
+
+
+def _build_config(
+    port: Optional[int] = None,
+    chrome: Optional[str] = None,
+    user_data: Optional[str] = None,
+    save_dir: Optional[str] = None,
+) -> AppConfig:
+    """从环境变量加载，再用命令行参数覆盖 None 之外的值。"""
+    cfg = AppConfig.from_env()
+    overrides = {}
+    if port is not None:
+        overrides["debug_port"] = port
+    if chrome is not None:
+        overrides["chrome_exe"] = chrome
+    if user_data is not None:
+        overrides["user_data"] = user_data
+    if save_dir is not None:
+        overrides["save_dir"] = save_dir
+    return cfg.update(**overrides) if overrides else cfg
+
+
+def _manager(cfg: AppConfig) -> BrowserManager:
+    return BrowserManager(cfg)
+
+
+def _resolve_search_dict(
+    controller: SearchController,
+    config_path: Optional[str],
+    keyword: Optional[str],
+    job: Optional[str],
+    company: Optional[str],
+) -> dict:
+    """解析搜索词来源：--config 优先，其次命令行参数，最后默认配置文件。"""
+    if config_path:
+        return controller.load_config(config_path)
+    query = controller.build_query(keyword=keyword, job=job, company=company)
+    return query or controller.load_config()
+
+
+# ---------------------------------------------------------------- 命令
+@app.command()
+def login(
+    port: Optional[int] = _PORT,
+    chrome: Optional[str] = _CHROME,
+    user_data: Optional[str] = _USER_DATA,
+    verify: bool = typer.Option(True, help="登录后是否自动校验登录态"),
+):
+    """启动/接管浏览器，打开登录页，等待人工登录。"""
+    cfg = _build_config(port=port, chrome=chrome, user_data=user_data)
+    flow = LoginFlow()
+    ok = flow.login(_manager(cfg), url=C.LOGIN_URL, verify_after=verify)
+    raise typer.Exit(0 if ok else 1)
+
+
+@app.command()
+def verify(
+    port: Optional[int] = _PORT,
+    chrome: Optional[str] = _CHROME,
+    user_data: Optional[str] = _USER_DATA,
+):
+    """校验当前登录态是否有效。"""
+    cfg = _build_config(port=port, chrome=chrome, user_data=user_data)
+    page = _manager(cfg).get_page()
+    ok = LoginFlow().verify(page)
+    raise typer.Exit(0 if ok else 1)
+
+
+@app.command()
+def identify(
+    port: Optional[int] = _PORT,
+    chrome: Optional[str] = _CHROME,
+    user_data: Optional[str] = _USER_DATA,
+):
+    """识别搜索页上的可见输入控件，帮助定位 placeholder。"""
+    cfg = _build_config(port=port, chrome=chrome, user_data=user_data)
+    page = _manager(cfg).get_page()
+    TabManager().open_search_tab(page)
+    SearchController(cfg).identify_inputs(page)
+
+
+@app.command()
+def search(
+    port: Optional[int] = _PORT,
+    chrome: Optional[str] = _CHROME,
+    user_data: Optional[str] = _USER_DATA,
+    config_path: Optional[str] = typer.Option(None, "--config", help="搜索词 JSON 路径"),
+    keyword: Optional[str] = typer.Option(None, "--keyword", help="主关键词"),
+    job: Optional[str] = typer.Option(None, "--job", help="职位"),
+    company: Optional[str] = typer.Option(None, "--company", help="公司"),
+):
+    """打开搜索页并按搜索词执行筛选搜索（JSON 配置或直接传参均可）。"""
+    cfg = _build_config(port=port, chrome=chrome, user_data=user_data)
+    page = _manager(cfg).get_page()
+    TabManager().open_search_tab(page)
+
+    controller = SearchController(cfg)
+    search_dict = _resolve_search_dict(controller, config_path, keyword, job, company)
+    controller.search(page, search_dict)
+
+
+@app.command()
+def collect(
+    port: Optional[int] = _PORT,
+    chrome: Optional[str] = _CHROME,
+    user_data: Optional[str] = _USER_DATA,
+    save_dir: Optional[str] = _SAVE_DIR,
+    start: int = typer.Option(0, help="起始卡片索引"),
+    step: int = typer.Option(1, help="遍历步长"),
+    limit: Optional[int] = typer.Option(None, help="最多导出数量"),
+    delay: float = typer.Option(1.0, help="卡片间休眠秒数"),
+):
+    """导出当前页面的简历卡片并保存为文本。"""
+    cfg = _build_config(port=port, chrome=chrome, user_data=user_data, save_dir=save_dir)
+    page = _manager(cfg).get_page()
+    print(f"当前页: {page.url}")
+    Collector(cfg).collect_page(page, start=start, step=step, limit=limit, delay=delay)
+
+
+@app.command()
+def paginate(
+    port: Optional[int] = _PORT,
+    chrome: Optional[str] = _CHROME,
+    user_data: Optional[str] = _USER_DATA,
+    max_pages: int = typer.Option(100, help="最大翻页数"),
+    delay: float = typer.Option(2.0, help="翻页间隔秒数"),
+):
+    """在搜索页循环翻页（常用于调试或配合导出）。"""
+    cfg = _build_config(port=port, chrome=chrome, user_data=user_data)
+    page = _manager(cfg).get_page()
+    print(f"当前页: {page.url}")
+    Pagination().loop_pages(page, max_pages=max_pages, delay=delay)
+
+
+@app.command()
+def run(
+    port: Optional[int] = _PORT,
+    chrome: Optional[str] = _CHROME,
+    user_data: Optional[str] = _USER_DATA,
+    save_dir: Optional[str] = _SAVE_DIR,
+    config_path: Optional[str] = typer.Option(None, "--config", help="搜索词 JSON 路径"),
+    keyword: Optional[str] = typer.Option(None, "--keyword", help="主关键词"),
+    job: Optional[str] = typer.Option(None, "--job", help="职位"),
+    company: Optional[str] = typer.Option(None, "--company", help="公司"),
+    max_pages: int = typer.Option(100, help="最大翻页数"),
+    step: int = typer.Option(1, help="每页导出步长"),
+):
+    """一键任务：搜索 -> 逐页导出简历，直到最后一页。"""
+    cfg = _build_config(port=port, chrome=chrome, user_data=user_data, save_dir=save_dir)
+    manager = _manager(cfg)
+    page = manager.get_page()
+
+    tab_mgr = TabManager()
+    tab_mgr.open_search_tab(page)
+
+    search_ctrl = SearchController(cfg)
+    search_ctrl.search(page, _resolve_search_dict(search_ctrl, config_path, keyword, job, company))
+
+    pagination = Pagination()
+    collector = Collector(cfg)
+    total = 0
+    for _ in range(max_pages):
+        total += collector.collect_page(page, step=step)
+        if pagination.is_last_page(page):
+            print("🛑 已到最后一页")
+            break
+        pagination.go_next_page(page)
+    print(f"✅ 任务完成，共导出 {total} 份简历")
+
+
+if __name__ == "__main__":
+    app()

lp_auto/config.py

@@ -0,0 +1,96 @@
+"""运行时配置。
+
+所有可调参数集中到 AppConfig 这一个数据类里：
+- 命令行与 Python 函数都能通过它统一控制行为；
+- 提供 from_env() / to_dict() / update()，方便从多种来源加载与合并；
+- 默认数据目录为 ~/.lp_auto/，会话、搜索词、导出结果都放在里面。
+"""
+from __future__ import annotations
+
+import os
+from dataclasses import dataclass, field, asdict
+from pathlib import Path
+from typing import Any, Dict, Optional
+
+from . import constants as C
+from .exceptions import ConfigError
+
+
+def _default_data_dir() -> Path:
+    return Path.home() / ".lp_auto"
+
+
+@dataclass
+class AppConfig:
+    """应用级配置。
+
+    可通过关键字参数在构造时覆盖任意字段，例如：
+        AppConfig(debug_port=47100, chrome_exe=r"D:\\Chrome\\chrome.exe")
+    """
+
+    # ---- 浏览器 ----
+    debug_port: int = C.DEFAULT_DEBUG_PORT
+    user_data: str = C.DEFAULT_USER_DATA
+    chrome_exe: str = C.DEFAULT_CHROME_EXE
+    browser_launch_timeout: int = C.BROWSER_LAUNCH_TIMEOUT
+
+    # ---- 数据目录 ----
+    data_dir: Path = field(default_factory=_default_data_dir)
+
+    # ---- 导出 ----
+    save_dir: Optional[Path] = None  # None 时使用 data_dir / "resumes"
+    min_card_width: int = C.MIN_CARD_WIDTH
+
+    def __post_init__(self) -> None:
+        self.data_dir = Path(self.data_dir)
+        if isinstance(self.user_data, str) and not self.user_data:
+            raise ConfigError("user_data 不能为空")
+
+    # ---- 派生路径 ----
+    @property
+    def session_file(self) -> Path:
+        return self.data_dir / "lp_session.json"
+
+    @property
+    def search_config_file(self) -> Path:
+        return self.data_dir / "search_config.json"
+
+    @property
+    def resumes_dir(self) -> Path:
+        return Path(self.save_dir) if self.save_dir else self.data_dir / "resumes"
+
+    # ---- 序列化 ----
+    def to_dict(self) -> Dict[str, Any]:
+        d = asdict(self)
+        d["data_dir"] = str(self.data_dir)
+        return d
+
+    def update(self, **kwargs: Any) -> "AppConfig":
+        """合并式更新，返回新实例（不改动原对象）。"""
+        data = self.to_dict()
+        data.update(kwargs)
+        return AppConfig(**data)
+
+    @classmethod
+    def from_env(cls, prefix: str = "LP_AUTO_") -> "AppConfig":
+        """从环境变量读取覆盖项，例如 LP_AUTO_DEBUG_PORT=47100。"""
+        kwargs: Dict[str, Any] = {}
+        mapping = {
+            "DEBUG_PORT": ("debug_port", int),
+            "USER_DATA": ("user_data", str),
+            "CHROME_EXE": ("chrome_exe", str),
+            "DATA_DIR": ("data_dir", str),
+            "SAVE_DIR": ("save_dir", str),
+            "MIN_CARD_WIDTH": ("min_card_width", int),
+        }
+        for env_name, (attr, cast) in mapping.items():
+            value = os.environ.get(prefix + env_name)
+            if value is not None and value != "":
+                kwargs[attr] = cast(value)
+        return cls(**kwargs)
+
+    def ensure_dirs(self) -> "AppConfig":
+        """确保数据目录与导出目录存在，返回自身便于链式调用。"""
+        self.data_dir.mkdir(parents=True, exist_ok=True)
+        self.resumes_dir.mkdir(parents=True, exist_ok=True)
+        return self

lp_auto/constants.py

@@ -0,0 +1,88 @@
+"""全局常量与默认选择器。
+
+页面 DOM 结构一旦变化，优先修改本文件即可，无需改动 core 里的业务逻辑。
+这也是「高内聚低耦合」的关键：把易变内容（URL、CSS 选择器、超时）集中到一处。
+"""
+
+# ============ URL ============
+LOGIN_URL = "https://lpt.liepin.com/login"
+HOME_URL = "https://lpt.liepin.com/"
+SEARCH_URL = "https://lpt.liepin.com/search"
+
+# ============ 浏览器默认参数 ============
+DEFAULT_DEBUG_PORT = 46517  # 冷门端口，避免与常见端口冲突
+DEFAULT_USER_DATA = r"D:\selenium_profile"  # Chrome 用户目录（建议用真实 profile 副本）
+DEFAULT_CHROME_EXE = r"C:\Program Files\Google\Chrome\Application\chrome.exe"
+BROWSER_LAUNCH_TIMEOUT = 30  # 等待浏览器就绪的最长时间（秒）
+
+# ============ 简历信息导出 ============
+CARD_SELECTOR = "css:div[class*='card']"  # 卡片候选选择器（可改精确 class）
+MIN_CARD_WIDTH = 50  # 过滤嵌套容器/隐藏元素的最小宽度阈值
+
+# 模态框是否可见的判断选择器
+MODAL_VISIBLE_SELECTORS = [
+    "css:.ant-modal-wrap",
+    "css:[class*='modal-wrap']",
+    "css:[role='dialog']",
+]
+
+# 模态框内容容器选择器（按优先级尝试）
+MODAL_CONTENT_SELECTORS = [
+    "css:.ant-modal",
+    "css:[class*='modal-content']",
+    "css:[role='dialog']",
+]
+
+# 模态框关闭按钮候选
+CLOSE_SELECTORS = [
+    "css:.ant-modal-close",
+    "css:[class*='modal'] [class*='close']",
+    "css:[class*='dialog'] [class*='close']",
+    "css:[aria-label='Close']",
+    "css:button[class*='close']",
+    "css:svg[class*='close']",
+]
+
+# ============ 搜索 ============
+# 字段 -> 匹配 placeholder 的关键字
+# keyword 用「搜职位/公司」避免与「搜索职位/公司」冲突
+FIELD_HINTS = {
+    "keyword": ["搜职位/公司"],  # 主搜索框
+    "job": ["搜索职位"],  # 职位下拉
+    "company": ["搜索公司"],  # 公司下拉
+}
+
+SELECT_OPTION_SELECTORS = [
+    "css:.ant-select-item-option",
+    "css:.ant-select-item",
+    "css:[class*='select-item']",
+]
+
+SEARCH_BTN_SELECTORS = [
+    "css:button[class*='search']",
+    "css:button[class*='Search']",
+    "css:button[class*='btn-search']",
+    "css:[class*='search-btn']",
+]
+
+SEARCH_BTN_TEXTS = ["搜索", "搜简历", "查找"]
+
+# ============ 翻页 ============
+NEXT_SELECTORS = [
+    "css:.ant-pagination-next",
+    "css:li[class*='pagination'][class*='next']",
+    "css:[class*='pagination'] [class*='next']",
+    "css:li[title='Next Page']",
+    "css:a[rel='next']",
+    "css:button[class*='next']",
+]
+
+CURRENT_PAGE_SELECTORS = [
+    "css:.ant-pagination-item-active",
+    "css:li[class*='pagination-item-active']",
+    "css:[class*='pagination'] [class*='active']",
+]
+
+# ============ 键盘/特殊键 ============
+ESCAPE_KEY = "\ue00c"
+ENTER_KEY = "\ue007"

lp_auto/core/__init__.py

@@ -0,0 +1,29 @@
+"""core 子包：把业务能力拆成职责单一的模块。
+
+模块职责一览：
+- browser     浏览器复用管理器（启动 / 接管 Chrome）
+- login       登录与登录态校验
+- search      搜索页筛选
+- pagination  翻页
+- collector   简历信息导出
+- tabs        标签页管理
+
+各模块只依赖 config + constants + 上层传入的 page 对象，
+彼此不直接引用，实现「高内聚低耦合」。
+"""
+
+from .browser import BrowserManager
+from .login import LoginFlow
+from .search import SearchController
+from .pagination import Pagination
+from .collector import Collector
+from .tabs import TabManager
+
+__all__ = [
+    "BrowserManager",
+    "LoginFlow",
+    "SearchController",
+    "Pagination",
+    "Collector",
+    "TabManager",
+]

lp_auto/core/browser.py

@@ -0,0 +1,119 @@
+"""浏览器复用管理器。
+
+核心能力：
+- 首次运行：独立启动 Chrome（固定端口 + 真实 profile），并保存会话；
+- 再次运行：探测端口存活，直接接管（登录态、标签页全部保留）；
+- 会话复用：连接已启动的浏览器实例，保留登录态与页面状态。
+
+用法：
+    from lp_auto import BrowserManager, AppConfig
+
+    cfg = AppConfig(chrome_exe=r"D:\\Chrome\\chrome.exe")
+    mgr = BrowserManager(cfg)
+    page = mgr.get_page(open_url="https://lpt.liepin.com/login")
+"""
+from __future__ import annotations
+
+import json
+import subprocess
+import sys
+import time
+from typing import Optional
+
+import requests
+from DrissionPage import ChromiumOptions, ChromiumPage
+
+from ..config import AppConfig
+from ..exceptions import BrowserLaunchError
+
+
+class BrowserManager:
+    """封装 Chrome 的启动、复用与 page 对象的获取。"""
+
+    def __init__(self, config: AppConfig) -> None:
+        self.config = config
+        self.config.ensure_dirs()
+
+    # ---------------------------------------------------------------- 会话
+    def _load_session(self) -> Optional[dict]:
+        path = self.config.session_file
+        if not path.exists():
+            return None
+        try:
+            with open(path, "r", encoding="utf-8") as f:
+                return json.load(f)
+        except Exception:
+            return None
+
+    def _save_session(self, port: int) -> None:
+        with open(self.config.session_file, "w", encoding="utf-8") as f:
+            json.dump({"port": port}, f)
+
+    # ---------------------------------------------------------------- 探测
+    def is_browser_alive(self, port: Optional[int] = None) -> bool:
+        """通过 CDP 端口探测浏览器是否存活。"""
+        port = port or self.config.debug_port
+        try:
+            resp = requests.get(f"http://localhost:{port}/json/version", timeout=2)
+            return resp.status_code == 200
+        except Exception:
+            return False
+
+    def _launch_chrome(self, port: int, url: Optional[str] = None) -> bool:
+        """独立启动 Chrome。URL 作为启动参数加载，避免页面加载阶段出现自动化痕迹。"""
+        if not self.config.chrome_exe or not self.config.user_data:
+            raise BrowserLaunchError("请先配置 chrome_exe 与 user_data")
+
+        args = [
+            self.config.chrome_exe,
+            f"--remote-debugging-port={port}",
+            f"--user-data-dir={self.config.user_data}",
+            "--no-first-run",
+            "--no-default-browser-check",
+            "--start-maximized",
+        ]
+        if url:
+            args.append(url)
+        subprocess.Popen(args, stdout=subprocess.DEVNULL, stderr=subprocess.DEVNULL)
+
+        deadline = time.time() + self.config.browser_launch_timeout
+        while time.time() < deadline:
+            if self.is_browser_alive(port):
+                return True
+            time.sleep(0.5)
+        return False
+
+    # ---------------------------------------------------------------- 对外
+    def get_page(self, open_url: Optional[str] = None):
+        """获取已接管的 ChromiumPage 对象。
+
+        open_url 仅在首次启动浏览器时打开；复用接管时不会重复导航。
+        """
+        session = self._load_session()
+
+        if session and self.is_browser_alive(session.get("port")):
+            port = session["port"]
+            print(f"[复用] 接管已有浏览器 (端口 {port})")
+        else:
+            if session:
+                print("[提示] 旧浏览器已关闭，重新启动...")
+            print(f"[启动] 首次运行，启动 Chrome (端口 {self.config.debug_port})")
+            if not self._launch_chrome(self.config.debug_port, url=open_url):
+                raise BrowserLaunchError(
+                    "Chrome 启动失败，请检查 chrome_exe / user_data 路径"
+                )
+            self._save_session(self.config.debug_port)
+            port = self.config.debug_port
+
+        co = ChromiumOptions()
+        co.set_local_port(port)  # 连接到已有浏览器，不新建
+        page = ChromiumPage(co)
+
+        # 健康检查：确保至少有一个可用标签页
+        try:
+            _ = page.url
+        except Exception:
+            print("[健康检查] 无可用标签页，新建一个")
+            page.new_tab()
+
+        return page