feedscope 0.1.0__py3-none-any.whl

feedscope/core/registry.py

@@ -0,0 +1,53 @@
+"""源注册器：@register + sources 包导入 = 插件机制。"""
+
+from __future__ import annotations
+
+from feedscope.core.source import Source
+
+_REGISTRY: dict[str, type[Source]] = {}
+
+
+def register(cls: type[Source]) -> type[Source]:
+    """类装饰器：把 Source 子类登记进全局注册表。"""
+    _REGISTRY[cls.source_id] = cls
+    return cls
+
+
+def source_classes() -> list[type[Source]]:
+    """全部已注册的源类（顺序即注册顺序）。
+
+    供只需要类的路径（启动时「有没有注册任何源」检查）——要看运行时
+    实例（读配置过滤后的源）走 all_sources。
+    """
+    return list(_REGISTRY.values())
+
+
+def all_sources() -> list[Source]:
+    """实例化全部已注册源（顺序即注册顺序）。"""
+    return [cls() for cls in _REGISTRY.values()]
+
+
+def get_class(source_id: str) -> type[Source] | None:
+    """按 id 取源类（不实例化）；未注册返回 None。
+
+    供按声明分派的调用方（UI 的源重建、订阅入口的保留字检查）——它们只要
+    ClassVar，实例化反而会读配置做合成。取不到直接炸的路径用 get_source。
+    """
+    return _REGISTRY.get(source_id)
+
+
+def get_source(source_id: str) -> Source:
+    """按 id 实例化源；未注册直接 KeyError（登录/巡检等内部路径 fail-fast）。"""
+    return _REGISTRY[source_id]()
+
+
+def install_sources(classes: list[type[Source]]) -> None:
+    """整体替换注册表为给定源类（离线脚本 / 截图驱动 stub 源用）。
+
+    测试与 scripts/screenshot.py 之前直接改 _REGISTRY 私有字典——那是对
+    实现细节的耦合（换数据结构即断）；公开入口把「替换 + 恢复」的语义
+    收进本模块。
+    """
+    _REGISTRY.clear()
+    for cls in classes:
+        register(cls)

feedscope/core/samples.py

@@ -0,0 +1,68 @@
+"""样本落盘：把取到的原始响应写到磁盘，站点改版后修 parse 用。
+
+- 开关：FEEDSCOPE_SAMPLE_DIR 环境变量（未设 = 关，零开销）；feedscope probe 自动设到
+  ~/.cache/feedscope/samples/，平时 TUI 里完全不落盘
+- 文件名 = 源标签--URL 路径清洗版（rand 等随机参数剔除、其余参数排序，
+  重跑同名覆盖，样本目录始终是最新的）
+- 一切落盘失败吞掉只留警告：这是调试辅助，绝不能反过来弄崩取数
+"""
+
+from __future__ import annotations
+
+import logging
+import os
+import re
+from pathlib import Path
+from urllib.parse import parse_qsl, urlparse
+
+logger = logging.getLogger(__name__)
+
+# 剔除的查询参数：每次请求都变的随机值，留着文件名就永远不重名
+_VOLATILE_PARAMS = {"rand", "_", "t", "ts", "_t", "timestamp", "nonce", "callback"}
+
+
+def active_dir() -> Path | None:
+    d = os.environ.get("FEEDSCOPE_SAMPLE_DIR")
+    return Path(d) if d else None
+
+
+def url_name(source: str, url: str) -> str:
+    """URL -> 稳定样本文件名（不含扩展名），如 x--TweetDetail___variables=….json。
+
+    查询参数排序 + 随机参数剔除，保证同一端点重跑同名（覆盖刷新）。
+    源标签只保留 ASCII 字符（跨平台文件名安全，非 ASCII 全清后回退 src）。
+    """
+    u = urlparse(url)
+    keep = "&".join(
+        f"{k}={v}" for k, v in sorted(parse_qsl(u.query))
+        if k not in _VOLATILE_PARAMS and len(v) <= 40
+    )
+    raw = u.path.strip("/") + ("_" + keep if keep else "")
+    clean = re.sub(r"[^A-Za-z0-9._=-]+", "-", raw)[:100].strip("-.") or "root"
+    src = re.sub(r"[^a-z0-9]+", "", source.lower()) or "src"
+    return f"{src}--{clean}"
+
+
+def _suffix(content: str | bytes) -> str:
+    """按内容嗅探扩展名：JSON / HTML / 其他。"""
+    head = content[:128].lstrip()
+    if isinstance(head, bytes):
+        head = head.decode("utf-8", "ignore")
+    if head.startswith(("{", "[")):
+        return ".json"
+    if head.startswith("<"):
+        return ".html"
+    return ".txt"
+
+
+def save(name: str, content: str | bytes) -> None:
+    """写样本进 active_dir（未开启 = 无事发生）；失败吞掉只留警告。"""
+    d = active_dir()
+    if d is None:
+        return
+    try:
+        d.mkdir(parents=True, exist_ok=True)
+        text = content if isinstance(content, str) else content.decode("utf-8", "ignore")
+        (d / (name + _suffix(content))).write_text(text, encoding="utf-8")
+    except OSError as exc:
+        logger.warning("样本落盘失败 %s：%s", name, exc)