ipclick 2.0.0__tar.gz → 2.1.0__tar.gz

{ipclick-2.0.0 → ipclick-2.1.0}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.4
 Name: ipclick
-Version: 2.0.0
+Version: 2.1.0
 Summary: IPClick Tool
 Keywords: http,grpc,downloader,scraping,browser,cluster
 Author: 元气码农少女酱
@@ -225,7 +225,7 @@ with Downloader() as downloader:
     response = downloader.request(
         method=HttpMethod.GET,
         url="https://httpbin.org/get",
-        headers={"User-Agent": "IPClick/1.0"},
+        headers={"User-Agent": "MyApp/1.0"},
         params={"key": "value"},
         timeout=30,
     )
@@ -270,7 +270,7 @@ IPCLICK_WEB_USER=ops IPCLICK_WEB_PASSWORD=... ipclick run -w
 | **请求流** `/trace` | 实时看请求打进来，按状态 / 适配器 / URL 过滤，看站点排行与按天趋势 |
 | **试一试** `/test` | 填网址或直接粘一条 curl，就地发一次请求看链路与源码；可点名打到某个节点 |
 | **组件** `/components` | 五个可选 extras 的两级安装状态，可就地安装 / 卸载 / 下载浏览器本体 |
-| **配置** `/config` | 75 项配置分 12 组，写回 `ipclick.toml`（保留注释、留 `.bak`）；集群节点增删 |
+| **配置** `/config` | 75 项配置分 10 组（可折叠），写回 `ipclick.toml`（保留注释、留 `.bak`）；隧道代理整串粘贴自动拆分（地址进 toml、凭据进 `.env`）；集群节点增删 |
 | **AI 接入** `/skill` | 技能包全文、安装命令与 `SKILL.md` 下载 |
 
 「试一试」走的是本进程 `TaskService` 的**同一条**代码路径——SSRF 准入、限流、以及开了转发时

{ipclick-2.0.0 → ipclick-2.1.0}/README.md

@@ -176,7 +176,7 @@ with Downloader() as downloader:
     response = downloader.request(
         method=HttpMethod.GET,
         url="https://httpbin.org/get",
-        headers={"User-Agent": "IPClick/1.0"},
+        headers={"User-Agent": "MyApp/1.0"},
         params={"key": "value"},
         timeout=30,
     )
@@ -221,7 +221,7 @@ IPCLICK_WEB_USER=ops IPCLICK_WEB_PASSWORD=... ipclick run -w
 | **请求流** `/trace` | 实时看请求打进来，按状态 / 适配器 / URL 过滤，看站点排行与按天趋势 |
 | **试一试** `/test` | 填网址或直接粘一条 curl，就地发一次请求看链路与源码；可点名打到某个节点 |
 | **组件** `/components` | 五个可选 extras 的两级安装状态，可就地安装 / 卸载 / 下载浏览器本体 |
-| **配置** `/config` | 75 项配置分 12 组，写回 `ipclick.toml`（保留注释、留 `.bak`）；集群节点增删 |
+| **配置** `/config` | 75 项配置分 10 组（可折叠），写回 `ipclick.toml`（保留注释、留 `.bak`）；隧道代理整串粘贴自动拆分（地址进 toml、凭据进 `.env`）；集群节点增删 |
 | **AI 接入** `/skill` | 技能包全文、安装命令与 `SKILL.md` 下载 |
 
 「试一试」走的是本进程 `TaskService` 的**同一条**代码路径——SSRF 准入、限流、以及开了转发时

{ipclick-2.0.0 → ipclick-2.1.0}/pyproject.toml

@@ -1,6 +1,6 @@
 [project]
 name = "ipclick"
-version = "2.0.0"
+version = "2.1.0"
 description = "IPClick Tool"
 license = "MIT"
 license-files = ["LICENSE"]

{ipclick-2.0.0 → ipclick-2.1.0}/pyproject.toml.orig

@@ -1,6 +1,6 @@
 [project]
 name = "ipclick"
-version = "2.0.0"
+version = "2.1.0"
 description = "IPClick Tool"
 authors = [
     { name = "元气码农少女酱", email = "1276162429@qq.com" }

{ipclick-2.0.0 → ipclick-2.1.0}/src/ipclick/adapters/base.py

@@ -10,7 +10,7 @@ import re
 import threading
 from typing import Any, cast
 
-from ipclick.adapters.settings import AdapterSettings
+from ipclick.adapters.settings import DEFAULT_DOWNLOAD_TIMEOUT, AdapterSettings
 from ipclick.dto.response import Response
 from ipclick.exceptions import URLNotAllowedError, ValidationError
 from ipclick.utils.log_util import log
@@ -168,7 +168,7 @@ class DownloaderAdapter(ABC):
         json: dict[str, Any] | None = None,
         files: dict[str, Any] | None = None,
         proxy: str | None = None,
-        timeout: float = 60,
+        timeout: float = DEFAULT_DOWNLOAD_TIMEOUT,
         max_retries: int = 3,
         retry_delay: float = 2.0,
         verify: bool = True,
@@ -201,6 +201,17 @@ class DownloaderAdapter(ABC):
                 return
             yield cast(StreamEvent, item)
 
+    def apply_stream_timeout(self, kwargs: dict[str, Any]) -> None:
+        """流式请求没显式给超时时，换用比普通请求更大的那份预算。
+
+        调用方显式传了就用调用方的——这里只兜"没传"的情况。放在基类是因为三条流式
+        路径（curl_cffi、niquests 的真流式，以及下面这个先下完再切块的兜底实现）都得
+        用同一份预算，否则"换个适配器就超时"会变成一个查不出原因的差异。
+        """
+        requested = kwargs.get("timeout")
+        if not requested or requested <= 0:
+            kwargs["timeout"] = self.settings.stream_timeout
+
     def download_stream(
         self,
         url: str,
@@ -209,6 +220,7 @@ class DownloaderAdapter(ABC):
         **kwargs: Any,
     ) -> "Iterator[StreamEvent]":
         """把非流式响应按固定大小切块，作为默认流式实现。"""
+        self.apply_stream_timeout(kwargs)
         response = self.download(url, **kwargs)
         yield StreamHeader(
             url=response.url,

{ipclick-2.0.0 → ipclick-2.1.0}/src/ipclick/adapters/browser_adapter.py

@@ -33,7 +33,7 @@ from ipclick.adapters.browser_settings import (
     resolve_max_pages,
 )
 from ipclick.adapters.retry import retry
-from ipclick.adapters.settings import AdapterSettings
+from ipclick.adapters.settings import DEFAULT_DOWNLOAD_TIMEOUT, AdapterSettings
 from ipclick.dto.response import Response
 from ipclick.exceptions import AdapterError, ValidationError
 from ipclick.utils.log_util import log
@@ -479,7 +479,7 @@ class BrowserAdapter(DownloaderAdapter):
         json: dict[str, Any] | None = None,
         files: dict[str, Any] | None = None,
         proxy: str | None = None,
-        timeout: float = 60,
+        timeout: float = DEFAULT_DOWNLOAD_TIMEOUT,
         max_retries: int = 3,
         retry_delay: float = 2.0,
         verify: bool = True,

{ipclick-2.0.0 → ipclick-2.1.0}/src/ipclick/adapters/curl_cffi_adapter.py

@@ -9,7 +9,7 @@ from ipclick.adapters.base import DEFAULT_CHUNK_SIZE, DownloaderAdapter, StreamE
 from ipclick.adapters.redirects import HopFollowingMixin
 from ipclick.adapters.retry import aretry, retry
 from ipclick.adapters.sessions import AsyncSessionCache, SessionCache, reset_cookies
-from ipclick.adapters.settings import AdapterSettings
+from ipclick.adapters.settings import DEFAULT_DOWNLOAD_TIMEOUT, AdapterSettings
 from ipclick.dto.response import Response
 from ipclick.exceptions import AdapterError, ValidationError
 from ipclick.utils.log_util import log
@@ -106,7 +106,7 @@ class CurlCffiAdapter(HopFollowingMixin, DownloaderAdapter):
         正好等于总超时，总预算不会凭空多出一个 connect_timeout。
 
         传标量则 ``[DOWNLOADER].connect_timeout`` 完全无从生效——此前就是这样：连一个
-        黑洞地址要一直等到 download_timeout（默认 300 秒），每次重试再付一遍。
+        黑洞地址要一直等到 download_timeout，每次重试再付一遍。
         """
         total = requested or self.timeout
         # 读 settings 而不是 self.connect_timeout，和 niquests 那边保持一致。
@@ -155,7 +155,7 @@ class CurlCffiAdapter(HopFollowingMixin, DownloaderAdapter):
         json: dict[str, Any] | None = None,
         files: dict[str, Any] | None = None,
         proxy: str | None = None,
-        timeout: float = 60,
+        timeout: float = DEFAULT_DOWNLOAD_TIMEOUT,
         max_retries: int = 3,
         retry_delay: float = 2.0,
         verify: bool = True,
@@ -245,6 +245,7 @@ class CurlCffiAdapter(HopFollowingMixin, DownloaderAdapter):
         **kwargs: Any,
     ) -> Iterator[StreamEvent]:
         """产出响应首部及正文分片，并在生成器结束时关闭响应。"""
+        self.apply_stream_timeout(kwargs)
         method = str(kwargs.get("method", "GET")).upper()
         if method not in _SUPPORTED_METHODS:
             yield StreamHeader(url=url, status_code=-1, error=f"Unsupported HTTP method: {method}")

{ipclick-2.0.0 → ipclick-2.1.0}/src/ipclick/adapters/drission_adapter.py

@@ -24,7 +24,7 @@ from ipclick.adapters.browser_settings import (
     wait_for_timeout_ms,
 )
 from ipclick.adapters.retry import retry
-from ipclick.adapters.settings import AdapterSettings
+from ipclick.adapters.settings import DEFAULT_DOWNLOAD_TIMEOUT, AdapterSettings
 from ipclick.dto.response import Response
 from ipclick.exceptions import AdapterError, ValidationError
 from ipclick.utils.log_util import log
@@ -132,7 +132,7 @@ class DrissionPageAdapter(DownloaderAdapter):
         json: dict[str, Any] | None = None,
         files: dict[str, Any] | None = None,
         proxy: str | None = None,
-        timeout: float = 60,
+        timeout: float = DEFAULT_DOWNLOAD_TIMEOUT,
         max_retries: int = 3,
         retry_delay: float = 2.0,
         verify: bool = True,

{ipclick-2.0.0 → ipclick-2.1.0}/src/ipclick/adapters/niquests_adapter.py

@@ -11,7 +11,7 @@ from ipclick.adapters.base import DEFAULT_CHUNK_SIZE, DownloaderAdapter, StreamE
 from ipclick.adapters.redirects import HopFollowingMixin
 from ipclick.adapters.retry import aretry, retry
 from ipclick.adapters.sessions import AsyncSessionCache, SessionCache, reset_cookies
-from ipclick.adapters.settings import AdapterSettings
+from ipclick.adapters.settings import DEFAULT_DOWNLOAD_TIMEOUT, AdapterSettings
 from ipclick.dto.response import Response
 from ipclick.exceptions import AdapterError, ValidationError
 from ipclick.utils.log_util import log
@@ -141,7 +141,7 @@ class NiquestsAdapter(HopFollowingMixin, DownloaderAdapter):
         json: dict[str, Any] | None = None,
         files: dict[str, Any] | None = None,
         proxy: str | None = None,
-        timeout: float = 60,
+        timeout: float = DEFAULT_DOWNLOAD_TIMEOUT,
         max_retries: int = 3,
         retry_delay: float = 2.0,
         verify: bool = True,
@@ -231,6 +231,7 @@ class NiquestsAdapter(HopFollowingMixin, DownloaderAdapter):
         **kwargs: Any,
     ) -> Iterator[StreamEvent]:
         """产出响应首部和正文分片，并确保响应最终关闭。"""
+        self.apply_stream_timeout(kwargs)
         self.reject_impersonate(kwargs.get("impersonate"))
         method = str(kwargs.get("method", "GET")).upper()
         if method not in _SUPPORTED_METHODS:

{ipclick-2.0.0 → ipclick-2.1.0}/src/ipclick/adapters/settings.py

@@ -9,6 +9,22 @@ from ipclick.utils.config_util import section
 
 DEFAULT_RETRY_STATUS_CODES: frozenset[int] = frozenset({429, 500, 502, 503, 504})
 
+# 超时的**唯一真源**：随包配置模板、适配器 dataclass、各适配器 download() 的签名默认值、
+# Web 的可编辑字段默认值，全部指向这两个常量。此前它们各写各的（settings 里 300、
+# download() 签名里 60、页面预填 30），"默认超时是多少"这个问题有三个不同的答案。
+#
+# 连接段是从总预算里**先**划走的（见 curl_cffi_adapter._timeout_pair），所以两者不是
+# 并列关系：连接给得越多，留给收数据的越少。20 / 60 这组值是按"走隧道代理"定的——
+# 建连要等代理再去拨目标站，比直连慢得多。
+DEFAULT_CONNECT_TIMEOUT = 20.0
+
+DEFAULT_DOWNLOAD_TIMEOUT = 60.0
+
+# 流式下载单独一份、且大得多的预算：整段响应体要在这一个预算里收完，而流式用的正是
+# "文件大、收得久"的场景。和普通请求共用 60 秒的话，默认配置下大文件必然中途断，
+# 错误信息还只会说"超时"——看不出预算是按普通请求给的。
+DEFAULT_STREAM_TIMEOUT = 300.0
+
 HARD_MAX_BACKOFF = 300.0
 
 HARD_MAX_RETRIES = 20
@@ -18,8 +34,9 @@ HARD_MAX_RETRIES = 20
 class AdapterSettings:
     """适配器创建时固定的连接池与重试默认值。"""
 
-    connect_timeout: float = 10.0
-    download_timeout: float = 300.0
+    connect_timeout: float = DEFAULT_CONNECT_TIMEOUT
+    download_timeout: float = DEFAULT_DOWNLOAD_TIMEOUT
+    stream_timeout: float = DEFAULT_STREAM_TIMEOUT
 
     max_attempts: int = 3
     backoff_exponent: float = 2.0
@@ -50,6 +67,7 @@ class AdapterSettings:
         return cls(
             connect_timeout=as_positive_float(config.get("connect_timeout"), defaults.connect_timeout),
             download_timeout=as_positive_float(config.get("download_timeout"), defaults.download_timeout),
+            stream_timeout=as_positive_float(config.get("stream_timeout"), defaults.stream_timeout),
             max_attempts=as_int(retry.get("max_attempts"), defaults.max_attempts, minimum=0, maximum=HARD_MAX_RETRIES),
             backoff_exponent=as_positive_float(retry.get("backoff_exponent"), defaults.backoff_exponent),
             initial_backoff=as_positive_float(retry.get("initial_backoff"), defaults.initial_backoff),

{ipclick-2.0.0 → ipclick-2.1.0}/src/ipclick/cli/main.py

@@ -164,7 +164,18 @@ def init(force: bool, target_dir: Path, port: int | None) -> None:
         env_path.chmod(0o600)
     with os.fdopen(os.open(env_path, os.O_WRONLY | os.O_CREAT | os.O_TRUNC, 0o600), "w", encoding="utf-8") as f:
         _ = f.write(env_text)
-    click.echo(f"已生成 {env_path}（权限 600，已预填随机 Web 密码）")
+    # 上面那个 0o600 只在 POSIX 上真的生效：Windows 的 os.open 把 mode 当成"是否置只读位"，
+    # ACL 一动没动。照着 POSIX 报"权限 600"，等于跟 Windows 用户说这份密钥文件已经受保护
+    # 了——它没有，而 dotenv 那边的宽权限告警也只在 POSIX 上跑，不会有人来纠正这句话。
+    if os.name == "posix":
+        click.echo(f"已生成 {env_path}（权限 600，已预填随机 Web 密码）")
+    else:
+        click.echo(f"已生成 {env_path}（已预填随机 Web 密码）")
+        click.echo(
+            f"注意：Windows 上没有收紧 {env_path.name} 的权限（600 是 POSIX 的说法）——"
+            "里面是密钥，请自行确认本机其他账户读不到。",
+            err=True,
+        )
 
     gitignore = target_dir / ".gitignore"
     if gitignore.exists():

{ipclick-2.0.0 → ipclick-2.1.0}/src/ipclick/cluster/probe.py

@@ -177,7 +177,7 @@ def _from_rpc_error(node: Node, error: grpc.RpcError, started: float) -> ProbeRe
             reachable=True,
             authenticated=True,
             elapsed_ms=_ms(started),
-            detail="连得上、鉴权也通过，但对方版本低于 0.4（没有 Ping 接口），拿不到它的详细信息",
+            detail="连得上、鉴权也通过，但对方没有 Ping 接口（版本太旧），拿不到它的详细信息",
         )
 
     name = getattr(code, "name", str(code))

ipclick-2.1.0/src/ipclick/config_loader/env_writer.py

@@ -0,0 +1,143 @@
+"""就地更新 ``.env`` 里的机密项，保留注释和其余全部内容。
+
+和 ``writer.py`` 写 TOML 是同一套思路：只换目标那一行，不重排、不丢注释。差别在于
+``.env`` 里全是机密，所以**不留 ``.bak``**——一份 644 的备份会把刚收紧的 600 白费掉。
+"""
+
+from __future__ import annotations
+
+import contextlib
+import os
+from pathlib import Path
+import stat
+import tempfile
+
+from ipclick.exceptions import ConfigError
+from ipclick.utils.log_util import log
+
+
+# 需要引号的字符：空白会被 dotenv 当值的一部分留下但容易看错，'#' 会被当行尾注释，
+# 引号和反斜杠则会被它的转义解析改写。落到这些情况就整段用双引号包起来。
+_NEEDS_QUOTES = set(" \t\"'\\#")
+
+
+def format_env_value(value: str) -> str:
+    """把值编码成 dotenv 解析器能原样读回来的形式。"""
+    if not value:
+        return ""
+    if not any(char in _NEEDS_QUOTES for char in value) and value == value.strip():
+        return value
+    escaped = value.replace("\\", "\\\\").replace('"', '\\"')
+    escaped = escaped.replace("\n", "\\n").replace("\r", "\\r").replace("\t", "\\t")
+    return f'"{escaped}"'
+
+
+def _key_of(line: str) -> str:
+    """取出一行 dotenv 赋值语句的键名；不是赋值行时返回空串。"""
+    text = line.strip()
+    if not text or text.startswith("#"):
+        return ""
+    if text.startswith("export "):
+        text = text[len("export ") :].lstrip()
+    key, sep, _ = text.partition("=")
+    return key.strip() if sep else ""
+
+
+def set_env_values(text: str, values: dict[str, str]) -> tuple[str, list[str]]:
+    """定点更新 dotenv 文本，返回新文本和实际改动的键。
+
+    值相同就不算改动——Web 端每次保存都会把整组机密传进来，不筛一遍的话
+    「已更新 0 项」会变成「已更新 6 项」，提示就没意义了。
+    """
+    lines = text.splitlines()
+    changed: list[str] = []
+    remaining = dict(values)
+
+    for index, line in enumerate(lines):
+        key = _key_of(line)
+        if key not in remaining:
+            continue
+        new_line = f"{key}={format_env_value(remaining.pop(key))}"
+        if lines[index] != new_line:
+            lines[index] = new_line
+            changed.append(key)
+
+    for key, value in remaining.items():
+        if not value:
+            # 文件里本来没有这一项，要设的又是空值——那就是"保持不设置"，别追加一行噪音。
+            continue
+        if lines and lines[-1].strip():
+            lines.append("")
+        lines.append(f"{key}={format_env_value(value)}")
+        changed.append(key)
+
+    return "\n".join(lines) + "\n", changed
+
+
+def save_env(path: Path, text: str) -> None:
+    """原子写入 ``.env``，新建时用 600 权限。"""
+    path = Path(path)
+    temp: Path | None = None
+    fd: int | None = None
+    try:
+        # 已存在就沿用它现有的权限（用户可能自己放宽过，别悄悄改）；新建一律 600。
+        mode = stat.S_IMODE(path.stat().st_mode) if path.exists() else 0o600
+        fd, temp_name = tempfile.mkstemp(prefix=f".{path.name}.", suffix=".tmp", dir=path.parent)
+        temp = Path(temp_name)
+        if hasattr(os, "fchmod"):
+            os.fchmod(fd, mode)
+        with os.fdopen(fd, "w", encoding="utf-8") as f:
+            fd = None
+            _ = f.write(text)
+            f.flush()
+            os.fsync(f.fileno())
+        os.replace(temp, path)
+        temp = None
+    except OSError as e:
+        raise ConfigError(f"写入 {path} 失败：{e}") from e
+    finally:
+        if fd is not None:
+            with contextlib.suppress(OSError):
+                os.close(fd)
+        if temp is not None:
+            with contextlib.suppress(OSError):
+                temp.unlink()
+
+    log.info(f"机密已写回 {path}")
+
+
+def env_target_path() -> Path:
+    """选出该写哪个 ``.env``——必须是加载器回头会去读的那一个。
+
+    加载器只在**当前工作目录**找 ``.env``（不向上递归），所以写到别处等于写进黑洞。
+    """
+    from ipclick.config_loader.dotenv import DEFAULT_ENV_FILENAME, find_env_file
+
+    return find_env_file() or Path.cwd() / DEFAULT_ENV_FILENAME
+
+
+def update_env_file(values: dict[str, str], path: Path | None = None) -> tuple[Path, list[str]]:
+    """把机密写进 ``.env``；文件不存在时先落一份带注释的模板。"""
+    target = Path(path) if path is not None else env_target_path()
+    if target.exists():
+        # utf-8-sig：记事本 / Set-Content 存出来的 .env 带 BOM，跟 dotenv 读取端保持一致。
+        text = target.read_text(encoding="utf-8-sig")
+    else:
+        from ipclick.config_loader.loader import example_env
+
+        text = example_env()
+        log.info(f"{target} 不存在，将以机密模板为基础创建")
+
+    new_text, changed = set_env_values(text, values)
+    if changed or not target.exists():
+        save_env(target, new_text)
+    return target, changed
+
+
+__all__ = [
+    "env_target_path",
+    "format_env_value",
+    "save_env",
+    "set_env_values",
+    "update_env_file",
+]

{ipclick-2.0.0 → ipclick-2.1.0}/src/ipclick/configs/default_config.toml

@@ -152,7 +152,7 @@ port = 9528
 # 最大线程数（每个进行中的请求占用一个线程）
 max_workers = 100
 
-# 工作进程数。1 = 单进程（默认，与旧行为一致），0 = 按 CPU 核数自动（上限 8）。
+# 工作进程数。1 = 单进程（默认），0 = 按 CPU 核数自动（上限 8）。
 #
 # 为什么需要它：服务端是一请求一线程的 CPython 进程，**GIL 才是吞吐天花板**。
 # 实测 16 核机器上单进程只能用出 1.45 个核，`max_workers` 从 32 调到 256 对
@@ -198,14 +198,14 @@ max_concurrent_streams = 0
 #   1. 自定义适配器只实现了同步 download()，异步模式下它们被丢进线程池跑——
 #      功能一致，但一请求一线程变成线程池复用线程，谁用了 threading.local
 #      做缓存行为就变了，而且是静默的。
-#   2. 多进程本身已经换过一次并发模型。两套并发模型同时翻默认值，出了问题
+#   2. 多进程本身就是一层并发模型。两套并发模型同时翻默认值，出了问题
 #      分不清是哪一个引起的。
 #
 # 想吃满多核仍然要靠上面的 processes：协程解决并发模型，多进程解决多核，
 # 两者叠加才是终态。
 async_mode = false
 
-# 响应压缩：gzip（默认，与旧行为一致）/ deflate / none。
+# 响应压缩：gzip（默认）/ deflate / none。
 # 本项目最常见的负载是几百字节到几 KB 的 JSON，压它省下的带宽不值那点 CPU；
 # 同机或内网部署里带宽根本不是瓶颈。但抓整页 HTML、下载文件时它确实有用，
 # 所以不是"该关掉"而是"该能选"。
@@ -260,10 +260,16 @@ server_name_override = ""
 # 这些是"请求未显式传参时"的默认值。单次请求传的 timeout / max_retries /
 # retry_backoff 优先级更高。
 [DOWNLOADER]
-# 连接超时（秒）
-connect_timeout = 10
-# 下载超时（秒）
-download_timeout = 300
+# 一次请求的总预算（秒），建连也算在里面。
+download_timeout = 60
+# 总预算里先划给建连的上限（秒），剩下的归收数据。
+# 所以这两项不是并列的：连接给得越多，留给收数据的越少。
+# 20 是按"走隧道代理"定的——建连要等代理再去拨目标站，比直连慢得多。
+# 直连为主、又要下大文件的话，把 download_timeout 调大，别动这一项。
+connect_timeout = 20
+# 流式下载（stream=true）的总预算（秒）。整段响应体要在这一个预算里收完，
+# 而流式用的正是"文件大、收得久"的场景，所以它单独一份、比上面大得多。
+stream_timeout = 300
 # 流式下载时每次吐出多少字节。
 chunk_size = 65536
 # 是否读取环境变量里的代理设置（HTTP_PROXY / ALL_PROXY）。

{ipclick-2.0.0 → ipclick-2.1.0}/src/ipclick/dto/models.py

@@ -94,11 +94,18 @@ class ProxyConfig:
         if not self.host and not self.tunnel_server:
             return None
 
-        auth = (
-            f"{quote(str(self.auth_key), safe='')}:{quote(str(self.auth_password or ''), safe='')}"
-            if self.auth_key
-            else ""
-        )
+        auth_key = str(self.auth_key or "").strip()
+        auth_password = str(self.auth_password or "")
+        # 只填密码不填账号，原先是**静默**丢掉整个凭据段：拼出一个不带鉴权的代理 URL，
+        # 请求照发、被隧道商拒掉（多半 407），而报错和"我明明填了密码"毫无关系。
+        # 缺一半的凭据只可能是配错了，当场说清楚比让人对着 407 排查半天强。
+        if auth_password and not auth_key:
+            raise ValidationError(
+                "配了代理密码却没配代理账号：IPCLICK_PROXY_AUTH_PASSWORD 有值，"
+                "IPCLICK_PROXY_AUTH_KEY 是空的。代理鉴权要两个一起给——"
+                "补上账号，或者把密码也清掉（那就是不带鉴权的代理）"
+            )
+        auth = f"{quote(auth_key, safe='')}:{quote(auth_password, safe='')}" if auth_key else ""
         channel_name = f":C{quote(str(self.channel_name), safe='')}" if self.channel_name else ""
         session_ttl = f":T{quote(str(self.session_ttl), safe='')}" if self.session_ttl else ""
         country_code = f":A{quote(str(self.country_code), safe='')}" if self.country_code else ""

{ipclick-2.0.0 → ipclick-2.1.0}/src/ipclick/dto/proto/task.proto

@@ -16,7 +16,7 @@ enum AdapterType {
   // 维护两套等价的 HTTP 适配器不划算。
   HTTPX = 1 [deprecated = true];
   // 已移除：requests 适配器被 niquests 取代（后者 API 相同且支持 HTTP/2、HTTP/3）。
-  // 编号保留不复用——0.2.3 已发布，旧客户端仍可能发来这个值。
+  // 编号保留不复用——这个值已经发布出去过，旧客户端仍可能发来。
   REQUESTS = 2 [deprecated = true];
   DRISSIONPAGE = 3;
   UC = 4; // undetected-chromedriver（未实现）
@@ -254,11 +254,11 @@ service TaskService {
   rpc SendBatch(stream ReqTask) returns (stream TaskResp) {}
 
   // 节点探测：验连通性与集群内部鉴权，不做任何业务动作。
-  // 0.4 新增——对着 0.3 的节点调会收到 UNIMPLEMENTED，调用方据此判断"连上了、
+  // 对着没有这个接口的旧节点调会收到 UNIMPLEMENTED，调用方据此判断"连上了、
   // 鉴权也过了，只是那台还没升级"。
   rpc Ping(PingReq) returns (PingResp) {}
 
-  // 远程管理可选组件。0.5 新增，**默认关闭**（见 ComponentReq 的说明）。
-  // 对着 0.4 及更早的节点调会收到 UNIMPLEMENTED，主控据此提示"那台还没升级"。
+  // 远程管理可选组件，**默认关闭**（见 ComponentReq 的说明）。对着没有这个
+  // 接口的旧节点调会收到 UNIMPLEMENTED，主控据此提示"那台还没升级"。
   rpc Component(ComponentReq) returns (ComponentResp) {}
 }

{ipclick-2.0.0 → ipclick-2.1.0}/src/ipclick/dto/proto/task_pb2_grpc.py

@@ -97,7 +97,7 @@ class TaskServiceServicer:
 
     def Ping(self, request, context):
         """节点探测：验连通性与集群内部鉴权，不做任何业务动作。
-        0.4 新增——对着 0.3 的节点调会收到 UNIMPLEMENTED，调用方据此判断"连上了、
+        对着没有这个接口的旧节点调会收到 UNIMPLEMENTED，调用方据此判断"连上了、
         鉴权也过了，只是那台还没升级"。
         """
         context.set_code(grpc.StatusCode.UNIMPLEMENTED)
@@ -105,8 +105,8 @@ class TaskServiceServicer:
         raise NotImplementedError('Method not implemented!')
 
     def Component(self, request, context):
-        """远程管理可选组件。0.5 新增，**默认关闭**（见 ComponentReq 的说明）。
-        对着 0.4 及更早的节点调会收到 UNIMPLEMENTED，主控据此提示"那台还没升级"。
+        """远程管理可选组件，**默认关闭**（见 ComponentReq 的说明）。对着没有这个
+        接口的旧节点调会收到 UNIMPLEMENTED，主控据此提示"那台还没升级"。
         """
         context.set_code(grpc.StatusCode.UNIMPLEMENTED)
         context.set_details('Method not implemented!')

{ipclick-2.0.0 → ipclick-2.1.0}/src/ipclick/limiter.py

@@ -287,8 +287,8 @@ def build_limiter(downloader_config: dict[str, Any] | None) -> HostLimiter:
     backend = str(rate.get("backend") or "memory").strip().lower()
     if backend not in ("", "memory", "local"):
         raise ConfigError(
-            f"未知的限流后端 {backend!r}。0.3 起只支持 memory——"
-            f"集群限流由入口节点统一计算，不再需要 Redis。请删掉 [DOWNLOADER.rate_limit].backend"
+            f"未知的限流后端 {backend!r}。只支持 memory——"
+            f"集群限流由入口节点统一计算，不需要 Redis。请删掉 [DOWNLOADER.rate_limit].backend"
         )
     return HostLimiter(LimiterSettings.from_config(config))
 

{ipclick-2.0.0 → ipclick-2.1.0}/src/ipclick/services/task_service.py

@@ -282,8 +282,12 @@ class TaskService(task_pb2_grpc.TaskServiceServicer):
             return [(k, v) for k, v in value]
         return value
 
-    def _build_download_kwargs(self, request: task_pb2.ReqTask) -> dict[str, Any]:
-        """将 protobuf 可选字段转换为适配器调用参数。"""
+    def _build_download_kwargs(self, request: task_pb2.ReqTask, *, stream: bool = False) -> dict[str, Any]:
+        """将 protobuf 可选字段转换为适配器调用参数。
+
+        ``stream`` 只影响"调用方没给超时"时兜的那个默认值：流式要在一个预算里收完
+        整段响应体，和普通请求共用同一份的话，默认配置下大文件必然中途断。
+        """
         method = METHOD_MAP.get(request.method, "GET")
 
         if request.HasField("max_retries") and not 0 <= request.max_retries <= HARD_MAX_RETRIES:
@@ -297,6 +301,8 @@ class TaskService(task_pb2_grpc.TaskServiceServicer):
 
         headers = dict(request.headers) if request.headers else None
         cookies = dict(request.cookies) if request.cookies else None
+        settings = self.adapter_settings
+        default_timeout = settings.stream_timeout if stream else settings.download_timeout
 
         # 查询参数**不过** json_hook：它会把形似 ISO 的字符串还原成 datetime，
         # 而这些值最终要被 str() 拼进 URL。于是 params={"start": "2024-01-01"} 发出去
@@ -321,11 +327,7 @@ class TaskService(task_pb2_grpc.TaskServiceServicer):
             "data": data,
             "json": json_data,
             "proxy": request.proxy or None,
-            "timeout": (
-                request.timeout_seconds
-                if request.HasField("timeout_seconds")
-                else self.adapter_settings.download_timeout
-            ),
+            "timeout": (request.timeout_seconds if request.HasField("timeout_seconds") else default_timeout),
             "max_retries": (
                 request.max_retries if request.HasField("max_retries") else self.adapter_settings.max_attempts
             ),
@@ -346,8 +348,11 @@ class TaskService(task_pb2_grpc.TaskServiceServicer):
             "kwargs": request.kwargs or None,
         }
 
+        # 兜底两处：字段没带（上面）和带了个 0/负数（这里）。当初只有下面这一处按流式
+        # 分支，结果"字段没带"那条路照旧拿普通请求的预算——一个只在默认路径上出现、
+        # 而单测正好覆盖不到的差异。
         if not download_kwargs["timeout"] or download_kwargs["timeout"] <= 0:
-            download_kwargs["timeout"] = self.adapter_settings.download_timeout
+            download_kwargs["timeout"] = default_timeout
 
         return download_kwargs
 
@@ -490,7 +495,7 @@ class TaskService(task_pb2_grpc.TaskServiceServicer):
         真流式适配器若将来加上 ``@retry()``，就必须在那一层自己判断"已经吐过字节了
         就不能重投"，而不是靠这里抹参数——那样做只会让调用方的参数看起来生效实际不生效。
         """
-        download_kwargs = self._build_download_kwargs(request)
+        download_kwargs = self._build_download_kwargs(request, stream=True)
         return self._caller_aware_stream(
             context,
             self._limited_stream(