wechat-article-parser 0.0.3__tar.gz → 0.0.5__tar.gz

{wechat_article_parser-0.0.3 → wechat_article_parser-0.0.5}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.4
 Name: wechat-article-parser
-Version: 0.0.3
+Version: 0.0.5
 Summary: WeChat MP article parser - extract metadata and content from WeChat public account articles
 License-Expression: MIT
 License-File: LICENSE
@@ -75,12 +75,16 @@ print(result.article_markdown)
 
 - `timeout`：请求超时时间，单位秒，默认 15
 - `user_agent`：自定义 User-Agent，不传则使用内置默认值
+- `proxy`：HTTP/HTTPS 代理地址，不传则直连
+- `include_raw_html`：是否在返回结果中带上原始 HTML 网页源代码，默认 `False`
 
 ```python
 result = parse(
     "https://mp.weixin.qq.com/s/xxxxx",
     timeout=30,
     user_agent="MyBot/1.0",
+    proxy="http://user:pass@127.0.0.1:7890",
+    include_raw_html=True,
 )
 ```
 
@@ -96,6 +100,7 @@ result = parse(
 | `mp_alias` | `str` | 公众号别名 |
 | `mp_image` | `str` | 公众号头像链接 |
 | `mp_description` | `str` | 公众号简介 |
+| `mp_account_type` | `AccountType` | 账号类型：`AccountType.SUBSCRIPTION`（订阅号）/ `AccountType.SERVICE`（服务号）/ `AccountType.UNKNOWN`（未识别） |
 | `article_id` | `str` | 文章 ID |
 | `article_msg_id` | `int` | 文章所在的群发消息 ID |
 | `article_idx` | `int` | 群发图文中的位置（从 1 开始） |
@@ -105,11 +110,33 @@ result = parse(
 | `article_description` | `str` | 文章摘要 |
 | `article_markdown` | `str` | 文章正文的 Markdown 内容 |
 | `article_publish_time` | `int` | 发布时间（Unix 时间戳） |
+| `raw_html` | `str` | 原始 HTML 网页源代码（仅在 `include_raw_html=True` 时填充，否则为空字符串） |
 | `images` | `list[str]` | 文章中提取的所有图片链接 |
 | `is_valid` | `bool` | 关键字段是否全部解析成功（属性） |
 
 `is_valid` 为 `True` 的条件：`mp_id`、`mp_name`、`article_id`、`article_msg_id`、`article_idx`、`article_sn`、`article_title`、`article_markdown`、`article_publish_time` 均不为空/零。
 
+### 判断账号类型
+
+`AccountType` 继承自 `str` 枚举，既支持枚举比较，也支持与中文字符串直接比较：
+
+```python
+from wechat_article_parser import parse, AccountType
+
+result = parse("https://mp.weixin.qq.com/s/xxxxx")
+
+# 推荐：枚举比较（有类型提示与 IDE 补全）
+if result.mp_account_type == AccountType.SERVICE:
+    print("这是服务号")
+
+# 也支持：字符串字面量比较
+if result.mp_account_type == "服务号":
+    print("这是服务号")
+
+# 打印直接输出中文值
+print(f"账号类型: {result.mp_account_type}")  # 账号类型: 订阅号
+```
+
 ## 异常处理
 
 ### WeChatVerifyError
@@ -181,3 +208,23 @@ pytest tests/test_parser.py::test_fetch_all -s --url "https://mp.weixin.qq.com/s
 ```bash
 pytest tests/test_parser.py::test_fetch_markdown -s --url "https://mp.weixin.qq.com/s/xxxxx"
 ```
+
+### 测试单个链接 - 打印原始 HTML 网页源代码
+
+```bash
+pytest tests/test_parser.py::test_fetch_raw_html -s --url "https://mp.weixin.qq.com/s/xxxxx"
+```
+
+### 通过 HTTP 代理运行测试
+
+所有测试命令都支持 `--proxy` 参数，传入后所有请求都会经由该代理；不传则直连。常用于 IP 被微信限流时换出口：
+
+```bash
+# 全量测试走代理
+pytest tests/test_parser.py -v -s --proxy "http://127.0.0.1:7890"
+
+# 测试单个链接走代理
+pytest tests/test_parser.py::test_fetch_all -s \
+  --url "https://mp.weixin.qq.com/s/xxxxx" \
+  --proxy "http://user:pass@127.0.0.1:7890"
+```

{wechat_article_parser-0.0.3 → wechat_article_parser-0.0.5}/README.md

@@ -60,12 +60,16 @@ print(result.article_markdown)
 
 - `timeout`：请求超时时间，单位秒，默认 15
 - `user_agent`：自定义 User-Agent，不传则使用内置默认值
+- `proxy`：HTTP/HTTPS 代理地址，不传则直连
+- `include_raw_html`：是否在返回结果中带上原始 HTML 网页源代码，默认 `False`
 
 ```python
 result = parse(
     "https://mp.weixin.qq.com/s/xxxxx",
     timeout=30,
     user_agent="MyBot/1.0",
+    proxy="http://user:pass@127.0.0.1:7890",
+    include_raw_html=True,
 )
 ```
 
@@ -81,6 +85,7 @@ result = parse(
 | `mp_alias` | `str` | 公众号别名 |
 | `mp_image` | `str` | 公众号头像链接 |
 | `mp_description` | `str` | 公众号简介 |
+| `mp_account_type` | `AccountType` | 账号类型：`AccountType.SUBSCRIPTION`（订阅号）/ `AccountType.SERVICE`（服务号）/ `AccountType.UNKNOWN`（未识别） |
 | `article_id` | `str` | 文章 ID |
 | `article_msg_id` | `int` | 文章所在的群发消息 ID |
 | `article_idx` | `int` | 群发图文中的位置（从 1 开始） |
@@ -90,11 +95,33 @@ result = parse(
 | `article_description` | `str` | 文章摘要 |
 | `article_markdown` | `str` | 文章正文的 Markdown 内容 |
 | `article_publish_time` | `int` | 发布时间（Unix 时间戳） |
+| `raw_html` | `str` | 原始 HTML 网页源代码（仅在 `include_raw_html=True` 时填充，否则为空字符串） |
 | `images` | `list[str]` | 文章中提取的所有图片链接 |
 | `is_valid` | `bool` | 关键字段是否全部解析成功（属性） |
 
 `is_valid` 为 `True` 的条件：`mp_id`、`mp_name`、`article_id`、`article_msg_id`、`article_idx`、`article_sn`、`article_title`、`article_markdown`、`article_publish_time` 均不为空/零。
 
+### 判断账号类型
+
+`AccountType` 继承自 `str` 枚举，既支持枚举比较，也支持与中文字符串直接比较：
+
+```python
+from wechat_article_parser import parse, AccountType
+
+result = parse("https://mp.weixin.qq.com/s/xxxxx")
+
+# 推荐：枚举比较（有类型提示与 IDE 补全）
+if result.mp_account_type == AccountType.SERVICE:
+    print("这是服务号")
+
+# 也支持：字符串字面量比较
+if result.mp_account_type == "服务号":
+    print("这是服务号")
+
+# 打印直接输出中文值
+print(f"账号类型: {result.mp_account_type}")  # 账号类型: 订阅号
+```
+
 ## 异常处理
 
 ### WeChatVerifyError
@@ -166,3 +193,23 @@ pytest tests/test_parser.py::test_fetch_all -s --url "https://mp.weixin.qq.com/s
 ```bash
 pytest tests/test_parser.py::test_fetch_markdown -s --url "https://mp.weixin.qq.com/s/xxxxx"
 ```
+
+### 测试单个链接 - 打印原始 HTML 网页源代码
+
+```bash
+pytest tests/test_parser.py::test_fetch_raw_html -s --url "https://mp.weixin.qq.com/s/xxxxx"
+```
+
+### 通过 HTTP 代理运行测试
+
+所有测试命令都支持 `--proxy` 参数，传入后所有请求都会经由该代理；不传则直连。常用于 IP 被微信限流时换出口：
+
+```bash
+# 全量测试走代理
+pytest tests/test_parser.py -v -s --proxy "http://127.0.0.1:7890"
+
+# 测试单个链接走代理
+pytest tests/test_parser.py::test_fetch_all -s \
+  --url "https://mp.weixin.qq.com/s/xxxxx" \
+  --proxy "http://user:pass@127.0.0.1:7890"
+```

{wechat_article_parser-0.0.3 → wechat_article_parser-0.0.5}/pyproject.toml

@@ -4,7 +4,7 @@ build-backend = "hatchling.build"
 
 [project]
 name = "wechat-article-parser"
-version = "0.0.3"
+version = "0.0.5"
 description = "WeChat MP article parser - extract metadata and content from WeChat public account articles"
 readme = "README.md"
 requires-python = ">=3.10"
@@ -26,3 +26,4 @@ packages = ["src/wechat_article_parser"]
 
 [tool.pytest.ini_options]
 asyncio_mode = "auto"
+pythonpath = ["src"]

{wechat_article_parser-0.0.3 → wechat_article_parser-0.0.5}/src/wechat_article_parser/models.py

@@ -46,6 +46,9 @@ class ArticleResult:
     article_markdown: str = ""
     article_publish_time: int = 0
 
+    # 原始 HTML 网页源代码（仅在调用方显式要求时才会填充）
+    raw_html: str = ""
+
     # 文章中提取的图片列表
     images: list[str] = field(default_factory=list)
 

{wechat_article_parser-0.0.3 → wechat_article_parser-0.0.5}/src/wechat_article_parser/parser.py

@@ -476,30 +476,57 @@ def _parse_html(url: str, html: str) -> ArticleResult:
 # 公开接口
 # ---------------------------------------------------------------------------
 
-def parse(url: str, *, timeout: int = _TIMEOUT, user_agent: str | None = None) -> ArticleResult:
+def parse(
+    url: str,
+    *,
+    timeout: int = _TIMEOUT,
+    user_agent: str | None = None,
+    proxy: str | None = None,
+    include_raw_html: bool = False,
+) -> ArticleResult:
     """抓取并解析微信公众号文章（同步方式）。
 
     Args:
         url: 微信文章链接。
         timeout: 请求超时时间（秒）。
         user_agent: 自定义 User-Agent，不传则使用内置默认值。
+        proxy: HTTP/HTTPS 代理地址，例如 "http://user:pass@host:port"，不传则直连。
+        include_raw_html: 是否在结果中返回原始 HTML 网页源代码，默认不返回。
 
     Returns:
         包含解析数据的 ArticleResult。
     """
     ua = user_agent or _USER_AGENT
-    response = httpx.get(url, headers={"User-Agent": ua}, timeout=timeout, follow_redirects=True)
-    response.raise_for_status()
-    return _parse_html(url, response.text)
+    with httpx.Client(
+        headers={"User-Agent": ua},
+        timeout=timeout,
+        follow_redirects=True,
+        proxy=proxy,
+    ) as client:
+        response = client.get(url)
+        response.raise_for_status()
+        result = _parse_html(url, response.text)
+        if include_raw_html:
+            result.raw_html = response.text
+        return result
 
 
-async def parse_async(url: str, *, timeout: int = _TIMEOUT, user_agent: str | None = None) -> ArticleResult:
+async def parse_async(
+    url: str,
+    *,
+    timeout: int = _TIMEOUT,
+    user_agent: str | None = None,
+    proxy: str | None = None,
+    include_raw_html: bool = False,
+) -> ArticleResult:
     """抓取并解析微信公众号文章（异步方式）。
 
     Args:
         url: 微信文章链接。
         timeout: 请求超时时间（秒）。
         user_agent: 自定义 User-Agent，不传则使用内置默认值。
+        proxy: HTTP/HTTPS 代理地址，例如 "http://user:pass@host:port"，不传则直连。
+        include_raw_html: 是否在结果中返回原始 HTML 网页源代码，默认不返回。
 
     Returns:
         包含解析数据的 ArticleResult。
@@ -509,7 +536,11 @@ async def parse_async(url: str, *, timeout: int = _TIMEOUT, user_agent: str | No
         headers={"User-Agent": ua},
         timeout=timeout,
         follow_redirects=True,
+        proxy=proxy,
     ) as client:
         response = await client.get(url)
         response.raise_for_status()
-        return _parse_html(url, response.text)
+        result = _parse_html(url, response.text)
+        if include_raw_html:
+            result.raw_html = response.text
+        return result

{wechat_article_parser-0.0.3 → wechat_article_parser-0.0.5}/tests/conftest.py

@@ -3,6 +3,7 @@ import pytest
 
 def pytest_addoption(parser):
     parser.addoption("--url", default=None, help="微信公众号文章链接")
+    parser.addoption("--proxy", default=None, help="HTTP 代理地址，例如 http://127.0.0.1:7890")
 
 
 @pytest.fixture
@@ -11,3 +12,8 @@ def url(request):
     if not value:
         pytest.skip("需要通过 --url 参数传入链接")
     return value
+
+
+@pytest.fixture
+def proxy(request):
+    return request.config.getoption("--proxy")

{wechat_article_parser-0.0.3 → wechat_article_parser-0.0.5}/tests/test_parser.py

@@ -18,9 +18,9 @@ TEST_URLS = [
 
 
 @pytest.mark.parametrize("url", TEST_URLS)
-def test_parse_sync(url: str) -> None:
+def test_parse_sync(url: str, proxy: str | None) -> None:
     try:
-        result = parse(url)
+        result = parse(url, proxy=proxy)
     except WeChatVerifyError:
         pytest.skip("WeChat returned verification page (IP rate-limited)")
         return
@@ -29,9 +29,9 @@ def test_parse_sync(url: str) -> None:
 
 @pytest.mark.parametrize("url", TEST_URLS)
 @pytest.mark.asyncio
-async def test_parse_async(url: str) -> None:
+async def test_parse_async(url: str, proxy: str | None) -> None:
     try:
-        result = await parse_async(url)
+        result = await parse_async(url, proxy=proxy)
     except WeChatVerifyError:
         pytest.skip("WeChat returned verification page (IP rate-limited)")
         return
@@ -89,12 +89,12 @@ def _assert_result(result: ArticleResult, url: str) -> None:
     assert result.is_valid
 
 
-def test_fetch_all(url: str) -> None:
+def test_fetch_all(url: str, proxy: str | None) -> None:
     """抓取指定 URL 并打印所有采集到的参数。
 
-    用法: pytest tests/test_parser.py::test_fetch_all -s --url <URL>
+    用法: pytest tests/test_parser.py::test_fetch_all -s --url <URL> [--proxy <PROXY>]
     """
-    result = parse(url)
+    result = parse(url, proxy=proxy)
     print(f"\n{'='*60}")
     print(f"URL:          {url}")
     print(f"公众号ID(B64):{result.mp_id_b64}")
@@ -120,10 +120,24 @@ def test_fetch_all(url: str) -> None:
     print(f"{'='*60}")
 
 
-def test_fetch_markdown(url: str) -> None:
+def test_fetch_markdown(url: str, proxy: str | None) -> None:
     """抓取指定 URL 并只打印 Markdown 内容。
 
-    用法: pytest tests/test_parser.py::test_fetch_markdown -s --url <URL>
+    用法: pytest tests/test_parser.py::test_fetch_markdown -s --url <URL> [--proxy <PROXY>]
     """
-    result = parse(url)
+    result = parse(url, proxy=proxy)
     print(f"\n{result.article_markdown}")
+
+
+def test_fetch_raw_html(url: str, proxy: str | None) -> None:
+    """抓取指定 URL 并打印原始 HTML 网页源代码。
+
+    用法: pytest tests/test_parser.py::test_fetch_raw_html -s --url <URL> [--proxy <PROXY>]
+    """
+    result = parse(url, proxy=proxy, include_raw_html=True)
+    assert result.raw_html, "raw_html should not be empty when include_raw_html=True"
+    print(f"\n{'='*60}")
+    print(f"URL:        {url}")
+    print(f"raw_html长度: {len(result.raw_html)}")
+    print(f"{'='*60}")
+    print(result.raw_html)