wechat-article-parser 0.0.4__tar.gz → 0.0.6__tar.gz

{wechat_article_parser-0.0.4 → wechat_article_parser-0.0.6}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.4
 Name: wechat-article-parser
-Version: 0.0.4
+Version: 0.0.6
 Summary: WeChat MP article parser - extract metadata and content from WeChat public account articles
 License-Expression: MIT
 License-File: LICENSE
@@ -76,6 +76,7 @@ print(result.article_markdown)
 - `timeout`：请求超时时间，单位秒，默认 15
 - `user_agent`：自定义 User-Agent，不传则使用内置默认值
 - `proxy`：HTTP/HTTPS 代理地址，不传则直连
+- `include_raw_html`：是否在返回结果中带上原始 HTML 网页源代码，默认 `False`
 
 ```python
 result = parse(
@@ -83,6 +84,7 @@ result = parse(
     timeout=30,
     user_agent="MyBot/1.0",
     proxy="http://user:pass@127.0.0.1:7890",
+    include_raw_html=True,
 )
 ```
 
@@ -108,6 +110,7 @@ result = parse(
 | `article_description` | `str` | 文章摘要 |
 | `article_markdown` | `str` | 文章正文的 Markdown 内容 |
 | `article_publish_time` | `int` | 发布时间（Unix 时间戳） |
+| `raw_html` | `str` | 原始 HTML 网页源代码（仅在 `include_raw_html=True` 时填充，否则为空字符串） |
 | `images` | `list[str]` | 文章中提取的所有图片链接 |
 | `is_valid` | `bool` | 关键字段是否全部解析成功（属性） |
 
@@ -206,6 +209,12 @@ pytest tests/test_parser.py::test_fetch_all -s --url "https://mp.weixin.qq.com/s
 pytest tests/test_parser.py::test_fetch_markdown -s --url "https://mp.weixin.qq.com/s/xxxxx"
 ```
 
+### 测试单个链接 - 打印原始 HTML 网页源代码
+
+```bash
+pytest tests/test_parser.py::test_fetch_raw_html -s --url "https://mp.weixin.qq.com/s/xxxxx"
+```
+
 ### 通过 HTTP 代理运行测试
 
 所有测试命令都支持 `--proxy` 参数，传入后所有请求都会经由该代理；不传则直连。常用于 IP 被微信限流时换出口：

{wechat_article_parser-0.0.4 → wechat_article_parser-0.0.6}/README.md

@@ -61,6 +61,7 @@ print(result.article_markdown)
 - `timeout`：请求超时时间，单位秒，默认 15
 - `user_agent`：自定义 User-Agent，不传则使用内置默认值
 - `proxy`：HTTP/HTTPS 代理地址，不传则直连
+- `include_raw_html`：是否在返回结果中带上原始 HTML 网页源代码，默认 `False`
 
 ```python
 result = parse(
@@ -68,6 +69,7 @@ result = parse(
     timeout=30,
     user_agent="MyBot/1.0",
     proxy="http://user:pass@127.0.0.1:7890",
+    include_raw_html=True,
 )
 ```
 
@@ -93,6 +95,7 @@ result = parse(
 | `article_description` | `str` | 文章摘要 |
 | `article_markdown` | `str` | 文章正文的 Markdown 内容 |
 | `article_publish_time` | `int` | 发布时间（Unix 时间戳） |
+| `raw_html` | `str` | 原始 HTML 网页源代码（仅在 `include_raw_html=True` 时填充，否则为空字符串） |
 | `images` | `list[str]` | 文章中提取的所有图片链接 |
 | `is_valid` | `bool` | 关键字段是否全部解析成功（属性） |
 
@@ -191,6 +194,12 @@ pytest tests/test_parser.py::test_fetch_all -s --url "https://mp.weixin.qq.com/s
 pytest tests/test_parser.py::test_fetch_markdown -s --url "https://mp.weixin.qq.com/s/xxxxx"
 ```
 
+### 测试单个链接 - 打印原始 HTML 网页源代码
+
+```bash
+pytest tests/test_parser.py::test_fetch_raw_html -s --url "https://mp.weixin.qq.com/s/xxxxx"
+```
+
 ### 通过 HTTP 代理运行测试
 
 所有测试命令都支持 `--proxy` 参数，传入后所有请求都会经由该代理；不传则直连。常用于 IP 被微信限流时换出口：

{wechat_article_parser-0.0.4 → wechat_article_parser-0.0.6}/pyproject.toml

@@ -4,7 +4,7 @@ build-backend = "hatchling.build"
 
 [project]
 name = "wechat-article-parser"
-version = "0.0.4"
+version = "0.0.6"
 description = "WeChat MP article parser - extract metadata and content from WeChat public account articles"
 readme = "README.md"
 requires-python = ">=3.10"
@@ -26,3 +26,4 @@ packages = ["src/wechat_article_parser"]
 
 [tool.pytest.ini_options]
 asyncio_mode = "auto"
+pythonpath = ["src"]

{wechat_article_parser-0.0.4 → wechat_article_parser-0.0.6}/src/wechat_article_parser/models.py

@@ -46,6 +46,9 @@ class ArticleResult:
     article_markdown: str = ""
     article_publish_time: int = 0
 
+    # 原始 HTML 网页源代码（仅在调用方显式要求时才会填充）
+    raw_html: str = ""
+
     # 文章中提取的图片列表
     images: list[str] = field(default_factory=list)
 

{wechat_article_parser-0.0.4 → wechat_article_parser-0.0.6}/src/wechat_article_parser/parser.py

@@ -38,6 +38,15 @@ def _to_markdown(html: str) -> str:
     return _MarkdownConverter().convert(html)
 
 
+def _to_markdown_plain(html: str) -> str:
+    """用于纯文本类内容（纯文本/转载/视频/轮播/全屏）的转换。
+
+    这些内容由 <br> 承载换行，必须保留；故使用未覆写 convert_p 的基础转换器，
+    避免 _MarkdownConverter 折叠空白时把换行一并吞掉。
+    """
+    return MarkdownConverter().convert(html)
+
+
 # ---------------------------------------------------------------------------
 # 文本解码辅助函数
 # ---------------------------------------------------------------------------
@@ -317,7 +326,7 @@ def _extract_repost_content(content_tag: Tag, result: ArticleResult) -> None:
         if href:
             html_content += f'<p><a href="{href}">查看原文</a></p>'
 
-    result.article_markdown = _to_markdown(html_content)
+    result.article_markdown = _to_markdown_plain(html_content)
 
 
 def _extract_plain_text_content(soup: BeautifulSoup, result: ArticleResult) -> None:
@@ -331,7 +340,7 @@ def _extract_plain_text_content(soup: BeautifulSoup, result: ArticleResult) -> N
             if m:
                 text = _decode_text(m.group(1), preserve_newlines=True)
                 text = unquote(text)
-                result.article_markdown = _to_markdown(f"<p>{text}</p>")
+                result.article_markdown = _to_markdown_plain(f"<p>{text}</p>")
 
 
 def _extract_swiper_content(soup: BeautifulSoup, result: ArticleResult) -> None:
@@ -350,7 +359,7 @@ def _extract_swiper_content(soup: BeautifulSoup, result: ArticleResult) -> None:
             html_parts.append(f"<p>{text}</p>")
 
         if html_parts:
-            result.article_markdown = _to_markdown("".join(html_parts))
+            result.article_markdown = _to_markdown_plain("".join(html_parts))
 
 
 def _extract_fullscreen_content(soup: BeautifulSoup, result: ArticleResult) -> None:
@@ -371,9 +380,10 @@ def _extract_fullscreen_content(soup: BeautifulSoup, result: ArticleResult) -> N
             html_parts.append(f'<img src="{img}" /><br>')
 
         # 从 text_page_info.content_noencode 或 content 中提取文本
+        # 文本可能被 JsDecode('...') 包裹，也可能是裸的单引号字符串，两种都要兼容
         for field in ("content_noencode", "content"):
             m = re.search(
-                rf"{field}:\s*JsDecode\('(.*?)'\)",
+                rf"{field}:\s*(?:JsDecode\(\s*)?'(.*?)'",
                 script.text,
                 re.DOTALL,
             )
@@ -384,7 +394,7 @@ def _extract_fullscreen_content(soup: BeautifulSoup, result: ArticleResult) -> N
                 break
 
         if html_parts:
-            result.article_markdown = _to_markdown("".join(html_parts))
+            result.article_markdown = _to_markdown_plain("".join(html_parts))
         return
 
 
@@ -482,6 +492,7 @@ def parse(
     timeout: int = _TIMEOUT,
     user_agent: str | None = None,
     proxy: str | None = None,
+    include_raw_html: bool = False,
 ) -> ArticleResult:
     """抓取并解析微信公众号文章（同步方式）。
 
@@ -490,6 +501,7 @@ def parse(
         timeout: 请求超时时间（秒）。
         user_agent: 自定义 User-Agent，不传则使用内置默认值。
         proxy: HTTP/HTTPS 代理地址，例如 "http://user:pass@host:port"，不传则直连。
+        include_raw_html: 是否在结果中返回原始 HTML 网页源代码，默认不返回。
 
     Returns:
         包含解析数据的 ArticleResult。
@@ -503,7 +515,10 @@ def parse(
     ) as client:
         response = client.get(url)
         response.raise_for_status()
-        return _parse_html(url, response.text)
+        result = _parse_html(url, response.text)
+        if include_raw_html:
+            result.raw_html = response.text
+        return result
 
 
 async def parse_async(
@@ -512,6 +527,7 @@ async def parse_async(
     timeout: int = _TIMEOUT,
     user_agent: str | None = None,
     proxy: str | None = None,
+    include_raw_html: bool = False,
 ) -> ArticleResult:
     """抓取并解析微信公众号文章（异步方式）。
 
@@ -520,6 +536,7 @@ async def parse_async(
         timeout: 请求超时时间（秒）。
         user_agent: 自定义 User-Agent，不传则使用内置默认值。
         proxy: HTTP/HTTPS 代理地址，例如 "http://user:pass@host:port"，不传则直连。
+        include_raw_html: 是否在结果中返回原始 HTML 网页源代码，默认不返回。
 
     Returns:
         包含解析数据的 ArticleResult。
@@ -533,4 +550,7 @@ async def parse_async(
     ) as client:
         response = await client.get(url)
         response.raise_for_status()
-        return _parse_html(url, response.text)
+        result = _parse_html(url, response.text)
+        if include_raw_html:
+            result.raw_html = response.text
+        return result

{wechat_article_parser-0.0.4 → wechat_article_parser-0.0.6}/tests/test_parser.py

@@ -14,6 +14,7 @@ TEST_URLS = [
     "https://mp.weixin.qq.com/s/sfwGsafriO9sm6PfbQVXhw",
     "https://mp.weixin.qq.com/s/h8E6riExCaH2Znmnprj-WQ",
     "https://mp.weixin.qq.com/s/ySQdtsRlRmAl_skdc5HQ-A",
+    "https://mp.weixin.qq.com/s/MnkArbYQNp3tF29gujMUnQ",
 ]
 
 
@@ -127,3 +128,17 @@ def test_fetch_markdown(url: str, proxy: str | None) -> None:
     """
     result = parse(url, proxy=proxy)
     print(f"\n{result.article_markdown}")
+
+
+def test_fetch_raw_html(url: str, proxy: str | None) -> None:
+    """抓取指定 URL 并打印原始 HTML 网页源代码。
+
+    用法: pytest tests/test_parser.py::test_fetch_raw_html -s --url <URL> [--proxy <PROXY>]
+    """
+    result = parse(url, proxy=proxy, include_raw_html=True)
+    assert result.raw_html, "raw_html should not be empty when include_raw_html=True"
+    print(f"\n{'='*60}")
+    print(f"URL:        {url}")
+    print(f"raw_html长度: {len(result.raw_html)}")
+    print(f"{'='*60}")
+    print(result.raw_html)