wechat-article-parser 0.0.11__tar.gz → 0.0.13__tar.gz

{wechat_article_parser-0.0.11 → wechat_article_parser-0.0.13}/.gitignore

@@ -19,9 +19,10 @@ venv/
 # pytest
 .pytest_cache/
 
-# Claude Code
+# Local agent configuration
 .claude/
 CLAUDE.md
+AGENTS.md
 
 # OS
 .DS_Store

{wechat_article_parser-0.0.11 → wechat_article_parser-0.0.13}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.5
 Name: wechat-article-parser
-Version: 0.0.11
+Version: 0.0.13
 Summary: WeChat MP article parser - extract metadata and content from WeChat public account articles
 License-Expression: MIT
 License-File: LICENSE
@@ -31,6 +31,9 @@ Description-Content-Type: text/markdown
 `8` 对应图片轮播、`10` 对应文字消息，再通过 HTML 或脚本数据区分具体模板。
 类型字段缺失、值未知或对应分支未提取到正文时，会按原有 HTML 特征匹配顺序兜底。
 
+Markdown 转换前会展开无格式作用的 `span`，合并嵌套的重复加粗、斜体和删除线标签，
+避免编辑器产生的数百层冗余行内标签导致递归超限，并保留文字、链接、图片和段落顺序。
+
 图文正文仅包含视频号视频卡片或微信视频 iframe 时，Markdown 返回“这是一篇纯视频内容。”。
 正文只有付费预览占位标签时，Markdown 返回“这是一篇付费内容，正文需付费后查看。”，
 并保留公开元数据；已有的可见预览正文仍正常提取。
@@ -38,6 +41,10 @@ Description-Content-Type: text/markdown
 名称或简介缺失时，仅输出已有字段。
 图文正文仅包含商品广告卡片（`mp-common-cpsad`）时，Markdown 返回“这是一篇商品推荐内容。”；
 已有的文字和图片仍正常提取。关键元数据完整时占位结果也有效，不表示已获取商品详情。
+小程序卡片（`mp-common-miniprogram`）按原文顺序转换为加粗标题、`小程序：名称`及
+“请在微信中打开小程序查看内容。”，标题或名称缺失时省略对应段落。
+小程序卡片的封面和头像不输出到 Markdown，也不加入 `images`；不生成小程序内部路径链接。
+关键元数据完整时卡片结果也有效，不表示已获取小程序内的文档或其他内容。
 
 ## 安装
 

{wechat_article_parser-0.0.11 → wechat_article_parser-0.0.13}/README.md

@@ -16,6 +16,9 @@
 `8` 对应图片轮播、`10` 对应文字消息，再通过 HTML 或脚本数据区分具体模板。
 类型字段缺失、值未知或对应分支未提取到正文时，会按原有 HTML 特征匹配顺序兜底。
 
+Markdown 转换前会展开无格式作用的 `span`，合并嵌套的重复加粗、斜体和删除线标签，
+避免编辑器产生的数百层冗余行内标签导致递归超限，并保留文字、链接、图片和段落顺序。
+
 图文正文仅包含视频号视频卡片或微信视频 iframe 时，Markdown 返回“这是一篇纯视频内容。”。
 正文只有付费预览占位标签时，Markdown 返回“这是一篇付费内容，正文需付费后查看。”，
 并保留公开元数据；已有的可见预览正文仍正常提取。
@@ -23,6 +26,10 @@
 名称或简介缺失时，仅输出已有字段。
 图文正文仅包含商品广告卡片（`mp-common-cpsad`）时，Markdown 返回“这是一篇商品推荐内容。”；
 已有的文字和图片仍正常提取。关键元数据完整时占位结果也有效，不表示已获取商品详情。
+小程序卡片（`mp-common-miniprogram`）按原文顺序转换为加粗标题、`小程序：名称`及
+“请在微信中打开小程序查看内容。”，标题或名称缺失时省略对应段落。
+小程序卡片的封面和头像不输出到 Markdown，也不加入 `images`；不生成小程序内部路径链接。
+关键元数据完整时卡片结果也有效，不表示已获取小程序内的文档或其他内容。
 
 ## 安装
 

{wechat_article_parser-0.0.11 → wechat_article_parser-0.0.13}/pyproject.toml

@@ -4,7 +4,7 @@ build-backend = "hatchling.build"
 
 [project]
 name = "wechat-article-parser"
-version = "0.0.11"
+version = "0.0.13"
 description = "WeChat MP article parser - extract metadata and content from WeChat public account articles"
 readme = "README.md"
 requires-python = ">=3.10"

{wechat_article_parser-0.0.11 → wechat_article_parser-0.0.13}/src/wechat_article_parser/parser.py

@@ -53,8 +53,36 @@ class _MarkdownConverter(MarkdownConverter):
         return super().convert_th(el, text.replace("|", r"\|"), parent_tags)
 
 
+def _prepare_markdown_soup(html: str) -> BeautifulSoup:
+    """展开编辑器产生的冗余行内标签，避免 Markdown 转换时递归超限。"""
+    soup = BeautifulSoup(html, "html.parser")
+    styles = {
+        "strong": "bold", "b": "bold",
+        "em": "italic", "i": "italic",
+        "s": "strike", "del": "strike",
+    }
+    # 显式栈遍历，清理过程本身也不依赖 Python 的递归深度。
+    stack = [(soup, frozenset())]
+    to_unwrap = []
+    while stack:
+        node, active_styles = stack.pop()
+        style = styles.get(node.name)
+        if node.name == "span" or (style and style in active_styles):
+            to_unwrap.append(node)
+        if style:
+            active_styles = active_styles | {style}
+        stack.extend(
+            (child, active_styles) for child in node.children if isinstance(child, Tag)
+        )
+
+    # 先处理内层，保留标签中的文字、链接、图片和它们的原始顺序。
+    for node in reversed(to_unwrap):
+        node.unwrap()
+    return soup
+
+
 def _to_markdown(html: str) -> str:
-    return _MarkdownConverter().convert(html)
+    return _MarkdownConverter().convert_soup(_prepare_markdown_soup(html))
 
 
 def _to_markdown_plain(html: str) -> str:
@@ -62,7 +90,7 @@ def _to_markdown_plain(html: str) -> str:
 
     这些内容由 <br> 承载换行，使用基础转换器保留换行。
     """
-    return MarkdownConverter().convert(html)
+    return MarkdownConverter().convert_soup(_prepare_markdown_soup(html))
 
 
 # ---------------------------------------------------------------------------
@@ -462,6 +490,26 @@ def _extract_rich_media_content(content_tag: Tag, result: ArticleResult) -> None
             paragraph.append(signature)
         profile.replace_with(paragraph)
 
+    # 小程序卡片只保留公开文字和查看提示，不收集封面、头像或内部路径。
+    for card in soup.find_all("mp-common-miniprogram"):
+        title = card.get("data-miniprogram-title", "").strip()
+        nickname = card.get("data-miniprogram-nickname", "").strip()
+        paragraphs = []
+        if title:
+            paragraph = soup.new_tag("p")
+            heading = soup.new_tag("strong")
+            heading.string = title
+            paragraph.append(heading)
+            paragraphs.append(paragraph)
+        if nickname:
+            paragraph = soup.new_tag("p")
+            paragraph.string = f"小程序：{nickname}"
+            paragraphs.append(paragraph)
+        notice = soup.new_tag("p")
+        notice.string = "请在微信中打开小程序查看内容。"
+        paragraphs.append(notice)
+        card.replace_with(*paragraphs)
+
     # 处理 <img> 标签
     to_remove = []
     for img in soup.find_all("img"):

{wechat_article_parser-0.0.11 → wechat_article_parser-0.0.13}/tests/test_markdown.py

@@ -1,8 +1,10 @@
 """富文本 Markdown 转换的离线回归测试。"""
 
+import sys
+
 import pytest
 
-from wechat_article_parser.parser import _parse_html
+from wechat_article_parser.parser import _parse_html, _to_markdown_plain
 
 
 def _convert(body: str) -> str:
@@ -83,3 +85,48 @@ def test_literal_asterisks_in_source_stay_literal_and_inline() -> None:
         '<sup><span>[1]</span></sup><span>**：Nous Research 的自主 AI Agent</span>'
         '</section></li></ul>'
     ) == r'* \*\*Hermes[1]\*\*：Nous Research 的自主 AI Agent'
+
+
+@pytest.mark.parametrize("convert", [_convert, _to_markdown_plain])
+def test_deep_editor_wrappers_preserve_content_and_formatting(convert) -> None:
+    recursion_limit = sys.getrecursionlimit()
+    # 模拟真实文章反复粘贴产生的 span/strong 嵌套，超过默认递归上限。
+    body = (
+        '<p>前文</p><p>' + '<span><strong>' * 600
+        + '加粗 <em>斜体</em> <a href="https://example.com">链接</a>'
+        + '<br><img src="https://example.com/image.png" alt="图片">'
+        + '</strong></span>' * 600 + '</p><p>后文</p>'
+    )
+    expected = convert(
+        '<p>前文</p><p><strong>加粗 <em>斜体</em> '
+        '<a href="https://example.com">链接</a><br>'
+        '<img src="https://example.com/image.png" alt="图片">'
+        '</strong></p><p>后文</p>'
+    )
+    assert convert(body) == expected
+    assert sys.getrecursionlimit() == recursion_limit
+
+
+def test_redundant_styles_do_not_leak_into_siblings() -> None:
+    assert _convert(
+        '<p><strong>粗<span><b>体</b></span></strong> 普通 '
+        '<em>斜<span><i>体</i></span></em> '
+        '<s>删<span><del>除</del></span></s></p>'
+        '<p><b>独立加粗</b></p>'
+    ) == '**粗体** 普通 *斜体* ~~删除~~\n\n**独立加粗**'
+
+
+def test_deep_spans_preserve_code_whitespace_and_images() -> None:
+    body = (
+        '<pre><code>' + '<span>' * 1200 + '  a &lt; b<br>    next\n\n  end'
+        + '</span>' * 1200 + '</code></pre>'
+        '<p><span><img data-src="https://example.com/image.png"></span>尾文</p>'
+    )
+    result = _parse_html(
+        'https://mp.weixin.qq.com/s/test',
+        f'<div class="rich_media_content">{body}</div>',
+    )
+    assert result.article_markdown == (
+        '```\n  a < b\n    next\n\n  end\n```\n\n![](https://example.com/image.png)尾文'
+    )
+    assert result.images == ['https://example.com/image.png']

wechat_article_parser-0.0.13/tests/test_miniprogram_content.py

@@ -0,0 +1,108 @@
+"""小程序卡片文字提取、图片排除及混合正文顺序的回归测试。"""
+
+import pytest
+
+from wechat_article_parser import ArticleDisplayType
+from wechat_article_parser.parser import _parse_html
+
+
+_URL = "https://mp.weixin.qq.com/s/qs2YxgdwWDplsmb6H8OS-w"
+_NOTICE = "请在微信中打开小程序查看内容。"
+_METADATA = """
+var item_show_type = "0";
+var biz = "MzIxMjg3NDA0Nw==";
+var mid = "2247487342";
+var idx = "1";
+var sn = "6cda9d4c31fd025a8a9a319f96173d4a";
+window.__allowLoadResFromMp = true;
+var hd_head_img = "https://example.com/publisher-avatar";
+var nickname = htmlDecode("苏瑞膜");
+var oriCreateTime = '1775961027';
+"""
+_CARD = (
+    '<mp-common-miniprogram data-miniprogram-title="苏瑞膜反渗透与纳滤产品手册（2026版）" '
+    'data-miniprogram-nickname="快文档" '
+    'data-miniprogram-imageurl="https://example.com/cover.jpg" '
+    'data-miniprogram-avatar="https://example.com/avatar.jpg" '
+    'data-miniprogram-path="/pages/download/download?fid=13695" '
+    'data-miniprogram-appid="wxc24ac90045c531a4">'
+    '</mp-common-miniprogram>'
+)
+_EXPECTED = f"**苏瑞膜反渗透与纳滤产品手册（2026版）**\n\n小程序：快文档\n\n{_NOTICE}"
+
+
+def _html(body: str, metadata: str = _METADATA) -> str:
+    return (
+        '<meta property="og:title" content="苏瑞膜SURO®反渗透与纳滤膜产品手册(2026)">'
+        f'<div class="rich_media_content">{body}</div>'
+        f'<script type="text/javascript">{metadata}</script>'
+    )
+
+
+@pytest.mark.parametrize("metadata", [_METADATA, ""])
+def test_miniprogram_only_article_extracts_text_and_requires_metadata(metadata: str) -> None:
+    result = _parse_html(_URL, _html(f'<section>{_CARD}</section><p><br></p>', metadata))
+
+    assert result.article_markdown == _EXPECTED
+    assert result.images == []
+    assert result.is_valid is bool(metadata)
+    if metadata:
+        assert result.article_display_type is ArticleDisplayType.ARTICLE
+        assert result.article_item_show_type == 0
+        assert result.mp_name == "苏瑞膜"
+        assert result.article_msg_id == 2247487342
+
+
+def test_mixed_cards_preserve_order_and_exclude_nested_card_images() -> None:
+    rendered_card = _CARD.replace(
+        '</mp-common-miniprogram>',
+        '<img src="https://example.com/cover.jpg"><p>重复卡片文字</p>'
+        '</mp-common-miniprogram>',
+    )
+    result = _parse_html(_URL, _html(
+        '<p>正文开头。</p>' + rendered_card
+        + '<p><img data-src="https://example.com/body.jpg"></p>'
+        + '<mp-common-miniprogram data-miniprogram-title="第二份文档" '
+        'data-miniprogram-nickname="文档助手"></mp-common-miniprogram>'
+        '<p>正文结尾。</p>'
+    ))
+
+    assert result.article_markdown == (
+        f'正文开头。\n\n{_EXPECTED}\n\n![](https://example.com/body.jpg)\n\n'
+        f'**第二份文档**\n\n小程序：文档助手\n\n{_NOTICE}\n\n正文结尾。'
+    )
+    assert result.images == ["https://example.com/body.jpg"]
+
+
+@pytest.mark.parametrize(("attributes", "expected"), [
+    ('data-miniprogram-title="  手册  "', f'**手册**\n\n{_NOTICE}'),
+    ('data-miniprogram-nickname="  快文档  "', f'小程序：快文档\n\n{_NOTICE}'),
+    ('data-miniprogram-title=" " data-miniprogram-nickname=" "', _NOTICE),
+    ('', _NOTICE),
+])
+def test_missing_card_fields_omit_empty_paragraphs(attributes: str, expected: str) -> None:
+    result = _parse_html(_URL, _html(
+        f'<mp-common-miniprogram {attributes}></mp-common-miniprogram>'
+    ))
+
+    assert result.article_markdown == expected
+    assert result.images == []
+
+
+def test_card_attributes_preserve_entities_and_escape_markdown() -> None:
+    result = _parse_html(_URL, _html(
+        '<mp-common-miniprogram data-miniprogram-title="A &amp; B *手册* &lt;tag&gt;" '
+        'data-miniprogram-nickname="文档&amp;助手"></mp-common-miniprogram>'
+    ))
+
+    assert result.article_markdown == (
+        r'**A & B \*手册\* <tag>**' f'\n\n小程序：文档&助手\n\n{_NOTICE}'
+    )
+
+
+def test_card_outside_article_body_is_not_extracted() -> None:
+    result = _parse_html(_URL, _html("") + _CARD)
+
+    assert result.article_markdown == ""
+    assert result.images == []
+    assert not result.is_valid

{wechat_article_parser-0.0.11 → wechat_article_parser-0.0.13}/tests/test_parser.py

@@ -32,6 +32,10 @@ TEST_URLS = [
     "https://mp.weixin.qq.com/s/y4QxlYs7u0X9TdvZatCfIA",
     # 纯商品广告卡片正文。
     "https://mp.weixin.qq.com/s/CBmoIFPJwV4BkidYGp-l1Q",
+    # 纯小程序卡片正文。
+    "https://mp.weixin.qq.com/s/qs2YxgdwWDplsmb6H8OS-w",
+    # 编辑器产生数百层 span/strong 嵌套的富文本正文。
+    "https://mp.weixin.qq.com/s/JfYFarShiNhiUt0cTuI4kA",
 ]