wechat-article-parser 0.0.12__tar.gz → 0.0.14__tar.gz

{wechat_article_parser-0.0.12 → wechat_article_parser-0.0.14}/.gitignore

@@ -19,9 +19,10 @@ venv/
 # pytest
 .pytest_cache/
 
-# Claude Code
+# Local agent configuration
 .claude/
 CLAUDE.md
+AGENTS.md
 
 # OS
 .DS_Store

{wechat_article_parser-0.0.12 → wechat_article_parser-0.0.14}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.5
 Name: wechat-article-parser
-Version: 0.0.12
+Version: 0.0.14
 Summary: WeChat MP article parser - extract metadata and content from WeChat public account articles
 License-Expression: MIT
 License-File: LICENSE
@@ -31,9 +31,13 @@ Description-Content-Type: text/markdown
 `8` 对应图片轮播、`10` 对应文字消息，再通过 HTML 或脚本数据区分具体模板。
 类型字段缺失、值未知或对应分支未提取到正文时，会按原有 HTML 特征匹配顺序兜底。
 
+Markdown 转换前会展开无格式作用的 `span`，合并嵌套的重复加粗、斜体和删除线标签，
+避免编辑器产生的数百层冗余行内标签导致递归超限，并保留文字、链接、图片和段落顺序。
+
 图文正文仅包含视频号视频卡片或微信视频 iframe 时，Markdown 返回“这是一篇纯视频内容。”。
 正文只有付费预览占位标签时，Markdown 返回“这是一篇付费内容，正文需付费后查看。”，
 并保留公开元数据；已有的可见预览正文仍正常提取。
+返回字段 `article_is_paid` 独立标记文章是否付费，有可见预览正文时也会识别。
 图文中的公众号推荐卡片按原文顺序转换为 `**公众号名称**：简介`，每张卡片一段；
 名称或简介缺失时，仅输出已有字段。
 图文正文仅包含商品广告卡片（`mp-common-cpsad`）时，Markdown 返回“这是一篇商品推荐内容。”；
@@ -128,6 +132,7 @@ result = parse(
 | `article_description` | `str` | 文章摘要 |
 | `article_markdown` | `str` | 文章正文的 Markdown 内容；视频或音频分享没有文字附言时可为空 |
 | `article_publish_time` | `int` | 发布时间（Unix 时间戳） |
+| `article_is_paid` | `bool` | 是否检测到当前文章的付费标记，默认 `False`；不表示是否已获取付费全文 |
 | `article_display_type` | `ArticleDisplayType` | 文章展示类型：`article`、`video`、`audio`、`image`、`text` 或 `unknown` |
 | `article_item_show_type` | `int \| None` | 微信页面中的原始展示类型：`0` 图文、`5` 视频、`7` 音频、`8` 图片轮播、`10` 文字；其他已提取的数值原样保留，缺失或无法解析时为 `None` |
 | `raw_html` | `str` | 原始 HTML 网页源代码（仅在 `include_raw_html=True` 时填充，否则为空字符串） |
@@ -138,6 +143,18 @@ result = parse(
 
 付费受限页面返回提示且关键元数据完整时，`is_valid` 也为 `True`，这不表示已获取付费正文。
 
+### 判断是否为付费文章
+
+```python
+result = parse("https://mp.weixin.qq.com/s/xxxxx")
+print(result.article_is_paid)  # True：识别为付费文章
+```
+
+`article_is_paid` 根据页面全局或 `window.cgiDataNew` 直接属性中的 `is_pay_subscribe`，
+以及正文中的 `mp-pay-preview-filter` 标签识别；未检测到付费标记时返回 `False`。
+该字段包含在 `dataclasses.asdict(result)` 中，JSON 序列化为布尔值。
+有可见预览或可访问正文的付费文章仍返回 `True`，正文按原有逻辑提取。
+
 ### 判断文章展示类型
 
 `ArticleDisplayType` 是字符串枚举，既支持枚举比较，也支持语义字符串比较：

{wechat_article_parser-0.0.12 → wechat_article_parser-0.0.14}/README.md

@@ -16,9 +16,13 @@
 `8` 对应图片轮播、`10` 对应文字消息，再通过 HTML 或脚本数据区分具体模板。
 类型字段缺失、值未知或对应分支未提取到正文时，会按原有 HTML 特征匹配顺序兜底。
 
+Markdown 转换前会展开无格式作用的 `span`，合并嵌套的重复加粗、斜体和删除线标签，
+避免编辑器产生的数百层冗余行内标签导致递归超限，并保留文字、链接、图片和段落顺序。
+
 图文正文仅包含视频号视频卡片或微信视频 iframe 时，Markdown 返回“这是一篇纯视频内容。”。
 正文只有付费预览占位标签时，Markdown 返回“这是一篇付费内容，正文需付费后查看。”，
 并保留公开元数据；已有的可见预览正文仍正常提取。
+返回字段 `article_is_paid` 独立标记文章是否付费，有可见预览正文时也会识别。
 图文中的公众号推荐卡片按原文顺序转换为 `**公众号名称**：简介`，每张卡片一段；
 名称或简介缺失时，仅输出已有字段。
 图文正文仅包含商品广告卡片（`mp-common-cpsad`）时，Markdown 返回“这是一篇商品推荐内容。”；
@@ -113,6 +117,7 @@ result = parse(
 | `article_description` | `str` | 文章摘要 |
 | `article_markdown` | `str` | 文章正文的 Markdown 内容；视频或音频分享没有文字附言时可为空 |
 | `article_publish_time` | `int` | 发布时间（Unix 时间戳） |
+| `article_is_paid` | `bool` | 是否检测到当前文章的付费标记，默认 `False`；不表示是否已获取付费全文 |
 | `article_display_type` | `ArticleDisplayType` | 文章展示类型：`article`、`video`、`audio`、`image`、`text` 或 `unknown` |
 | `article_item_show_type` | `int \| None` | 微信页面中的原始展示类型：`0` 图文、`5` 视频、`7` 音频、`8` 图片轮播、`10` 文字；其他已提取的数值原样保留，缺失或无法解析时为 `None` |
 | `raw_html` | `str` | 原始 HTML 网页源代码（仅在 `include_raw_html=True` 时填充，否则为空字符串） |
@@ -123,6 +128,18 @@ result = parse(
 
 付费受限页面返回提示且关键元数据完整时，`is_valid` 也为 `True`，这不表示已获取付费正文。
 
+### 判断是否为付费文章
+
+```python
+result = parse("https://mp.weixin.qq.com/s/xxxxx")
+print(result.article_is_paid)  # True：识别为付费文章
+```
+
+`article_is_paid` 根据页面全局或 `window.cgiDataNew` 直接属性中的 `is_pay_subscribe`，
+以及正文中的 `mp-pay-preview-filter` 标签识别；未检测到付费标记时返回 `False`。
+该字段包含在 `dataclasses.asdict(result)` 中，JSON 序列化为布尔值。
+有可见预览或可访问正文的付费文章仍返回 `True`，正文按原有逻辑提取。
+
 ### 判断文章展示类型
 
 `ArticleDisplayType` 是字符串枚举，既支持枚举比较，也支持语义字符串比较：

{wechat_article_parser-0.0.12 → wechat_article_parser-0.0.14}/pyproject.toml

@@ -4,7 +4,7 @@ build-backend = "hatchling.build"
 
 [project]
 name = "wechat-article-parser"
-version = "0.0.12"
+version = "0.0.14"
 description = "WeChat MP article parser - extract metadata and content from WeChat public account articles"
 readme = "README.md"
 requires-python = ">=3.10"

{wechat_article_parser-0.0.12 → wechat_article_parser-0.0.14}/src/wechat_article_parser/models.py

@@ -76,6 +76,9 @@ class ArticleResult:
     # 当前公众号的页面全局 user_name，未提取到时为空字符串。
     mp_user_name: str = ""
 
+    # 页面是否包含当前文章的付费标记；不表示是否已获取付费全文。
+    article_is_paid: bool = False
+
     @property
     def is_valid(self) -> bool:
         """检查关键字段是否解析成功；视频和音频分享允许正文为空。"""

{wechat_article_parser-0.0.12 → wechat_article_parser-0.0.14}/src/wechat_article_parser/parser.py

@@ -53,8 +53,36 @@ class _MarkdownConverter(MarkdownConverter):
         return super().convert_th(el, text.replace("|", r"\|"), parent_tags)
 
 
+def _prepare_markdown_soup(html: str) -> BeautifulSoup:
+    """展开编辑器产生的冗余行内标签，避免 Markdown 转换时递归超限。"""
+    soup = BeautifulSoup(html, "html.parser")
+    styles = {
+        "strong": "bold", "b": "bold",
+        "em": "italic", "i": "italic",
+        "s": "strike", "del": "strike",
+    }
+    # 显式栈遍历，清理过程本身也不依赖 Python 的递归深度。
+    stack = [(soup, frozenset())]
+    to_unwrap = []
+    while stack:
+        node, active_styles = stack.pop()
+        style = styles.get(node.name)
+        if node.name == "span" or (style and style in active_styles):
+            to_unwrap.append(node)
+        if style:
+            active_styles = active_styles | {style}
+        stack.extend(
+            (child, active_styles) for child in node.children if isinstance(child, Tag)
+        )
+
+    # 先处理内层，保留标签中的文字、链接、图片和它们的原始顺序。
+    for node in reversed(to_unwrap):
+        node.unwrap()
+    return soup
+
+
 def _to_markdown(html: str) -> str:
-    return _MarkdownConverter().convert(html)
+    return _MarkdownConverter().convert_soup(_prepare_markdown_soup(html))
 
 
 def _to_markdown_plain(html: str) -> str:
@@ -62,7 +90,7 @@ def _to_markdown_plain(html: str) -> str:
 
     这些内容由 <br> 承载换行，使用基础转换器保留换行。
     """
-    return MarkdownConverter().convert(html)
+    return MarkdownConverter().convert_soup(_prepare_markdown_soup(html))
 
 
 # ---------------------------------------------------------------------------
@@ -244,6 +272,69 @@ def _extract_item_show_type(scripts: list[Tag]) -> int | None:
     return None
 
 
+def _extract_is_paid(soup: BeautifulSoup, scripts: list[Tag]) -> bool:
+    """识别当前文章的付费标记，排除正文外占位符和嵌套推荐文章的数据。"""
+    if soup.select_one(
+        "div.rich_media_content mp-pay-preview-filter, "
+        "div.original_page mp-pay-preview-filter"
+    ) is not None:
+        return True
+
+    for script in scripts:
+        if "is_pay_subscribe" not in script.text:
+            continue
+        tokens = [
+            match.group() for match in _JS_DATA_TOKEN_RE.finditer(script.text)
+            if match.lastgroup != "comment"
+        ]
+        stack: list[str] = []
+        cgi_depth: int | None = None
+        for i, token in enumerate(tokens):
+            if token == "{":
+                if (
+                    tokens[max(0, i - 4):i] == ["window", ".", "cgiDataNew", "="]
+                    and (i < 5 or tokens[i - 5] != ".")
+                ):
+                    cgi_depth = len(stack) + 1
+                stack.append(token)
+            elif token in ("[", "("):
+                stack.append(token)
+            elif token in ("}", "]", ")"):
+                if stack and stack[-1] == {"}": "{", "]": "[", ")": "("}[token]:
+                    if len(stack) == cgi_depth:
+                        cgi_depth = None
+                    stack.pop()
+            if token.strip("\"'") != "is_pay_subscribe":
+                continue
+            is_global = token == "is_pay_subscribe" and (
+                (not stack and i > 0 and tokens[i - 1] in ("var", "let", "const"))
+                or (
+                    tokens[max(0, i - 2):i] == ["window", "."]
+                    and (i < 3 or tokens[i - 3] != ".")
+                )
+            )
+            is_cgi_field = (
+                cgi_depth is not None and len(stack) == cgi_depth
+                and i > 0 and tokens[i - 1] in ("{", ",")
+            )
+            separator = tokens[i + 1:i + 2]
+            if not (
+                (is_global and separator == ["="])
+                or (is_cgi_field and separator == [":"])
+            ):
+                continue
+            # 仅识别页面使用的字面量及乘 1 转数值写法，不执行 JS 表达式。
+            value = tokens[i + 2:i + 3]
+            if value not in (["1"], ["'1'"], ['"1"'], ["true"]):
+                continue
+            end = i + 3
+            if value != ["true"] and tokens[end:end + 2] == ["*", "1"]:
+                end += 2
+            if end == len(tokens) or tokens[end] in (",", ";", "}"):
+                return True
+    return False
+
+
 def _extract_user_name(scripts: list[Tag]) -> str:
     """读取全局 user_name，缺失时读取 window.cgiDataNew 的直接属性。
 
@@ -441,6 +532,8 @@ def _extract_rich_media_content(content_tag: Tag, result: ArticleResult) -> None
     """将 rich_media_content 区块转换为 Markdown。"""
     # prettify 会在行内标签之间插入空白，改变代码和引用链接的内容。
     soup = BeautifulSoup(str(content_tag), "html.parser")
+    if soup.find("mp-pay-preview-filter") is not None:
+        result.article_is_paid = True
     has_video = soup.select_one(
         'mp-common-videosnap[data-type="video"], iframe.video_iframe, iframe.wx_video_iframe'
     ) is not None
@@ -751,7 +844,9 @@ def _parse_html(url: str, html: str) -> ArticleResult:
 
     scripts = soup.find_all("script", attrs={"type": "text/javascript"})
 
-    result.mp_user_name = _extract_user_name(soup.find_all("script"))
+    all_scripts = soup.find_all("script")
+    result.mp_user_name = _extract_user_name(all_scripts)
+    result.article_is_paid = _extract_is_paid(soup, all_scripts)
     item_show_type = _extract_item_show_type(scripts)
     result.article_item_show_type = item_show_type
     result.article_display_type = _ARTICLE_DISPLAY_TYPES.get(

{wechat_article_parser-0.0.12 → wechat_article_parser-0.0.14}/tests/test_markdown.py

@@ -1,8 +1,10 @@
 """富文本 Markdown 转换的离线回归测试。"""
 
+import sys
+
 import pytest
 
-from wechat_article_parser.parser import _parse_html
+from wechat_article_parser.parser import _parse_html, _to_markdown_plain
 
 
 def _convert(body: str) -> str:
@@ -83,3 +85,48 @@ def test_literal_asterisks_in_source_stay_literal_and_inline() -> None:
         '<sup><span>[1]</span></sup><span>**：Nous Research 的自主 AI Agent</span>'
         '</section></li></ul>'
     ) == r'* \*\*Hermes[1]\*\*：Nous Research 的自主 AI Agent'
+
+
+@pytest.mark.parametrize("convert", [_convert, _to_markdown_plain])
+def test_deep_editor_wrappers_preserve_content_and_formatting(convert) -> None:
+    recursion_limit = sys.getrecursionlimit()
+    # 模拟真实文章反复粘贴产生的 span/strong 嵌套，超过默认递归上限。
+    body = (
+        '<p>前文</p><p>' + '<span><strong>' * 600
+        + '加粗 <em>斜体</em> <a href="https://example.com">链接</a>'
+        + '<br><img src="https://example.com/image.png" alt="图片">'
+        + '</strong></span>' * 600 + '</p><p>后文</p>'
+    )
+    expected = convert(
+        '<p>前文</p><p><strong>加粗 <em>斜体</em> '
+        '<a href="https://example.com">链接</a><br>'
+        '<img src="https://example.com/image.png" alt="图片">'
+        '</strong></p><p>后文</p>'
+    )
+    assert convert(body) == expected
+    assert sys.getrecursionlimit() == recursion_limit
+
+
+def test_redundant_styles_do_not_leak_into_siblings() -> None:
+    assert _convert(
+        '<p><strong>粗<span><b>体</b></span></strong> 普通 '
+        '<em>斜<span><i>体</i></span></em> '
+        '<s>删<span><del>除</del></span></s></p>'
+        '<p><b>独立加粗</b></p>'
+    ) == '**粗体** 普通 *斜体* ~~删除~~\n\n**独立加粗**'
+
+
+def test_deep_spans_preserve_code_whitespace_and_images() -> None:
+    body = (
+        '<pre><code>' + '<span>' * 1200 + '  a &lt; b<br>    next\n\n  end'
+        + '</span>' * 1200 + '</code></pre>'
+        '<p><span><img data-src="https://example.com/image.png"></span>尾文</p>'
+    )
+    result = _parse_html(
+        'https://mp.weixin.qq.com/s/test',
+        f'<div class="rich_media_content">{body}</div>',
+    )
+    assert result.article_markdown == (
+        '```\n  a < b\n    next\n\n  end\n```\n\n![](https://example.com/image.png)尾文'
+    )
+    assert result.images == ['https://example.com/image.png']

{wechat_article_parser-0.0.12 → wechat_article_parser-0.0.14}/tests/test_models.py

@@ -91,3 +91,10 @@ def test_default_display_type_is_unknown() -> None:
     assert result.article_display_type is ArticleDisplayType.UNKNOWN
     assert result.article_item_show_type is None
     assert not result.is_valid
+
+
+@pytest.mark.parametrize("is_paid", [False, True])
+def test_paid_field_serializes_as_boolean(is_paid: bool) -> None:
+    result = ArticleResult(article_is_paid=is_paid)
+    assert json.loads(json.dumps(asdict(result)))["article_is_paid"] is is_paid
+    assert ArticleResult().article_is_paid is False

{wechat_article_parser-0.0.12 → wechat_article_parser-0.0.14}/tests/test_paid_content.py

@@ -51,6 +51,7 @@ def test_paid_placeholder_keeps_metadata_and_does_not_use_unrelated_images(
     result = _parse_html(_URL, _html(_FILTER, metadata, data))
 
     assert result.article_markdown == _NOTICE
+    assert result.article_is_paid is True
     assert result.images == []
     assert result.article_display_type is ArticleDisplayType.ARTICLE
     assert result.article_item_show_type == 0
@@ -73,6 +74,7 @@ def test_paid_filter_does_not_replace_visible_preview(body: str) -> None:
     result = _parse_html(_URL, _html(body + _FILTER))
 
     assert result.is_valid
+    assert result.article_is_paid is True
     assert _NOTICE not in result.article_markdown
     if "免费预览" in body:
         assert result.article_markdown == "可见的免费预览正文。"
@@ -86,6 +88,7 @@ def test_paid_filter_takes_priority_over_empty_video_embed() -> None:
     result = _parse_html(_URL, _html(body))
 
     assert result.is_valid
+    assert result.article_is_paid is True
     assert result.article_markdown == _NOTICE
 
 
@@ -93,6 +96,7 @@ def test_paid_marker_outside_article_does_not_fill_empty_body() -> None:
     result = _parse_html(_URL, _html("") + _FILTER)
 
     assert result.article_markdown == ""
+    assert result.article_is_paid is False
     assert not result.is_valid
 
 
@@ -103,4 +107,84 @@ def test_paid_flag_without_filter_keeps_accessible_body() -> None:
     )
 
     assert result.is_valid
+    assert result.article_is_paid is True
     assert result.article_markdown == "已提供的完整正文。"
+
+
+@pytest.mark.parametrize("value", ["1", "'1'", '"1"', "'1' * 1", '"1" * 1', "true"])
+@pytest.mark.parametrize("template", [
+    "var is_pay_subscribe = VALUE;",
+    "window.is_pay_subscribe = VALUE;",
+    "window.cgiDataNew = {is_pay_subscribe: VALUE};",
+    'window.cgiDataNew = {"is_pay_subscribe": VALUE, other: 0};',
+])
+def test_paid_flag_forms(value: str, template: str) -> None:
+    result = _parse_html(
+        _URL, _html("<p>可见正文</p>", data=template.replace("VALUE", value)),
+    )
+
+    assert result.article_is_paid is True
+    assert result.article_markdown == "可见正文"
+    assert result.is_valid
+
+
+@pytest.mark.parametrize("data", [
+    "",
+    "var is_pay_subscribe = 0;",
+    "window.cgiDataNew = {is_pay_subscribe: '0' * 1};",
+    "window.cgiDataNew = {is_pay_subscribe: false};",
+    "window.cgiDataNew = {is_pay_subscribe: '10'};",
+    "var is_pay_subscribe = '1' * 0;",
+    "var is_pay_subscribe = 1 === 0;",
+    "// var is_pay_subscribe = 1;",
+    "/* window.cgiDataNew = {is_pay_subscribe: 1}; */",
+    'var text = "var is_pay_subscribe = 1;";',
+    "var recommendation = {is_pay_subscribe: 1};",
+    "window.cgiDataNew = {card: {is_pay_subscribe: 1}, is_pay_subscribe: 0};",
+    "window.cgiDataNew = {cards: [{is_pay_subscribe: 1}]};",
+    "function unrelated() { var is_pay_subscribe = 1; }",
+    "other.window.cgiDataNew = {is_pay_subscribe: 1};",
+    "other.window.is_pay_subscribe = 1;",
+])
+def test_missing_free_or_unrelated_paid_flags(data: str) -> None:
+    result = _parse_html(_URL, _html("<p>正文提到付费，并不代表本文收费。</p>", data=data))
+
+    assert result.article_is_paid is False
+    assert result.is_valid
+
+
+def test_paid_flag_survives_content_fallback() -> None:
+    html = _html("", data="window.cgiDataNew = {is_pay_subscribe: 1};")
+    html += '<div class="original_page"><p id="js_share_notice">转载正文</p></div>'
+    result = _parse_html(_URL, html)
+
+    assert result.article_is_paid is True
+    assert result.article_markdown == "转载正文"
+
+
+def test_paid_flag_without_content_or_script_type() -> None:
+    result = _parse_html(_URL, "<script>var is_pay_subscribe = 1;</script>")
+
+    assert result.article_is_paid is True
+    assert not result.is_valid
+
+
+def test_paid_preview_marker_in_repost() -> None:
+    result = _parse_html(
+        _URL, f'<div class="original_page"><p>转载预览</p>{_FILTER}</div>',
+    )
+
+    assert result.article_is_paid is True
+
+
+def test_paid_preview_marker_in_script_repost_content() -> None:
+    html = (
+        '<div class="original_page"></div>'
+        '<script type="text/javascript">window.cgiDataNew = {'
+        """content: '<p>预览</p><mp-pay-preview-filter></mp-pay-preview-filter>'"""
+        '};</script>'
+    )
+    result = _parse_html(_URL, html)
+
+    assert result.article_is_paid is True
+    assert result.article_markdown == "预览"

{wechat_article_parser-0.0.12 → wechat_article_parser-0.0.14}/tests/test_parser.py

@@ -34,6 +34,8 @@ TEST_URLS = [
     "https://mp.weixin.qq.com/s/CBmoIFPJwV4BkidYGp-l1Q",
     # 纯小程序卡片正文。
     "https://mp.weixin.qq.com/s/qs2YxgdwWDplsmb6H8OS-w",
+    # 编辑器产生数百层 span/strong 嵌套的富文本正文。
+    "https://mp.weixin.qq.com/s/JfYFarShiNhiUt0cTuI4kA",
 ]
 
 
@@ -84,6 +86,7 @@ def _assert_result(result: ArticleResult, url: str) -> None:
     print(f"文章标题:     {result.article_title}")
     print(f"展示类型:     {result.article_display_type}")
     print(f"原始展示类型: {result.article_item_show_type}")
+    print(f"是否付费:     {result.article_is_paid}")
     print(
         f"封面图:       {result.article_cover_image[:80]}..."
         if result.article_cover_image
@@ -137,6 +140,7 @@ def test_fetch_all(url: str, proxy: str | None) -> None:
     print(f"文章标题:     {result.article_title}")
     print(f"展示类型:     {result.article_display_type}")
     print(f"原始展示类型: {result.article_item_show_type}")
+    print(f"是否付费:     {result.article_is_paid}")
     print(f"封面图:       {result.article_cover_image}")
     print(f"文章摘要:     {result.article_description}")
     print(f"发布时间:     {result.article_publish_time}")