wechat-article-parser 0.0.10__tar.gz → 0.0.11__tar.gz

{wechat_article_parser-0.0.10 → wechat_article_parser-0.0.11}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.5
 Name: wechat-article-parser
-Version: 0.0.10
+Version: 0.0.11
 Summary: WeChat MP article parser - extract metadata and content from WeChat public account articles
 License-Expression: MIT
 License-File: LICENSE
@@ -23,10 +23,11 @@ Description-Content-Type: text/markdown
 - 转载式文章
 - 纯文本文章
 - 视频分享类文章
+- 音频分享类文章
 - 小红书风格图片轮播文章
 - 全屏布局短文本文章
 
-解析时优先读取页面全局的 `item_show_type`：`0` 对应图文、`5` 对应视频分享、
+解析时优先读取页面全局的 `item_show_type`：`0` 对应图文、`5` 对应视频分享、`7` 对应音频分享、
 `8` 对应图片轮播、`10` 对应文字消息，再通过 HTML 或脚本数据区分具体模板。
 类型字段缺失、值未知或对应分支未提取到正文时，会按原有 HTML 特征匹配顺序兜底。
 
@@ -35,6 +36,8 @@ Description-Content-Type: text/markdown
 并保留公开元数据；已有的可见预览正文仍正常提取。
 图文中的公众号推荐卡片按原文顺序转换为 `**公众号名称**：简介`，每张卡片一段；
 名称或简介缺失时，仅输出已有字段。
+图文正文仅包含商品广告卡片（`mp-common-cpsad`）时，Markdown 返回“这是一篇商品推荐内容。”；
+已有的文字和图片仍正常提取。关键元数据完整时占位结果也有效，不表示已获取商品详情。
 
 ## 安装
 
@@ -119,15 +122,15 @@ result = parse(
 | `article_title` | `str` | 文章标题 |
 | `article_cover_image` | `str` | 文章封面图链接 |
 | `article_description` | `str` | 文章摘要 |
-| `article_markdown` | `str` | 文章正文的 Markdown 内容；视频分享没有文字附言时可为空 |
+| `article_markdown` | `str` | 文章正文的 Markdown 内容；视频或音频分享没有文字附言时可为空 |
 | `article_publish_time` | `int` | 发布时间（Unix 时间戳） |
-| `article_display_type` | `ArticleDisplayType` | 文章展示类型：`article`、`video`、`image`、`text` 或 `unknown` |
-| `article_item_show_type` | `int \| None` | 微信页面中的原始展示类型：`0` 图文、`5` 视频、`8` 图片轮播、`10` 文字；其他已提取的数值原样保留，缺失或无法解析时为 `None` |
+| `article_display_type` | `ArticleDisplayType` | 文章展示类型：`article`、`video`、`audio`、`image`、`text` 或 `unknown` |
+| `article_item_show_type` | `int \| None` | 微信页面中的原始展示类型：`0` 图文、`5` 视频、`7` 音频、`8` 图片轮播、`10` 文字；其他已提取的数值原样保留，缺失或无法解析时为 `None` |
 | `raw_html` | `str` | 原始 HTML 网页源代码（仅在 `include_raw_html=True` 时填充，否则为空字符串） |
 | `images` | `list[str]` | 文章中提取的所有图片链接 |
 | `is_valid` | `bool` | 关键字段是否全部解析成功（属性） |
 
-`is_valid` 为 `True` 的条件：`mp_id`、`mp_name`、`article_id`、`article_msg_id`、`article_idx`、`article_sn`、`article_title`、`article_publish_time` 均不为空/零，且 `article_markdown` 非空或 `article_display_type == "video"`。视频分享允许没有文字正文，仍须满足其他关键字段要求；有效性不表示已获取视频文件。
+`is_valid` 为 `True` 的条件：`mp_id`、`mp_name`、`article_id`、`article_msg_id`、`article_idx`、`article_sn`、`article_title`、`article_publish_time` 均不为空/零，且 `article_markdown` 非空或 `article_display_type in ("video", "audio")`。视频和音频分享允许没有文字正文，仍须满足其他关键字段要求；有效性不表示已获取视频或音频文件。
 
 付费受限页面返回提示且关键元数据完整时，`is_valid` 也为 `True`，这不表示已获取付费正文。
 
@@ -139,6 +142,7 @@ result = parse(
 |---|---|---|
 | `ArticleDisplayType.ARTICLE` | `article` | 图文，包括转载式 |
 | `ArticleDisplayType.VIDEO` | `video` | 视频分享 |
+| `ArticleDisplayType.AUDIO` | `audio` | 音频分享 |
 | `ArticleDisplayType.IMAGE` | `image` | 图片轮播 |
 | `ArticleDisplayType.TEXT` | `text` | 文字消息 |
 | `ArticleDisplayType.UNKNOWN` | `unknown` | 页面类型缺失或未支持 |
@@ -212,7 +216,7 @@ except httpx.HTTPStatusError as e:
 
 ### 解析不完整
 
-缺少标题、发布时间等关键字段，或非视频分享缺少正文时，解析结果的 `is_valid` 会返回 `False`。封面图、摘要等非必填字段为空不影响有效性。建议在业务逻辑中检查：
+缺少标题、发布时间等关键字段，或非视频/音频分享缺少正文时，解析结果的 `is_valid` 会返回 `False`。封面图、摘要等非必填字段为空不影响有效性。建议在业务逻辑中检查：
 
 ```python
 result = parse("https://mp.weixin.qq.com/s/xxxxx")

{wechat_article_parser-0.0.10 → wechat_article_parser-0.0.11}/README.md

@@ -8,10 +8,11 @@
 - 转载式文章
 - 纯文本文章
 - 视频分享类文章
+- 音频分享类文章
 - 小红书风格图片轮播文章
 - 全屏布局短文本文章
 
-解析时优先读取页面全局的 `item_show_type`：`0` 对应图文、`5` 对应视频分享、
+解析时优先读取页面全局的 `item_show_type`：`0` 对应图文、`5` 对应视频分享、`7` 对应音频分享、
 `8` 对应图片轮播、`10` 对应文字消息，再通过 HTML 或脚本数据区分具体模板。
 类型字段缺失、值未知或对应分支未提取到正文时，会按原有 HTML 特征匹配顺序兜底。
 
@@ -20,6 +21,8 @@
 并保留公开元数据；已有的可见预览正文仍正常提取。
 图文中的公众号推荐卡片按原文顺序转换为 `**公众号名称**：简介`，每张卡片一段；
 名称或简介缺失时，仅输出已有字段。
+图文正文仅包含商品广告卡片（`mp-common-cpsad`）时，Markdown 返回“这是一篇商品推荐内容。”；
+已有的文字和图片仍正常提取。关键元数据完整时占位结果也有效，不表示已获取商品详情。
 
 ## 安装
 
@@ -104,15 +107,15 @@ result = parse(
 | `article_title` | `str` | 文章标题 |
 | `article_cover_image` | `str` | 文章封面图链接 |
 | `article_description` | `str` | 文章摘要 |
-| `article_markdown` | `str` | 文章正文的 Markdown 内容；视频分享没有文字附言时可为空 |
+| `article_markdown` | `str` | 文章正文的 Markdown 内容；视频或音频分享没有文字附言时可为空 |
 | `article_publish_time` | `int` | 发布时间（Unix 时间戳） |
-| `article_display_type` | `ArticleDisplayType` | 文章展示类型：`article`、`video`、`image`、`text` 或 `unknown` |
-| `article_item_show_type` | `int \| None` | 微信页面中的原始展示类型：`0` 图文、`5` 视频、`8` 图片轮播、`10` 文字；其他已提取的数值原样保留，缺失或无法解析时为 `None` |
+| `article_display_type` | `ArticleDisplayType` | 文章展示类型：`article`、`video`、`audio`、`image`、`text` 或 `unknown` |
+| `article_item_show_type` | `int \| None` | 微信页面中的原始展示类型：`0` 图文、`5` 视频、`7` 音频、`8` 图片轮播、`10` 文字；其他已提取的数值原样保留，缺失或无法解析时为 `None` |
 | `raw_html` | `str` | 原始 HTML 网页源代码（仅在 `include_raw_html=True` 时填充，否则为空字符串） |
 | `images` | `list[str]` | 文章中提取的所有图片链接 |
 | `is_valid` | `bool` | 关键字段是否全部解析成功（属性） |
 
-`is_valid` 为 `True` 的条件：`mp_id`、`mp_name`、`article_id`、`article_msg_id`、`article_idx`、`article_sn`、`article_title`、`article_publish_time` 均不为空/零，且 `article_markdown` 非空或 `article_display_type == "video"`。视频分享允许没有文字正文，仍须满足其他关键字段要求；有效性不表示已获取视频文件。
+`is_valid` 为 `True` 的条件：`mp_id`、`mp_name`、`article_id`、`article_msg_id`、`article_idx`、`article_sn`、`article_title`、`article_publish_time` 均不为空/零，且 `article_markdown` 非空或 `article_display_type in ("video", "audio")`。视频和音频分享允许没有文字正文，仍须满足其他关键字段要求；有效性不表示已获取视频或音频文件。
 
 付费受限页面返回提示且关键元数据完整时，`is_valid` 也为 `True`，这不表示已获取付费正文。
 
@@ -124,6 +127,7 @@ result = parse(
 |---|---|---|
 | `ArticleDisplayType.ARTICLE` | `article` | 图文，包括转载式 |
 | `ArticleDisplayType.VIDEO` | `video` | 视频分享 |
+| `ArticleDisplayType.AUDIO` | `audio` | 音频分享 |
 | `ArticleDisplayType.IMAGE` | `image` | 图片轮播 |
 | `ArticleDisplayType.TEXT` | `text` | 文字消息 |
 | `ArticleDisplayType.UNKNOWN` | `unknown` | 页面类型缺失或未支持 |
@@ -197,7 +201,7 @@ except httpx.HTTPStatusError as e:
 
 ### 解析不完整
 
-缺少标题、发布时间等关键字段，或非视频分享缺少正文时，解析结果的 `is_valid` 会返回 `False`。封面图、摘要等非必填字段为空不影响有效性。建议在业务逻辑中检查：
+缺少标题、发布时间等关键字段，或非视频/音频分享缺少正文时，解析结果的 `is_valid` 会返回 `False`。封面图、摘要等非必填字段为空不影响有效性。建议在业务逻辑中检查：
 
 ```python
 result = parse("https://mp.weixin.qq.com/s/xxxxx")

{wechat_article_parser-0.0.10 → wechat_article_parser-0.0.11}/pyproject.toml

@@ -4,7 +4,7 @@ build-backend = "hatchling.build"
 
 [project]
 name = "wechat-article-parser"
-version = "0.0.10"
+version = "0.0.11"
 description = "WeChat MP article parser - extract metadata and content from WeChat public account articles"
 readme = "README.md"
 requires-python = ">=3.10"

{wechat_article_parser-0.0.10 → wechat_article_parser-0.0.11}/src/wechat_article_parser/models.py

@@ -28,6 +28,7 @@ class ArticleDisplayType(str, Enum):
     UNKNOWN = "unknown"
     ARTICLE = "article"
     VIDEO = "video"
+    AUDIO = "audio"
     IMAGE = "image"
     TEXT = "text"
 
@@ -77,7 +78,7 @@ class ArticleResult:
 
     @property
     def is_valid(self) -> bool:
-        """检查关键字段是否解析成功；视频分享允许正文为空。"""
+        """检查关键字段是否解析成功；视频和音频分享允许正文为空。"""
         return bool(
             self.mp_id
             and self.mp_name
@@ -88,7 +89,9 @@ class ArticleResult:
             and self.article_title
             and (
                 self.article_markdown
-                or self.article_display_type == ArticleDisplayType.VIDEO
+                or self.article_display_type in (
+                    ArticleDisplayType.VIDEO, ArticleDisplayType.AUDIO,
+                )
             )
             and self.article_publish_time
         )

{wechat_article_parser-0.0.10 → wechat_article_parser-0.0.11}/src/wechat_article_parser/parser.py

@@ -522,6 +522,8 @@ def _extract_rich_media_content(content_tag: Tag, result: ArticleResult) -> None
             result.article_markdown = "这是一篇付费内容，正文需付费后查看。"
         elif has_video:
             result.article_markdown = "这是一篇纯视频内容。"
+        elif soup.find("mp-common-cpsad") is not None:
+            result.article_markdown = "这是一篇商品推荐内容。"
 
 
 def _extract_repost_content(
@@ -660,12 +662,14 @@ _CONTENT_SELECTORS = {
 _ITEM_SHOW_TYPE_BRANCHES = {
     0: ("rich_text", "repost"),
     5: ("video",),
+    7: ("video",),  # 音频分享复用视频分享的文字附言提取。
     8: ("swiper",),
     10: ("plain_text", "fullscreen"),
 }
 _ARTICLE_DISPLAY_TYPES = {
     0: ArticleDisplayType.ARTICLE,
     5: ArticleDisplayType.VIDEO,
+    7: ArticleDisplayType.AUDIO,
     8: ArticleDisplayType.IMAGE,
     10: ArticleDisplayType.TEXT,
 }

{wechat_article_parser-0.0.10 → wechat_article_parser-0.0.11}/tests/test_models.py

@@ -22,14 +22,16 @@ _COMPLETE = ArticleResult(
 
 @pytest.mark.parametrize("display_type", list(ArticleDisplayType))
 @pytest.mark.parametrize("markdown", ["", "正文"])
-def test_only_video_can_be_valid_without_markdown(
+def test_only_video_and_audio_can_be_valid_without_markdown(
     display_type: ArticleDisplayType, markdown: str,
 ) -> None:
     result = replace(
         _COMPLETE, article_display_type=display_type, article_markdown=markdown,
     )
 
-    assert result.is_valid is (bool(markdown) or display_type == ArticleDisplayType.VIDEO)
+    assert result.is_valid is (
+        bool(markdown) or display_type in (ArticleDisplayType.VIDEO, ArticleDisplayType.AUDIO)
+    )
 
 
 @pytest.mark.parametrize(
@@ -45,13 +47,14 @@ def test_only_video_can_be_valid_without_markdown(
         ("article_publish_time", 0),
     ],
 )
-@pytest.mark.parametrize("markdown", ["", "视频附言"])
-def test_video_still_requires_all_key_metadata(
-    field_name: str, empty_value: str | int, markdown: str,
+@pytest.mark.parametrize("markdown", ["", "媒体附言"])
+@pytest.mark.parametrize("display_type", [ArticleDisplayType.VIDEO, ArticleDisplayType.AUDIO])
+def test_video_and_audio_still_require_all_key_metadata(
+    field_name: str, empty_value: str | int, markdown: str, display_type: ArticleDisplayType,
 ) -> None:
     result = replace(
         _COMPLETE,
-        article_display_type=ArticleDisplayType.VIDEO,
+        article_display_type=display_type,
         article_markdown=markdown,
         **{field_name: empty_value},
     )
@@ -64,6 +67,7 @@ def test_video_still_requires_all_key_metadata(
     [
         "article",
         "video",
+        "audio",
         "image",
         "text",
         "unknown",

{wechat_article_parser-0.0.10 → wechat_article_parser-0.0.11}/tests/test_parser.py

@@ -28,6 +28,10 @@ TEST_URLS = [
     "https://mp.weixin.qq.com/s/3ixeC9whuEgpup2G1yvDZg",
     # 纯公众号推荐卡片正文。
     "https://mp.weixin.qq.com/s/PXZuh3fFEi3VXUUI1uBnlw",
+    # 无文字正文的音频分享。
+    "https://mp.weixin.qq.com/s/y4QxlYs7u0X9TdvZatCfIA",
+    # 纯商品广告卡片正文。
+    "https://mp.weixin.qq.com/s/CBmoIFPJwV4BkidYGp-l1Q",
 ]
 
 
@@ -102,8 +106,8 @@ def _assert_result(result: ArticleResult, url: str) -> None:
     assert result.article_idx > 0, "article_idx should be positive"
     assert result.article_sn, "article_sn should not be empty"
     assert result.article_title, "article_title should not be empty"
-    if result.article_display_type != "video":
-        assert result.article_markdown, "article_markdown should not be empty for non-video articles"
+    if result.article_display_type not in ("video", "audio"):
+        assert result.article_markdown, "article_markdown should not be empty for non-video/audio articles"
     assert result.article_publish_time > 0, "article_publish_time should be positive"
     assert result.is_valid
 

wechat_article_parser-0.0.11/tests/test_product_content.py

@@ -0,0 +1,83 @@
+"""商品卡片占位提示及混合正文的回归测试。"""
+
+import pytest
+
+from wechat_article_parser import ArticleDisplayType
+from wechat_article_parser.parser import _parse_html
+
+
+_URL = "https://mp.weixin.qq.com/s/CBmoIFPJwV4BkidYGp-l1Q"
+_NOTICE = "这是一篇商品推荐内容。"
+_CARD = '<section><mp-common-cpsad data-pid="104_630468802"></mp-common-cpsad></section>'
+_METADATA = """
+var biz = "MzkwNDQyNzY2NQ==";
+var mid = "2247501127";
+var idx = "2";
+var sn = "bc04bcc079a380252791ace32e8a91ba";
+window.__allowLoadResFromMp = true;
+var hd_head_img = "https://example.com/avatar";
+var nickname = htmlDecode("老鱼讲古");
+var oriCreateTime = '1791711648';
+"""
+
+
+def _html(body: str, metadata: str = _METADATA) -> str:
+    return (
+        '<meta property="og:title" content="推荐几本好书">'
+        f'<div class="rich_media_content" id="js_content">{body}</div>'
+        '<script type="text/javascript">var item_show_type = "0";</script>'
+        f'<script type="text/javascript">{metadata}</script>'
+    )
+
+
+@pytest.mark.parametrize("metadata", [_METADATA, ""])
+def test_product_only_body_returns_one_notice_and_requires_metadata(metadata: str) -> None:
+    result = _parse_html(_URL, _html(
+        _CARD * 4 + '<section><span><br/></span></section>'
+        '<p style="display: none;"><mp-style-type data-value="3"></mp-style-type></p>',
+        metadata,
+    ))
+
+    assert result.article_markdown == _NOTICE
+    assert result.article_display_type is ArticleDisplayType.ARTICLE
+    assert result.article_item_show_type == 0
+    assert result.article_title == "推荐几本好书"
+    assert result.images == []
+    assert result.is_valid is bool(metadata)
+    if metadata:
+        assert result.mp_name == "老鱼讲古"
+        assert result.article_msg_id == 2247501127
+
+
+@pytest.mark.parametrize(("body", "expected", "images"), [
+    ('<p>推荐书单。</p>' + _CARD + '<p>阅读愉快。</p>',
+     '推荐书单。\n\n阅读愉快。', []),
+    (_CARD + '<img data-src="https://example.com/book.jpg">',
+     '![](https://example.com/book.jpg)', ['https://example.com/book.jpg']),
+])
+def test_product_cards_do_not_replace_visible_content(
+    body: str, expected: str, images: list[str],
+) -> None:
+    result = _parse_html(_URL, _html(body))
+
+    assert result.article_markdown == expected
+    assert result.images == images
+    assert result.is_valid
+
+
+def test_product_card_outside_body_does_not_fill_empty_body() -> None:
+    result = _parse_html(_URL, _html("") + _CARD)
+
+    assert result.article_markdown == ""
+    assert not result.is_valid
+
+
+@pytest.mark.parametrize(("embed", "expected"), [
+    ('<mp-pay-preview-filter></mp-pay-preview-filter>', '这是一篇付费内容，正文需付费后查看。'),
+    ('<iframe class="wx_video_iframe"></iframe>', '这是一篇纯视频内容。'),
+])
+def test_existing_notices_keep_priority(embed: str, expected: str) -> None:
+    result = _parse_html(_URL, _html(_CARD + embed))
+
+    assert result.article_markdown == expected
+    assert result.is_valid

{wechat_article_parser-0.0.10 → wechat_article_parser-0.0.11}/tests/test_type_routing.py

@@ -49,6 +49,7 @@ def _html(body: str = "", script: str = "", title: str = "原标题") -> str:
         ("window.item_show_type = '8' || '';", 8),
         ("window.item_show_type = 10;", 10),
         ("var /* 注释 */ item_show_type = 5;", 5),
+        ("window.item_show_type = '7';", 7),
         ("(function() { window.item_show_type = '10'; })();", 10),
         ("window.item_show_type = '999';", 999),
         ("window.item_show_type = '';", None),
@@ -120,6 +121,7 @@ def test_type_zero_uses_html_to_distinguish_rich_text_and_repost(
     ("item_type", "data", "expected", "display_type"),
     [
         (5, _PLAIN_DATA, "文字正文", ArticleDisplayType.VIDEO),
+        (7, _PLAIN_DATA, "文字正文", ArticleDisplayType.AUDIO),
         (8, _SWIPER_DATA, "轮播正文", ArticleDisplayType.IMAGE),
         (10, _PLAIN_DATA, "文字正文", ArticleDisplayType.TEXT),
         (10, _FULLSCREEN_DATA, "全屏正文", ArticleDisplayType.TEXT),
@@ -153,7 +155,7 @@ def test_missing_unknown_or_invalid_type_falls_back_to_html(declaration: str) ->
     assert result.article_display_type is ArticleDisplayType.UNKNOWN
 
 
-@pytest.mark.parametrize("item_type", [5, 8, 10])
+@pytest.mark.parametrize("item_type", [5, 7, 8, 10])
 def test_known_type_without_matching_data_falls_back_to_html(item_type: int) -> None:
     result = parser._parse_html(
         _URL,
@@ -215,9 +217,10 @@ def test_unrecognized_content_still_returns_metadata() -> None:
     [
         ("", ArticleDisplayType.UNKNOWN),
         ("window.item_show_type = '5';", ArticleDisplayType.VIDEO),
+        ("window.item_show_type = '7';", ArticleDisplayType.AUDIO),
     ],
 )
-def test_video_without_description_keeps_type_and_metadata(
+def test_video_and_audio_without_description_keep_type_and_metadata(
     declaration: str, expected_type: ArticleDisplayType,
 ) -> None:
     metadata = """
@@ -247,4 +250,6 @@ def test_video_without_description_keeps_type_and_metadata(
     assert result.mp_id == 1
     assert result.mp_name == "测试公众号"
     assert result.article_markdown == ""
-    assert result.is_valid is (expected_type == ArticleDisplayType.VIDEO)
+    assert result.is_valid is (
+        expected_type in (ArticleDisplayType.VIDEO, ArticleDisplayType.AUDIO)
+    )