crawlo 1.1.0__py3-none-any.whl → 1.1.1__py3-none-any.whl

crawlo/utils/system.py

@@ -1,11 +1,11 @@
-#!/usr/bin/python
-# -*- coding:UTF-8 -*-
-import platform
-
-system_name = platform.system().lower()
-if system_name == 'windows':
-    import asyncio
-    asyncio.set_event_loop_policy(
-        asyncio.WindowsSelectorEventLoopPolicy()
-    )
-
+#!/usr/bin/python
+# -*- coding:UTF-8 -*-
+import platform
+
+system_name = platform.system().lower()
+if system_name == 'windows':
+    import asyncio
+    asyncio.set_event_loop_policy(
+        asyncio.WindowsSelectorEventLoopPolicy()
+    )
+

crawlo/utils/tools.py

@@ -1,5 +1,5 @@
-def custom_extractor_proxy(data: dict, key: str='proxy') -> dict | str | None:
-    """只负责从 API 返回数据中提取代理部分"""
-    if data.get("status") == 0:
-        return data.get(key)  # 返回 {"http": "...", "https": "..."} 整个字典
+def custom_extractor_proxy(data: dict, key: str='proxy') -> dict | str | None:
+    """只负责从 API 返回数据中提取代理部分"""
+    if data.get("status") == 0:
+        return data.get(key)  # 返回 {"http": "...", "https": "..."} 整个字典
     return None

crawlo/utils/url.py

@@ -1,40 +1,40 @@
-from urllib.parse import urldefrag
-from w3lib.url import add_or_replace_parameter
-
-
-def escape_ajax(url: str) -> str:
-    """
-    根据Google AJAX爬取规范转换URL（处理哈希片段#!）：
-    https://developers.google.com/webmasters/ajax-crawling/docs/getting-started
-
-    规则说明：
-    1. 仅当URL包含 `#!` 时才转换（表示这是AJAX可爬取页面）
-    2. 将 `#!key=value` 转换为 `?_escaped_fragment_=key%3Dvalue`
-    3. 保留原始查询参数（如果有）
-
-    示例：
-    >>> escape_ajax("www.example.com/ajax.html#!key=value")
-    'www.example.com/ajax.html?_escaped_fragment_=key%3Dvalue'
-    >>> escape_ajax("www.example.com/ajax.html?k1=v1#!key=value")
-    'www.example.com/ajax.html?k1=v1&_escaped_fragment_=key%3Dvalue'
-    >>> escape_ajax("www.example.com/ajax.html#!")
-    'www.example.com/ajax.html?_escaped_fragment_='
-
-    非AJAX可爬取的URL（无#!）原样返回：
-    >>> escape_ajax("www.example.com/ajax.html#normal")
-    'www.example.com/ajax.html#normal'
-    """
-    # 分离URL的基础部分和哈希片段
-    de_frag, frag = urldefrag(url)
-
-    # 仅处理以"!"开头的哈希片段（Google规范）
-    if not frag.startswith("!"):
-        return url  # 不符合规则则原样返回
-
-    # 调用辅助函数添加 `_escaped_fragment_` 参数
-    return add_or_replace_parameter(de_frag, "_escaped_fragment_", frag[1:])
-
-
-if __name__ == '__main__':
-    f = escape_ajax('http://example.com/page#!')
+from urllib.parse import urldefrag
+from w3lib.url import add_or_replace_parameter
+
+
+def escape_ajax(url: str) -> str:
+    """
+    根据Google AJAX爬取规范转换URL（处理哈希片段#!）：
+    https://developers.google.com/webmasters/ajax-crawling/docs/getting-started
+
+    规则说明：
+    1. 仅当URL包含 `#!` 时才转换（表示这是AJAX可爬取页面）
+    2. 将 `#!key=value` 转换为 `?_escaped_fragment_=key%3Dvalue`
+    3. 保留原始查询参数（如果有）
+
+    示例：
+    >>> escape_ajax("www.example.com/ajax.html#!key=value")
+    'www.example.com/ajax.html?_escaped_fragment_=key%3Dvalue'
+    >>> escape_ajax("www.example.com/ajax.html?k1=v1#!key=value")
+    'www.example.com/ajax.html?k1=v1&_escaped_fragment_=key%3Dvalue'
+    >>> escape_ajax("www.example.com/ajax.html#!")
+    'www.example.com/ajax.html?_escaped_fragment_='
+
+    非AJAX可爬取的URL（无#!）原样返回：
+    >>> escape_ajax("www.example.com/ajax.html#normal")
+    'www.example.com/ajax.html#normal'
+    """
+    # 分离URL的基础部分和哈希片段
+    de_frag, frag = urldefrag(url)
+
+    # 仅处理以"!"开头的哈希片段（Google规范）
+    if not frag.startswith("!"):
+        return url  # 不符合规则则原样返回
+
+    # 调用辅助函数添加 `_escaped_fragment_` 参数
+    return add_or_replace_parameter(de_frag, "_escaped_fragment_", frag[1:])
+
+
+if __name__ == '__main__':
+    f = escape_ajax('http://example.com/page#!')
     print(f)

crawlo-1.1.1.dist-info/METADATA

@@ -0,0 +1,220 @@
+Metadata-Version: 2.4
+Name: crawlo
+Version: 1.1.1
+Summary: Crawlo 是一款基于异步IO的高性能Python爬虫框架，支持分布式抓取。
+Home-page: https://github.com/crawl-coder/Crawlo.git
+Author: crawl-coder
+Author-email: crawlo@qq.com
+License: MIT
+Classifier: Programming Language :: Python :: 3
+Classifier: License :: OSI Approved :: MIT License
+Classifier: Operating System :: OS Independent
+Requires-Python: >=3.6
+Description-Content-Type: text/markdown
+Requires-Dist: aiohttp>=3.12.14
+Requires-Dist: aiomysql>=0.2.0
+Requires-Dist: aioredis>=2.0.1
+Requires-Dist: asyncmy>=0.2.10
+Requires-Dist: cssselect>=1.2.0
+Requires-Dist: dateparser>=1.2.2
+Requires-Dist: httpx[http2]>=0.27.0
+Requires-Dist: curl-cffi>=0.13.0
+Requires-Dist: lxml>=5.2.1
+Requires-Dist: motor>=3.7.0
+Requires-Dist: parsel>=1.9.1
+Requires-Dist: pydantic>=2.11.7
+Requires-Dist: pymongo>=4.11
+Requires-Dist: PyMySQL>=1.1.1
+Requires-Dist: python-dateutil>=2.9.0.post0
+Requires-Dist: redis>=6.2.0
+Requires-Dist: requests>=2.32.4
+Requires-Dist: six>=1.17.0
+Requires-Dist: ujson>=5.9.0
+Requires-Dist: urllib3>=2.5.0
+Requires-Dist: w3lib>=2.1.2
+Requires-Dist: rich>=14.1.0
+Requires-Dist: astor>=0.8.1
+Requires-Dist: watchdog>=6.0.0
+Provides-Extra: render
+Requires-Dist: webdriver-manager>=4.0.0; extra == "render"
+Requires-Dist: playwright; extra == "render"
+Requires-Dist: selenium>=3.141.0; extra == "render"
+Provides-Extra: all
+Requires-Dist: bitarray>=1.5.3; extra == "all"
+Requires-Dist: PyExecJS>=1.5.1; extra == "all"
+Requires-Dist: pymongo>=3.10.1; extra == "all"
+Requires-Dist: redis-py-cluster>=2.1.0; extra == "all"
+Requires-Dist: webdriver-manager>=4.0.0; extra == "all"
+Requires-Dist: playwright; extra == "all"
+Requires-Dist: selenium>=3.141.0; extra == "all"
+
+# 🕷️ Crawlo - 轻量级异步爬虫框架
+
+> 一个简洁、易用、可扩展的 Python 异步爬虫框架，灵感源自 Scrapy，但更轻量、更易上手。
+
+🚀 支持命令行操作、爬虫生成、合规检查、运行监控与统计分析，适合快速开发中小型爬虫项目。
+
+---
+
+## 📦 特性
+
+- ✅ **命令行驱动**：`crawlo startproject`, `crawlo genspider` 等
+- ✅ **自动发现爬虫**：无需手动注册，自动加载 `spiders/` 模块
+- ✅ **异步核心**：基于 `asyncio` 实现高并发抓取
+- ✅ **灵活配置**：通过 `crawlo.cfg` 和 `settings.py` 管理项目
+- ✅ **爬虫检查**：`crawlo check` 验证爬虫定义是否合规
+- ✅ **运行统计**：`crawlo stats` 查看历史运行指标（持久化存储）
+- ✅ **批量运行**：支持 `crawlo run all` 启动所有爬虫
+- ✅ **日志与调试**：结构化日志输出，便于排查问题
+
+---
+
+## 🚀 快速开始
+
+### 1. 安装 Crawlo
+
+```bash
+pip install crawlo
+```
+
+> ⚠️ 当前为开发阶段，建议使用源码安装：
+>
+> ```bash
+> git clone https://github.com/yourname/crawlo.git
+> pip install -e crawlo
+> ```
+
+### 2. 创建项目
+
+```bash
+crawlo startproject myproject
+cd myproject
+```
+
+生成项目结构：
+
+```
+myproject/
+├── crawlo.cfg
+├── myproject/
+│   ├── __init__.py
+│   ├── settings.py
+│   └── spiders/
+│       ├── __init__.py
+│       └── (你的爬虫将在这里)
+```
+
+### 3. 生成爬虫
+
+```bash
+crawlo genspider example example.com
+```
+
+生成 `spiders/example.py`：
+
+```python
+class ExampleSpider(Spider):
+    name = "example"
+    start_urls = ["https://example.com"]
+    
+    def parse(self, response):
+        # 解析逻辑
+        pass
+```
+
+### 4. 检查爬虫合规性
+
+```bash
+crawlo check
+```
+
+输出示例：
+
+```
+🔍 Checking 1 spider(s)...
+✅ example              ExampleSpider (OK)
+🎉 All spiders are compliant!
+```
+
+### 5. 运行爬虫
+
+```bash
+# 运行单个爬虫
+crawlo run example
+
+# 运行所有爬虫
+crawlo run all
+```
+
+### 6. 查看运行统计
+
+```bash
+crawlo stats
+```
+
+查看最近一次运行的请求、响应、项目数等指标：
+
+```
+📊 Recent Spider Statistics (last run):
+🕷️  example
+    downloader/request_count           1
+    item_scraped_count                 1
+    log_count/INFO                     7
+```
+
+---
+
+## 🛠️ 命令列表
+
+| 命令 | 说明 |
+|------|------|
+| `crawlo startproject <name>` | 创建新项目 |
+| `crawlo genspider <name> <domain>` | 生成爬虫模板 |
+| `crawlo list` | 列出所有已注册的爬虫 |
+| `crawlo check` | 检查爬虫定义是否合规 |
+| `crawlo run <spider_name>` | 运行指定爬虫 |
+| `crawlo run all` | 运行所有爬虫 |
+| `crawlo stats` | 查看最近运行的统计信息 |
+| `crawlo stats <spider_name>` | 查看指定爬虫的统计 |
+
+---
+
+## 📁 项目结构说明
+
+```ini
+# crawlo.cfg
+[settings]
+default = myproject.settings
+```
+
+```python
+# settings.py
+BOT_NAME = "myproject"
+LOG_LEVEL = "DEBUG"
+CONCURRENT_REQUESTS = 3
+DOWNLOAD_DELAY = 1.0
+# 其他配置...
+```
+
+---
+
+## 📊 统计持久化
+
+每次爬虫运行结束后，统计信息会自动保存到：
+
+```
+logs/stats/<spider_name>_YYYYMMDD_HHMMSS.json
+```
+
+可通过 `crawlo stats` 命令读取，支持跨进程查看。
+
+---
+
+## 🧪 开发者提示
+
+- 确保 `spiders/__init__.py` 中导入了你的爬虫类，否则无法被发现
+- 使用 `get_project_root()` 自动定位项目根目录（通过查找 `crawlo.cfg`）
+- 所有命令行工具均支持直接运行：`python -m crawlo.commands.list`
+
+---
+

crawlo-1.1.1.dist-info/RECORD

@@ -0,0 +1,100 @@
+crawlo/__init__.py,sha256=zOGI9hnWawIl0QA0Hnjmqo7vfd-WXNevOP9nLCq04XA,811
+crawlo/__version__.py,sha256=q8_5C0f-8mHWNb6mMw02zlYPnEGXBqvOmP3z0CEwZKM,22
+crawlo/cli.py,sha256=CtR2Pfa7SyRxEKPaXqt-6E6K5Vq5z3rfdAI95UO4cbU,1166
+crawlo/crawler.py,sha256=xwViGsJutKjAvfrYlMUd0NQKQtBX2r5qNMvpWkujxTs,19558
+crawlo/event.py,sha256=7-y6HNv_EIJSYQNzsj0mVK-Gg4ON3wdQeMdQjfFJPlw,313
+crawlo/exceptions.py,sha256=pthF1lJlJHyRZm-mE6NAo5WzK3GYJqmRqIuIlK1Odx8,1129
+crawlo/project.py,sha256=xWN2eTAjf_Pza-wWvvV4JjScQRWxe9hXlztX81ccUMc,5182
+crawlo/stats_collector.py,sha256=NkO09CB-220qz5rxFcD_dedGfr2VPFrDo4hya0Zh8Qc,1577
+crawlo/subscriber.py,sha256=3d4eYtkSgPj-18-mTZM6RQLSil-ux13FUcmfFxr3sMk,3730
+crawlo/task_manager.py,sha256=AS7Xu_8Q_eb3jg9QSkK_wv6W1rRXaI6WjDp8p6h9ltU,721
+crawlo/commands/__init__.py,sha256=AMYjXG7ulE8dPVmgWVo0uqXsaCYUUZYmmu2-7kFzH1M,342
+crawlo/commands/check.py,sha256=172OiAxnX5wwSlszUsyPgMZwAoIbGDTdfhtRz309ilc,22843
+crawlo/commands/genspider.py,sha256=In7X463vFCDhow73Netb4S1Vug_E0VC-1sevDc5nmSA,4267
+crawlo/commands/list.py,sha256=P4O9zma8RA0061B2t8hRgz6FtRzINJRPbeWH7m6TZRg,5091
+crawlo/commands/run.py,sha256=8Qngjsl8Q4RBdO39a__wKGsheY2PFuPit2hds_jwEbM,10524
+crawlo/commands/startproject.py,sha256=lu7_E_ygnM-S5LsViuHoaCdJubFGIY5ecWLL-g3R8A8,3953
+crawlo/commands/stats.py,sha256=6pAgkEi8MBnCer2rWmKpaTYr1jaM6HeMG9owAvEzJyY,6064
+crawlo/core/__init__.py,sha256=PnFyJdVNHBoPmV1sW0AHQXijeoSTQ8cMYrbNM1JK8kA,41
+crawlo/core/engine.py,sha256=xBYi-V1O3IfZU9Qo1TJynOpoMjdP_h8kmHC4iDbVfwE,5868
+crawlo/core/processor.py,sha256=qmCqAeqhwYu-UE86evYesaGt9qpuSIfH-ZIZKcXFCZc,1140
+crawlo/core/scheduler.py,sha256=oxVzdXvU0CDRfUFkv2MP0NvTRfTGbcvoz-__dNy_rzU,1885
+crawlo/downloader/__init__.py,sha256=ukrDBULCaoDWoMLCO3XcQhDoasF0oUzj0PHnJ_ACJaE,2306
+crawlo/downloader/aiohttp_downloader.py,sha256=ZxeKvWyAYzKCwu_yRfduX0hSwU3TEqvhBQaB9UBpzNE,7476
+crawlo/downloader/cffi_downloader.py,sha256=j_LHvGxrQ9Ynod9RYp79vPgHlwKPPNc6NH8cN5hk-pk,10052
+crawlo/downloader/httpx_downloader.py,sha256=fuienQkkn2yQ9R4RlvrxxWqX7OlChJSBEP11-5wNboY,11508
+crawlo/extension/__init__.py,sha256=PEBbMxi6ULBZ9ivEJ4T7IH_R376BQJ6Rz_D9Ce-Cqbs,1133
+crawlo/extension/log_interval.py,sha256=S-hSoiz9GdmgHrac4vDQ52fleoBcH-kzdPUD8YRAons,1922
+crawlo/extension/log_stats.py,sha256=VinABjzuFa-JmNXSX86gQ_3Oyx1y3vUhpWTEu9HRRqg,1677
+crawlo/extension/logging_extension.py,sha256=Jce2HHc9ejsIWQitkHZuhnLbT_1MIfcvywfzYkkJ5eY,1202
+crawlo/filters/__init__.py,sha256=BCZl86BHiTfDGRe_b1TlNSr6pfNbMKTu0Uq0j4gX_1Q,977
+crawlo/filters/aioredis_filter.py,sha256=tlkKe7pdXxFEjFBl8UN07JHn_QbOJNY3y3BRj6uFXpg,5471
+crawlo/filters/memory_filter.py,sha256=bs2WUe7CdHiXgr344vzDqMfBv1b3RwXJMnwxpDb64Pw,6639
+crawlo/items/__init__.py,sha256=bqekZrRlDhxfWie0UbCs656TptYseoe9QJ67I4E7Elk,386
+crawlo/items/base.py,sha256=tAYrPJgblp3ZEihDXvappdYc6pGdim6x2_9QSmMKI2o,577
+crawlo/items/fields.py,sha256=wMlakQTsEwyrlLzMt1gI4pScLQZMqd3E1xcfH4dbSqk,1801
+crawlo/items/items.py,sha256=e-3nXI9ckD64vcDxxQiAU6ufbtJMs09gbZQcYjxgwHY,3374
+crawlo/middleware/__init__.py,sha256=ldaGFNbiJnK9Fx12Vdf9fDNfzXxoETtShp5r-vodtw0,549
+crawlo/middleware/default_header.py,sha256=i_Uj07JObyeZFxL7ZAZmvZsHvA1HGtkNab1sA0d-nWI,1067
+crawlo/middleware/download_delay.py,sha256=2M-TchDA7MwyTfYy0Hzh_bW9wlHlpiP-oQlys7crTj0,966
+crawlo/middleware/middleware_manager.py,sha256=j1hkWRFB5rnC5SnB7oXWE5eUNv8blS9krDIDM5fIDs8,6213
+crawlo/middleware/proxy.py,sha256=3msCHiPgaaKt6vRjnNswkwSzUFrO4a8OgL9BeV42ySg,9555
+crawlo/middleware/request_ignore.py,sha256=QI2z4fUnJ-4xvPTZAmsL-GqR4RFHS1xq9iDr5KFrMco,997
+crawlo/middleware/response_code.py,sha256=tmef2QVl3JCiTMii6VQkASlOY2OyqmOPoOfNxIK1eF8,659
+crawlo/middleware/response_filter.py,sha256=ep8ZxDlfIefi9YqK8dPASEp5TTDRo9QEY_jMceC411s,837
+crawlo/middleware/retry.py,sha256=6I0FXJ4zCnJ-pMBxoc8Cg4OVCcH4Buyfoy6ivSu9bro,3369
+crawlo/network/__init__.py,sha256=VaD0GmsgDYJ8UMgrtjeOc1Wc7lDGee1uAF3neRpyug0,123
+crawlo/network/request.py,sha256=JD4p9e0osjAFb40Ux57NVJliUe7NQ6_IxoMwj4faczs,7044
+crawlo/network/response.py,sha256=_oaElq7_Y-5gz2k8lhfZIss7hxFh6dJ77OpuXZXr9oI,6034
+crawlo/pipelines/__init__.py,sha256=Hk-M6X0VCGLp6OEdgnhXGhGhKS5TjKf6dkg8bU9pvUE,260
+crawlo/pipelines/console_pipeline.py,sha256=KABkR3J-rqO0Awox7lizxKR2XuHfVhWPiVRgIybwwu4,1248
+crawlo/pipelines/mongo_pipeline.py,sha256=lv-Zn_mWdE_jVy7Nh30Lzqm3YhtLRV5rMy-m4rBWYe0,4442
+crawlo/pipelines/mysql_batch_pipline.py,sha256=C7EPzAluY-Kplc6MB2UYLLDdahYsnZMZf3cxQ5vloeQ,10339
+crawlo/pipelines/mysql_pipeline.py,sha256=6g6PGTwAyzH5VStlPAg2SdG5t1lPw1Zu-cY7x6Mz16s,7861
+crawlo/pipelines/pipeline_manager.py,sha256=VrbebOYiqrobtKhp5II18w-odCICdWkmRg5WPK0Emz4,2112
+crawlo/settings/__init__.py,sha256=xsukVKn_h2Hopm1Nj-bXkhbfyS62QTTvJi7fhZUwR9M,123
+crawlo/settings/default_settings.py,sha256=BDpjZkPYQhuutxZomWYS6WvBHomKfHdNVSvTmyz1bKY,7100
+crawlo/settings/setting_manager.py,sha256=SxKB1aCWh4OySM_bH9cYng9I3PAmrSP-Q8XOZEWEwbI,2899
+crawlo/spider/__init__.py,sha256=kNBJ02QB0EZcGvzMH6GYh5UssI1HzOREIHz3FVo8LOA,3854
+crawlo/templates/crawlo.cfg.tmpl,sha256=9BAmwEibS5Tvy6HIcGXPb0BGeuesmibebmTW0iAEkmo,230
+crawlo/templates/project/__init__.py.tmpl,sha256=f3ETIXw_O6K-lkL6lXM5znMPJW1FZYGFrwDs2BnHcnQ,58
+crawlo/templates/project/items.py.tmpl,sha256=3h-4nuneUoCAGUzSLyLNsdgeAAUXzz4rV0QctzCkIJA,301
+crawlo/templates/project/middlewares.py.tmpl,sha256=oy5RCkRqLeBpvtYA1NGVlbYfl8rWuS3VDgQSx5opnHQ,2102
+crawlo/templates/project/pipelines.py.tmpl,sha256=unEag7_qMN5DiffIzTKRmTVUCiTkHGCEad-jRQ6eH4I,1817
+crawlo/templates/project/settings.py.tmpl,sha256=By0YaZPxAP0pha_oY7J-vm9ntuvEfJO1jTiUhNddGic,1716
+crawlo/templates/project/spiders/__init__.py.tmpl,sha256=j_YKsw6HQMJyqlk3WUouP3bsr-XVxshRoSNakHBc00g,106
+crawlo/templates/spider/spider.py.tmpl,sha256=nyFMfk6qsmwfGuuNEcu6N6VnrOtq1GHVcoJOYRHrZFA,838
+crawlo/utils/__init__.py,sha256=BDORpyjMN7VGPKImnCDKSkprS-petgD7ezc9rMlBvb0,123
+crawlo/utils/date_tools.py,sha256=0yG0tzGb1VFgWDJJ_cow2LJfz3kj_w2MqSjmfKKESl8,6961
+crawlo/utils/db_helper.py,sha256=3ib5-agrlwf2t5S_QtLRYH75wvJDlYbRqRmDEbpH5Bo,10559
+crawlo/utils/func_tools.py,sha256=WUZEGpWMuDDX7g-QySM7iaiC74erW2SSkZoUvDw1NjM,2369
+crawlo/utils/log.py,sha256=A3lPyhD8kD88cV23KOL-_eT8g69xGQ5L1toDB2AO0mc,4005
+crawlo/utils/pqueue.py,sha256=4Ymkm38fRFqEcSJeD_ULkuBaCk6QdYvJdnYvtJjh-Tk,5386
+crawlo/utils/request.py,sha256=yoLB2rY8d78vgPjIWpdhY5SalIKjyLIvTG_UH6EMdVI,8798
+crawlo/utils/spider_loader.py,sha256=pEDUsYOTGjszA6KgjiMlYN4GS5fP4uakkhcp3JTFFQY,2187
+crawlo/utils/system.py,sha256=HvWV1acxou0Rn0L7pNq4CnV_GWFeU0Tmjy3_nLD8M64,237
+crawlo/utils/tools.py,sha256=5Uv25Wy4m_ndZY0-n-eX-t3PxvaZ6wR3-Wvx-o7_Vrs,271
+crawlo/utils/url.py,sha256=rlgX2VlJv6JvLmCDTsbxzMSXE6R5ZL_0dLEqprsA-JU,1482
+examples/__init__.py,sha256=6i631BPnS_TR_BWUjtjB5CBO-zv9kRkwQTQvSya2wHE,123
+examples/baidu_spider/__init__.py,sha256=xlj0-TBQBhcKglllla_bQbufNiv10UFE0KsWMLvzFz4,123
+examples/baidu_spider/demo.py,sha256=MTEHkm7U4Kyx5QULCgR6to391xn4XPay6fmuV1c1uRc,24278
+examples/baidu_spider/items.py,sha256=e_LNs13SFiKkqwP2sdKhX72XkiX-E-ythMQOsY5P8IA,1264
+examples/baidu_spider/middleware.py,sha256=I71ZMmWTiDBFq4t2zfTE7IIXCqwaaeQ1DvKGW70q2Yg,1397
+examples/baidu_spider/pipeline.py,sha256=TUK_LnrU818UYmCn2_gKeNaTZjaj9qjrlndRLsR4wf0,1437
+examples/baidu_spider/run.py,sha256=7ifJVryShJ41rnlcdzU6rfex8L0Av1XpeSo4DhRRH6w,564
+examples/baidu_spider/settings.py,sha256=GOnHyYCSyOacCTn-sFAptNR3oSBpWxrGf1XkVHLaeng,3925
+examples/baidu_spider/spiders/__init__.py,sha256=eJ_ih4GiGfwQzPILeouy1Hnc4BrPz0KNPYlLHYvrvoc,123
+examples/baidu_spider/spiders/bai_du.py,sha256=pw4WccbmBR07CuSqCgm_7x9SH63FDJS_sXSaN5Ew5Tw,1589
+examples/baidu_spider/spiders/miit.py,sha256=RStlK5GdrILhqTRNpeWlP_jCijWPUpmmN7Sq6ua_K3s,6338
+examples/baidu_spider/spiders/sina.py,sha256=Q1TwvwutfGdFZzMIDyppOlwQIdr4bQSd2m42iNP8T5o,2418
+tests/__init__.py,sha256=scL1IPVT1iucth7v8ffrjRdeW7QrC_Y7AMmFVMdTY1Y,129
+tests/test_proxy_health_check.py,sha256=xo3QMP1YNw9hu7JDHZOYCUZmFFKLJpHSh4SbxXhCRPQ,1091
+tests/test_proxy_middleware_integration.py,sha256=zcl7fR9Toc-I-stSUTzKZPwcfh3kgrpjI5SbkZ6AVmE,4305
+tests/test_proxy_providers.py,sha256=XwWZCywTYguSsUxSm6fsbaoH1p9dKjqSIx9-sqKZehA,1693
+tests/test_proxy_stats.py,sha256=Til_yksrRz2yBVw-yJi5-36LhNW3vTwpXTm4BdR9PUM,507
+tests/test_proxy_strategies.py,sha256=ZkziozkvZd3KWOQnpHQ8Upd3WpyoX7gN0qFGluNm348,1809
+crawlo-1.1.1.dist-info/METADATA,sha256=t26VSUHs-38nd7L3JdSmD4zCICOUCv8aHFUSsvvLgIs,5347
+crawlo-1.1.1.dist-info/WHEEL,sha256=_zCd3N1l69ArxyTb8rzEoP9TpbYXkqRFSNOD5OuxnTs,91
+crawlo-1.1.1.dist-info/entry_points.txt,sha256=5HoVoTSPxI8SCa5B7pQYxLSrkOdiunyO9tqNsLMv52g,43
+crawlo-1.1.1.dist-info/top_level.txt,sha256=keG_67pbZ_wZL2dmDRA9RMaNHTaV_x_oxZ9DKNgwvR0,22
+crawlo-1.1.1.dist-info/RECORD,,

examples/__init__.py

@@ -0,0 +1,7 @@
+#!/usr/bin/python
+# -*- coding:UTF-8 -*-
+"""
+# @Time    :    2025-02-05 12:36
+# @Author  :   oscar
+# @Desc    :   None
+"""

examples/baidu_spider/__init__.py

@@ -0,0 +1,7 @@
+#!/usr/bin/python
+# -*- coding:UTF-8 -*-
+"""
+# @Time    :    2025-02-05 13:05
+# @Author  :   oscar
+# @Desc    :   None
+"""

examples/baidu_spider/demo.py

@@ -0,0 +1,94 @@
+#!/usr/bin/python
+# -*- coding:UTF-8 -*-
+"""
+# @Time    :    2025-07-14 13:04
+# @Author  :   crawl-coder
+# @Desc    :   None
+"""
+import asyncio
+import asyncmy
+from datetime import datetime
+import logging
+
+from settings import MYSQL_HOST, MYSQL_USER, MYSQL_PASSWORD, MYSQL_TABLE, MYSQL_DB
+
+# 配置日志
+logging.basicConfig(
+    level=logging.INFO,
+    format='%(asctime)s - %(levelname)s - %(message)s'
+)
+logger = logging.getLogger(__name__)
+
+# 测试数据
+value_tuples = [('3250219', '煤炭开采板块午后直线拉升 郑州煤电涨停', '煤炭开采板块午后直线拉升，（）涨停，（）、（）、（）、（）、（）等纷纷走高。消息面上，中国煤炭运销协会表示，加强行业自律，整治内卷式竞争，促进煤炭市场供需平衡。', '煤炭开采板块午后直线拉升，郑州煤电涨停，山煤国际、辽宁能源、华电能源、恒源煤电、盘江股份等纷纷走高。消息面上，中国煤炭运销协会表示，加强行业自律，整治内卷式竞争，促进煤炭市场供需平衡。', 'https://news.10jqka.com.cn/20250714/c669607368.shtml', '异动', '2025-07-14 13:04:07', ''), ('3250025', '现货白银日内涨幅扩大至1.00%，现报38.77美元/盎司', '现货白银日内涨幅扩大至1.00%，现报38.77美元/盎司。', '现货白银日内涨幅扩大至1.00%，现报38.77美元/盎司。', 'https://news.10jqka.com.cn/20250714/c669606752.shtml', 'A股', '2025-07-14 11:59:10', ''), ('3250061', '7月14日午间公告一览：晨化股份使用3000万元闲置资金购买理财产品', '（）公告，公司及子公司近日使用自有闲置资金购买了3000万元的理财产品。此次投资包括两个金额各为1500万元的银河盛汇稳健1号集合资产管理计划，预期年化收益率为3.2%。该理财产品的起息日为2025年7月10日，到期日为2026年7月6日。公司表示，此举是在确保日常运营和资金安全的前提下进行的，不会影响公司主营业务的正常开展，旨在提高资金使用效率，获取较好的投资回报。', '晨化股份公告，公司及子公司近日使用自有闲置资金购买了3000万元的理财产品。此次投资包括两个金额各为1500万元的银河盛汇稳健1号集合资产管理计划，预期年化收益率为3.2%。该理财产品的起息日为2025年7月10日，到期日为2026年7月6日。公司表示，此举是在确保日常运营和资金安全的前提下进行的，不会影响公司主营业务的正常开展，旨在提高资金使用效率，获取较好的投资回报。', 'https://news.10jqka.com.cn/20250714/c669606926.shtml', '公告,A股', '2025-07-14 12:15:33', ''), ('3250123', '鸿蒙智行问界产品总监彭磊调任享界系列产品总监', '7月14日，鸿蒙智行App显示，彭磊认证信息已变更为享界系列产品总监。此前担任鸿蒙智行问界产品总监的彭磊今天开始在微博发文预热享界产品，宣传鸿蒙智行享界第二款车享界S9T。不过，他的微博认证未同步更新，仍为鸿蒙智行问界产品总监。', '7月14日，鸿蒙智行App显示，彭磊认证信息已变更为享界系列产品总监。此前担任鸿蒙智行问界产品总监的彭磊今天开始在微博发文预热享界产品，宣传鸿蒙智行享界第二款车享界S9T。不过，他的微博认证未同步更新，仍为鸿蒙智行问界产品总监。', 'https://news.10jqka.com.cn/20250714/c669607077.shtml', '港股,A股', '2025-07-14 12:34:46', ''), ('3250153', '韩国前总统尹锡悦再次未出席内乱特检组传唤调查', '记者获悉，韩国前总统尹锡悦14日再次未出席内乱特检组的传唤调查。(央视新闻)', '记者获悉，韩国前总统尹锡悦14日再次未出席内乱特检组的传唤调查。（央视新闻）', 'https://news.10jqka.com.cn/20250714/c669607226.shtml', '美股,港股,A股', '2025-07-14 12:48:40', ''), ('3250135', '立讯精密旗下立铠精密在黄石成立新公司', '企查查APP显示，近日，立铠精密科技(黄石)有限公司成立，法定代表人为杨立强，注册资本5亿元，经营范围包括移动终端设备销售、互联网设备销售、汽车零部件及配件制造等。企查查股权穿透显示，该公司由立铠精密科技(盐城)有限公司全资持股，后者大股东为（）。', '企查查APP显示，近日，立铠精密科技（黄石）有限公司成立，法定代表人为杨立强，注册资本5亿元，经营范围包括移动终端设备销售、互联网设备销售、汽车零部件及配件制造等。企查查股权穿透显示，该公司由立铠精密科技（盐城）有限公司全资持股，后者大股东为立讯精密。', 'https://news.10jqka.com.cn/20250714/c669607154.shtml', 'A股', '2025-07-14 12:40:40', ''), ('3250197', '沪深京三市成交额超1万亿元 较上日此时缩量686亿元', '据（）iFinD数据，沪深京三市成交额超1万亿元，较上日此时686亿元，预计全天成交金额约1.6万亿元。截至目前，沪市成交额4158亿元，深市成交额5688亿元，北证50成交额154亿元。', '据同花顺iFinD数据，沪深京三市成交额超1万亿元，较上日此时缩量686亿元，预计全天成交金额约1.6万亿元。截至目前，沪市成交额4158亿元，深市成交额5688亿元，北证50成交额154亿元。', 'https://news.10jqka.com.cn/20250714/c669607345.shtml', 'A股', '2025-07-14 13:01:38', ''), ('3250129', '伟仕佳杰：公司已开始探索稳定币支付及结算解决方案', '伟仕佳杰在港交所发布公告称，本公司日前已开始进行合作洽谈，以探索稳定币支付及结算的解决方案。该合作讨论主要聚焦本公司在东南亚地区的ICT产品分销、供应链服务及数位生态业务，本次合作讨论不涉及任何加密货币投机行为。该讨论处于初步阶段，且尚未达成任何具法律约束力的协定。', '伟仕佳杰在港交所发布公告称，本公司日前已开始进行合作洽谈，以探索稳定币支付及结算的解决方案。该合作讨论主要聚焦本公司在东南亚地区的ICT产品分销、供应链服务及数位生态业务，本次合作讨论不涉及任何加密货币投机行为。该讨论处于初步阶段，且尚未达成任何具法律约束力的协定。', 'https://news.10jqka.com.cn/20250714/c669607132.shtml', '港股', '2025-07-14 12:37:13', ''), ('3250065', '海南航空发声明打假', '海南航空今日在网络社交平台发布声明。声明称，近期发现部分网络平台及线下场所存在商户和个人未经授权，擅自盗用海南航空商标或公司名称，公然冒充公司员工或关联方，非法开展销售活动。所售商品涵盖空乘制服、飞机模型、机上用品、周边文创产品等多个品类。更有甚者，疑似穿着海南航空享有专利保护的乘务员制服，在直播平台上大肆赚取流量、非法牟利，严重扰乱市场正常秩序。声明表示，“海南航空官方商品及服务仅通过海南航空官网、官方App、经我司正式授权的直营渠道以及指定的合作方进行发布与销售。任何单位或个人均无权擅自使用我司依法享有的商标、名称、专利、著作权等知识产权，更不得假冒我司员工身份开展任何商业活动。”声明还指出，如在日常生活或网络浏览过程中遇到可疑情况，可随时拨打海南航空服务热线95339进行咨询核实，或通过官方网站在线客服反馈相关线索。如未经核实在非正规渠道购买海南航空服务或相关产品，海南航空将不会履行相关义务或承担任何赔偿责任。', '海南航空今日在网络社交平台发布声明。声明称，近期发现部分网络平台及线下场所存在商户和个人未经授权，擅自盗用海南航空商标或公司名称，公然冒充公司员工或关联方，非法开展销售活动。所售商品涵盖空乘制服、飞机模型、机上用品、周边文创产品等多个品类。更有甚者，疑似穿着海南航空享有专利保护的乘务员制服，在直播平台上大肆赚取流量、非法牟利，严重扰乱市场正常秩序。 声明表示，“海南航空官方商品及服务仅通过海南航空官网、官方 App、经我司正式授权的直营渠道以及指定的合作方进行发布与销售。任何单位或个人均无权擅自使用我司依法享有的商标、名称、专利、著作权等知识产权，更不得假冒我司员工身份开展任何商业活动。” 声明还指出，如在日常生活或网络浏览过程中遇到可疑情况，可随时拨打海南航空服务热线 95339 进行咨询核实，或通过官方网站在线客服反馈相关线索。如未经核实在非正规渠道购买海南航空服务或相关产品，海南航空将不会履行相关义务或承担任何赔偿责任。', 'https://news.10jqka.com.cn/20250714/c669606930.shtml', '美股,港股,A股', '2025-07-14 12:15:49', ''), ('3250067', '陕西科研团队光镊切片显微术破解悬浮细胞三维观测难题 成果有望用于医学成像等领域', '据中国科学院西安光机所消息，该所超快光科学与技术全国重点实验室研究员姚保利、徐孝浩团队在生物光学显微成像及微操纵方面取得重要进展，提出了“光镊切片显微术”，实现了悬浮生物细胞的全光式三维成像，为光镊技术开拓了新应用方向，在类器官构建、三维中性原子阵列组装、细胞自动化识别及分选方面具有巨大应用潜力。上述成果在国际顶级学术期刊《科学进展》发表。(科创板日报)', '据中国科学院西安光机所消息，该所超快光科学与技术全国重点实验室研究员姚保利、徐孝浩团队在生物光学显微成像及微操纵方面取得重要进展，提出了“光镊切片显微术”，实现了悬浮生物细胞的全光式三维成像，为光镊技术开拓了新应用方向，在类器官构建、三维中性原子阵列组装、细胞自动化识别及分选方面具有巨大应用潜力。上述成果在国际顶级学术期刊《科学进展》发表。(科创板日报)', 'https://news.10jqka.com.cn/20250714/c669606940.shtml', '港股,A股', '2025-07-14 12:16:39', ''), ('3250121', '公安部：2025年上半年全国机动车达4.6亿辆 驾驶人达5.5亿人', '公安部统计，截至2025年6月底，全国机动车保有量达4.6亿辆，其中汽车3.59亿辆；机动车驾驶人5.5亿人，其中汽车驾驶人5.15亿人。2025年上半年全国新注册登记机动车1688万辆，新领证驾驶人1258万人。上半年新注册登记机动车1688万辆，新注册登记汽车1250万辆。2025年上半年，全国新注册登记机动车1688万辆。其中，汽车新注册登记1250万辆，同比增长0.68%。新能源汽车保有量达3689万辆，上半年新注册登记562.2万辆。截至6月底，全国新能源汽车保有量达3689万辆，占汽车总量的10.27%。其中，纯电动汽车保有量2553.9万辆，占新能源汽车总量的69.23%。上半年新注册登记新能源汽车562.2万辆，同比增长27.86%，创历史新高。新能源汽车新注册登记量占汽车新注册登记量的44.97%。(央视新闻)', '公安部统计，截至2025年6月底，全国机动车保有量达4.6亿辆，其中汽车3.59亿辆；机动车驾驶人5.5亿人，其中汽车驾驶人5.15亿人。2025年上半年全国新注册登记机动车1688万辆，新领证驾驶人1258万人。上半年新注册登记机动车1688万辆，新注册登记汽车1250万辆。2025年上半年，全国新注册登记机动车1688万辆。其中，汽车新注册登记1250万辆，同比增长0.68%。新能源汽车保有量达3689万辆，上半年新注册登记562.2万辆。截至6月底，全国新能源汽车保有量达3689万辆，占汽车总量的10.27%。其中，纯电动汽车保有量2553.9万辆，占新能源汽车总量的69.23%。上半年新注册登记新能源汽车562.2万辆，同比增长27.86%，创历史新高。新能源汽车新注册登记量占汽车新注册登记量的44.97%。（央视新闻）', 'https://news.10jqka.com.cn/20250714/c669607063.shtml', '港股,A股', '2025-07-14 12:33:07', ''), ('3250099', '全国首单低空运营管理责任险落地苏州', '全国首个面向低空经济运营管理方的保险“安翼计划”近日在苏州落地。该保险方案由苏州东吴财产保险股份有限公司联合中国财产再保险有限责任公司研发，为苏州市盛泽湖全空间无人体系示范岛的试飞运营场地管理方提供风险保障。“安翼计划”针对低空经济运营中特有的信号干扰、操作失误、外部撞击等风险场景，提供精细化、专业化风险解决方案，将保险保障聚焦于低空运营管理方，系统构建了覆盖场地方责任、低空运营管理风险的完整保障体系。(新华日报)', '全国首个面向低空经济运营管理方的保险“安翼计划”近日在苏州落地。该保险方案由苏州东吴财产保险股份有限公司联合中国财产再保险有限责任公司研发，为苏州市盛泽湖全空间无人体系示范岛的试飞运营场地管理方提供风险保障。“安翼计划”针对低空经济运营中特有的信号干扰、操作失误、外部撞击等风险场景，提供精细化、专业化风险解决方案，将保险保障聚焦于低空运营管理方，系统构建了覆盖场地方责任、低空运营管理风险的完整保障体系。（新华日报）', 'https://news.10jqka.com.cn/20250714/c669607049.shtml', '美股,港股,A股', '2025-07-14 12:30:52', ''), ('3250159', '韩正会见印度外长苏杰生', '据新华社报道，7月14日，国家副主席韩正在北京会见印度外长苏杰生。韩正表示，去年10月，习近平主席同莫迪总理在喀山成功会晤，引领中印关系重启再出发。中印都是发展中大国、全球南方重要成员，做相互成就的伙伴，实现“龙象共舞”，是双方正确选择。双方要进一步落实两国领导人达成的重要共识，坚持高层引领、稳步推进务实合作、尊重彼此关切，推动中印关系持续健康稳定发展。苏杰生表示，莫迪总理同习近平主席喀山会晤后，印中关系稳步改善。印方愿以领导人共识为指引，保持印中关系发展势头，推进互利合作，加强在多边机制中的沟通协调。印方支持中方作为轮值主席国办好今年的上海合作组织峰会。', '据新华社报道，7月14日，国家副主席韩正在北京会见印度外长苏杰生。韩正表示，去年10月，习近平主席同莫迪总理在喀山成功会晤，引领中印关系重启再出发。中印都是发展中大国、全球南方重要成员，做相互成就的伙伴，实现“龙象共舞”，是双方正确选择。双方要进一步落实两国领导人达成的重要共识，坚持高层引领、稳步推进务实合作、尊重彼此关切，推动中印关系持续健康稳定发展。苏杰生表示，莫迪总理同习近平主席喀山会晤后，印中关系稳步改善。印方愿以领导人共识为指引，保持印中关系发展势头，推进互利合作，加强在多边机制中的沟通协调。印方支持中方作为轮值主席国办好今年的上海合作组织峰会。', 'https://news.10jqka.com.cn/20250714/c669607238.shtml', '美股,港股,A股', '2025-07-14 12:50:33', ''), ('3250059', '泰国机构将2025年到访游客人数预估从4000万人次下调至3500万人次', '泰国机构将2025年到访游客人数预估从4000万人次下调至3500万人次。', '泰国机构将2025年到访游客人数预估从4000万人次下调至3500万人次。', 'https://news.10jqka.com.cn/20250714/c669606902.shtml', 'A股', '2025-07-14 12:13:04', ''), ('3250131', '宇树科技获得出版物零售许可', '天眼查App显示，7月4日，杭州宇树科技股份有限公司新增一则行政许可信息，许可内容为出版物零售，许可机关为区党委宣传部(区新闻出版局)。值得注意的是，今年5月，该公司经营范围新增出版物零售。', '天眼查App显示，7月4日，杭州宇树科技股份有限公司新增一则行政许可信息，许可内容为出版物零售，许可机关为区党委宣传部（区新闻出版局）。值得注意的是，今年5月，该公司经营范围新增出版物零售。', 'https://news.10jqka.com.cn/20250714/c669607142.shtml', '港股,A股', '2025-07-14 12:38:20', ''), ('3250079', '韩特检组对军方24处场所展开扣押搜查，正式调查尹锡悦外患罪嫌疑', '韩国内乱特检组于7月14日对军方无人机作战司令部、国防部、国防部防间谍司令部等24处军事相关场所进行了全方位的扣押搜查，对前总统尹锡悦涉嫌外患罪的情况展开正式调查。搜查地点还包括国家安保室、驻白翎岛部队、无人机作战司令部司令金龙大的住宅等。(央视新闻)', '韩国内乱特检组于7月14日对军方无人机作战司令部、国防部、国防部防间谍司令部等24处军事相关场所进行了全方位的扣押搜查，对前总统尹锡悦涉嫌外患罪的情况展开正式调查。搜查地点还包括国家安保室、驻白翎岛部队、无人机作战司令部司令金龙大的住宅等。（央视新闻）', 'https://news.10jqka.com.cn/20250714/c669607015.shtml', '美股,港股,A股', '2025-07-14 12:26:27', ''), ('3250125', '中国中铁在秦皇岛成立新公司 含海洋服务业务', '企查查APP显示，近日，中铁大桥局集团(秦皇岛)供应链管理有限公司成立，法定代表人为何士博，注册资本为100万元，经营范围包含：供应链管理服务；工程管理服务；海洋服务；海洋工程装备销售；金属结构销售等。企查查股权穿透显示，该公司由（）间接全资持股。', '企查查APP显示，近日，中铁大桥局集团（秦皇岛）供应链管理有限公司成立，法定代表人为何士博，注册资本为100万元，经营范围包含：供应链管理服务；工程管理服务；海洋服务；海洋工程装备销售；金属结构销售等。企查查股权穿透显示，该公司由中国中铁间接全资持股。', 'https://news.10jqka.com.cn/20250714/c669607089.shtml', '港股,A股', '2025-07-14 12:35:49', ''), ('3250163', '河南发布高温红色预警 部分地区将升至40℃以上', '河南省气象台7月14日12时升级发布高温红色预警：预计7月14日下午，新乡中西部、焦作、洛阳北部、郑州、开封、商丘西部、许昌东部、周口、漯河东部、驻马店部分县(市、区)最高气温将升至40℃以上。7月15日白天，黄河以北和洛阳北部、郑州、开封、商丘西部、许昌、周口北部、漯河北部部分县(市、区)最高气温将升至40℃以上。7月16日白天，黄河以南部分县(市、区)最高气温将升至40℃以上。(央视新闻)', '河南省气象台7月14日12时升级发布高温红色预警：预计7月14日下午，新乡中西部、焦作、洛阳北部、郑州、开封、商丘西部、许昌东部、周口、漯河东部、驻马店部分县（市、区）最高气温将升至40℃以上。7月15日白天，黄河以北和洛阳北部、郑州、开封、商丘西部、许昌、周口北部、漯河北部部分县（市、区）最高气温将升至40℃以上。7月16日白天，黄河以南部分县（市、区）最高气温将升至40℃以上。（央视新闻）', 'https://news.10jqka.com.cn/20250714/c669607268.shtml', '港股,A股', '2025-07-14 12:53:40', ''), ('3250169', '平均每天10班船驶向欧美 从深圳盐田港看中国外贸“加速度”', '海关统计，今年上半年，我国货物贸易进出口总值21.79万亿元，同比增长2.9%。广东深圳（）是世界最大的单体集装箱码头之一，每天都有超过4万个标准集装箱从这里发往全球，是名副其实的“世界级航运枢纽”。深圳海关数据显示，今年上半年，盐田港集装箱吞吐量超758万标箱，同比增长12.7%，实现2位数增长。不仅如此，盐田港今年还新增了11条航线，目前每周近百条航线连通全球，平均每天就有4班船驶向欧洲、6班船前往美国。可以说，深圳用稳定高效的港口体系，为外贸企业跑出“加速度”提供了坚实支撑。(央视)', '海关统计，今年上半年，我国货物贸易进出口总值21.79万亿元，同比增长2.9%。广东深圳盐田港是世界最大的单体集装箱码头之一，每天都有超过4万个标准集装箱从这里发往全球，是名副其实的“世界级航运枢纽”。深圳海关数据显示，今年上半年，盐田港集装箱吞吐量超758万标箱，同比增长12.7%，实现2位数增长。不仅如此，盐田港今年还新增了11条航线，目前每周近百条航线连通全球，平均每天就有4班船驶向欧洲、6班船前往美国。可以说，深圳用稳定高效的港口体系，为外贸企业跑出“加速度”提供了坚实支撑。（央视）', 'https://news.10jqka.com.cn/20250714/c669607289.shtml', '港股,A股', '2025-07-14 12:56:18', ''), ('3250035', '港股午评：恒生指数涨0.11%，恒生科技指数涨0.2%', '港股午间收盘，恒生指数涨0.11%，恒生科技指数涨0.2%。比特币屡创新高，港股加密货币概念股冲高，欧科云链涨超30%，雄岸科技涨超20%，新火科技控股涨超9%。', '港股午间收盘，恒生指数涨0.11%，恒生科技指数涨0.2%。比特币屡创新高，港股加密货币概念股冲高，欧科云链涨超30%，雄岸科技涨超20%，新火科技控股涨超9%。', 'https://news.10jqka.com.cn/20250714/c669606787.shtml', '港股,A股', '2025-07-14 12:01:55', '')]
+async def create_pool():
+    """创建AsyncMy连接池"""
+    return await asyncmy.create_pool(
+        host=MYSQL_HOST,
+        user=MYSQL_USER,
+        password=MYSQL_PASSWORD,
+        db=MYSQL_DB,
+        minsize=1,
+        maxsize=5,
+        autocommit=False,
+        connect_timeout=10,
+        read_timeout=30,
+        charset='utf8mb4'
+    )
+
+
+async def batch_insert(pool, chunk_size=100):
+    """批量插入数据"""
+    sql = """
+    INSERT INTO `articles` 
+    (`article_id`, `title`, `digest`, `short`, `url`, `tag`, `ctime`, `source`) 
+    VALUES (%s, %s, %s, %s, %s, %s, %s, %s)
+    """
+
+    total_items = len(value_tuples)
+    success_count = 0
+    start_time = datetime.now()
+
+    try:
+        async with pool.acquire() as conn:
+            async with conn.cursor() as cursor:
+                try:
+                    affected_rows = await cursor.executemany(sql, value_tuples)
+                    print(affected_rows)
+                    await conn.commit()
+                    success_count += len(value_tuples)
+                    logger.info(f"成功插入 {len(value_tuples)} 条记录，当前总计: {success_count}/{total_items}")
+                except asyncmy.errors.Error as e:
+                    await conn.rollback()
+                    logger.error(f"批次插入失败: {e}, 失败记录: {len(value_tuples)} 条")
+                    raise
+
+    except Exception as e:
+        logger.error(f"批量插入过程中发生错误: {e}")
+        raise
+    finally:
+        elapsed = (datetime.now() - start_time).total_seconds()
+        logger.info(f"批量插入完成. 成功: {success_count}, 失败: {total_items - success_count}, 耗时: {elapsed:.2f}秒")
+
+
+async def main():
+    try:
+        # 创建连接池
+        pool = await create_pool()
+        logger.info("数据库连接池创建成功")
+
+        # 执行批量插入
+        await batch_insert(pool, chunk_size=50)
+
+    except Exception as e:
+        logger.error(f"主程序错误: {e}")
+    finally:
+        # 关闭连接池
+        if 'pool' in locals():
+            pool.close()
+            await pool.wait_closed()
+            logger.info("数据库连接池已关闭")
+
+
+if __name__ == '__main__':
+    asyncio.run(main())

examples/baidu_spider/items.py

@@ -0,0 +1,46 @@
+#!/usr/bin/python
+# -*- coding:UTF-8 -*-
+"""
+# @Time    :    2025-05-11 13:35
+# @Author  :   oscar
+# @Desc    :   None
+"""
+from crawlo.items import Field
+from crawlo.items.items import Item
+
+
+class BauDuItem(Item):
+    url = Field()
+    title = Field()
+
+
+class ArticleItem(Item):
+    article_id = Field()
+    title = Field()
+    digest = Field()
+    short = Field()
+    url = Field()
+    tag = Field()
+    ctime = Field()
+    source = Field()
+
+
+class MiitDeviceItem(Item):
+    article_id = Field()
+    approval_certificate_no = Field()  # 核准证编号
+    device_name = Field()  # 设备名称
+    model_number = Field()  # 设备型号
+    applicant = Field()  # 申请单位
+    remarks = Field()  # 备注
+    validity_period = Field()  # 有效期
+    frequency_tolerance = Field()  # 频率容限
+    frequency_range = Field()  # 频率范围
+    transmission_power = Field()  # 发射功率
+    occupied_bandwidth = Field()  # 占用带宽
+    spurious_emission_limit = Field()  # 杂散发射限制
+    issue_date = Field()  # 发证日期
+    approval_code = Field()  # 核准代码
+    cmiit_id = Field()  # CMIIT ID
+    modulation_scheme = Field()  # 调制方式
+    technology_module = Field()  # 技术体制/功能模块
+    create_time = Field()