crawlo 1.0.4__py3-none-any.whl → 1.0.5__py3-none-any.whl

tests/test_proxy_strategies.py

@@ -0,0 +1,60 @@
+# tests/test_proxy_strategies.py
+import pytest
+from crawlo import Request
+from crawlo.proxy.strategies import STRATEGIES
+
+
+@pytest.fixture
+def mock_proxies():
+    """提供测试用的代理列表"""
+    return [
+        {'url': 'http://p1:8080'},
+        {'url': 'http://p2:8080'},
+        {'url': 'http://p3:8080'},
+    ]
+
+
+@pytest.fixture
+def mock_stats():
+    """提供测试用的统计信息"""
+    return {
+        'http://p1:8080': {'total': 10},
+        'http://p2:8080': {'total': 5},
+        'http://p3:8080': {'total': 1},
+    }
+
+
+@pytest.fixture
+def mock_request():
+    """提供测试用的请求对象"""
+    return Request("https://example.com")
+
+
+def test_random_strategy(mock_proxies, mock_request, mock_stats):
+    """测试随机策略"""
+    strategy = STRATEGIES['random']
+    chosen = strategy(mock_proxies, mock_request, mock_stats)
+    assert chosen in [p['url'] for p in mock_proxies]
+
+
+def test_least_used_strategy(mock_proxies, mock_request, mock_stats):
+    """测试最少使用策略"""
+    strategy = STRATEGIES['least_used']
+    chosen = strategy(mock_proxies, mock_request, mock_stats)
+    assert chosen == 'http://p3:8080'  # total=1
+
+
+def test_domain_rule_strategy(mock_proxies, mock_request, mock_stats):
+    """测试域名规则策略"""
+    from crawlo.proxy.strategies.domain_rule import domain_rule_strategy
+    request = Request("https://taobao.com/item/123")
+    rules = {'taobao.com': 'http://special:8080'}
+
+    # Monkey patch 确保有回退策略
+    old_strategy = STRATEGIES['least_used']
+    try:
+        STRATEGIES['least_used'] = lambda p, r, s: 'http://fallback:8080'
+        chosen = domain_rule_strategy(mock_proxies, request, mock_stats, rules)
+        assert chosen == 'http://special:8080'
+    finally:
+        STRATEGIES['least_used'] = old_strategy

crawlo/downloader/playwright_downloader.py

@@ -1,161 +0,0 @@
-#!/usr/bin/python
-# -*- coding:UTF-8 -*-
-from typing import Optional, Dict, Any
-from playwright.async_api import Browser, Page, Response as PlaywrightResponse
-from crawlo import Response, Request
-from crawlo.downloader import DownloaderBase
-
-
-class PlaywrightDownloader(DownloaderBase):
-    def __init__(self, crawler):
-        super().__init__(crawler)
-        # Playwright 核心对象
-        self.browser: Optional[Browser] = None  # 浏览器实例
-        self.context: Optional[Any] = None  # 浏览器上下文（隔离cookies等）
-
-        # 可配置参数（通过crawler.settings覆盖默认值）
-        self._browser_type: str = "chromium"  # 浏览器类型（chromium/firefox/webkit）
-        self._headless: bool = True  # 是否无头模式
-        self._timeout: int = 30000  # 操作超时（毫秒）
-        self._viewport: Dict[str, int] = {"width": 1280, "height": 720}  # 视口大小
-        self._extra_launch_args: Dict[str, Any] = {}  # 浏览器启动额外参数
-
-    async def _init_browser(self):
-        """初始化Playwright浏览器实例"""
-        from playwright.async_api import async_playwright
-
-        # 启动Playwright引擎
-        playwright = await async_playwright().start()
-
-        # 根据配置选择浏览器类型
-        browser_launcher = {
-            "chromium": playwright.chromium,
-            "firefox": playwright.firefox,
-            "webkit": playwright.webkit
-        }.get(self._browser_type, playwright.chromium)  # 默认chromium
-
-        # 启动浏览器（含启动参数）
-        self.browser = await browser_launcher.launch(
-            headless=self._headless,  # 无头模式开关
-            timeout=self._timeout,  # 启动超时
-            **self._extra_launch_args  # 透传额外参数（如代理配置）
-        )
-
-        # 创建浏览器上下文（隔离环境）
-        self.context = await self.browser.new_context(
-            viewport=self._viewport,  # 设置窗口大小
-            user_agent=self.crawler.settings.get("USER_AGENT")  # 自定义UA
-        )
-
-    def open(self):
-        """从crawler配置加载参数"""
-        super().open()  # 调用父类初始化
-
-        # 读取配置（支持在settings.py中覆盖）
-        self._browser_type = self.crawler.settings.get("PLAYWRIGHT_BROWSER", "chromium")
-        self._headless = self.crawler.settings.get_bool("HEADLESS", True)
-        self._timeout = self.crawler.settings.get_int("PLAYWRIGHT_TIMEOUT", 30000)
-        self._viewport = self.crawler.settings.get_dict("VIEWPORT", {"width": 1280, "height": 720})
-        self._extra_launch_args = self.crawler.settings.get_dict("PLAYWRIGHT_LAUNCH_ARGS", {})
-
-    async def download(self, request: Request) -> Response:
-        """
-        核心下载方法：
-        1. 创建新页面Tab
-        2. 加载目标URL
-        3. 获取渲染后的内容
-        """
-        if not self.browser:
-            await self._init_browser()  # 懒加载浏览器
-
-        page = await self.context.new_page()  # 每个请求独立Page（自动隔离）
-
-        try:
-            # 设置请求头（模拟浏览器）
-            if request.headers:
-                await page.set_extra_http_headers(request.headers)
-
-            # 导航到目标URL（支持等待策略配置）
-            response = await page.goto(
-                request.url,
-                timeout=self._timeout,
-                wait_until="domcontentloaded"  # 等待策略：domcontentloaded/networkidle/load
-            )
-
-            # 特殊处理POST请求（Playwright限制需用API方式）
-            if request.method.lower() == "post":
-                return await self._handle_post_request(request, page)
-
-            # 执行自定义JavaScript（用于提取动态数据）
-            if request.meta.get("execute_js"):
-                result = await page.evaluate(request.meta["execute_js"])
-                request.meta["js_result"] = result  # 存储JS执行结果
-
-            # 获取渲染后的完整HTML（含动态生成内容）
-            body = await page.content()
-
-            # 调试模式下截图（用于排查页面问题）
-            if self.crawler.settings.get_bool("DEBUG"):
-                screenshot = await page.screenshot(type="png")
-                request.meta["screenshot"] = screenshot  # 截图存入request.meta
-
-            # 构造统一响应对象
-            return self._structure_response(request, response, body)
-
-        except Exception as e:
-            self.logger.error(f"页面下载失败: {str(e)}")
-            raise
-        finally:
-            await page.close()  # 确保页面关闭，避免资源泄漏
-
-    async def _handle_post_request(self, request: Request, page: Page) -> Response:
-        """
-        处理POST请求的特殊方法：
-        通过页面内fetch API发送POST请求，并监听响应
-        """
-        async with page.expect_response(request.url) as response_info:
-            # 在页面上下文中执行fetch
-            await page.evaluate(
-                """async ({url, headers, body}) => {
-                    await fetch(url, {
-                        method: 'POST',
-                        headers: headers,
-                        body: body
-                    });
-                }""",
-                {
-                    "url": request.url,
-                    "headers": request.headers or {},
-                    "body": request.body or ""
-                }
-            )
-
-        response = await response_info.value  # 获取API响应
-        body = await response.text()  # 读取响应体
-        return self._structure_response(request, response, body)
-
-    @staticmethod
-    def _structure_response(
-            request: Request,
-            response: PlaywrightResponse,
-            body: str
-    ) -> Response:
-        """
-        标准化响应格式：
-        将Playwright的响应转换为crawlo的统一Response对象
-        """
-        return Response(
-            url=str(response.url),  # 最终URL（含重定向）
-            headers=response.headers,  # 响应头
-            status_code=response.status,  # HTTP状态码
-            body=body.encode('utf-8'),  # 响应体（转bytes）
-            request=request  # 关联的请求对象
-        )
-
-    async def close(self) -> None:
-        """资源清理：关闭浏览器实例和上下文"""
-        if self.context:
-            await self.context.close()
-        if self.browser:
-            await self.browser.close()
-        await super().close()  # 调用父类清理逻辑

crawlo-1.0.4.dist-info/RECORD

@@ -1,79 +0,0 @@
-crawlo/__init__.py,sha256=XOWXajnhT2HVql5cycwGkQ0MS85bpQnFdM7tl0Fusik,327
-crawlo/__version__.py,sha256=acuR_XSJzp4OrQ5T8-Ac5gYe48mUwObuwjRmisFmZ7k,22
-crawlo/crawler.py,sha256=rqKjMLDU6qlm2D2gIhkezF5jFOCz0TgYyq-nS7MEFMU,9237
-crawlo/event.py,sha256=7-y6HNv_EIJSYQNzsj0mVK-Gg4ON3wdQeMdQjfFJPlw,313
-crawlo/exceptions.py,sha256=7dtEJBxb9yvmMJe6MQyDB0LuV9que1J_jQN4QYeyO4g,916
-crawlo/stats_collector.py,sha256=NkO09CB-220qz5rxFcD_dedGfr2VPFrDo4hya0Zh8Qc,1577
-crawlo/subscriber.py,sha256=3d4eYtkSgPj-18-mTZM6RQLSil-ux13FUcmfFxr3sMk,3730
-crawlo/task_manager.py,sha256=AS7Xu_8Q_eb3jg9QSkK_wv6W1rRXaI6WjDp8p6h9ltU,721
-crawlo/core/__init__.py,sha256=PnFyJdVNHBoPmV1sW0AHQXijeoSTQ8cMYrbNM1JK8kA,41
-crawlo/core/engine.py,sha256=OcGsY2ikDNXK4j9VqB0bUHs2v1TyWvSJu2mD1W9CbGc,5872
-crawlo/core/processor.py,sha256=qmCqAeqhwYu-UE86evYesaGt9qpuSIfH-ZIZKcXFCZc,1140
-crawlo/core/scheduler.py,sha256=3pnm5L241aEHnJJArnbCnirooo4wWFgAmnP1tMB049k,1891
-crawlo/downloader/__init__.py,sha256=ukrDBULCaoDWoMLCO3XcQhDoasF0oUzj0PHnJ_ACJaE,2306
-crawlo/downloader/aiohttp_downloader.py,sha256=EVCfbaCUJlTa1ZG32NhxKyi8FVFh-NoK0u57ct1MWos,9844
-crawlo/downloader/httpx_downloader.py,sha256=UQ7u3U_Iy8u1i2q0fDBakfu3C6EBN-T5Q0US6u-Um84,7002
-crawlo/downloader/playwright_downloader.py,sha256=q-Yy-hAaS7attXeAr7HAWAuFO2u1EOp_NdHnUPoDRRA,6566
-crawlo/extension/__init__.py,sha256=LPy9XyCu089k6L6oVENIi_imr75AEuY8QTtSJjRioiw,1139
-crawlo/extension/log_interval.py,sha256=S-hSoiz9GdmgHrac4vDQ52fleoBcH-kzdPUD8YRAons,1922
-crawlo/extension/log_stats.py,sha256=WeSnOoSKB8pI_xmcGdh906XnF1xwo6fgJnf_prElwwI,1742
-crawlo/filters/__init__.py,sha256=BCZl86BHiTfDGRe_b1TlNSr6pfNbMKTu0Uq0j4gX_1Q,977
-crawlo/filters/aioredis_filter.py,sha256=MJT74BeVZTjdExKEzdrWKc7WPXFss1k-txc7E54H77E,5522
-crawlo/filters/memory_filter.py,sha256=bs2WUe7CdHiXgr344vzDqMfBv1b3RwXJMnwxpDb64Pw,6639
-crawlo/items/__init__.py,sha256=JUw4wZX50DidJuCMLkP41ik_wTKum2b8iDxm7EbRRds,2063
-crawlo/items/items.py,sha256=00TdAYChF5Rbbgm6a6d-GCxkx4gXP-rA-_Q7u33BuFI,3990
-crawlo/middleware/__init__.py,sha256=ldaGFNbiJnK9Fx12Vdf9fDNfzXxoETtShp5r-vodtw0,549
-crawlo/middleware/default_header.py,sha256=i_Uj07JObyeZFxL7ZAZmvZsHvA1HGtkNab1sA0d-nWI,1067
-crawlo/middleware/download_delay.py,sha256=2M-TchDA7MwyTfYy0Hzh_bW9wlHlpiP-oQlys7crTj0,966
-crawlo/middleware/middleware_manager.py,sha256=kMqnSf4kltDkRf8PV0Xs9Ple9z-oKKQrMS0Q0_-4vNQ,6489
-crawlo/middleware/request_ignore.py,sha256=QI2z4fUnJ-4xvPTZAmsL-GqR4RFHS1xq9iDr5KFrMco,997
-crawlo/middleware/response_code.py,sha256=tmef2QVl3JCiTMii6VQkASlOY2OyqmOPoOfNxIK1eF8,659
-crawlo/middleware/response_filter.py,sha256=ep8ZxDlfIefi9YqK8dPASEp5TTDRo9QEY_jMceC411s,837
-crawlo/middleware/retry.py,sha256=BV-rYm3WVp8Hcrxc0JUGYfYAwvOWfXTWtatp3S5K9oU,3375
-crawlo/network/__init__.py,sha256=VaD0GmsgDYJ8UMgrtjeOc1Wc7lDGee1uAF3neRpyug0,123
-crawlo/network/request.py,sha256=eyju3BddPU8eNoueY48eqju8I96r9RasmNXXSaUU8dg,7086
-crawlo/network/response.py,sha256=6TO8hvkcgtVVPjQhXI3ywx5E_lV0eGrTBceEi60t55c,6034
-crawlo/pipelines/__init__.py,sha256=Hk-M6X0VCGLp6OEdgnhXGhGhKS5TjKf6dkg8bU9pvUE,260
-crawlo/pipelines/console_pipeline.py,sha256=KABkR3J-rqO0Awox7lizxKR2XuHfVhWPiVRgIybwwu4,1248
-crawlo/pipelines/mongo_pipeline.py,sha256=lv-Zn_mWdE_jVy7Nh30Lzqm3YhtLRV5rMy-m4rBWYe0,4442
-crawlo/pipelines/mysql_batch_pipline.py,sha256=g111iuPTRyKr0q4PHTJYIfsYAFf8CCuyYY6DDLSpMO0,4889
-crawlo/pipelines/mysql_pipeline.py,sha256=ZlRWwZLewG9SBLBZ1wWNZ8yAj5xWWitb7BKRSrqEWtI,7857
-crawlo/pipelines/pipeline_manager.py,sha256=JIoX5D-oDfUT7VJrb5m355wi43SChb4nNb09z_0F4_g,2118
-crawlo/settings/__init__.py,sha256=xsukVKn_h2Hopm1Nj-bXkhbfyS62QTTvJi7fhZUwR9M,123
-crawlo/settings/default_settings.py,sha256=zNMVMo_9s1DGr1TiPzwZjSmxuD4qj_JT_oCCmkoMfjs,2579
-crawlo/settings/setting_manager.py,sha256=SxKB1aCWh4OySM_bH9cYng9I3PAmrSP-Q8XOZEWEwbI,2899
-crawlo/spider/__init__.py,sha256=pP_TChnozpHeuS87Bs-Sj31hb0R7glYN3K6BsRw4FOA,905
-crawlo/templates/item_template.tmpl,sha256=bo0cjaFOT1jMrtLjXs6z7Mhwev-s3037suD4BL2_ji4,351
-crawlo/templates/spider_template.tmpl,sha256=dDMOa_17uWKB3FopYrDYLMYhHGaYevm1hI9AVeY6QAg,805
-crawlo/templates/project_template/main.py,sha256=RbGWsdtpOTPMD-jL80sDqu8C-TgI9qrrwJZ8NeK0PZM,594
-crawlo/templates/project_template/setting.py,sha256=NjP9KuhL3pBtRQfC4djBFq4CvBR4H1_OSVDfWMZITh0,9206
-crawlo/templates/project_template/items/__init__.py,sha256=47DEQpj8HBSa-_TImW-5JCeuQeRkm5NMpJWZG3hSuFU,0
-crawlo/templates/project_template/spiders/__init__.py,sha256=47DEQpj8HBSa-_TImW-5JCeuQeRkm5NMpJWZG3hSuFU,0
-crawlo/utils/__init__.py,sha256=BDORpyjMN7VGPKImnCDKSkprS-petgD7ezc9rMlBvb0,123
-crawlo/utils/concurrency_manager.py,sha256=nBrHlrKqGENINDA6zrbpK0jCbcjWqobI10vYy9Sg3wU,5106
-crawlo/utils/date_tools.py,sha256=9OVJB66_0BvRq-lwUE4JYcd6J5RGADW3lcKEWS6lCi0,5319
-crawlo/utils/func_tools.py,sha256=WUZEGpWMuDDX7g-QySM7iaiC74erW2SSkZoUvDw1NjM,2369
-crawlo/utils/log.py,sha256=vNHCIw9owCZ4voNM_hni7fOEyt9kKoOhIrjvl76lKQg,989
-crawlo/utils/pqueue.py,sha256=4Ymkm38fRFqEcSJeD_ULkuBaCk6QdYvJdnYvtJjh-Tk,5386
-crawlo/utils/project.py,sha256=qRErB6Ru81-PpSnT9g2ZPyfbWCwZ8hygpMAWhwIhC_M,1485
-crawlo/utils/request.py,sha256=ftnyr6f--StdcYju5FaU_khRARaxMMktJS8wROA1Fe0,4119
-crawlo/utils/system.py,sha256=HvWV1acxou0Rn0L7pNq4CnV_GWFeU0Tmjy3_nLD8M64,237
-crawlo/utils/tools.py,sha256=isRvzTMU3n1FWMhzTAt-7TVrHmH8JPUwgWyVel71Wj0,9462
-crawlo/utils/url.py,sha256=rlgX2VlJv6JvLmCDTsbxzMSXE6R5ZL_0dLEqprsA-JU,1482
-tests/__init__.py,sha256=6i631BPnS_TR_BWUjtjB5CBO-zv9kRkwQTQvSya2wHE,123
-tests/baidu_spider/__init__.py,sha256=xlj0-TBQBhcKglllla_bQbufNiv10UFE0KsWMLvzFz4,123
-tests/baidu_spider/demo.py,sha256=MTEHkm7U4Kyx5QULCgR6to391xn4XPay6fmuV1c1uRc,24278
-tests/baidu_spider/items.py,sha256=vkbdnCw4tjYLmCL4oDIUxDNCgpYNqZHEG-6lVN3qfvI,443
-tests/baidu_spider/middleware.py,sha256=I71ZMmWTiDBFq4t2zfTE7IIXCqwaaeQ1DvKGW70q2Yg,1397
-tests/baidu_spider/pipeline.py,sha256=TUK_LnrU818UYmCn2_gKeNaTZjaj9qjrlndRLsR4wf0,1437
-tests/baidu_spider/request_fingerprints.txt,sha256=TJAuFJZZ_uvYExfruA9bEsIiArz86vxe95QoF2lbnfE,585
-tests/baidu_spider/run.py,sha256=YVe9qwn-2XBRRoZdUnwPRrWlBO5YAmKnyLRI3RpfogE,646
-tests/baidu_spider/settings.py,sha256=EenFOFgupwnn7HIySKSHBgP9--qxxkiWgIi2NDltXRw,2811
-tests/baidu_spider/spiders/__init__.py,sha256=eJ_ih4GiGfwQzPILeouy1Hnc4BrPz0KNPYlLHYvrvoc,123
-tests/baidu_spider/spiders/bai_du.py,sha256=pw4WccbmBR07CuSqCgm_7x9SH63FDJS_sXSaN5Ew5Tw,1589
-tests/baidu_spider/spiders/sina.py,sha256=BKQGJiCS8aiZ2f27C99WcK90QQJwgUY-vS4fUaQSdIQ,2456
-crawlo-1.0.4.dist-info/METADATA,sha256=dzEuRJVuBVSeKTQeEvOXRhfRcyjhcZqJFlPWivAZ9UE,1743
-crawlo-1.0.4.dist-info/WHEEL,sha256=_zCd3N1l69ArxyTb8rzEoP9TpbYXkqRFSNOD5OuxnTs,91
-crawlo-1.0.4.dist-info/entry_points.txt,sha256=GD9PBhKQN83EaxPYtz7NhcGeZeh3bdr2jWbTixOs-lw,59
-crawlo-1.0.4.dist-info/top_level.txt,sha256=bKtfejkszFTNHm7Z6aqtt0AUG8DdeNeL4AoZsg4XdZY,13
-crawlo-1.0.4.dist-info/RECORD,,

tests/baidu_spider/__init__.py

@@ -1,7 +0,0 @@
-#!/usr/bin/python
-# -*- coding:UTF-8 -*-
-"""
-# @Time    :    2025-02-05 13:05
-# @Author  :   oscar
-# @Desc    :   None
-"""

tests/baidu_spider/demo.py

@@ -1,94 +0,0 @@
-#!/usr/bin/python
-# -*- coding:UTF-8 -*-
-"""
-# @Time    :    2025-07-14 13:04
-# @Author  :   crawl-coder
-# @Desc    :   None
-"""
-import asyncio
-import asyncmy
-from datetime import datetime
-import logging
-
-from settings import MYSQL_HOST, MYSQL_USER, MYSQL_PASSWORD, MYSQL_TABLE, MYSQL_DB
-
-# 配置日志
-logging.basicConfig(
-    level=logging.INFO,
-    format='%(asctime)s - %(levelname)s - %(message)s'
-)
-logger = logging.getLogger(__name__)
-
-# 测试数据
-value_tuples = [('3250219', '煤炭开采板块午后直线拉升 郑州煤电涨停', '煤炭开采板块午后直线拉升，（）涨停，（）、（）、（）、（）、（）等纷纷走高。消息面上，中国煤炭运销协会表示，加强行业自律，整治内卷式竞争，促进煤炭市场供需平衡。', '煤炭开采板块午后直线拉升，郑州煤电涨停，山煤国际、辽宁能源、华电能源、恒源煤电、盘江股份等纷纷走高。消息面上，中国煤炭运销协会表示，加强行业自律，整治内卷式竞争，促进煤炭市场供需平衡。', 'https://news.10jqka.com.cn/20250714/c669607368.shtml', '异动', '2025-07-14 13:04:07', ''), ('3250025', '现货白银日内涨幅扩大至1.00%，现报38.77美元/盎司', '现货白银日内涨幅扩大至1.00%，现报38.77美元/盎司。', '现货白银日内涨幅扩大至1.00%，现报38.77美元/盎司。', 'https://news.10jqka.com.cn/20250714/c669606752.shtml', 'A股', '2025-07-14 11:59:10', ''), ('3250061', '7月14日午间公告一览：晨化股份使用3000万元闲置资金购买理财产品', '（）公告，公司及子公司近日使用自有闲置资金购买了3000万元的理财产品。此次投资包括两个金额各为1500万元的银河盛汇稳健1号集合资产管理计划，预期年化收益率为3.2%。该理财产品的起息日为2025年7月10日，到期日为2026年7月6日。公司表示，此举是在确保日常运营和资金安全的前提下进行的，不会影响公司主营业务的正常开展，旨在提高资金使用效率，获取较好的投资回报。', '晨化股份公告，公司及子公司近日使用自有闲置资金购买了3000万元的理财产品。此次投资包括两个金额各为1500万元的银河盛汇稳健1号集合资产管理计划，预期年化收益率为3.2%。该理财产品的起息日为2025年7月10日，到期日为2026年7月6日。公司表示，此举是在确保日常运营和资金安全的前提下进行的，不会影响公司主营业务的正常开展，旨在提高资金使用效率，获取较好的投资回报。', 'https://news.10jqka.com.cn/20250714/c669606926.shtml', '公告,A股', '2025-07-14 12:15:33', ''), ('3250123', '鸿蒙智行问界产品总监彭磊调任享界系列产品总监', '7月14日，鸿蒙智行App显示，彭磊认证信息已变更为享界系列产品总监。此前担任鸿蒙智行问界产品总监的彭磊今天开始在微博发文预热享界产品，宣传鸿蒙智行享界第二款车享界S9T。不过，他的微博认证未同步更新，仍为鸿蒙智行问界产品总监。', '7月14日，鸿蒙智行App显示，彭磊认证信息已变更为享界系列产品总监。此前担任鸿蒙智行问界产品总监的彭磊今天开始在微博发文预热享界产品，宣传鸿蒙智行享界第二款车享界S9T。不过，他的微博认证未同步更新，仍为鸿蒙智行问界产品总监。', 'https://news.10jqka.com.cn/20250714/c669607077.shtml', '港股,A股', '2025-07-14 12:34:46', ''), ('3250153', '韩国前总统尹锡悦再次未出席内乱特检组传唤调查', '记者获悉，韩国前总统尹锡悦14日再次未出席内乱特检组的传唤调查。(央视新闻)', '记者获悉，韩国前总统尹锡悦14日再次未出席内乱特检组的传唤调查。（央视新闻）', 'https://news.10jqka.com.cn/20250714/c669607226.shtml', '美股,港股,A股', '2025-07-14 12:48:40', ''), ('3250135', '立讯精密旗下立铠精密在黄石成立新公司', '企查查APP显示，近日，立铠精密科技(黄石)有限公司成立，法定代表人为杨立强，注册资本5亿元，经营范围包括移动终端设备销售、互联网设备销售、汽车零部件及配件制造等。企查查股权穿透显示，该公司由立铠精密科技(盐城)有限公司全资持股，后者大股东为（）。', '企查查APP显示，近日，立铠精密科技（黄石）有限公司成立，法定代表人为杨立强，注册资本5亿元，经营范围包括移动终端设备销售、互联网设备销售、汽车零部件及配件制造等。企查查股权穿透显示，该公司由立铠精密科技（盐城）有限公司全资持股，后者大股东为立讯精密。', 'https://news.10jqka.com.cn/20250714/c669607154.shtml', 'A股', '2025-07-14 12:40:40', ''), ('3250197', '沪深京三市成交额超1万亿元 较上日此时缩量686亿元', '据（）iFinD数据，沪深京三市成交额超1万亿元，较上日此时686亿元，预计全天成交金额约1.6万亿元。截至目前，沪市成交额4158亿元，深市成交额5688亿元，北证50成交额154亿元。', '据同花顺iFinD数据，沪深京三市成交额超1万亿元，较上日此时缩量686亿元，预计全天成交金额约1.6万亿元。截至目前，沪市成交额4158亿元，深市成交额5688亿元，北证50成交额154亿元。', 'https://news.10jqka.com.cn/20250714/c669607345.shtml', 'A股', '2025-07-14 13:01:38', ''), ('3250129', '伟仕佳杰：公司已开始探索稳定币支付及结算解决方案', '伟仕佳杰在港交所发布公告称，本公司日前已开始进行合作洽谈，以探索稳定币支付及结算的解决方案。该合作讨论主要聚焦本公司在东南亚地区的ICT产品分销、供应链服务及数位生态业务，本次合作讨论不涉及任何加密货币投机行为。该讨论处于初步阶段，且尚未达成任何具法律约束力的协定。', '伟仕佳杰在港交所发布公告称，本公司日前已开始进行合作洽谈，以探索稳定币支付及结算的解决方案。该合作讨论主要聚焦本公司在东南亚地区的ICT产品分销、供应链服务及数位生态业务，本次合作讨论不涉及任何加密货币投机行为。该讨论处于初步阶段，且尚未达成任何具法律约束力的协定。', 'https://news.10jqka.com.cn/20250714/c669607132.shtml', '港股', '2025-07-14 12:37:13', ''), ('3250065', '海南航空发声明打假', '海南航空今日在网络社交平台发布声明。声明称，近期发现部分网络平台及线下场所存在商户和个人未经授权，擅自盗用海南航空商标或公司名称，公然冒充公司员工或关联方，非法开展销售活动。所售商品涵盖空乘制服、飞机模型、机上用品、周边文创产品等多个品类。更有甚者，疑似穿着海南航空享有专利保护的乘务员制服，在直播平台上大肆赚取流量、非法牟利，严重扰乱市场正常秩序。声明表示，“海南航空官方商品及服务仅通过海南航空官网、官方App、经我司正式授权的直营渠道以及指定的合作方进行发布与销售。任何单位或个人均无权擅自使用我司依法享有的商标、名称、专利、著作权等知识产权，更不得假冒我司员工身份开展任何商业活动。”声明还指出，如在日常生活或网络浏览过程中遇到可疑情况，可随时拨打海南航空服务热线95339进行咨询核实，或通过官方网站在线客服反馈相关线索。如未经核实在非正规渠道购买海南航空服务或相关产品，海南航空将不会履行相关义务或承担任何赔偿责任。', '海南航空今日在网络社交平台发布声明。声明称，近期发现部分网络平台及线下场所存在商户和个人未经授权，擅自盗用海南航空商标或公司名称，公然冒充公司员工或关联方，非法开展销售活动。所售商品涵盖空乘制服、飞机模型、机上用品、周边文创产品等多个品类。更有甚者，疑似穿着海南航空享有专利保护的乘务员制服，在直播平台上大肆赚取流量、非法牟利，严重扰乱市场正常秩序。 声明表示，“海南航空官方商品及服务仅通过海南航空官网、官方 App、经我司正式授权的直营渠道以及指定的合作方进行发布与销售。任何单位或个人均无权擅自使用我司依法享有的商标、名称、专利、著作权等知识产权，更不得假冒我司员工身份开展任何商业活动。” 声明还指出，如在日常生活或网络浏览过程中遇到可疑情况，可随时拨打海南航空服务热线 95339 进行咨询核实，或通过官方网站在线客服反馈相关线索。如未经核实在非正规渠道购买海南航空服务或相关产品，海南航空将不会履行相关义务或承担任何赔偿责任。', 'https://news.10jqka.com.cn/20250714/c669606930.shtml', '美股,港股,A股', '2025-07-14 12:15:49', ''), ('3250067', '陕西科研团队光镊切片显微术破解悬浮细胞三维观测难题 成果有望用于医学成像等领域', '据中国科学院西安光机所消息，该所超快光科学与技术全国重点实验室研究员姚保利、徐孝浩团队在生物光学显微成像及微操纵方面取得重要进展，提出了“光镊切片显微术”，实现了悬浮生物细胞的全光式三维成像，为光镊技术开拓了新应用方向，在类器官构建、三维中性原子阵列组装、细胞自动化识别及分选方面具有巨大应用潜力。上述成果在国际顶级学术期刊《科学进展》发表。(科创板日报)', '据中国科学院西安光机所消息，该所超快光科学与技术全国重点实验室研究员姚保利、徐孝浩团队在生物光学显微成像及微操纵方面取得重要进展，提出了“光镊切片显微术”，实现了悬浮生物细胞的全光式三维成像，为光镊技术开拓了新应用方向，在类器官构建、三维中性原子阵列组装、细胞自动化识别及分选方面具有巨大应用潜力。上述成果在国际顶级学术期刊《科学进展》发表。(科创板日报)', 'https://news.10jqka.com.cn/20250714/c669606940.shtml', '港股,A股', '2025-07-14 12:16:39', ''), ('3250121', '公安部：2025年上半年全国机动车达4.6亿辆 驾驶人达5.5亿人', '公安部统计，截至2025年6月底，全国机动车保有量达4.6亿辆，其中汽车3.59亿辆；机动车驾驶人5.5亿人，其中汽车驾驶人5.15亿人。2025年上半年全国新注册登记机动车1688万辆，新领证驾驶人1258万人。上半年新注册登记机动车1688万辆，新注册登记汽车1250万辆。2025年上半年，全国新注册登记机动车1688万辆。其中，汽车新注册登记1250万辆，同比增长0.68%。新能源汽车保有量达3689万辆，上半年新注册登记562.2万辆。截至6月底，全国新能源汽车保有量达3689万辆，占汽车总量的10.27%。其中，纯电动汽车保有量2553.9万辆，占新能源汽车总量的69.23%。上半年新注册登记新能源汽车562.2万辆，同比增长27.86%，创历史新高。新能源汽车新注册登记量占汽车新注册登记量的44.97%。(央视新闻)', '公安部统计，截至2025年6月底，全国机动车保有量达4.6亿辆，其中汽车3.59亿辆；机动车驾驶人5.5亿人，其中汽车驾驶人5.15亿人。2025年上半年全国新注册登记机动车1688万辆，新领证驾驶人1258万人。上半年新注册登记机动车1688万辆，新注册登记汽车1250万辆。2025年上半年，全国新注册登记机动车1688万辆。其中，汽车新注册登记1250万辆，同比增长0.68%。新能源汽车保有量达3689万辆，上半年新注册登记562.2万辆。截至6月底，全国新能源汽车保有量达3689万辆，占汽车总量的10.27%。其中，纯电动汽车保有量2553.9万辆，占新能源汽车总量的69.23%。上半年新注册登记新能源汽车562.2万辆，同比增长27.86%，创历史新高。新能源汽车新注册登记量占汽车新注册登记量的44.97%。（央视新闻）', 'https://news.10jqka.com.cn/20250714/c669607063.shtml', '港股,A股', '2025-07-14 12:33:07', ''), ('3250099', '全国首单低空运营管理责任险落地苏州', '全国首个面向低空经济运营管理方的保险“安翼计划”近日在苏州落地。该保险方案由苏州东吴财产保险股份有限公司联合中国财产再保险有限责任公司研发，为苏州市盛泽湖全空间无人体系示范岛的试飞运营场地管理方提供风险保障。“安翼计划”针对低空经济运营中特有的信号干扰、操作失误、外部撞击等风险场景，提供精细化、专业化风险解决方案，将保险保障聚焦于低空运营管理方，系统构建了覆盖场地方责任、低空运营管理风险的完整保障体系。(新华日报)', '全国首个面向低空经济运营管理方的保险“安翼计划”近日在苏州落地。该保险方案由苏州东吴财产保险股份有限公司联合中国财产再保险有限责任公司研发，为苏州市盛泽湖全空间无人体系示范岛的试飞运营场地管理方提供风险保障。“安翼计划”针对低空经济运营中特有的信号干扰、操作失误、外部撞击等风险场景，提供精细化、专业化风险解决方案，将保险保障聚焦于低空运营管理方，系统构建了覆盖场地方责任、低空运营管理风险的完整保障体系。（新华日报）', 'https://news.10jqka.com.cn/20250714/c669607049.shtml', '美股,港股,A股', '2025-07-14 12:30:52', ''), ('3250159', '韩正会见印度外长苏杰生', '据新华社报道，7月14日，国家副主席韩正在北京会见印度外长苏杰生。韩正表示，去年10月，习近平主席同莫迪总理在喀山成功会晤，引领中印关系重启再出发。中印都是发展中大国、全球南方重要成员，做相互成就的伙伴，实现“龙象共舞”，是双方正确选择。双方要进一步落实两国领导人达成的重要共识，坚持高层引领、稳步推进务实合作、尊重彼此关切，推动中印关系持续健康稳定发展。苏杰生表示，莫迪总理同习近平主席喀山会晤后，印中关系稳步改善。印方愿以领导人共识为指引，保持印中关系发展势头，推进互利合作，加强在多边机制中的沟通协调。印方支持中方作为轮值主席国办好今年的上海合作组织峰会。', '据新华社报道，7月14日，国家副主席韩正在北京会见印度外长苏杰生。韩正表示，去年10月，习近平主席同莫迪总理在喀山成功会晤，引领中印关系重启再出发。中印都是发展中大国、全球南方重要成员，做相互成就的伙伴，实现“龙象共舞”，是双方正确选择。双方要进一步落实两国领导人达成的重要共识，坚持高层引领、稳步推进务实合作、尊重彼此关切，推动中印关系持续健康稳定发展。苏杰生表示，莫迪总理同习近平主席喀山会晤后，印中关系稳步改善。印方愿以领导人共识为指引，保持印中关系发展势头，推进互利合作，加强在多边机制中的沟通协调。印方支持中方作为轮值主席国办好今年的上海合作组织峰会。', 'https://news.10jqka.com.cn/20250714/c669607238.shtml', '美股,港股,A股', '2025-07-14 12:50:33', ''), ('3250059', '泰国机构将2025年到访游客人数预估从4000万人次下调至3500万人次', '泰国机构将2025年到访游客人数预估从4000万人次下调至3500万人次。', '泰国机构将2025年到访游客人数预估从4000万人次下调至3500万人次。', 'https://news.10jqka.com.cn/20250714/c669606902.shtml', 'A股', '2025-07-14 12:13:04', ''), ('3250131', '宇树科技获得出版物零售许可', '天眼查App显示，7月4日，杭州宇树科技股份有限公司新增一则行政许可信息，许可内容为出版物零售，许可机关为区党委宣传部(区新闻出版局)。值得注意的是，今年5月，该公司经营范围新增出版物零售。', '天眼查App显示，7月4日，杭州宇树科技股份有限公司新增一则行政许可信息，许可内容为出版物零售，许可机关为区党委宣传部（区新闻出版局）。值得注意的是，今年5月，该公司经营范围新增出版物零售。', 'https://news.10jqka.com.cn/20250714/c669607142.shtml', '港股,A股', '2025-07-14 12:38:20', ''), ('3250079', '韩特检组对军方24处场所展开扣押搜查，正式调查尹锡悦外患罪嫌疑', '韩国内乱特检组于7月14日对军方无人机作战司令部、国防部、国防部防间谍司令部等24处军事相关场所进行了全方位的扣押搜查，对前总统尹锡悦涉嫌外患罪的情况展开正式调查。搜查地点还包括国家安保室、驻白翎岛部队、无人机作战司令部司令金龙大的住宅等。(央视新闻)', '韩国内乱特检组于7月14日对军方无人机作战司令部、国防部、国防部防间谍司令部等24处军事相关场所进行了全方位的扣押搜查，对前总统尹锡悦涉嫌外患罪的情况展开正式调查。搜查地点还包括国家安保室、驻白翎岛部队、无人机作战司令部司令金龙大的住宅等。（央视新闻）', 'https://news.10jqka.com.cn/20250714/c669607015.shtml', '美股,港股,A股', '2025-07-14 12:26:27', ''), ('3250125', '中国中铁在秦皇岛成立新公司 含海洋服务业务', '企查查APP显示，近日，中铁大桥局集团(秦皇岛)供应链管理有限公司成立，法定代表人为何士博，注册资本为100万元，经营范围包含：供应链管理服务；工程管理服务；海洋服务；海洋工程装备销售；金属结构销售等。企查查股权穿透显示，该公司由（）间接全资持股。', '企查查APP显示，近日，中铁大桥局集团（秦皇岛）供应链管理有限公司成立，法定代表人为何士博，注册资本为100万元，经营范围包含：供应链管理服务；工程管理服务；海洋服务；海洋工程装备销售；金属结构销售等。企查查股权穿透显示，该公司由中国中铁间接全资持股。', 'https://news.10jqka.com.cn/20250714/c669607089.shtml', '港股,A股', '2025-07-14 12:35:49', ''), ('3250163', '河南发布高温红色预警 部分地区将升至40℃以上', '河南省气象台7月14日12时升级发布高温红色预警：预计7月14日下午，新乡中西部、焦作、洛阳北部、郑州、开封、商丘西部、许昌东部、周口、漯河东部、驻马店部分县(市、区)最高气温将升至40℃以上。7月15日白天，黄河以北和洛阳北部、郑州、开封、商丘西部、许昌、周口北部、漯河北部部分县(市、区)最高气温将升至40℃以上。7月16日白天，黄河以南部分县(市、区)最高气温将升至40℃以上。(央视新闻)', '河南省气象台7月14日12时升级发布高温红色预警：预计7月14日下午，新乡中西部、焦作、洛阳北部、郑州、开封、商丘西部、许昌东部、周口、漯河东部、驻马店部分县（市、区）最高气温将升至40℃以上。7月15日白天，黄河以北和洛阳北部、郑州、开封、商丘西部、许昌、周口北部、漯河北部部分县（市、区）最高气温将升至40℃以上。7月16日白天，黄河以南部分县（市、区）最高气温将升至40℃以上。（央视新闻）', 'https://news.10jqka.com.cn/20250714/c669607268.shtml', '港股,A股', '2025-07-14 12:53:40', ''), ('3250169', '平均每天10班船驶向欧美 从深圳盐田港看中国外贸“加速度”', '海关统计，今年上半年，我国货物贸易进出口总值21.79万亿元，同比增长2.9%。广东深圳（）是世界最大的单体集装箱码头之一，每天都有超过4万个标准集装箱从这里发往全球，是名副其实的“世界级航运枢纽”。深圳海关数据显示，今年上半年，盐田港集装箱吞吐量超758万标箱，同比增长12.7%，实现2位数增长。不仅如此，盐田港今年还新增了11条航线，目前每周近百条航线连通全球，平均每天就有4班船驶向欧洲、6班船前往美国。可以说，深圳用稳定高效的港口体系，为外贸企业跑出“加速度”提供了坚实支撑。(央视)', '海关统计，今年上半年，我国货物贸易进出口总值21.79万亿元，同比增长2.9%。广东深圳盐田港是世界最大的单体集装箱码头之一，每天都有超过4万个标准集装箱从这里发往全球，是名副其实的“世界级航运枢纽”。深圳海关数据显示，今年上半年，盐田港集装箱吞吐量超758万标箱，同比增长12.7%，实现2位数增长。不仅如此，盐田港今年还新增了11条航线，目前每周近百条航线连通全球，平均每天就有4班船驶向欧洲、6班船前往美国。可以说，深圳用稳定高效的港口体系，为外贸企业跑出“加速度”提供了坚实支撑。（央视）', 'https://news.10jqka.com.cn/20250714/c669607289.shtml', '港股,A股', '2025-07-14 12:56:18', ''), ('3250035', '港股午评：恒生指数涨0.11%，恒生科技指数涨0.2%', '港股午间收盘，恒生指数涨0.11%，恒生科技指数涨0.2%。比特币屡创新高，港股加密货币概念股冲高，欧科云链涨超30%，雄岸科技涨超20%，新火科技控股涨超9%。', '港股午间收盘，恒生指数涨0.11%，恒生科技指数涨0.2%。比特币屡创新高，港股加密货币概念股冲高，欧科云链涨超30%，雄岸科技涨超20%，新火科技控股涨超9%。', 'https://news.10jqka.com.cn/20250714/c669606787.shtml', '港股,A股', '2025-07-14 12:01:55', '')]
-async def create_pool():
-    """创建AsyncMy连接池"""
-    return await asyncmy.create_pool(
-        host=MYSQL_HOST,
-        user=MYSQL_USER,
-        password=MYSQL_PASSWORD,
-        db=MYSQL_DB,
-        minsize=1,
-        maxsize=5,
-        autocommit=False,
-        connect_timeout=10,
-        read_timeout=30,
-        charset='utf8mb4'
-    )
-
-
-async def batch_insert(pool, chunk_size=100):
-    """批量插入数据"""
-    sql = """
-    INSERT INTO `articles` 
-    (`article_id`, `title`, `digest`, `short`, `url`, `tag`, `ctime`, `source`) 
-    VALUES (%s, %s, %s, %s, %s, %s, %s, %s)
-    """
-
-    total_items = len(value_tuples)
-    success_count = 0
-    start_time = datetime.now()
-
-    try:
-        async with pool.acquire() as conn:
-            async with conn.cursor() as cursor:
-                try:
-                    affected_rows = await cursor.executemany(sql, value_tuples)
-                    print(affected_rows)
-                    await conn.commit()
-                    success_count += len(value_tuples)
-                    logger.info(f"成功插入 {len(value_tuples)} 条记录，当前总计: {success_count}/{total_items}")
-                except asyncmy.errors.Error as e:
-                    await conn.rollback()
-                    logger.error(f"批次插入失败: {e}, 失败记录: {len(value_tuples)} 条")
-                    raise
-
-    except Exception as e:
-        logger.error(f"批量插入过程中发生错误: {e}")
-        raise
-    finally:
-        elapsed = (datetime.now() - start_time).total_seconds()
-        logger.info(f"批量插入完成. 成功: {success_count}, 失败: {total_items - success_count}, 耗时: {elapsed:.2f}秒")
-
-
-async def main():
-    try:
-        # 创建连接池
-        pool = await create_pool()
-        logger.info("数据库连接池创建成功")
-
-        # 执行批量插入
-        await batch_insert(pool, chunk_size=50)
-
-    except Exception as e:
-        logger.error(f"主程序错误: {e}")
-    finally:
-        # 关闭连接池
-        if 'pool' in locals():
-            pool.close()
-            await pool.wait_closed()
-            logger.info("数据库连接池已关闭")
-
-
-if __name__ == '__main__':
-    asyncio.run(main())

tests/baidu_spider/items.py

@@ -1,25 +0,0 @@
-#!/usr/bin/python
-# -*- coding:UTF-8 -*-
-"""
-# @Time    :    2025-05-11 13:35
-# @Author  :   oscar
-# @Desc    :   None
-"""
-from crawlo.items import Field
-from crawlo.items.items import Item
-
-
-class BauDuItem(Item):
-    url = Field()
-    title = Field()
-
-
-class ArticleItem(Item):
-    article_id = Field()
-    title = Field()
-    digest = Field()
-    short = Field()
-    url = Field()
-    tag = Field()
-    ctime = Field()
-    source = Field()

tests/baidu_spider/middleware.py

@@ -1,49 +0,0 @@
-#!/usr/bin/python
-# -*- coding:UTF-8 -*-
-"""
-# @Time    :    2025-05-17 11:21
-# @Author  :   crawl-coder
-# @Desc    :   None
-"""
-import asyncio
-import random
-
-from crawlo.exceptions import IgnoreRequestError
-from crawlo.middleware import BaseMiddleware
-
-
-class TestMiddleWare(BaseMiddleware):
-
-    async def process_request(self, request, spider):
-        # 请求预处理
-        # print('process_request', request, spider)
-        # if random.randint(1, 5) == 1:
-        #     raise IgnoreRequestError('url不正确')
-        pass
-
-    def process_response(self, request, response, spider):
-        # 响应预处理
-        # print('process_response', response, response, spider)
-        return response
-
-    def process_exception(self, request, exception, spider):
-        # 异常预处理
-        # print('process_exception', request, exception, spider)
-        pass
-
-
-class TestMiddleWare2(BaseMiddleware):
-    def process_request(self, request, spider):
-        # 请求预处理
-        # print('process_request2', request, spider)
-        pass
-
-    def process_response(self, request, response, spider):
-        # 响应预处理
-        # print('process_response2', response, response, spider)
-        return response
-
-    def process_exception(self, request, exception, spider):
-        # 异常预处理
-        # print('process_exception2', request, exception, spider)
-        pass

tests/baidu_spider/pipeline.py

@@ -1,55 +0,0 @@
-#!/usr/bin/python
-# -*- coding:UTF-8 -*-
-import pymongo
-
-from motor.motor_asyncio import AsyncIOMotorClient
-
-from random import randint
-
-from crawlo.event import spider_closed
-from crawlo.exceptions import ItemDiscard
-from crawlo.utils.log import get_logger
-
-
-class TestPipeline(object):
-
-    async def process_item(self, item, spider):
-        if randint(1, 3) == 1:
-            raise ItemDiscard('重复数据')
-        return item
-
-    @classmethod
-    def create_instance(cls, *args, **kwargs):
-        return cls()
-
-
-class MongoPipeline(object):
-
-    def __init__(self, conn, col):
-        self.conn = conn
-        self.col = col
-
-        self.logger = get_logger(self.__class__.__name__)
-
-    @classmethod
-    def create_instance(cls, crawler):
-        settings = crawler.settings
-        mongo_params = settings.get('MONGODB_PARAMS', None)
-        db_name = settings.get('MONGODB_DB', None)
-        project_name = settings.get('PROJECT_NAME', None)
-
-        conn = AsyncIOMotorClient(**mongo_params) if mongo_params else AsyncIOMotorClient()
-
-        col = conn[db_name][project_name]
-        o = cls(conn, col)
-        crawler.subscriber.subscribe(o.spider_closed, event=spider_closed)
-        return o
-
-    async def process_item(self, item, spider):
-        await self.col.insert_one(item.to_dict())
-        return item
-
-    async def spider_closed(self):
-        self.logger.info('MongoDB closed.')
-        self.conn.close()
-

tests/baidu_spider/request_fingerprints.txt

@@ -1,9 +0,0 @@
-48e727ce8566d65e5233eaac29498b03e2908dd78a90dad7fdd7510e8ada9e32
-c5e78d04ca9b1113e6a8076792aaa7b09ff4b040bd790c684689745aa7edb1ae
-8287f5ad5e2f06687e88cc31d64fdbd3b1b56cee71fbc3344ad8cea852ea9dd3
-f84661b1d15a6e96c6a77a6484c173be3fb502f73e256e8f72f98982674a7992
-f5c1693afa1293e758331a8e95aa6277ffa49105ccd0d79115d8e85375863adc
-f6f2175b1ae909ac0dd41aa2ed735b8305dde6f92d51dd2e411a0c695cfc4843
-3ba6793c55838d267567f6b65b3406bbad30e89e187d3fbe88e6ae55db24dd9d
-488f1d28fe532f1113f634dfa58a2bccae1d34af5421e4064e2ae024d5010280
-dbf802098ea25af78c5751fdc750624296e79d9e1d968e33e5956860ebb5ecc7

tests/baidu_spider/run.py

@@ -1,27 +0,0 @@
-#!/usr/bin/python
-# -*- coding:UTF-8 -*-
-"""
-# @Time    :    2025-02-05 13:12
-# @Author  :   oscar
-# @Desc    :   None
-"""
-import asyncio
-from crawlo.crawler import CrawlerProcess
-
-# from crawlo.utils import system as _
-from tests.baidu_spider.spiders.bai_du import BaiDuSpider
-from crawlo.utils.project import get_settings
-from tests.baidu_spider.spiders.sina import SinaSpider
-
-
-async def main():
-    settings = get_settings()
-    process = CrawlerProcess(settings)
-    # await process.crawl(BaiDuSpider)
-    await process.crawl(SinaSpider)
-
-    await process.start()
-
-if __name__ == '__main__':
-    asyncio.run(main())
-    # 观看到第18集