crawlo 1.3.3__py3-none-any.whl → 1.3.5__py3-none-any.whl

crawlo/templates/project/settings_simple.py.tmpl

@@ -1,102 +1,165 @@
-# -*- coding: UTF-8 -*-
-"""
-简化模式配置模板
-最小配置，适合快速开始和简单项目
-"""
-
-# ============================== 项目基本信息 ==============================
-PROJECT_NAME = '{{project_name}}'
-
-# ============================== 简化运行模式 ==============================
-# 运行模式：'standalone'(单机), 'distributed'(分布式), 'auto'(自动检测)
-RUN_MODE = 'standalone'  # 单机模式 - 适用于开发和小规模数据采集
-
-# 并发配置
-CONCURRENCY = 4  # 低并发数以减少资源占用
-DOWNLOAD_DELAY = 1.0  # 增加延迟以降低目标网站压力
-
-# ============================== 队列配置 ==============================
-
-# 注意：框架已提供默认的队列配置，以下配置项通常无需修改
-# 如需自定义，请取消注释并修改相应值
-
-# 队列类型：'auto'（自动选择）, 'memory'（内存队列）, 'redis'（分布式队列）
-# QUEUE_TYPE = 'auto'  # 自动检测，如果Redis可用则使用Redis队列
-# SCHEDULER_MAX_QUEUE_SIZE = 1000
-# SCHEDULER_QUEUE_NAME = f'crawlo:{{project_name}}:queue:requests'
-# QUEUE_MAX_RETRIES = 3
-# QUEUE_TIMEOUT = 300
-
-# ============================== 去重过滤配置 ==============================
-
-# 注意：框架已提供默认的去重配置，以下配置项通常无需修改
-# 如需自定义，请取消注释并修改相应值
-
-# 简化模式下使用内存去重管道和过滤器
-# DEFAULT_DEDUP_PIPELINE = 'crawlo.pipelines.memory_dedup_pipeline.MemoryDedupPipeline'
-# FILTER_CLASS = 'crawlo.filters.memory_filter.MemoryFilter'
-
-# --- Redis 配置（用于分布式去重和队列） ---
-# REDIS_HOST = '127.0.0.1'
-# REDIS_PORT = 6379
-# REDIS_PASSWORD = ''  # 如果有密码，请填写
-
-# 根据是否有密码生成 URL
-# if REDIS_PASSWORD:
-#     REDIS_URL = f'redis://:{REDIS_PASSWORD}@{REDIS_HOST}:{REDIS_PORT}/0'
-# else:
-#     REDIS_URL = f'redis://{REDIS_HOST}:{REDIS_PORT}/0'
-
-# Redis key配置已移至各组件中，使用统一的命名规范
-# crawlo:{project_name}:filter:fingerprint (请求去重)
-# crawlo:{project_name}:item:fingerprint (数据项去重)
-# crawlo:{project_name}:queue:requests (请求队列)
-# crawlo:{project_name}:queue:processing (处理中队列)
-# crawlo:{project_name}:queue:failed (失败队列)
-
-# REDIS_TTL = 0
-# CLEANUP_FP = 0
-# FILTER_DEBUG = True
-# DECODE_RESPONSES = True
-
-# ============================== 域名过滤配置 ==============================
-# OffsiteMiddleware 配置，用于限制爬虫只爬取指定域名的页面
-# 如需启用域名过滤功能，请取消注释并配置允许的域名列表
-# ALLOWED_DOMAINS = ['example.com', 'www.example.com']
-
-# ============================== 用户自定义中间件配置 ==============================
-# 注意：框架默认中间件已自动加载，此处可添加或覆盖默认中间件
-
-# 中间件列表（框架默认中间件 + 用户自定义中间件）
-# MIDDLEWARES = [
-    # '{{project_name}}.middlewares.CustomMiddleware',  # 示例自定义中间件
-# ]
-
-# ============================== 用户自定义数据管道配置 ==============================
-# 注意：框架默认管道已自动加载，此处可添加或覆盖默认管道
-
-# 数据处理管道列表（框架默认管道 + 用户自定义管道）
-# PIPELINES = [
-    # '{{project_name}}.pipelines.DatabasePipeline',        # 自定义数据库管道
-    # 'crawlo.pipelines.mysql_pipeline.AsyncmyMySQLPipeline',  # MySQL 存储
-    # 'crawlo.pipelines.mongo_pipeline.MongoPipeline',      # MongoDB 存储
-# ]
-
-# ============================== 用户自定义扩展组件 ==============================
-# 注意：框架默认扩展已自动加载，此处可添加或覆盖默认扩展
-
-# 扩展组件列表（框架默认扩展 + 用户自定义扩展）
-# EXTENSIONS = [
-    # 'crawlo.extension.memory_monitor.MemoryMonitorExtension',  # 内存监控
-    # 'crawlo.extension.request_recorder.RequestRecorderExtension',  # 请求记录
-    # 'crawlo.extension.performance_profiler.PerformanceProfilerExtension',  # 性能分析
-    # 'crawlo.extension.health_check.HealthCheckExtension',  # 健康检查
-# ]
-
-# ============================== 日志配置 ==============================
-
-LOG_LEVEL = 'INFO'
-STATS_DUMP = True
-LOG_FILE = f'logs/{{project_name}}.log'
-LOG_FORMAT = '%(asctime)s - [%(name)s] - %(levelname)s: %(message)s'
-LOG_ENCODING = 'utf-8'
+# -*- coding: UTF-8 -*-
+"""
+{{project_name}} 项目配置文件（简化版）
+=============================
+基于 Crawlo 框架的简化爬虫项目配置。
+适合快速开始和简单项目。
+"""
+
+# ============================== 项目基本信息 ==============================
+PROJECT_NAME = '{{project_name}}'
+
+# ============================== 运行模式 ==============================
+RUN_MODE = 'standalone'
+
+# ============================== 并发配置 ==============================
+CONCURRENCY = 4
+MAX_RUNNING_SPIDERS = 1
+DOWNLOAD_DELAY = 1.0
+
+# ============================== 下载器配置 ==============================
+# 可选下载器:
+# DOWNLOADER = 'crawlo.downloader.aiohttp_downloader.AioHttpDownloader'
+# DOWNLOADER = 'crawlo.downloader.httpx_downloader.HttpXDownloader'
+# DOWNLOADER = 'crawlo.downloader.cffi_downloader.CurlCffiDownloader'
+DOWNLOADER = 'crawlo.downloader.aiohttp_downloader.AioHttpDownloader'
+
+# ============================== 队列配置 ==============================
+QUEUE_TYPE = 'memory'
+
+# ============================== 去重过滤器 ==============================
+FILTER_CLASS = 'crawlo.filters.memory_filter.MemoryFilter'
+
+# ============================== 默认去重管道 ==============================
+DEFAULT_DEDUP_PIPELINE = 'crawlo.pipelines.memory_dedup_pipeline.MemoryDedupPipeline'
+
+# ============================== 爬虫模块配置 ==============================
+SPIDER_MODULES = ['{{project_name}}.spiders']
+
+# ============================== 中间件 ==============================
+# MIDDLEWARES = [
+#     'crawlo.middleware.simple_proxy.SimpleProxyMiddleware',
+# ]
+
+# ============================== 默认请求头配置 ==============================
+# 为DefaultHeaderMiddleware配置默认请求头
+DEFAULT_REQUEST_HEADERS = {
+    'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
+    'Accept-Language': 'zh-CN,zh;q=0.9,en;q=0.8',
+    'Accept-Encoding': 'gzip, deflate, br',
+}
+
+# ============================== 允许的域名 ==============================
+# 为OffsiteMiddleware配置允许的域名
+# ALLOWED_DOMAINS = ['example.com']
+
+# ============================== 数据管道 ==============================
+# PIPELINES = [
+#     'crawlo.pipelines.mysql_pipeline.AsyncmyMySQLPipeline',     # MySQL 存储（使用asyncmy异步库）
+# ]
+
+# ============================== 扩展组件 ==============================
+# EXTENSIONS = [
+#     'crawlo.extension.log_interval.LogIntervalExtension',
+#     'crawlo.extension.log_stats.LogStats',
+#     'crawlo.extension.logging_extension.CustomLoggerExtension',
+# ]
+
+# ============================== 日志配置 ==============================
+LOG_LEVEL = 'INFO'
+LOG_FILE = 'logs/{{project_name}}.log'
+LOG_ENCODING = 'utf-8'  # 明确指定日志文件编码
+STATS_DUMP = True
+
+# ============================== 输出配置 ==============================
+OUTPUT_DIR = 'output'
+
+# ============================== Redis配置 ==============================
+REDIS_HOST = '127.0.0.1'
+REDIS_PORT = 6379
+REDIS_PASSWORD = ''
+REDIS_DB = 0
+
+# 根据是否有密码生成 URL
+if REDIS_PASSWORD:
+    REDIS_URL = f'redis://:{REDIS_PASSWORD}@{REDIS_HOST}:{REDIS_PORT}/{REDIS_DB}'
+else:
+    REDIS_URL = f'redis://{REDIS_HOST}:{REDIS_PORT}/{REDIS_DB}'
+
+# ============================== MySQL配置 ==============================
+MYSQL_HOST = '127.0.0.1'
+MYSQL_PORT = 3306
+MYSQL_USER = 'root'
+MYSQL_PASSWORD = '123456'
+MYSQL_DB = '{{project_name}}'
+MYSQL_TABLE = '{{project_name}}_data'
+MYSQL_BATCH_SIZE = 100
+MYSQL_USE_BATCH = False  # 是否启用批量插入
+
+# ============================== MongoDB配置 ==============================
+MONGO_URI = 'mongodb://localhost:27017'
+MONGO_DATABASE = '{{project_name}}_db'
+MONGO_COLLECTION = '{{project_name}}_items'
+MONGO_MAX_POOL_SIZE = 200
+MONGO_MIN_POOL_SIZE = 20
+MONGO_BATCH_SIZE = 100  # 批量插入条数
+MONGO_USE_BATCH = False  # 是否启用批量插入
+
+# ============================== 代理配置 ==============================
+# 代理功能默认不启用，如需使用请在项目配置文件中启用并配置相关参数
+PROXY_ENABLED = False  # 是否启用代理
+
+# 简化版代理配置（适用于SimpleProxyMiddleware）
+PROXY_LIST = []  # 代理列表，例如: ["http://proxy1:8080", "http://proxy2:8080"]
+
+# 高级代理配置（适用于ProxyMiddleware）
+PROXY_API_URL = ""  # 代理获取接口（请替换为真实地址）
+
+# 代理提取方式（支持字段路径或函数）
+# 示例: "proxy" 适用于 {"proxy": "http://1.1.1.1:8080"}
+# 示例: "data.proxy" 适用于 {"data": {"proxy": "http://1.1.1.1:8080"}}
+PROXY_EXTRACTOR = "proxy"
+
+# 代理刷新控制
+PROXY_REFRESH_INTERVAL = 60  # 代理刷新间隔（秒）
+PROXY_API_TIMEOUT = 10  # 请求代理 API 超时时间
+
+# ============================== Curl-Cffi 特有配置 ==============================
+# 浏览器指纹模拟（仅 CurlCffi 下载器有效）
+CURL_BROWSER_TYPE = "chrome"  # 可选: chrome, edge, safari, firefox 或版本如 chrome136
+
+# 自定义浏览器版本映射（可覆盖默认行为）
+CURL_BROWSER_VERSION_MAP = {
+    "chrome": "chrome136",
+    "edge": "edge101",
+    "safari": "safari184",
+    "firefox": "firefox135",
+}
+
+# ============================== 下载器优化配置 ==============================
+# 下载器健康检查
+DOWNLOADER_HEALTH_CHECK = True  # 是否启用下载器健康检查
+HEALTH_CHECK_INTERVAL = 60  # 健康检查间隔（秒）
+
+# 请求统计配置
+REQUEST_STATS_ENABLED = True  # 是否启用请求统计
+STATS_RESET_ON_START = False  # 启动时是否重置统计
+
+# HttpX 下载器专用配置
+HTTPX_HTTP2 = True  # 是否启用HTTP/2支持
+HTTPX_FOLLOW_REDIRECTS = True  # 是否自动跟随重定向
+
+# AioHttp 下载器专用配置
+AIOHTTP_AUTO_DECOMPRESS = True  # 是否自动解压响应
+AIOHTTP_FORCE_CLOSE = False  # 是否强制关闭连接
+
+# 通用优化配置
+CONNECTION_TTL_DNS_CACHE = 300  # DNS缓存TTL（秒）
+CONNECTION_KEEPALIVE_TIMEOUT = 15  # Keep-Alive超时（秒）
+
+# ============================== 内存监控配置 ==============================
+# 内存监控扩展默认不启用，如需使用请在项目配置文件中启用
+MEMORY_MONITOR_ENABLED = False  # 是否启用内存监控
+MEMORY_MONITOR_INTERVAL = 60  # 内存监控检查间隔（秒）
+MEMORY_WARNING_THRESHOLD = 80.0  # 内存使用率警告阈值（百分比）
+MEMORY_CRITICAL_THRESHOLD = 90.0  # 内存使用率严重阈值（百分比）

crawlo/templates/project/spiders/__init__.py.tmpl

@@ -1,6 +1,10 @@
-# -*- coding: UTF-8 -*-
-"""
-{{project_name}}.spiders
-========================
-存放所有的爬虫。
-"""
+# -*- coding: UTF-8 -*-
+"""
+{{project_name}}.spiders
+========================
+存放所有的爬虫。
+"""
+
+# 自动导入所有爬虫以确保它们被注册
+# 示例：
+# from .YourSpider import YourSpider

crawlo/templates/run.py.tmpl

@@ -1,39 +1,35 @@
-#!/usr/bin/env python
-# -*- coding: UTF-8 -*-
-"""
-{{project_name}} 项目运行脚本
-============================
-基于 Crawlo 框架的简化爬虫启动器。
-"""
-import sys
-import asyncio
-
-from crawlo.crawler import CrawlerProcess
-
-
-def main():
-    """主函数：运行固定的爬虫"""
-    print("🚀 启动 {{project_name}} 爬虫")
-    
-    # 创建爬虫进程（自动加载默认配置）
-    try:
-        # 确保 spider 模块被正确导入
-        spider_modules = ['{{project_name}}.spiders']
-        process = CrawlerProcess(spider_modules=spider_modules)
-        print("✅ 爬虫进程初始化成功")
-        
-        # 运行固定的爬虫
-        # TODO: 请将 'your_spider_name' 替换为实际的爬虫名称
-        asyncio.run(process.crawl('your_spider_name'))
-        
-        print("✅ 爬虫运行完成")
-        
-    except Exception as e:
-        print(f"❌ 运行失败: {e}")
-        import traceback
-        traceback.print_exc()
-        sys.exit(1)
-
-
-if __name__ == '__main__':
+#!/usr/bin/env python3
+# -*- coding: UTF-8 -*-
+"""
+{{project_name}} 项目运行脚本
+============================
+基于 Crawlo 框架的简化爬虫启动器。
+
+框架会自动处理爬虫模块的导入和注册，用户无需手动导入。
+只需指定spider_modules参数，框架会自动扫描并导入所有爬虫。
+"""
+import sys
+import asyncio
+
+from crawlo.crawler import CrawlerProcess
+
+
+def main():
+    """主函数：运行爬虫"""
+    try:
+        # 指定爬虫模块路径，框架会自动导入并注册所有爬虫
+        spider_modules = ['{{project_name}}.spiders']
+        process = CrawlerProcess(spider_modules=spider_modules)
+
+        # TODO 运行指定的爬虫
+        asyncio.run(process.crawl('spider_name'))
+
+    except Exception as e:
+        print(f"❌ 运行失败: {e}")
+        import traceback
+        traceback.print_exc()
+        sys.exit(1)
+
+
+if __name__ == '__main__':
     main()

crawlo/templates/spider/spider.py.tmpl

@@ -1,144 +1,144 @@
-# -*- coding: UTF-8 -*-
-"""
-{{project_name}}.spiders.{{spider_name}}
-=======================================
-由 `crawlo genspider` 命令生成的爬虫。
-基于 Crawlo 框架，支持异步并发、分布式爬取等功能。
-
-使用示例：
-    crawlo crawl {{spider_name}}
-"""
-
-from crawlo.spider import Spider
-from crawlo import Request
-from ..items import ExampleItem
-
-
-class {{class_name}}(Spider):
-    """
-    爬虫：{{spider_name}}
-    
-    功能说明：
-    - 支持并发爬取
-    - 自动去重过滤
-    - 错误重试机制
-    - 数据管道处理
-    """
-    name = '{{spider_name}}'
-    allowed_domains = ['{{domain}}']
-    start_urls = ['https://{{domain}}/']
-    
-    # 高级配置（可选）
-    # custom_settings = {
-    #     'DOWNLOAD_DELAY': 2.0,
-    #     'CONCURRENCY': 4,
-    #     'RETRY_HTTP_CODES': [500, 502, 503, 504, 408, 429],
-    #     'ALLOWED_RESPONSE_CODES': [200, 301, 302],  # 只允许特定状态码
-    #     'DENIED_RESPONSE_CODES': [403, 404],        # 拒绝特定状态码
-    # }
-
-    def start_requests(self):
-        """
-        生成初始请求。
-        
-        支持自定义请求头、代理、优先级等。
-        """
-        headers = {
-            'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
-            'Accept-Language': 'zh-CN,zh;q=0.8,en-US;q=0.5,en;q=0.3',
-        }
-        
-        for url in self.start_urls:
-            yield Request(
-                url=url,
-                callback=self.parse,
-                headers=headers,
-                # meta={'proxy': 'http://proxy.example.com:8080'},  # 自定义代理
-                # priority=10,  # 请求优先级（数字越大优先级越高）
-            )
-
-    def parse(self, response):
-        """
-        解析响应的主方法。
-        
-        Args:
-            response: 响应对象，包含页面内容和元数据
-            
-        Yields:
-            Request: 新的请求对象（用于深度爬取）
-            Item: 数据项对象（用于数据存储）
-        """
-        self.logger.info(f'正在解析页面: {response.url}')
-        
-        # ================== 数据提取示例 ==================
-        
-        # 提取数据并创建 Item
-        # item = {{item_class}}()
-        # item['title'] = response.xpath('//title/text()').get(default='')
-        # item['url'] = response.url
-        # item['content'] = response.xpath('//div[@class="content"]//text()').getall()
-        # yield item
-        
-        # 直接返回字典（简单数据）
-        yield {
-            'title': response.xpath('//title/text()').get(default=''),
-            'url': response.url,
-            'status_code': response.status_code,
-            # 'description': response.xpath('//meta[@name="description"]/@content').get(),
-            # 'keywords': response.xpath('//meta[@name="keywords"]/@content').get(),
-        }
-        
-        # ================== 链接提取示例 ==================
-        
-        # 提取并跟进链接
-        # links = response.xpath('//a/@href').getall()
-        # for link in links:
-        #     # 过滤有效链接
-        #     if link and not link.startswith(('javascript:', 'mailto:', '#')):
-        #         yield response.follow(
-        #             link,
-        #             callback=self.parse_detail,  # 或者 self.parse 继续递归
-        #             meta={'parent_url': response.url}  # 传递父页面信息
-        #         )
-        
-        # 用 CSS 选择器提取链接
-        # for link in response.css('a.item-link::attr(href)').getall():
-        #     yield response.follow(link, callback=self.parse_detail)
-        
-        # ================== 分页处理示例 ==================
-        
-        # 处理分页
-        # next_page = response.xpath('//a[@class="next"]/@href').get()
-        # if next_page:
-        #     yield response.follow(next_page, callback=self.parse)
-        
-        # 数字分页
-        # current_page = int(response.meta.get('page', 1))
-        # max_pages = 100  # 设置最大页数
-        # if current_page < max_pages:
-        #     next_url = f'https://{{domain}}/page/{current_page + 1}'
-        #     yield Request(
-        #         url=next_url,
-        #         callback=self.parse,
-        #         meta={'page': current_page + 1}
-        #     )
-
-    def parse_detail(self, response):
-        """
-        解析详情页面的方法（可选）。
-        
-        用于处理从列表页跳转而来的详情页。
-        """
-        self.logger.info(f'正在解析详情页: {response.url}')
-        
-        # parent_url = response.meta.get('parent_url', '')
-        # 
-        # yield {
-        #     'title': response.xpath('//h1/text()').get(default=''),
-        #     'content': '\n'.join(response.xpath('//div[@class="content"]//text()').getall()),
-        #     'url': response.url,
-        #     'parent_url': parent_url,
-        #     'publish_time': response.xpath('//time/@datetime').get(),
-        # }
-        
+# -*- coding: UTF-8 -*-
+"""
+{{project_name}}.spiders.{{spider_name}}
+=======================================
+由 `crawlo genspider` 命令生成的爬虫。
+基于 Crawlo 框架，支持异步并发、分布式爬取等功能。
+
+使用示例：
+    crawlo crawl {{spider_name}}
+"""
+
+from crawlo.spider import Spider
+from crawlo import Request
+from ..items import ExampleItem
+
+
+class {{class_name}}(Spider):
+    """
+    爬虫：{{spider_name}}
+    
+    功能说明：
+    - 支持并发爬取
+    - 自动去重过滤
+    - 错误重试机制
+    - 数据管道处理
+    """
+    name = '{{spider_name}}'
+    allowed_domains = ['{{domain}}']
+    start_urls = ['https://{{domain}}/']
+    
+    # 高级配置（可选）
+    # custom_settings = {
+    #     'DOWNLOAD_DELAY': 2.0,
+    #     'CONCURRENCY': 4,
+    #     'RETRY_HTTP_CODES': [500, 502, 503, 504, 408, 429],
+    #     'ALLOWED_RESPONSE_CODES': [200, 301, 302],  # 只允许特定状态码
+    #     'DENIED_RESPONSE_CODES': [403, 404],        # 拒绝特定状态码
+    # }
+
+    def start_requests(self):
+        """
+        生成初始请求。
+        
+        支持自定义请求头、代理、优先级等。
+        """
+        headers = {
+            'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
+            'Accept-Language': 'zh-CN,zh;q=0.8,en-US;q=0.5,en;q=0.3',
+        }
+        
+        for url in self.start_urls:
+            yield Request(
+                url=url,
+                callback=self.parse,
+                headers=headers,
+                # meta={'proxy': 'http://proxy.example.com:8080'},  # 自定义代理
+                # priority=10,  # 请求优先级（数字越大优先级越高）
+            )
+
+    def parse(self, response):
+        """
+        解析响应的主方法。
+        
+        Args:
+            response: 响应对象，包含页面内容和元数据
+            
+        Yields:
+            Request: 新的请求对象（用于深度爬取）
+            Item: 数据项对象（用于数据存储）
+        """
+        self.logger.info(f'正在解析页面: {response.url}')
+        
+        # ================== 数据提取示例 ==================
+        
+        # 提取数据并创建 Item
+        # item = {{item_class}}()
+        # item['title'] = response.xpath('//title/text()').get(default='')
+        # item['url'] = response.url
+        # item['content'] = response.xpath('//div[@class="content"]//text()').getall()
+        # yield item
+        
+        # 直接返回字典（简单数据）
+        yield {
+            'title': response.xpath('//title/text()').get(default=''),
+            'url': response.url,
+            'status_code': response.status_code,
+            # 'description': response.xpath('//meta[@name="description"]/@content').get(),
+            # 'keywords': response.xpath('//meta[@name="keywords"]/@content').get(),
+        }
+        
+        # ================== 链接提取示例 ==================
+        
+        # 提取并跟进链接
+        # links = response.xpath('//a/@href').getall()
+        # for link in links:
+        #     # 过滤有效链接
+        #     if link and not link.startswith(('javascript:', 'mailto:', '#')):
+        #         yield response.follow(
+        #             link,
+        #             callback=self.parse_detail,  # 或者 self.parse 继续递归
+        #             meta={'parent_url': response.url}  # 传递父页面信息
+        #         )
+        
+        # 用 CSS 选择器提取链接
+        # for link in response.css('a.item-link::attr(href)').getall():
+        #     yield response.follow(link, callback=self.parse_detail)
+        
+        # ================== 分页处理示例 ==================
+        
+        # 处理分页
+        # next_page = response.xpath('//a[@class="next"]/@href').get()
+        # if next_page:
+        #     yield response.follow(next_page, callback=self.parse)
+        
+        # 数字分页
+        # current_page = int(response.meta.get('page', 1))
+        # max_pages = 100  # 设置最大页数
+        # if current_page < max_pages:
+        #     next_url = f'https://{{domain}}/page/{current_page + 1}'
+        #     yield Request(
+        #         url=next_url,
+        #         callback=self.parse,
+        #         meta={'page': current_page + 1}
+        #     )
+
+    def parse_detail(self, response):
+        """
+        解析详情页面的方法（可选）。
+        
+        用于处理从列表页跳转而来的详情页。
+        """
+        self.logger.info(f'正在解析详情页: {response.url}')
+        
+        # parent_url = response.meta.get('parent_url', '')
+        # 
+        # yield {
+        #     'title': response.xpath('//h1/text()').get(default=''),
+        #     'content': '\n'.join(response.xpath('//div[@class="content"]//text()').getall()),
+        #     'url': response.url,
+        #     'parent_url': parent_url,
+        #     'publish_time': response.xpath('//time/@datetime').get(),
+        # }
+        
         pass