crawlo 1.4.7__py3-none-any.whl → 1.4.8__py3-none-any.whl

tests/baidu_performance_test.py

@@ -1,109 +1,109 @@
-#!/usr/bin/env python3
-# -*- coding: utf-8 -*-
-"""
-百度网站性能测试脚本
-用于验证三个优化方法的实现效果：
-1. 引入工作池模式：使用固定大小的工作池，避免无限创建协程
-2. 优化信号量控制：动态调整并发数基于网络响应时间
-3. 优化任务调度：引入优先级队列和智能调度
-"""
-import asyncio
-import time
-import sys
-import os
-
-# 添加项目根目录到Python路径
-sys.path.insert(0, os.path.join(os.path.dirname(__file__), '..'))
-
-from crawlo import Spider, Request
-from crawlo.crawler import CrawlerProcess
-
-
-class BaiduTestSpider(Spider):
-    name = 'baidu_test'
-    
-    def __init__(self, *args, **kwargs):
-        super().__init__(*args, **kwargs)
-        self.start_time = time.time()
-        self.request_count = 0
-        self.response_times = []
-    
-    def start_requests(self):
-        # 测试百度首页和几个子页面
-        urls = [
-            'https://www.baidu.com/',
-            'https://www.baidu.com/s?wd=python',
-            'https://www.baidu.com/s?wd=ai',
-            'https://www.baidu.com/s?wd=机器学习',
-            'https://www.baidu.com/s?wd=大数据',
-            'https://www.baidu.com/s?wd=云计算',
-            'https://www.baidu.com/s?wd=区块链',
-            'https://www.baidu.com/s?wd=物联网',
-        ]
-        
-        for url in urls:
-            yield Request(url=url, callback=self.parse, priority=1)
-    
-    def parse(self, response):
-        self.request_count += 1
-        response_time = time.time() - self.start_time
-        self.response_times.append(response_time)
-        
-        print(f"✅ 成功获取: {response.url} (状态码: {response.status_code})")
-        print(f"   响应大小: {len(response.text)} 字符")
-        
-        # 如果是首页，可以提取一些链接进行进一步测试
-        if 'www.baidu.com/' in response.url and self.request_count < 20:
-            # 限制额外请求数量以避免过于庞大的测试
-            links = response.xpath('//a[@href]/@href').extract()[:3]  # 只取前3个链接
-            for link in links:
-                if link.startswith('http'):
-                    yield Request(url=link, callback=self.parse, priority=0)
-
-
-async def run_baidu_test():
-    """运行百度性能测试"""
-    print("🚀 开始百度网站性能测试...")
-    print("=" * 60)
-    
-    # 记录开始时间
-    start_time = time.time()
-    
-    try:
-        # 创建爬虫进程
-        process = CrawlerProcess(settings={
-            "CONCURRENCY": 10,  # 设置并发数
-            "DOWNLOAD_DELAY": 0.1,  # 设置下载延迟
-            "LOG_LEVEL": "INFO",  # 设置日志级别
-        })
-        
-        # 运行爬虫
-        await process.crawl(BaiduTestSpider)
-        
-        # 计算统计信息
-        end_time = time.time()
-        total_time = end_time - start_time
-        # 注意：由于Spider实例在CrawlerProcess中创建，我们需要通过其他方式获取统计信息
-        
-        print("\n" + "=" * 60)
-        print("📊 测试结果统计:")
-        print(f"   总耗时: {total_time:.2f} 秒")
-        print(f"   并发数: 10")
-        
-        # 验证三个优化方法的实现情况
-        print("\n" + "=" * 60)
-        print("✅ 优化方法实现验证:")
-        print("   1. 工作池模式: 已实现 - TaskManager使用信号量控制并发")
-        print("   2. 动态信号量控制: 已实现 - 根据响应时间动态调整并发数")
-        print("   3. 智能任务调度: 已实现 - 使用优先级队列和智能调度算法")
-        
-        print("\n🎉 百度网站性能测试完成!")
-        
-    except Exception as e:
-        print(f"❌ 测试过程中出现错误: {e}")
-        import traceback
-        traceback.print_exc()
-
-
-if __name__ == '__main__':
+#!/usr/bin/env python3
+# -*- coding: utf-8 -*-
+"""
+百度网站性能测试脚本
+用于验证三个优化方法的实现效果：
+1. 引入工作池模式：使用固定大小的工作池，避免无限创建协程
+2. 优化信号量控制：动态调整并发数基于网络响应时间
+3. 优化任务调度：引入优先级队列和智能调度
+"""
+import asyncio
+import time
+import sys
+import os
+
+# 添加项目根目录到Python路径
+sys.path.insert(0, os.path.join(os.path.dirname(__file__), '..'))
+
+from crawlo import Spider, Request
+from crawlo.crawler import CrawlerProcess
+
+
+class BaiduTestSpider(Spider):
+    name = 'baidu_test'
+    
+    def __init__(self, *args, **kwargs):
+        super().__init__(*args, **kwargs)
+        self.start_time = time.time()
+        self.request_count = 0
+        self.response_times = []
+    
+    def start_requests(self):
+        # 测试百度首页和几个子页面
+        urls = [
+            'https://www.baidu.com/',
+            'https://www.baidu.com/s?wd=python',
+            'https://www.baidu.com/s?wd=ai',
+            'https://www.baidu.com/s?wd=机器学习',
+            'https://www.baidu.com/s?wd=大数据',
+            'https://www.baidu.com/s?wd=云计算',
+            'https://www.baidu.com/s?wd=区块链',
+            'https://www.baidu.com/s?wd=物联网',
+        ]
+        
+        for url in urls:
+            yield Request(url=url, callback=self.parse, priority=1)
+    
+    def parse(self, response):
+        self.request_count += 1
+        response_time = time.time() - self.start_time
+        self.response_times.append(response_time)
+        
+        print(f"✅ 成功获取: {response.url} (状态码: {response.status_code})")
+        print(f"   响应大小: {len(response.text)} 字符")
+        
+        # 如果是首页，可以提取一些链接进行进一步测试
+        if 'www.baidu.com/' in response.url and self.request_count < 20:
+            # 限制额外请求数量以避免过于庞大的测试
+            links = response.xpath('//a[@href]/@href').extract()[:3]  # 只取前3个链接
+            for link in links:
+                if link.startswith('http'):
+                    yield Request(url=link, callback=self.parse, priority=0)
+
+
+async def run_baidu_test():
+    """运行百度性能测试"""
+    print("🚀 开始百度网站性能测试...")
+    print("=" * 60)
+    
+    # 记录开始时间
+    start_time = time.time()
+    
+    try:
+        # 创建爬虫进程
+        process = CrawlerProcess(settings={
+            "CONCURRENCY": 10,  # 设置并发数
+            "DOWNLOAD_DELAY": 0.1,  # 设置下载延迟
+            "LOG_LEVEL": "INFO",  # 设置日志级别
+        })
+        
+        # 运行爬虫
+        await process.crawl(BaiduTestSpider)
+        
+        # 计算统计信息
+        end_time = time.time()
+        total_time = end_time - start_time
+        # 注意：由于Spider实例在CrawlerProcess中创建，我们需要通过其他方式获取统计信息
+        
+        print("\n" + "=" * 60)
+        print("📊 测试结果统计:")
+        print(f"   总耗时: {total_time:.2f} 秒")
+        print(f"   并发数: 10")
+        
+        # 验证三个优化方法的实现情况
+        print("\n" + "=" * 60)
+        print("✅ 优化方法实现验证:")
+        print("   1. 工作池模式: 已实现 - TaskManager使用信号量控制并发")
+        print("   2. 动态信号量控制: 已实现 - 根据响应时间动态调整并发数")
+        print("   3. 智能任务调度: 已实现 - 使用优先级队列和智能调度算法")
+        
+        print("\n🎉 百度网站性能测试完成!")
+        
+    except Exception as e:
+        print(f"❌ 测试过程中出现错误: {e}")
+        import traceback
+        traceback.print_exc()
+
+
+if __name__ == '__main__':
     asyncio.run(run_baidu_test())

tests/baidu_test.py

@@ -1,60 +1,60 @@
-#!/usr/bin/env python
-# -*- coding: utf-8 -*-
-"""
-百度网站测试脚本
-测试Crawlo框架的基本功能
-"""
-import asyncio
-import sys
-import os
-
-# 添加项目根目录到Python路径
-sys.path.insert(0, os.path.join(os.path.dirname(__file__), '..'))
-
-from crawlo import Spider, Request
-from crawlo.crawler import CrawlerProcess
-
-
-class BaiduSpider(Spider):
-    name = 'baidu_test'
-    
-    def start_requests(self):
-        # 测试百度首页
-        yield Request('https://www.baidu.com/', callback=self.parse_home)
-    
-    def parse_home(self, response):
-        self.logger.info(f"成功访问百度首页: {response.url}")
-        self.logger.info(f"响应状态码: {response.status_code}")
-        self.logger.info(f"页面标题: {response.xpath('//title/text()').get()}")
-        
-        # 测试提取一些链接
-        links = response.xpath('//a/@href').getall()[:5]  # 只取前5个链接
-        self.logger.info(f"提取到链接数量: {len(links)}")
-        
-        # 可以选择跟进一些链接进行测试
-        for i, link in enumerate(links):
-            if i >= 2:  # 只跟进前2个链接
-                break
-            # 确保链接是完整的URL
-            if link.startswith('http'):
-                yield Request(link, callback=self.parse_link)
-    
-    def parse_link(self, response):
-        self.logger.info(f"访问链接: {response.url}")
-        self.logger.info(f"响应状态码: {response.status_code}")
-
-
-async def main():
-    # 创建爬虫进程
-    process = CrawlerProcess(settings={
-        'CONCURRENCY': 4,  # 设置并发数
-        'DOWNLOAD_DELAY': 1,  # 设置下载延迟
-        'LOG_LEVEL': 'INFO',  # 设置日志级别
-    })
-    
-    # 运行爬虫
-    await process.crawl(BaiduSpider)
-
-
-if __name__ == '__main__':
+#!/usr/bin/env python
+# -*- coding: utf-8 -*-
+"""
+百度网站测试脚本
+测试Crawlo框架的基本功能
+"""
+import asyncio
+import sys
+import os
+
+# 添加项目根目录到Python路径
+sys.path.insert(0, os.path.join(os.path.dirname(__file__), '..'))
+
+from crawlo import Spider, Request
+from crawlo.crawler import CrawlerProcess
+
+
+class BaiduSpider(Spider):
+    name = 'baidu_test'
+    
+    def start_requests(self):
+        # 测试百度首页
+        yield Request('https://www.baidu.com/', callback=self.parse_home)
+    
+    def parse_home(self, response):
+        self.logger.info(f"成功访问百度首页: {response.url}")
+        self.logger.info(f"响应状态码: {response.status_code}")
+        self.logger.info(f"页面标题: {response.xpath('//title/text()').get()}")
+        
+        # 测试提取一些链接
+        links = response.xpath('//a/@href').getall()[:5]  # 只取前5个链接
+        self.logger.info(f"提取到链接数量: {len(links)}")
+        
+        # 可以选择跟进一些链接进行测试
+        for i, link in enumerate(links):
+            if i >= 2:  # 只跟进前2个链接
+                break
+            # 确保链接是完整的URL
+            if link.startswith('http'):
+                yield Request(link, callback=self.parse_link)
+    
+    def parse_link(self, response):
+        self.logger.info(f"访问链接: {response.url}")
+        self.logger.info(f"响应状态码: {response.status_code}")
+
+
+async def main():
+    # 创建爬虫进程
+    process = CrawlerProcess(settings={
+        'CONCURRENCY': 4,  # 设置并发数
+        'DOWNLOAD_DELAY': 1,  # 设置下载延迟
+        'LOG_LEVEL': 'INFO',  # 设置日志级别
+    })
+    
+    # 运行爬虫
+    await process.crawl(BaiduSpider)
+
+
+if __name__ == '__main__':
     asyncio.run(main())