crawlo 1.4.5__py3-none-any.whl → 1.4.7__py3-none-any.whl

tests/authenticated_proxy_example.py

@@ -1,107 +1,111 @@
-#!/usr/bin/env python3
-# -*- coding: utf-8 -*-
-"""
-认证代理使用示例
-演示如何在 Crawlo 框架中使用认证代理
-"""
-
-import asyncio
-import sys
-import os
-
-# 添加项目根目录到路径
-sys.path.insert(0, os.path.join(os.path.dirname(__file__), '..'))
-
-from crawlo.config import CrawloConfig
-from crawlo.crawler import CrawlerProcess
-from crawlo import Spider, Request, Item
-
-
-class ProxyItem(Item):
-    """代理测试结果项"""
-    url = ''
-    status = 0
-    proxy = ''
-    response_time = 0.0
-
-
-class AuthProxySpider(Spider):
-    """认证代理测试爬虫"""
-    name = 'auth_proxy_spider'
-    
-    async def start_requests(self):
-        """发起测试请求"""
-        urls = [
-            'https://httpbin.org/ip',  # 查看IP地址
-            'https://httpbin.org/headers',  # 查看请求头
-        ]
-        
-        for url in urls:
-            yield Request(url, callback=self.parse_response)
-    
-    async def parse_response(self, response):
-        """解析响应"""
-        import time
-        import json
-        
-        # 获取代理信息
-        proxy_info = response.meta.get('proxy', 'No proxy')
-        
-        # 解析响应内容
-        try:
-            data = json.loads(response.text)
-            ip_info = data.get('origin', 'Unknown')
-        except:
-            ip_info = response.text[:100] + '...' if len(response.text) > 100 else response.text
-        
-        # 创建结果项
-        item = ProxyItem(
-            url=response.url,
-            status=response.status_code,  # 修复：使用status_code而不是status
-            proxy=str(proxy_info),
-            response_time=response.meta.get('download_latency', 0)
-        )
-        
-        self.logger.info(f"Proxy test result: {item}")
-        yield item
-
-
-async def main():
-    """主函数"""
-    print("🚀 开始认证代理测试...")
-    
-    # 创建配置（使用认证代理）
-    config = CrawloConfig.standalone(
-        concurrency=2,
-        download_delay=1.0,
-        PROXY_ENABLED=True,
-        # 配置认证代理（请替换为实际的代理信息）
-        PROXY_API_URL="http://your-proxy-provider.com/api/get",  # 代理API地址
-        # 如果使用固定代理，可以直接设置：
-        # PROXY_LIST=[
-        #     "http://username:password@proxy1.example.com:8080",
-        #     "http://username:password@proxy2.example.com:8080",
-        # ],
-        LOG_LEVEL='INFO'
-    )
-    
-    # 添加自定义中间件
-    config.set('CUSTOM_MIDDLEWARES', [
-        'crawlo.middleware.proxy.ProxyMiddleware',
-    ])
-    
-    # 创建爬虫进程
-    process = CrawlerProcess(settings=config.to_dict())
-    
-    # 添加爬虫
-    process.crawl(AuthProxySpider)
-    
-    # 启动爬虫
-    print("🔄 正在运行代理测试...")
-    await process.start()
-    
-    print("✅ 认证代理测试完成！")
-
-
-if __name__ == "__main__":
+#!/usr/bin/env python3
+# -*- coding: utf-8 -*-
+"""
+认证代理使用示例
+演示如何在 Crawlo 框架中使用认证代理
+"""
+
+import asyncio
+import sys
+import os
+
+# 添加项目根目录到路径
+sys.path.insert(0, os.path.join(os.path.dirname(__file__), '..'))
+
+from crawlo.config import CrawloConfig
+from crawlo.crawler import CrawlerProcess
+from crawlo import Spider, Request, Item
+
+
+class ProxyItem(Item):
+    """代理测试结果项"""
+    url = ''
+    status = 0
+    proxy = ''
+    response_time = 0.0
+
+
+class AuthProxySpider(Spider):
+    """认证代理测试爬虫"""
+    name = 'auth_proxy_spider'
+    
+    async def start_requests(self):
+        """发起测试请求"""
+        urls = [
+            'https://httpbin.org/ip',  # 查看IP地址
+            'https://httpbin.org/headers',  # 查看请求头
+        ]
+        
+        for url in urls:
+            yield Request(url, callback=self.parse_response)
+    
+    async def parse_response(self, response):
+        """解析响应"""
+        import time
+        import json
+        
+        # 获取代理信息
+        proxy_info = response.meta.get('proxy', 'No proxy')
+        
+        # 解析响应内容
+        try:
+            data = json.loads(response.text)
+            ip_info = data.get('origin', 'Unknown')
+        except:
+            ip_info = response.text[:100] + '...' if len(response.text) > 100 else response.text
+        
+        # 创建结果项
+        item = ProxyItem(
+            url=response.url,
+            status=response.status_code,  # 修复：使用status_code而不是status
+            proxy=str(proxy_info),
+            response_time=response.meta.get('download_latency', 0)
+        )
+        
+        self.logger.info(f"Proxy test result: {item}")
+        yield item
+
+
+async def main():
+    """主函数"""
+    print("🚀 开始认证代理测试...")
+    
+    # 创建配置（使用认证代理）
+    config = CrawloConfig.standalone(
+        concurrency=2,
+        download_delay=1.0,
+        # 代理配置
+        # 高级代理配置（适用于ProxyMiddleware）
+        # 只要配置了代理API URL，中间件就会自动启用
+        PROXY_API_URL="http://proxy-api.example.com/get",  # 代理API地址
+        
+        # 代理配置（适用于ProxyMiddleware）
+        # 只要配置了代理列表，中间件就会自动启用
+        # PROXY_LIST=[
+        #     "http://user:pass@proxy1.example.com:8080",
+        #     "http://user:pass@proxy2.example.com:8080"
+        # ],
+        
+        LOG_LEVEL='INFO'
+    )
+    
+    # 添加自定义中间件
+    config.set('CUSTOM_MIDDLEWARES', [
+        'crawlo.middleware.proxy.ProxyMiddleware',
+    ])
+    
+    # 创建爬虫进程
+    process = CrawlerProcess(settings=config.to_dict())
+    
+    # 添加爬虫
+    process.crawl(AuthProxySpider)
+    
+    # 启动爬虫
+    print("🔄 正在运行代理测试...")
+    await process.start()
+    
+    print("✅ 认证代理测试完成！")
+
+
+if __name__ == "__main__":
     asyncio.run(main())

tests/baidu_performance_test.py

@@ -1,109 +1,109 @@
-#!/usr/bin/env python3
-# -*- coding: utf-8 -*-
-"""
-百度网站性能测试脚本
-用于验证三个优化方法的实现效果：
-1. 引入工作池模式：使用固定大小的工作池，避免无限创建协程
-2. 优化信号量控制：动态调整并发数基于网络响应时间
-3. 优化任务调度：引入优先级队列和智能调度
-"""
-import asyncio
-import time
-import sys
-import os
-
-# 添加项目根目录到Python路径
-sys.path.insert(0, os.path.join(os.path.dirname(__file__), '..'))
-
-from crawlo import Spider, Request
-from crawlo.crawler import CrawlerProcess
-
-
-class BaiduTestSpider(Spider):
-    name = 'baidu_test'
-    
-    def __init__(self, *args, **kwargs):
-        super().__init__(*args, **kwargs)
-        self.start_time = time.time()
-        self.request_count = 0
-        self.response_times = []
-    
-    def start_requests(self):
-        # 测试百度首页和几个子页面
-        urls = [
-            'https://www.baidu.com/',
-            'https://www.baidu.com/s?wd=python',
-            'https://www.baidu.com/s?wd=ai',
-            'https://www.baidu.com/s?wd=机器学习',
-            'https://www.baidu.com/s?wd=大数据',
-            'https://www.baidu.com/s?wd=云计算',
-            'https://www.baidu.com/s?wd=区块链',
-            'https://www.baidu.com/s?wd=物联网',
-        ]
-        
-        for url in urls:
-            yield Request(url=url, callback=self.parse, priority=1)
-    
-    def parse(self, response):
-        self.request_count += 1
-        response_time = time.time() - self.start_time
-        self.response_times.append(response_time)
-        
-        print(f"✅ 成功获取: {response.url} (状态码: {response.status_code})")
-        print(f"   响应大小: {len(response.text)} 字符")
-        
-        # 如果是首页，可以提取一些链接进行进一步测试
-        if 'www.baidu.com/' in response.url and self.request_count < 20:
-            # 限制额外请求数量以避免过于庞大的测试
-            links = response.xpath('//a[@href]/@href').extract()[:3]  # 只取前3个链接
-            for link in links:
-                if link.startswith('http'):
-                    yield Request(url=link, callback=self.parse, priority=0)
-
-
-async def run_baidu_test():
-    """运行百度性能测试"""
-    print("🚀 开始百度网站性能测试...")
-    print("=" * 60)
-    
-    # 记录开始时间
-    start_time = time.time()
-    
-    try:
-        # 创建爬虫进程
-        process = CrawlerProcess(settings={
-            "CONCURRENCY": 10,  # 设置并发数
-            "DOWNLOAD_DELAY": 0.1,  # 设置下载延迟
-            "LOG_LEVEL": "INFO",  # 设置日志级别
-        })
-        
-        # 运行爬虫
-        await process.crawl(BaiduTestSpider)
-        
-        # 计算统计信息
-        end_time = time.time()
-        total_time = end_time - start_time
-        # 注意：由于Spider实例在CrawlerProcess中创建，我们需要通过其他方式获取统计信息
-        
-        print("\n" + "=" * 60)
-        print("📊 测试结果统计:")
-        print(f"   总耗时: {total_time:.2f} 秒")
-        print(f"   并发数: 10")
-        
-        # 验证三个优化方法的实现情况
-        print("\n" + "=" * 60)
-        print("✅ 优化方法实现验证:")
-        print("   1. 工作池模式: 已实现 - TaskManager使用信号量控制并发")
-        print("   2. 动态信号量控制: 已实现 - 根据响应时间动态调整并发数")
-        print("   3. 智能任务调度: 已实现 - 使用优先级队列和智能调度算法")
-        
-        print("\n🎉 百度网站性能测试完成!")
-        
-    except Exception as e:
-        print(f"❌ 测试过程中出现错误: {e}")
-        import traceback
-        traceback.print_exc()
-
-
-if __name__ == '__main__':
+#!/usr/bin/env python3
+# -*- coding: utf-8 -*-
+"""
+百度网站性能测试脚本
+用于验证三个优化方法的实现效果：
+1. 引入工作池模式：使用固定大小的工作池，避免无限创建协程
+2. 优化信号量控制：动态调整并发数基于网络响应时间
+3. 优化任务调度：引入优先级队列和智能调度
+"""
+import asyncio
+import time
+import sys
+import os
+
+# 添加项目根目录到Python路径
+sys.path.insert(0, os.path.join(os.path.dirname(__file__), '..'))
+
+from crawlo import Spider, Request
+from crawlo.crawler import CrawlerProcess
+
+
+class BaiduTestSpider(Spider):
+    name = 'baidu_test'
+    
+    def __init__(self, *args, **kwargs):
+        super().__init__(*args, **kwargs)
+        self.start_time = time.time()
+        self.request_count = 0
+        self.response_times = []
+    
+    def start_requests(self):
+        # 测试百度首页和几个子页面
+        urls = [
+            'https://www.baidu.com/',
+            'https://www.baidu.com/s?wd=python',
+            'https://www.baidu.com/s?wd=ai',
+            'https://www.baidu.com/s?wd=机器学习',
+            'https://www.baidu.com/s?wd=大数据',
+            'https://www.baidu.com/s?wd=云计算',
+            'https://www.baidu.com/s?wd=区块链',
+            'https://www.baidu.com/s?wd=物联网',
+        ]
+        
+        for url in urls:
+            yield Request(url=url, callback=self.parse, priority=1)
+    
+    def parse(self, response):
+        self.request_count += 1
+        response_time = time.time() - self.start_time
+        self.response_times.append(response_time)
+        
+        print(f"✅ 成功获取: {response.url} (状态码: {response.status_code})")
+        print(f"   响应大小: {len(response.text)} 字符")
+        
+        # 如果是首页，可以提取一些链接进行进一步测试
+        if 'www.baidu.com/' in response.url and self.request_count < 20:
+            # 限制额外请求数量以避免过于庞大的测试
+            links = response.xpath('//a[@href]/@href').extract()[:3]  # 只取前3个链接
+            for link in links:
+                if link.startswith('http'):
+                    yield Request(url=link, callback=self.parse, priority=0)
+
+
+async def run_baidu_test():
+    """运行百度性能测试"""
+    print("🚀 开始百度网站性能测试...")
+    print("=" * 60)
+    
+    # 记录开始时间
+    start_time = time.time()
+    
+    try:
+        # 创建爬虫进程
+        process = CrawlerProcess(settings={
+            "CONCURRENCY": 10,  # 设置并发数
+            "DOWNLOAD_DELAY": 0.1,  # 设置下载延迟
+            "LOG_LEVEL": "INFO",  # 设置日志级别
+        })
+        
+        # 运行爬虫
+        await process.crawl(BaiduTestSpider)
+        
+        # 计算统计信息
+        end_time = time.time()
+        total_time = end_time - start_time
+        # 注意：由于Spider实例在CrawlerProcess中创建，我们需要通过其他方式获取统计信息
+        
+        print("\n" + "=" * 60)
+        print("📊 测试结果统计:")
+        print(f"   总耗时: {total_time:.2f} 秒")
+        print(f"   并发数: 10")
+        
+        # 验证三个优化方法的实现情况
+        print("\n" + "=" * 60)
+        print("✅ 优化方法实现验证:")
+        print("   1. 工作池模式: 已实现 - TaskManager使用信号量控制并发")
+        print("   2. 动态信号量控制: 已实现 - 根据响应时间动态调整并发数")
+        print("   3. 智能任务调度: 已实现 - 使用优先级队列和智能调度算法")
+        
+        print("\n🎉 百度网站性能测试完成!")
+        
+    except Exception as e:
+        print(f"❌ 测试过程中出现错误: {e}")
+        import traceback
+        traceback.print_exc()
+
+
+if __name__ == '__main__':
     asyncio.run(run_baidu_test())

tests/baidu_test.py

@@ -1,60 +1,60 @@
-#!/usr/bin/env python
-# -*- coding: utf-8 -*-
-"""
-百度网站测试脚本
-测试Crawlo框架的基本功能
-"""
-import asyncio
-import sys
-import os
-
-# 添加项目根目录到Python路径
-sys.path.insert(0, os.path.join(os.path.dirname(__file__), '..'))
-
-from crawlo import Spider, Request
-from crawlo.crawler import CrawlerProcess
-
-
-class BaiduSpider(Spider):
-    name = 'baidu_test'
-    
-    def start_requests(self):
-        # 测试百度首页
-        yield Request('https://www.baidu.com/', callback=self.parse_home)
-    
-    def parse_home(self, response):
-        self.logger.info(f"成功访问百度首页: {response.url}")
-        self.logger.info(f"响应状态码: {response.status_code}")
-        self.logger.info(f"页面标题: {response.xpath('//title/text()').get()}")
-        
-        # 测试提取一些链接
-        links = response.xpath('//a/@href').getall()[:5]  # 只取前5个链接
-        self.logger.info(f"提取到链接数量: {len(links)}")
-        
-        # 可以选择跟进一些链接进行测试
-        for i, link in enumerate(links):
-            if i >= 2:  # 只跟进前2个链接
-                break
-            # 确保链接是完整的URL
-            if link.startswith('http'):
-                yield Request(link, callback=self.parse_link)
-    
-    def parse_link(self, response):
-        self.logger.info(f"访问链接: {response.url}")
-        self.logger.info(f"响应状态码: {response.status_code}")
-
-
-async def main():
-    # 创建爬虫进程
-    process = CrawlerProcess(settings={
-        'CONCURRENCY': 4,  # 设置并发数
-        'DOWNLOAD_DELAY': 1,  # 设置下载延迟
-        'LOG_LEVEL': 'INFO',  # 设置日志级别
-    })
-    
-    # 运行爬虫
-    await process.crawl(BaiduSpider)
-
-
-if __name__ == '__main__':
+#!/usr/bin/env python
+# -*- coding: utf-8 -*-
+"""
+百度网站测试脚本
+测试Crawlo框架的基本功能
+"""
+import asyncio
+import sys
+import os
+
+# 添加项目根目录到Python路径
+sys.path.insert(0, os.path.join(os.path.dirname(__file__), '..'))
+
+from crawlo import Spider, Request
+from crawlo.crawler import CrawlerProcess
+
+
+class BaiduSpider(Spider):
+    name = 'baidu_test'
+    
+    def start_requests(self):
+        # 测试百度首页
+        yield Request('https://www.baidu.com/', callback=self.parse_home)
+    
+    def parse_home(self, response):
+        self.logger.info(f"成功访问百度首页: {response.url}")
+        self.logger.info(f"响应状态码: {response.status_code}")
+        self.logger.info(f"页面标题: {response.xpath('//title/text()').get()}")
+        
+        # 测试提取一些链接
+        links = response.xpath('//a/@href').getall()[:5]  # 只取前5个链接
+        self.logger.info(f"提取到链接数量: {len(links)}")
+        
+        # 可以选择跟进一些链接进行测试
+        for i, link in enumerate(links):
+            if i >= 2:  # 只跟进前2个链接
+                break
+            # 确保链接是完整的URL
+            if link.startswith('http'):
+                yield Request(link, callback=self.parse_link)
+    
+    def parse_link(self, response):
+        self.logger.info(f"访问链接: {response.url}")
+        self.logger.info(f"响应状态码: {response.status_code}")
+
+
+async def main():
+    # 创建爬虫进程
+    process = CrawlerProcess(settings={
+        'CONCURRENCY': 4,  # 设置并发数
+        'DOWNLOAD_DELAY': 1,  # 设置下载延迟
+        'LOG_LEVEL': 'INFO',  # 设置日志级别
+    })
+    
+    # 运行爬虫
+    await process.crawl(BaiduSpider)
+
+
+if __name__ == '__main__':
     asyncio.run(main())