crawlo 1.4.7__py3-none-any.whl → 1.4.8__py3-none-any.whl

crawlo/utils/response_helper.py

@@ -0,0 +1,113 @@
+#!/usr/bin/python
+# -*- coding:UTF-8 -*-
+"""
+响应处理工具模块
+==================
+提供用于处理HTTP响应的辅助函数，包括Cookie处理和正则表达式操作。
+
+该模块包含以下主要函数：
+- parse_cookies: 从响应头中解析Cookies
+- regex_search: 在文本上执行正则表达式搜索
+- regex_findall: 在文本上执行正则表达式查找
+- get_header_value: 从响应头中获取值，处理大小写不敏感的情况
+"""
+
+import re
+from typing import Dict, List, Any, Optional, Union
+from http.cookies import SimpleCookie
+
+
+def parse_cookies(cookie_header: str) -> Dict[str, str]:
+    """
+    从响应头中解析并返回Cookies
+    
+    :param cookie_header: Set-Cookie头部的值
+    :return: 解析后的Cookies字典
+    """
+    if isinstance(cookie_header, list):
+        cookie_header = ", ".join(cookie_header)
+    
+    if not cookie_header:
+        return {}
+        
+    cookies = SimpleCookie()
+    try:
+        cookies.load(cookie_header)
+        return {key: morsel.value for key, morsel in cookies.items()}
+    except Exception:
+        # 如果解析失败，返回空字典
+        return {}
+
+
+def regex_search(pattern: str, text: str, flags: int = re.DOTALL) -> Optional[re.Match]:
+    """
+    在文本上执行正则表达式搜索
+    
+    :param pattern: 正则表达式模式
+    :param text: 要搜索的文本
+    :param flags: 正则表达式标志
+    :return: 匹配对象或None
+    """
+    if not isinstance(pattern, str):
+        raise TypeError("Pattern must be a string")
+    if not isinstance(text, str):
+        raise TypeError("Text must be a string")
+    return re.search(pattern, text, flags=flags)
+
+
+def regex_findall(pattern: str, text: str, flags: int = re.DOTALL) -> List[Any]:
+    """
+    在文本上执行正则表达式查找
+    
+    :param pattern: 正则表达式模式
+    :param text: 要搜索的文本
+    :param flags: 正则表达式标志
+    :return: 匹配结果列表
+    """
+    if not isinstance(pattern, str):
+        raise TypeError("Pattern must be a string")
+    if not isinstance(text, str):
+        raise TypeError("Text must be a string")
+    return re.findall(pattern, text, flags=flags)
+
+
+def get_header_value(headers: Dict[str, Any], header_name: str, default: Any = None) -> Any:
+    """
+    从响应头中获取值，处理大小写不敏感的情况
+    
+    :param headers: 响应头字典
+    :param header_name: 头部名称
+    :param default: 默认值
+    :return: 头部值或默认值
+    """
+    if not headers or not header_name:
+        return default
+        
+    # 首先尝试直接匹配
+    if header_name in headers:
+        return headers[header_name]
+        
+    # 尝试小写匹配
+    lower_header = header_name.lower()
+    if lower_header in headers:
+        return headers[lower_header]
+        
+    # 尝试首字母大写匹配
+    capitalized_header = header_name.capitalize()
+    if capitalized_header in headers:
+        return headers[capitalized_header]
+        
+    # 尝试标题格式匹配
+    title_header = header_name.title()
+    if title_header in headers:
+        return headers[title_header]
+        
+    return default
+
+
+__all__ = [
+    "parse_cookies",
+    "regex_search",
+    "regex_findall",
+    "get_header_value"
+]

crawlo/utils/selector_helper.py

@@ -1,138 +1,139 @@
-#!/usr/bin/python
-# -*- coding:UTF-8 -*-
-"""
-选择器辅助工具模块
-==================
-提供用于处理parsel选择器的辅助函数，用于提取文本和属性等操作。
-
-该模块包含以下主要函数：
-- extract_text: 从元素列表中提取文本并拼接
-- extract_texts: 从元素列表中提取多个文本列表
-- extract_attr: 从元素列表中提取单个元素的属性值
-- extract_attrs: 从元素列表中提取多个元素的属性值列表
-- is_xpath: 判断查询语句是否为XPath
-
-所有方法都采用了简洁直观的命名风格，便于记忆和使用。
-"""
-
-from typing import List, Any, Optional
-from parsel import Selector, SelectorList
-
-
-def extract_text(elements: SelectorList, join_str: str = " ") -> str:
-    """
-    从元素列表中提取文本并拼接
-    
-    :param elements: SelectorList元素列表
-    :param join_str: 文本拼接分隔符
-    :return: 拼接后的文本
-    
-    示例:
-        title_elements = selector.css('title')
-        title_text = extract_text(title_elements)
-    """
-    texts = []
-    for element in elements:
-        # 获取元素的所有文本节点
-        if hasattr(element, 'xpath'):
-            element_texts = element.xpath('.//text()').getall()
-        else:
-            element_texts = [str(element)]
-        # 清理并添加非空文本
-        for text in element_texts:
-            cleaned = text.strip()
-            if cleaned:
-                texts.append(cleaned)
-    return join_str.join(texts)
-
-
-def extract_texts(elements: SelectorList, join_str: str = " ") -> List[str]:
-    """
-    从元素列表中提取多个文本列表
-    
-    :param elements: SelectorList元素列表
-    :param join_str: 单个节点内文本拼接分隔符
-    :return: 纯文本列表(每个元素对应一个节点的文本)
-    
-    示例:
-        li_elements = selector.css('.list li')
-        li_texts = extract_texts(li_elements)
-    """
-    result = []
-    for element in elements:
-        # 对每个元素提取文本
-        if hasattr(element, 'xpath'):
-            texts = element.xpath('.//text()').getall()
-        else:
-            texts = [str(element)]
-            
-        # 清理文本并拼接
-        clean_texts = [text.strip() for text in texts if text.strip()]
-        if clean_texts:
-            result.append(join_str.join(clean_texts))
-            
-    return result
-
-
-def extract_attr(elements: SelectorList, attr_name: str, default: Any = None) -> Any:
-    """
-    从元素列表中提取单个元素的属性值
-    
-    :param elements: SelectorList元素列表
-    :param attr_name: 属性名称
-    :param default: 默认返回值
-    :return: 属性值或默认值
-    
-    示例:
-        link_elements = selector.css('.link')
-        link_href = extract_attr(link_elements, 'href')
-    """
-    # 使用parsel的attrib属性获取第一个匹配元素的属性值
-    if hasattr(elements, 'attrib'):
-        return elements.attrib.get(attr_name, default)
-    # 如果elements是SelectorList，获取第一个元素的属性
-    elif len(elements) > 0 and hasattr(elements[0], 'attrib'):
-        return elements[0].attrib.get(attr_name, default)
-    return default
-
-
-def extract_attrs(elements: SelectorList, attr_name: str) -> List[Any]:
-    """
-    从元素列表中提取多个元素的属性值列表
-    
-    :param elements: SelectorList元素列表
-    :param attr_name: 属性名称
-    :return: 属性值列表
-    
-    示例:
-        all_links = selector.css('a')
-        all_hrefs = extract_attrs(all_links, 'href')
-    """
-    result = []
-    for element in elements:
-        # 使用parsel的attrib属性获取元素的属性值
-        if hasattr(element, 'attrib'):
-            attr_value = element.attrib.get(attr_name)
-            if attr_value is not None:
-                result.append(attr_value)
-                
-    return result
-
-
-def is_xpath(query: str) -> bool:
-    """
-    判断查询语句是否为XPath
-    
-    :param query: 查询语句
-    :return: 是否为XPath
-    """
-    return query.startswith(('/', '//', './'))
-
-
-__all__ = [
-    "extract_text",
-    "extract_texts",
-    "extract_attr",
-    "extract_attrs",
-    "is_xpath"
+#!/usr/bin/python
+# -*- coding:UTF-8 -*-
+"""
+选择器辅助工具模块
+==================
+提供用于处理parsel选择器的辅助函数，用于提取文本和属性等操作。
+
+该模块包含以下主要函数：
+- extract_text: 从元素列表中提取文本并拼接
+- extract_texts: 从元素列表中提取多个文本列表
+- extract_attr: 从元素列表中提取单个元素的属性值
+- extract_attrs: 从元素列表中提取多个元素的属性值列表
+- is_xpath: 判断查询语句是否为XPath
+
+所有方法都采用了简洁直观的命名风格，便于记忆和使用。
+"""
+
+from typing import List, Any
+
+from parsel import SelectorList
+
+
+def extract_text(elements: SelectorList, join_str: str = " ") -> str:
+    """
+    从元素列表中提取文本并拼接
+    
+    :param elements: SelectorList元素列表
+    :param join_str: 文本拼接分隔符
+    :return: 拼接后的文本
+    
+    示例:
+        title_elements = selector.css('title')
+        title_text = extract_text(title_elements)
+    """
+    texts = []
+    for element in elements:
+        # 获取元素的所有文本节点
+        if hasattr(element, 'xpath'):
+            element_texts = element.xpath('.//text()').getall()
+        else:
+            element_texts = [str(element)]
+        # 清理并添加非空文本
+        for text in element_texts:
+            cleaned = text.strip()
+            if cleaned:
+                texts.append(cleaned)
+    return join_str.join(texts)
+
+
+def extract_texts(elements: SelectorList, join_str: str = " ") -> List[str]:
+    """
+    从元素列表中提取多个文本列表
+    
+    :param elements: SelectorList元素列表
+    :param join_str: 单个节点内文本拼接分隔符
+    :return: 纯文本列表(每个元素对应一个节点的文本)
+    
+    示例:
+        li_elements = selector.css('.list li')
+        li_texts = extract_texts(li_elements)
+    """
+    result = []
+    for element in elements:
+        # 对每个元素提取文本
+        if hasattr(element, 'xpath'):
+            texts = element.xpath('.//text()').getall()
+        else:
+            texts = [str(element)]
+            
+        # 清理文本并拼接
+        clean_texts = [text.strip() for text in texts if text.strip()]
+        if clean_texts:
+            result.append(join_str.join(clean_texts))
+            
+    return result
+
+
+def extract_attr(elements: SelectorList, attr_name: str, default: Any = None) -> Any:
+    """
+    从元素列表中提取单个元素的属性值
+    
+    :param elements: SelectorList元素列表
+    :param attr_name: 属性名称
+    :param default: 默认返回值
+    :return: 属性值或默认值
+    
+    示例:
+        link_elements = selector.css('.link')
+        link_href = extract_attr(link_elements, 'href')
+    """
+    # 使用parsel的attrib属性获取第一个匹配元素的属性值
+    if hasattr(elements, 'attrib'):
+        return elements.attrib.get(attr_name, default)
+    # 如果elements是SelectorList，获取第一个元素的属性
+    elif len(elements) > 0 and hasattr(elements[0], 'attrib'):
+        return elements[0].attrib.get(attr_name, default)
+    return default
+
+
+def extract_attrs(elements: SelectorList, attr_name: str) -> List[Any]:
+    """
+    从元素列表中提取多个元素的属性值列表
+    
+    :param elements: SelectorList元素列表
+    :param attr_name: 属性名称
+    :return: 属性值列表
+    
+    示例:
+        all_links = selector.css('a')
+        all_hrefs = extract_attrs(all_links, 'href')
+    """
+    result = []
+    for element in elements:
+        # 使用parsel的attrib属性获取元素的属性值
+        if hasattr(element, 'attrib'):
+            attr_value = element.attrib.get(attr_name)
+            if attr_value is not None:
+                result.append(attr_value)
+                
+    return result
+
+
+def is_xpath(query: str) -> bool:
+    """
+    判断查询语句是否为XPath
+    
+    :param query: 查询语句
+    :return: 是否为XPath
+    """
+    return query.startswith(('/', '//', './'))
+
+
+__all__ = [
+    "extract_text",
+    "extract_texts",
+    "extract_attr",
+    "extract_attrs",
+    "is_xpath"
 ]

crawlo/utils/singleton.py

@@ -1,70 +1,70 @@
-#!/usr/bin/python
-# -*- coding: UTF-8 -*-
-"""
-单例模式工具模块
-================
-
-提供同步和异步两种单例实现方式，适用于不同的使用场景。
-
-使用场景：
-1. 同步单例：用于框架初始化、配置管理等同步代码
-2. 异步单例：用于数据库连接池、网络资源等异步代码
-
-示例：
-    # 同步单例
-    @singleton
-    class CoreInitializer:
-        pass
-    
-    # 异步单例（在连接池管理器中使用）
-    class MySQLConnectionPoolManager:
-        _instances: Dict[str, 'MySQLConnectionPoolManager'] = {}
-        _lock = asyncio.Lock()
-        
-        @classmethod
-        async def get_pool(cls, ...):
-            async with cls._lock:
-                if pool_key not in cls._instances:
-                    cls._instances[pool_key] = cls(pool_key)
-            return cls._instances[pool_key].pool
-"""
-
-import threading
-from typing import Any, Dict, Type
-
-
-class SingletonMeta(type):
-    """单例元类"""
-    _instances: Dict[Type, Any] = {}
-    _lock = threading.Lock()
-
-    def __call__(cls, *args, **kwargs):
-        if cls not in cls._instances:
-            with cls._lock:
-                if cls not in cls._instances:
-                    instance = super().__call__(*args, **kwargs)
-                    cls._instances[cls] = instance
-        return cls._instances[cls]
-
-
-def singleton(cls):
-    """
-    单例装饰器
-    
-    Args:
-        cls: 要装饰的类
-        
-    Returns:
-        装饰后的类，确保只有一个实例
-    """
-    instances = {}
-    lock = threading.Lock()
-
-    def get_instance(*args, **kwargs):
-        if cls not in instances:
-            with lock:
-                if cls not in instances:
-                    instances[cls] = cls(*args, **kwargs)
-        return instances[cls]
-
+#!/usr/bin/python
+# -*- coding: UTF-8 -*-
+"""
+单例模式工具模块
+================
+
+提供同步和异步两种单例实现方式，适用于不同的使用场景。
+
+使用场景：
+1. 同步单例：用于框架初始化、配置管理等同步代码
+2. 异步单例：用于数据库连接池、网络资源等异步代码
+
+示例：
+    # 同步单例
+    @singleton
+    class CoreInitializer:
+        pass
+    
+    # 异步单例（在连接池管理器中使用）
+    class MySQLConnectionPoolManager:
+        _instances: Dict[str, 'MySQLConnectionPoolManager'] = {}
+        _lock = asyncio.Lock()
+        
+        @classmethod
+        async def get_pool(cls, ...):
+            async with cls._lock:
+                if pool_key not in cls._instances:
+                    cls._instances[pool_key] = cls(pool_key)
+            return cls._instances[pool_key].pool
+"""
+
+import threading
+from typing import Any, Dict, Type
+
+
+class SingletonMeta(type):
+    """单例元类"""
+    _instances: Dict[Type, Any] = {}
+    _lock = threading.Lock()
+
+    def __call__(cls, *args, **kwargs):
+        if cls not in cls._instances:
+            with cls._lock:
+                if cls not in cls._instances:
+                    instance = super().__call__(*args, **kwargs)
+                    cls._instances[cls] = instance
+        return cls._instances[cls]
+
+
+def singleton(cls):
+    """
+    单例装饰器
+    
+    Args:
+        cls: 要装饰的类
+        
+    Returns:
+        装饰后的类，确保只有一个实例
+    """
+    instances = {}
+    lock = threading.Lock()
+
+    def get_instance(*args, **kwargs):
+        if cls not in instances:
+            with lock:
+                if cls not in instances:
+                    instances[cls] = cls(*args, **kwargs)
+        return instances[cls]
+
     return get_instance