staran 0.4.1__tar.gz → 0.5.0__tar.gz

{staran-0.4.1/staran.egg-info → staran-0.5.0}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.4
 Name: staran
-Version: 0.4.1
+Version: 0.5.0
 Summary: staran - 高性能Python工具库
 Home-page: https://github.com/starlxa/staran
 Author: StarAn
@@ -24,7 +24,7 @@ Dynamic: requires-dist
 Dynamic: requires-python
 Dynamic: summary
 
-# Star## ✨ v0.4.1 新特性
+# Star## ✨ v0.4.2 新特性
 
 - 📋 **独立Schema模块** - 专门的表结构定义和管理模块
 - 📄 **文档自动生成** - 支持Markdown/PDF/HTML格式的技术文档生成
@@ -42,7 +42,7 @@ Dynamic: summary
 
 Staran是一个强大的特征工程和数据处理工具包，提供从数据到模型的完整解决方案。特别针对工银图灵平台优化，让特征工程和模型训练变得前所未有的简单。
 
-## ✨ v0.4.1 新特性
+## ✨ v0.4.2 新特性
 
 - �️ **模块化引擎架构** - 独立的引擎模块，支持Spark、Hive、图灵平台
 - 🔧 **统一接口设计** - 所有引擎提供一致的SQL生成、执行和下载接口
@@ -361,7 +361,7 @@ tomorrow = date.add_days(1)         # 202504 (智能处理)
 
 ```
 staran/
-├── __init__.py                    # 主包入口，v0.4.1功能导出
+├── __init__.py                    # 主包入口，v0.4.2功能导出
 ├── schemas/                       # 🆕 表结构定义与文档生成模块
 │   ├── __init__.py               # Schema模块入口
 │   ├── document_generator.py     # 文档生成器 (MD/PDF/HTML)
@@ -385,7 +385,7 @@ staran/
 │   ├── __init__.py               # 工具模块
 │   └── date.py                   # Date类实现
 ├── setup.py                      # 安装配置  
-├── README.md                     # 本文档 v0.4.1
+├── README.md                     # 本文档 v0.4.2
 └── quick-upload.sh               # 快速部署脚本
 ```
 
@@ -561,4 +561,4 @@ MIT License
 
 ---
 
-**Staran v0.4.1** - 模块化引擎架构，让机器学习特征工程变得前所未有的简单 🌟
+**Staran v0.4.2** - 模块化引擎架构，让机器学习特征工程变得前所未有的简单 🌟

{staran-0.4.1 → staran-0.5.0}/README.md

@@ -1,4 +1,4 @@
-# Star## ✨ v0.4.1 新特性
+# Star## ✨ v0.4.2 新特性
 
 - 📋 **独立Schema模块** - 专门的表结构定义和管理模块
 - 📄 **文档自动生成** - 支持Markdown/PDF/HTML格式的技术文档生成
@@ -16,7 +16,7 @@
 
 Staran是一个强大的特征工程和数据处理工具包，提供从数据到模型的完整解决方案。特别针对工银图灵平台优化，让特征工程和模型训练变得前所未有的简单。
 
-## ✨ v0.4.1 新特性
+## ✨ v0.4.2 新特性
 
 - �️ **模块化引擎架构** - 独立的引擎模块，支持Spark、Hive、图灵平台
 - 🔧 **统一接口设计** - 所有引擎提供一致的SQL生成、执行和下载接口
@@ -335,7 +335,7 @@ tomorrow = date.add_days(1)         # 202504 (智能处理)
 
 ```
 staran/
-├── __init__.py                    # 主包入口，v0.4.1功能导出
+├── __init__.py                    # 主包入口，v0.4.2功能导出
 ├── schemas/                       # 🆕 表结构定义与文档生成模块
 │   ├── __init__.py               # Schema模块入口
 │   ├── document_generator.py     # 文档生成器 (MD/PDF/HTML)
@@ -359,7 +359,7 @@ staran/
 │   ├── __init__.py               # 工具模块
 │   └── date.py                   # Date类实现
 ├── setup.py                      # 安装配置  
-├── README.md                     # 本文档 v0.4.1
+├── README.md                     # 本文档 v0.4.2
 └── quick-upload.sh               # 快速部署脚本
 ```
 
@@ -535,4 +535,4 @@ MIT License
 
 ---
 
-**Staran v0.4.1** - 模块化引擎架构，让机器学习特征工程变得前所未有的简单 🌟
+**Staran v0.4.2** - 模块化引擎架构，让机器学习特征工程变得前所未有的简单 🌟

{staran-0.4.1 → staran-0.5.0}/setup.py

@@ -2,7 +2,7 @@ from setuptools import setup, find_packages
 
 setup(
     name="staran",
-    version="0.4.1",
+    version="0.5.0",
     description="staran - 高性能Python工具库",
     long_description=open("README.md", encoding="utf-8").read(),
     long_description_content_type="text/markdown",
@@ -17,6 +17,7 @@ setup(
         "staran.examples",
         "staran.schemas",
         "staran.schemas.aum",
+        "staran.models",
     ],
     install_requires=[
         "datetime",

staran-0.5.0/staran/models/__init__.py

@@ -0,0 +1,81 @@
+"""
+Staran Models Module - v0.5.0
+
+专业的机器学习模型配置和管理模块，提供：
+- 模型配置管理 (ModelConfig)
+- 目标变量定义 (TargetDefinition) 
+- 银行特定配置支持
+- SQL驱动的target生成
+- 模型部署和版本管理
+
+支持的模型类型：
+- 分类模型 (Classification)
+- 回归模型 (Regression)
+- 聚类模型 (Clustering)
+- 时间序列模型 (TimeSeries)
+
+支持的银行：
+- 工商银行 (ICBC)
+- 通用配置 (Generic)
+"""
+
+from .config import ModelConfig, ModelType, create_model_config
+from .target import TargetDefinition, TargetType, create_target_definition
+from .registry import ModelRegistry, register_model, get_model_config, save_model_registry
+from .bank_configs import BankConfig, get_bank_config, register_bank_config
+
+# 版本信息
+__version__ = "0.5.0"
+
+# 主要导出
+__all__ = [
+    # 模型配置
+    'ModelConfig',
+    'ModelType', 
+    'create_model_config',
+    
+    # 目标定义
+    'TargetDefinition',
+    'TargetType',
+    'create_target_definition',
+    
+    # 模型注册
+    'ModelRegistry',
+    'register_model',
+    'get_model_config',
+    'save_model_registry',
+    
+    # 银行配置
+    'BankConfig',
+    'get_bank_config', 
+    'register_bank_config',
+]
+
+# 便捷函数
+def create_icbc_model(model_name: str, model_type: str, target_sql: str, algorithm: str = "random_forest", **kwargs):
+    """创建工商银行专用模型配置的便捷函数"""
+    bank_config = get_bank_config('icbc')
+    model_config = create_model_config(
+        name=model_name,
+        model_type=model_type,
+        algorithm=algorithm,
+        bank_code="icbc",
+        **kwargs
+    )
+    
+    target_config = create_target_definition(
+        name=f"{model_name}_target",
+        target_type="sql_based",
+        sql_query=target_sql,
+        bank_code="icbc"
+    )
+    
+    return register_model(model_config, target_config)
+
+def list_available_models():
+    """列出所有可用的模型配置"""
+    return ModelRegistry.list_models()
+
+def get_model_summary(model_name: str):
+    """获取模型配置摘要"""
+    return ModelRegistry.get_model_summary(model_name)

staran-0.5.0/staran/models/bank_configs.py

@@ -0,0 +1,269 @@
+"""
+银行特定配置模块
+
+为不同银行提供定制化的配置和业务规则
+"""
+
+from enum import Enum
+from typing import Dict, Any, List, Optional
+from dataclasses import dataclass, field
+
+
+class BankCode(Enum):
+    """银行代码枚举"""
+    ICBC = "icbc"           # 工商银行
+    CCB = "ccb"             # 建设银行
+    BOC = "boc"             # 中国银行
+    ABC = "abc"             # 农业银行
+    CMB = "cmb"             # 招商银行
+    GENERIC = "generic"     # 通用配置
+
+
+@dataclass
+class BankConfig:
+    """银行配置类"""
+    # 基本信息
+    bank_code: str                              # 银行代码
+    bank_name: str                              # 银行名称
+    region: str = "cn"                          # 地区代码
+    
+    # 数据库配置
+    database_config: Dict[str, Any] = field(default_factory=dict)
+    
+    # 表名映射 (不同银行的表名可能不同)
+    table_mappings: Dict[str, str] = field(default_factory=dict)
+    
+    # 字段映射 (不同银行的字段名可能不同)
+    field_mappings: Dict[str, Dict[str, str]] = field(default_factory=dict)
+    
+    # 业务规则
+    business_rules: Dict[str, Any] = field(default_factory=dict)
+    
+    # 合规要求
+    compliance_rules: Dict[str, Any] = field(default_factory=dict)
+    
+    # 数据处理规则
+    data_processing_rules: Dict[str, Any] = field(default_factory=dict)
+    
+    # 模型部署配置
+    deployment_config: Dict[str, Any] = field(default_factory=dict)
+    
+    # 特征工程配置
+    feature_engineering_config: Dict[str, Any] = field(default_factory=dict)
+    
+    def get_table_name(self, standard_table: str) -> str:
+        """获取银行特定的表名"""
+        return self.table_mappings.get(standard_table, standard_table)
+    
+    def get_field_name(self, table: str, standard_field: str) -> str:
+        """获取银行特定的字段名"""
+        table_fields = self.field_mappings.get(table, {})
+        return table_fields.get(standard_field, standard_field)
+    
+    def get_business_rule(self, rule_name: str, default=None):
+        """获取业务规则"""
+        return self.business_rules.get(rule_name, default)
+    
+    def validate_compliance(self, operation: str) -> bool:
+        """验证操作是否符合合规要求"""
+        compliance_checks = self.compliance_rules.get(operation, {})
+        # 这里可以实现具体的合规检查逻辑
+        return compliance_checks.get('enabled', True)
+
+
+# 银行配置注册表
+_BANK_CONFIGS: Dict[str, BankConfig] = {}
+
+
+def register_bank_config(config: BankConfig):
+    """注册银行配置"""
+    _BANK_CONFIGS[config.bank_code] = config
+    print(f"✅ 银行配置 {config.bank_code} ({config.bank_name}) 注册成功")
+
+
+def get_bank_config(bank_code: str) -> Optional[BankConfig]:
+    """获取银行配置"""
+    return _BANK_CONFIGS.get(bank_code)
+
+
+def list_bank_configs() -> List[Dict[str, str]]:
+    """列出所有银行配置"""
+    return [
+        {
+            'bank_code': config.bank_code,
+            'bank_name': config.bank_name,
+            'region': config.region
+        }
+        for config in _BANK_CONFIGS.values()
+    ]
+
+
+# 预定义银行配置
+def create_icbc_config() -> BankConfig:
+    """创建工商银行配置"""
+    return BankConfig(
+        bank_code="icbc",
+        bank_name="中国工商银行",
+        region="cn",
+        
+        database_config={
+            "default_database": "dwegdata03000",
+            "connection_pool_size": 10,
+            "query_timeout": 300
+        },
+        
+        table_mappings={
+            "behavior_table": "bi_hlwj_dfcw_f1_f4_wy",
+            "asset_avg_table": "bi_hlwj_zi_chan_avg_wy", 
+            "asset_config_table": "bi_hlwj_zi_chang_month_total_zb",
+            "monthly_stat_table": "bi_hlwj_realy_month_stat_wy"
+        },
+        
+        field_mappings={
+            "behavior_table": {
+                "customer_id": "party_id",
+                "date_field": "data_dt"
+            }
+        },
+        
+        business_rules={
+            "data_retention_days": 90,
+            "min_sample_size": 1000,
+            "max_features": 500,
+            "risk_threshold": 0.8,
+            "aum_threshold": 100000,
+            "longtail_definition": {
+                "asset_threshold": 50000,
+                "activity_threshold": 0.3
+            }
+        },
+        
+        compliance_rules={
+            "data_export": {
+                "enabled": True,
+                "approval_required": True,
+                "encryption_required": True
+            },
+            "model_deployment": {
+                "enabled": True,
+                "testing_required": True,
+                "documentation_required": True
+            },
+            "feature_selection": {
+                "enabled": True,
+                "sensitive_data_allowed": False,
+                "audit_trail_required": True
+            }
+        },
+        
+        data_processing_rules={
+            "missing_value_strategy": "median",
+            "outlier_detection": True,
+            "outlier_threshold": 3.0,
+            "feature_scaling": "standard",
+            "categorical_encoding": "one_hot"
+        },
+        
+        deployment_config={
+            "platform": "turing",
+            "environment": "production",
+            "monitoring_enabled": True,
+            "auto_scaling": True,
+            "backup_required": True
+        },
+        
+        feature_engineering_config={
+            "time_windows": ["1_month", "3_months", "6_months", "1_year"],
+            "aggregation_functions": ["sum", "avg", "max", "min", "std"],
+            "interaction_features": True,
+            "polynomial_features": False,
+            "target_encoding": True
+        }
+    )
+
+
+def create_generic_config() -> BankConfig:
+    """创建通用银行配置"""
+    return BankConfig(
+        bank_code="generic",
+        bank_name="通用银行配置",
+        region="generic",
+        
+        database_config={
+            "default_database": "default_db",
+            "connection_pool_size": 5,
+            "query_timeout": 180
+        },
+        
+        table_mappings={
+            "behavior_table": "customer_behavior",
+            "asset_avg_table": "customer_assets",
+            "asset_config_table": "asset_config", 
+            "monthly_stat_table": "monthly_stats"
+        },
+        
+        business_rules={
+            "data_retention_days": 30,
+            "min_sample_size": 100,
+            "max_features": 100
+        },
+        
+        compliance_rules={
+            "data_export": {"enabled": True},
+            "model_deployment": {"enabled": True}
+        },
+        
+        data_processing_rules={
+            "missing_value_strategy": "mean",
+            "outlier_detection": False,
+            "feature_scaling": "none"
+        }
+    )
+
+
+# 初始化默认银行配置
+def initialize_default_configs():
+    """初始化默认银行配置"""
+    # 注册工商银行配置
+    register_bank_config(create_icbc_config())
+    
+    # 注册通用配置
+    register_bank_config(create_generic_config())
+
+
+# 自动初始化
+initialize_default_configs()
+
+
+# 新疆工行特定配置
+def create_xinjiang_icbc_config() -> BankConfig:
+    """创建新疆工商银行配置"""
+    base_config = create_icbc_config()
+    
+    # 基于基础工行配置进行定制
+    base_config.bank_code = "xinjiang_icbc"
+    base_config.bank_name = "新疆工商银行"
+    base_config.region = "xinjiang"
+    
+    # 新疆特定的业务规则
+    base_config.business_rules.update({
+        "regional_compliance": True,
+        "minority_customer_support": True,
+        "language_support": ["zh", "ug"],  # 中文和维吾尔语
+        "timezone": "Asia/Urumqi",
+        "currency_support": ["CNY"],
+        "cross_border_transaction": True
+    })
+    
+    # 新疆特定的数据处理规则
+    base_config.data_processing_rules.update({
+        "character_encoding": "utf-8",
+        "regional_holidays": True,
+        "time_zone_conversion": True
+    })
+    
+    return base_config
+
+
+# 注册新疆工行配置
+register_bank_config(create_xinjiang_icbc_config())