bquant 0.0.0__py3-none-any.whl

bquant/core/config.py

@@ -0,0 +1,328 @@
+"""
+Configuration settings for the BQuant Project.
+
+Universal configuration supporting multiple instruments, indicators, and analysis methods.
+"""
+
+import os
+from pathlib import Path
+from typing import Dict, Any, Optional
+
+# ============================================================================
+# PROJECT STRUCTURE
+# ============================================================================
+
+PROJECT_ROOT = Path(__file__).parent.parent.parent
+DATA_DIR = PROJECT_ROOT / "data"
+SCRIPTS_DIR = PROJECT_ROOT / "scripts"
+NOTEBOOKS_DIR = PROJECT_ROOT / "research" / "notebooks"
+ALLDATA_DIR = DATA_DIR / "alldata"
+PROCESSED_DATA_DIR = DATA_DIR / "processed"
+RESULTS_DIR = PROJECT_ROOT / "results"
+
+# Создаем директории если их нет
+for directory in [PROCESSED_DATA_DIR, RESULTS_DIR, PROJECT_ROOT / "logs"]:
+    directory.mkdir(exist_ok=True, parents=True)
+
+# ============================================================================
+# UNIVERSAL DATA CONFIGURATION
+# ============================================================================
+
+# ============================================================================
+# TIMEFRAME MAPPING CONFIGURATION
+# ============================================================================
+
+# Маппинг таймфреймов для разных поставщиков данных
+TIMEFRAME_MAPPING = {
+    'tradingview': {
+        # Внутричасовые таймфреймы (минуты)
+        '1m': '1', '2m': '2', '3m': '3', '4m': '4', '5m': '5', '6m': '6', '10m': '10',
+        '12m': '12', '15m': '15', '20m': '20', '30m': '30', '45m': '45',
+        # Часовые таймфреймы
+        '1h': '60', '2h': '120', '3h': '180', '4h': '240', '6h': '360', '8h': '480', '12h': '720',
+        # Дневные и выше
+        '1d': '1D', '1D': '1D', '1w': '1W', '1W': '1W', '1M': '1M', '3M': '3M', '6M': '6M', '12M': '12M'
+    },
+    'metatrader': {
+        # Внутричасовые таймфреймы (минуты)
+        '1m': 'M1', '2m': 'M2', '3m': 'M3', '4m': 'M4', '5m': 'M5', '6m': 'M6', '10m': 'M10',
+        '12m': 'M12', '15m': 'M15', '20m': 'M20', '30m': 'M30', '45m': 'M45',
+        # Часовые таймфреймы
+        '1h': 'H1', '2h': 'H2', '3h': 'H3', '4h': 'H4', '6h': 'H6', '8h': 'H8', '12h': 'H12',
+        # Дневные и выше
+        '1d': 'Daily', '1D': 'Daily', '1w': 'Weekly', '1W': 'Weekly', '1M': 'Monthly', '3M': 'Monthly', '6M': 'Monthly', '12M': 'Monthly'
+    }
+}
+
+# Универсальные паттерны файлов для разных поставщиков
+DATA_FILE_PATTERNS = {
+    'tradingview': {
+        'oanda': "OANDA_{symbol}, {timeframe}.csv",
+        'forexcom': "FOREXCOM_{symbol}, {timeframe}.csv",
+        'icmarkets': "ICMARKETS_{symbol}, {timeframe}.csv",
+        'default': "OANDA_{symbol}, {timeframe}.csv"  # По умолчанию OANDA
+    },
+    'metatrader': {
+        'default': "{symbol}{timeframe}.csv"
+    },
+    'generic': {
+        'default': "{symbol}_{timeframe}.csv"
+    },
+    'custom': {
+        'default': "{symbol}_{timeframe}_{source}.csv"
+    }
+}
+
+# Поддерживаемые таймфреймы (универсальные)
+SUPPORTED_TIMEFRAMES = {
+    # Внутричасовые таймфреймы (минуты)
+    '1m': '1 minute', '2m': '2 minutes', '3m': '3 minutes', '4m': '4 minutes', 
+    '5m': '5 minutes', '6m': '6 minutes', '10m': '10 minutes', '12m': '12 minutes',
+    '15m': '15 minutes', '20m': '20 minutes', '30m': '30 minutes', '45m': '45 minutes',
+    # Часовые таймфреймы
+    '1h': '1 hour', '2h': '2 hours', '3h': '3 hours', '4h': '4 hours', 
+    '6h': '6 hours', '8h': '8 hours', '12h': '12 hours',
+    # Дневные и выше
+    '1d': '1 day', '1D': '1 day', '1w': '1 week', '1W': '1 week', 
+    '1M': '1 month', '3M': '3 months', '6M': '6 months', '12M': '12 months'
+}
+
+# Настройки валидации данных
+DATA_VALIDATION = {
+    'required_columns': ['open', 'high', 'low', 'close'],
+    'optional_columns': ['volume'],
+    'min_records': 100,
+    'max_missing_ratio': 0.1,
+    'outlier_threshold': 3.0
+}
+
+# Настройки кэширования
+CACHE_CONFIG = {
+    'enable_memory_cache': True,
+    'enable_disk_cache': True,
+    'memory_size': 100,  # Количество записей в памяти
+    'default_ttl': 3600,  # Время жизни по умолчанию (секунды)
+    'cache_dir': None,  # None = используется ~/.cache/bquant
+    'auto_cleanup': True,  # Автоматическая очистка истекших записей
+    'cleanup_interval': 300  # Интервал очистки в секундах
+}
+
+# ============================================================================
+# UNIVERSAL INDICATOR CONFIGURATION
+# ============================================================================
+
+# Универсальные параметры индикаторов
+DEFAULT_INDICATORS = {
+    'macd': {
+        'fast': 12,
+        'slow': 26,
+        'signal': 9
+    },
+    'rsi': {
+        'length': 14
+    },
+    'bollinger_bands': {
+        'length': 20,
+        'std': 2
+    },
+    'atr': {
+        'length': 14
+    },
+    'sma': {
+        'length': 20
+    },
+    'ema': {
+        'length': 20
+    },
+    'stochastic': {
+        'k_length': 14,
+        'd_length': 3
+    },
+    'williams_r': {
+        'length': 14
+    }
+}
+
+# ============================================================================
+# UNIVERSAL ANALYSIS CONFIGURATION
+# ============================================================================
+
+# Универсальные параметры анализа
+ANALYSIS_CONFIG = {
+    'zone_analysis': {
+        'min_duration': 2,
+        'min_amplitude': 0.001,
+        'normalization_method': 'atr',  # 'atr', 'price', 'none'
+        'detection_method': 'sign_change'  # 'sign_change', 'threshold', 'custom'
+    },
+    'pattern_analysis': {
+        'min_pattern_length': 3,
+        'max_pattern_length': 50,
+        'similarity_threshold': 0.8
+    },
+    'statistical_analysis': {
+        'confidence_level': 0.95,
+        'significance_level': 0.05,
+        'bootstrap_samples': 1000,
+        'random_state': 42
+    }
+}
+
+# ============================================================================
+# MACHINE LEARNING CONFIGURATION
+# ============================================================================
+
+ML_CONFIG = {
+    'random_state': 42,
+    'test_size': 0.3,
+    'validation_size': 0.2,
+    'cross_validation_folds': 5,
+    'feature_selection_method': 'mutual_info',
+    'hyperparameter_tuning': True
+}
+
+# ============================================================================
+# VISUALIZATION CONFIGURATION
+# ============================================================================
+
+VISUALIZATION = {
+    'figure_size': (12, 8),
+    'dpi': 100,
+    'style': 'seaborn-v0_8',
+    'color_palette': 'viridis',
+    'save_format': 'png',
+    'save_dpi': 300
+}
+
+# ============================================================================
+# LOGGING CONFIGURATION
+# ============================================================================
+
+LOGGING = {
+    'level': "INFO",
+    'format': "%(asctime)s - %(name)s - %(levelname)s - %(message)s",
+    'file_logging': True,
+    'log_file': PROJECT_ROOT / "logs" / "bquant.log"
+}
+
+# ============================================================================
+# EXPERIMENT CONFIGURATION
+# ============================================================================
+
+EXPERIMENT_CONFIG = {
+    'results_dir': RESULTS_DIR,
+    'save_intermediate': True,
+    'experiment_naming': 'timestamp',  # 'timestamp', 'custom', 'auto'
+    'version_control': True
+}
+
+# ============================================================================
+# CONFIGURATION MANAGEMENT FUNCTIONS
+# ============================================================================
+
+def get_data_path(symbol: str, timeframe: str, data_source: str = 'tradingview', quote_provider: str = 'default') -> Path:
+    """
+    Generate data file path based on symbol and timeframe for different data providers.
+    
+    Args:
+        symbol: Trading symbol (e.g., 'XAUUSD', 'EURUSD')
+        timeframe: Timeframe (e.g., '1h', '1d', '5m')
+        data_source: Data source ('tradingview', 'metatrader', 'generic', 'custom')
+        quote_provider: Quote provider for the data source (e.g., 'oanda', 'forexcom', 'icmarkets')
+    
+    Returns:
+        Path to data file
+    """
+    # Validate timeframe first
+    timeframe = validate_timeframe(timeframe)
+    
+    # Get mapped timeframe for the specific data source
+    if data_source in TIMEFRAME_MAPPING:
+        mapped_timeframe = TIMEFRAME_MAPPING[data_source].get(timeframe, timeframe)
+    else:
+        mapped_timeframe = timeframe
+    
+    # Get file pattern for the data source and quote provider
+    source_patterns = DATA_FILE_PATTERNS.get(data_source, DATA_FILE_PATTERNS['generic'])
+    
+    if isinstance(source_patterns, dict):
+        # New format with quote providers
+        pattern = source_patterns.get(quote_provider, source_patterns.get('default', source_patterns))
+    else:
+        # Legacy format (backward compatibility)
+        pattern = source_patterns
+    
+    # Generate filename
+    filename = pattern.format(symbol=symbol, timeframe=mapped_timeframe)
+    return DATA_DIR / filename
+
+def get_indicator_params(indicator: str, **overrides) -> Dict[str, Any]:
+    """
+    Get indicator parameters with optional overrides.
+    
+    Args:
+        indicator: Indicator name ('macd', 'rsi', etc.)
+        **overrides: Parameter overrides
+    
+    Returns:
+        Dictionary with indicator parameters
+    """
+    params = DEFAULT_INDICATORS.get(indicator, {}).copy()
+    params.update(overrides)
+    return params
+
+def get_analysis_params(analysis_type: str, **overrides) -> Dict[str, Any]:
+    """
+    Get analysis parameters with optional overrides.
+    
+    Args:
+        analysis_type: Analysis type ('zone_analysis', 'pattern_analysis', etc.)
+        **overrides: Parameter overrides
+    
+    Returns:
+        Dictionary with analysis parameters
+    """
+    params = ANALYSIS_CONFIG.get(analysis_type, {}).copy()
+    params.update(overrides)
+    return params
+
+def validate_timeframe(timeframe: str) -> str:
+    """
+    Validate and normalize timeframe.
+    
+    Args:
+        timeframe: Timeframe string
+    
+    Returns:
+        Validated timeframe
+    
+    Raises:
+        ValueError: If timeframe is not supported
+    """
+    if timeframe not in SUPPORTED_TIMEFRAMES:
+        raise ValueError(f"Unsupported timeframe: {timeframe}. Supported: {list(SUPPORTED_TIMEFRAMES.keys())}")
+    return timeframe
+
+def get_results_path(experiment_name: str, file_type: str = 'csv') -> Path:
+    """
+    Generate results file path.
+    
+    Args:
+        experiment_name: Name of the experiment
+        file_type: File extension
+    
+    Returns:
+        Path to results file
+    """
+    filename = f"{experiment_name}.{file_type}"
+    return RESULTS_DIR / filename
+
+
+def get_cache_config() -> Dict[str, Any]:
+    """
+    Получить конфигурацию кэширования.
+    
+    Returns:
+        Словарь с настройками кэширования
+    """
+    return CACHE_CONFIG.copy()

bquant/core/exceptions.py

@@ -0,0 +1,351 @@
+"""
+Исключения системы BQuant
+
+Определение кастомных исключений для различных компонентов системы.
+"""
+
+from typing import Optional, Any, Dict
+
+
+class BQuantError(Exception):
+    """
+    Базовое исключение BQuant
+    
+    Все исключения BQuant должны наследоваться от этого класса.
+    """
+    
+    def __init__(self, message: str, details: Optional[Dict[str, Any]] = None):
+        """
+        Args:
+            message: Сообщение об ошибке
+            details: Дополнительные детали ошибки
+        """
+        super().__init__(message)
+        self.message = message
+        self.details = details or {}
+    
+    def __str__(self) -> str:
+        if self.details:
+            details_str = ', '.join(f"{k}={v}" for k, v in self.details.items())
+            return f"{self.message} (Details: {details_str})"
+        return self.message
+
+
+class DataError(BQuantError):
+    """
+    Ошибка данных
+    
+    Возникает при проблемах с загрузкой, обработкой или валидацией данных.
+    """
+    pass
+
+
+class DataValidationError(DataError):
+    """
+    Ошибка валидации данных
+    
+    Возникает когда данные не соответствуют ожидаемому формату или содержат ошибки.
+    """
+    pass
+
+
+class DataLoadingError(DataError):
+    """
+    Ошибка загрузки данных
+    
+    Возникает при невозможности загрузить данные из источника.
+    """
+    pass
+
+
+class DataProcessingError(DataError):
+    """
+    Ошибка обработки данных
+    
+    Возникает при ошибках во время обработки или трансформации данных.
+    """
+    pass
+
+
+class ConfigurationError(BQuantError):
+    """
+    Ошибка конфигурации
+    
+    Возникает при проблемах с конфигурационными параметрами.
+    """
+    pass
+
+
+class InvalidTimeframeError(ConfigurationError):
+    """
+    Ошибка неверного таймфрейма
+    
+    Возникает при использовании неподдерживаемого таймфрейма.
+    """
+    pass
+
+
+class InvalidIndicatorParametersError(ConfigurationError):
+    """
+    Ошибка неверных параметров индикатора
+    
+    Возникает при передаче некорректных параметров для расчета индикатора.
+    """
+    pass
+
+
+class AnalysisError(BQuantError):
+    """
+    Ошибка анализа
+    
+    Возникает при проблемах в аналитических модулях.
+    """
+    pass
+
+
+class IndicatorCalculationError(AnalysisError):
+    """
+    Ошибка расчета индикатора
+    
+    Возникает при невозможности рассчитать технический индикатор.
+    """
+    pass
+
+
+class ZoneAnalysisError(AnalysisError):
+    """
+    Ошибка анализа зон
+    
+    Возникает при проблемах в процессе анализа зон MACD или других индикаторов.
+    """
+    pass
+
+
+class StatisticalAnalysisError(AnalysisError):
+    """
+    Ошибка статистического анализа
+    
+    Возникает при проблемах в статистических тестах или расчетах.
+    """
+    pass
+
+
+class VisualizationError(BQuantError):
+    """
+    Ошибка визуализации
+    
+    Возникает при проблемах с созданием графиков или визуализаций.
+    """
+    pass
+
+
+class MLError(BQuantError):
+    """
+    Ошибка машинного обучения
+    
+    Возникает при проблемах в ML модулях (пока в разработке).
+    """
+    pass
+
+
+class FeatureExtractionError(MLError):
+    """
+    Ошибка извлечения признаков
+    
+    Возникает при проблемах с извлечением признаков для ML.
+    """
+    pass
+
+
+class ModelTrainingError(MLError):
+    """
+    Ошибка обучения модели
+    
+    Возникает при проблемах в процессе обучения ML модели.
+    """
+    pass
+
+
+class FileOperationError(BQuantError):
+    """
+    Ошибка файловых операций
+    
+    Возникает при проблемах с чтением/записью файлов.
+    """
+    pass
+
+
+class NotImplementedError(BQuantError):
+    """
+    Ошибка незавершенной функциональности
+    
+    Возникает при обращении к функциональности, которая еще не реализована.
+    """
+    pass
+
+
+# Вспомогательные функции для создания исключений
+
+def create_data_validation_error(
+    message: str,
+    column: Optional[str] = None,
+    expected_type: Optional[str] = None,
+    actual_type: Optional[str] = None,
+    expected_shape: Optional[tuple] = None,
+    actual_shape: Optional[tuple] = None
+) -> DataValidationError:
+    """
+    Создать исключение валидации данных с деталями
+    """
+    details = {}
+    if column:
+        details['column'] = column
+    if expected_type:
+        details['expected_type'] = expected_type
+    if actual_type:
+        details['actual_type'] = actual_type
+    if expected_shape:
+        details['expected_shape'] = expected_shape
+    if actual_shape:
+        details['actual_shape'] = actual_shape
+    
+    return DataValidationError(message, details)
+
+
+def create_indicator_calculation_error(
+    indicator_name: str,
+    message: str,
+    parameters: Optional[Dict[str, Any]] = None,
+    data_shape: Optional[tuple] = None
+) -> IndicatorCalculationError:
+    """
+    Создать исключение расчета индикатора с деталями
+    """
+    details = {'indicator': indicator_name}
+    if parameters:
+        details['parameters'] = parameters
+    if data_shape:
+        details['data_shape'] = data_shape
+    
+    return IndicatorCalculationError(message, details)
+
+
+def create_configuration_error(
+    parameter_name: str,
+    message: str,
+    expected_values: Optional[list] = None,
+    actual_value: Optional[Any] = None
+) -> ConfigurationError:
+    """
+    Создать исключение конфигурации с деталями
+    """
+    details = {'parameter': parameter_name}
+    if expected_values:
+        details['expected_values'] = expected_values
+    if actual_value is not None:
+        details['actual_value'] = actual_value
+    
+    return ConfigurationError(message, details)
+
+
+# Контекстные менеджеры для обработки исключений
+
+class BQuantErrorContext:
+    """
+    Контекстный менеджер для обработки исключений BQuant
+    """
+    
+    def __init__(self, operation: str, logger=None):
+        """
+        Args:
+            operation: Описание операции
+            logger: Логгер для записи ошибок
+        """
+        self.operation = operation
+        self.logger = logger
+    
+    def __enter__(self):
+        return self
+    
+    def __exit__(self, exc_type, exc_val, exc_tb):
+        if exc_type is not None:
+            if self.logger:
+                self.logger.error(f"Ошибка в операции '{self.operation}': {exc_val}")
+            
+            # Если это не наше исключение, оборачиваем его
+            if not isinstance(exc_val, BQuantError):
+                if exc_type in (ValueError, TypeError):
+                    # Конвертируем стандартные исключения в наши
+                    raise ConfigurationError(
+                        f"Ошибка в операции '{self.operation}': {exc_val}"
+                    ) from exc_val
+                else:
+                    # Оборачиваем все остальные в базовое исключение
+                    raise BQuantError(
+                        f"Неожиданная ошибка в операции '{self.operation}': {exc_val}"
+                    ) from exc_val
+        
+        return False  # Не подавляем исключение
+
+
+# Валидаторы с исключениями
+
+def validate_timeframe(timeframe: str, supported_timeframes: list):
+    """
+    Валидировать таймфрейм с выбросом исключения
+    """
+    if timeframe not in supported_timeframes:
+        raise InvalidTimeframeError(
+            f"Неподдерживаемый таймфрейм: {timeframe}",
+            {
+                'timeframe': timeframe,
+                'supported_timeframes': supported_timeframes
+            }
+        )
+
+
+def validate_indicator_parameters(indicator: str, parameters: Dict[str, Any], required_params: list):
+    """
+    Валидировать параметры индикатора с выбросом исключения
+    """
+    missing_params = [param for param in required_params if param not in parameters]
+    if missing_params:
+        raise InvalidIndicatorParametersError(
+            f"Отсутствуют обязательные параметры для индикатора {indicator}: {missing_params}",
+            {
+                'indicator': indicator,
+                'missing_parameters': missing_params,
+                'provided_parameters': list(parameters.keys())
+            }
+        )
+
+
+def validate_ohlcv_data(data, required_columns: list = None):
+    """
+    Валидировать OHLCV данные с выбросом исключения
+    """
+    import pandas as pd
+    
+    if not isinstance(data, pd.DataFrame):
+        raise create_data_validation_error(
+            "Данные должны быть pandas DataFrame",
+            expected_type="pandas.DataFrame",
+            actual_type=type(data).__name__
+        )
+    
+    required_columns = required_columns or ['open', 'high', 'low', 'close']
+    missing_columns = [col for col in required_columns if col not in data.columns]
+    
+    if missing_columns:
+        raise create_data_validation_error(
+            f"Отсутствуют обязательные колонки: {missing_columns}",
+            expected_type="OHLCV columns",
+            actual_type=list(data.columns)
+        )
+    
+    if len(data) == 0:
+        raise create_data_validation_error(
+            "DataFrame не содержит данных",
+            expected_shape="(n_rows > 0, n_cols)",
+            actual_shape=data.shape
+        )