g360-cli 1.7.0 → 1.9.0

package/README.md

@@ -55,6 +55,8 @@ CLI tool para el ecosistema G360 que permite inicializar proyectos con estructur
 - **Inicialización rápida** - Crea proyectos G360 con estructura estándar
 - **Gestión de assets** - Trae componentes, skills y plantillas embebidas
 - **Ingesta ERP** - Normaliza `.xls/.xlsx` de SAP, StarSoft, Spring con `g360 bring ingestion`
+- **Motor de clasificación comercial** - `commercial_engine` clasifica documentos en VENTA/DEVOLUCION/AJUSTE con subtipos (PRECIO_LINEA, CARGO_FIJO, SIN_BASE)
+- **Precio efectivo** - PRECIO_BASE, RECARGO_UNITARIO y PRECIO_EFECTIVO separan precio físico de ajustes financieros FAE
 - **Paquete Python** - `g360-core` en PyPI para pipelines de datos independientes
 - **Auditoría** - Verifica compliance de proyectos G360
 - **Limpieza** - Elimina assets embebidos antes de deployment
@@ -309,6 +311,35 @@ El paquete pip acompañante `g360-core` se publica en PyPI:
 pip install g360-core
 ```
 
+### `g360-core` — Módulos principales
+
+#### `commercial_engine.py`
+
+Motor de lógica de negocio para clasificación documental. Única fuente de verdad para reglas comerciales.
+
+| Función | Propósito |
+|---------|-----------|
+| `classify_base()` | Clasificación primaria: VENTA, DEVOLUCION, AJUSTE |
+| `build_invoice_index()` | Índice de facturas para cruce de referencias |
+| `resolve_document_relationships()` | Asigna SUBTIPO_AJUSTE (PRECIO_LINEA, CARGO_FIJO, SIN_BASE) |
+| `calculate_prices()` | PRECIO_BASE, RECARGO_UNITARIO, PRECIO_EFECTIVO |
+| `parse_referencia()` | Descompone REFERENCIA "F01/204-56287" en tipo/serie/número |
+
+**Clasificación de documentos:**
+```
+TPO_DOC  CANTIDAD  CANTIDAD_FAE  → CATEGORIA_OP  SUBTIPO_AJUSTE
+F01/BDI     ≠0         =           VENTA            —
+NCR         ≠0         =           DEVOLUCION       —
+NCR          0         ≠0          AJUSTE           PRECIO_LINEA / SIN_BASE
+NDB          0         ≠0          AJUSTE           CARGO_FIJO / SIN_BASE
+```
+
+#### `batch_processor.py`
+
+| Función | Propósito |
+|---------|-----------|
+| `read_erp_file()` | Punto único de lectura: .xls (xlrd), .xlsx (openpyxl), .csv. `dtype=str` preserva ceros a la izquierda |
+
 ---
 
 ### `g360 list`
@@ -588,12 +619,15 @@ mi-app/
 └── skill.json
 ```
 
-**Normalización de datos:** La ingesta aplica 16 transformaciones automáticas:
+**Normalización de datos:** La ingesta aplica transformaciones automáticas:
 - Parseo de referencias (`F01/201-243065` → tipo, serie, periodo, número)
 - Separación de sucursales (nombre + dirección)
 - Clasificación de documentos (RUC 11 dígitos / DNI 8 dígitos)
 - Normalización monetaria con auto-detección de formato SAP/Spring
 - Cantidad + Cantidad FAE → cantidad_total + tipo_transaccion
+- **Clasificación comercial**: VENTA / DEVOLUCION / AJUSTE con subtipos PRECIO_LINEA, CARGO_FIJO, SIN_BASE
+- **Precio efectivo**: PRECIO_BASE (físico) y RECARGO_UNITARIO (financiero) separados
+- Cruce de NC/NDB contra facturas referenciadas para determinar ajustes de precio por línea
 - Purga de filas total/general/acumulado
 
 ### python-flet-migrate
@@ -806,7 +840,7 @@ g360-cli/
 │       └── config/      # Configuraciones
 ├── py/                  # Paquete Python publicable en PyPI
 │   ├── pyproject.toml   # g360-core
-│   └── src/g360_core/   # ingestion.py + flet/ingestion_panel.py
+│   └── src/g360_core/   # commercial_engine.py, pipeline.py, processor.py, batch_processor.py, utils.py
 ├── package.json
 ├── README.md
 └── LICENSE
@@ -834,7 +868,7 @@ npm run test:ui     # UI interactiva
 npm run test:coverage
 ```
 
-**Cobertura actual (v1.7.0):**
+**Cobertura actual (v1.9.0):**
 - `commands/`: init, bring, list, audit, set-skill
 - `lib/`: manifest, validator, asset-validator
 - **51 passing / 1 timeout** (init.test.js requiere import pesado de inquirer)

package/package.json

@@ -1,7 +1,7 @@
 {
   "name": "g360-cli",
-  "version": "1.7.0",
-  "description": "CLI tool for bootstrapping G360 projects with standardized structure, assets, and identity",
+  "version": "1.9.0",
+  "description": "CLI tool for bootstrapping G360 projects with standardized structure, assets, identity, and ERP data processing",
   "type": "module",
   "main": "src/cli.js",
   "bin": {
@@ -14,19 +14,25 @@
     "test:ui": "vitest --ui",
     "test:coverage": "vitest --coverage",
     "build": "npm run build:portable",
-    "build:portable": "pkg . --targets node18-win-x64 --output dist/g360.exe"
+    "build:portable": "pkg . --targets node18-win-x64 --output dist/g360.exe",
+    "postinstall": "echo '✅ g360-cli instalado. Asegúrate de tener Python 3.11+ y pip instalados.'"
   },
   "pkg": {
     "assets": [
-      "src/assets/**/*"
+      "src/assets/**/*",
+      "py/**/*"
     ],
-    "outputPath": "dist"
+    "outputPath": "dist",
+    "scripts": [],
+    "targets": "node18-win-x64"
   },
   "keywords": [
     "g360",
     "cli",
     "scaffolding",
-    "generator"
+    "generator",
+    "erp",
+    "data-processing"
   ],
   "author": "Carlos Cusi",
   "license": "MIT",
@@ -46,5 +52,9 @@
   },
   "engines": {
     "node": ">=18.0.0"
+  },
+  "repository": {
+    "type": "git",
+    "url": "https://github.com/ccusi/g360-cli.git"
   }
 }

package/py/pyproject.toml

@@ -18,10 +18,10 @@ classifiers = [
 ]
 
 dependencies = [
-    "pandas>=2.0.0",
-    "numpy>=1.24.0",
-    "openpyxl>=3.1.0",
-    "xlrd>=2.0.0",
+    "pandas>=2.2.3",
+    "numpy>=1.26.0",
+    "openpyxl>=3.1.5",
+    "xlrd>=2.0.1",
 ]
 
 [project.optional-dependencies]

package/py/requirements.txt

@@ -0,0 +1,4 @@
+pandas>=2.2.3
+numpy>=1.26.0
+openpyxl>=3.1.5
+xlrd>=2.0.1

package/py/src/g360_core/__init__.py

@@ -1,7 +1,70 @@
-from g360_core.ingestion import estabilizar_excel_crudo, _MAPA_TPO_DOC, _MAPA_MESES
+"""
+g360_core - Módulo principal de procesamiento ERP para g360-cli.
+
+Proporciona:
+- Estabilización de datos crudos de Excel/CSV
+- Pipeline de ingesta con normalización
+- Scanner de directorios
+- Protección de ceros a la izquierda en IDs
+- Batch processing
+"""
+
+from .commercial_engine import (classify_base, parse_referencia, resolve_document_relationships, calculate_prices, CAT_VENTA, CAT_DEVOLUCION, CAT_AJUSTE, SUBTIPO_PRECIO_LINEA, SUBTIPO_PRECIO_PARCIAL, SUBTIPO_CARGO_FIJO, SUBTIPO_SIN_BASE)
+from .pipeline import ingest_to_master, batch_ingest
+from .scanner import (
+    ERPScanner,
+    ERPFileInfo,
+    find_erp_files_in_dir,
+    process_single_file,
+    batch_process_files,
+    merge_processed_data,
+)
+from .processor import InsightProcessor
+from .utils import (
+    clean_erp_headers,
+    normalize_ids,
+    build_doc_completo,
+    build_entity_labels,
+    validate_columns,
+    parse_excel_date,
+    ID_COLS_PRESERVE_ZEROS,
+    NC_PREFIXES,
+)
+from .batch_processor import read_erp_file
 
 __all__ = [
-    "estabilizar_excel_crudo",
-    "_MAPA_TPO_DOC",
-    "_MAPA_MESES",
+    # Commercial Engine
+    "classify_base",
+    "parse_referencia",
+    "resolve_document_relationships",
+    "calculate_prices",
+    "CAT_VENTA",
+    "CAT_DEVOLUCION",
+    "CAT_AJUSTE",
+    "SUBTIPO_PRECIO_LINEA",
+    "SUBTIPO_PRECIO_PARCIAL",
+    "SUBTIPO_CARGO_FIJO",
+    "SUBTIPO_SIN_BASE",
+    # Ingestion
+    "ingest_to_master",
+    "batch_ingest",
+    # Scanner
+    "ERPScanner",
+    "ERPFileInfo",
+    "find_erp_files_in_dir",
+    "process_single_file",
+    "batch_process_files",
+    "merge_processed_data",
+    # Processor
+    "InsightProcessor",
+    # Utils
+    "clean_erp_headers",
+    "normalize_ids",
+    "build_doc_completo",
+    "build_entity_labels",
+    "validate_columns",
+    "parse_excel_date",
+    "ID_COLS_PRESERVE_ZEROS",
+    "NC_PREFIXES",
+    "read_erp_file",
 ]

package/py/src/g360_core/batch_processor.py

@@ -0,0 +1,120 @@
+"""
+Procesador por lotes para archivos ERP grandes.
+
+Lee archivos grandes y los procesa en un solo paso usando InsightProcessor.
+El chunking original causaba procesamiento duplicado; ahora se procesa
+todo el DataFrame de una vez para garantizar consistencia.
+"""
+import pandas as pd
+from pathlib import Path
+from typing import Optional, Callable
+import gc
+from .processor import InsightProcessor
+
+
+class BatchProcessor:
+    """Procesa archivos ERP grandes con feedback de progreso."""
+
+    def __init__(self, progress_callback: Optional[Callable] = None):
+        self.progress_callback = progress_callback
+
+    def process_large_file(self, df: pd.DataFrame, filename: str) -> InsightProcessor:
+        """
+        Procesa un DataFrame completo en un solo paso.
+
+        Args:
+            df: DataFrame con datos crudos
+            filename: Nombre del archivo para logs
+
+        Returns:
+            InsightProcessor con todos los datos procesados
+        """
+        if self.progress_callback:
+            self.progress_callback(0.1, f"Procesando {len(df):,} registros...")
+
+        processor = InsightProcessor(df)
+        gc.collect()
+
+        if self.progress_callback:
+            self.progress_callback(1.0, "Procesamiento completado")
+
+        return processor
+
+    def read_with_progress(self, path: str, file_ext: str,
+                           on_progress: Callable[[float, str], None]) -> pd.DataFrame:
+        """
+        Lee archivo con indicador de progreso.
+
+        Args:
+            path: Ruta del archivo
+            file_ext: Extension del archivo (.csv, .xls, .xlsx)
+            on_progress: Callback de progreso (0-1, mensaje)
+
+        Returns:
+            DataFrame leido
+        """
+        on_progress(0.05, "Leyendo archivo...")
+        df = read_erp_file(path, file_ext)
+        on_progress(0.2, f"Archivo leido: {len(df):,} filas")
+        return df
+
+
+def read_erp_file(path: str, file_ext: str = None) -> pd.DataFrame:
+    """
+    Funcion unificada de lectura de archivos ERP.
+
+    Es el unico punto de entrada para leer archivos .xls, .xlsx y .csv
+    en toda la aplicacion. Usa engines explicitos para evitar problemas
+    de compatibilidad con pandas/xlrd/openpyxl.
+
+    PROTECCIÓN DE CEROS A LA IZQUIERDA:
+    Las columnas críticas de IDs se leen obligatoriamente como strings (dtype=str)
+    para preservar ceros iniciales (ej: "01240" no se convierte a 1240).
+
+    Args:
+        path: Ruta absoluta al archivo.
+        file_ext: Extension (incluye el punto). Si es None se infiere.
+
+    Returns:
+        DataFrame con columnas críticas como strings para preservar ceros.
+
+    Raises:
+        ValueError: Si la extension no es soportada o hay error de lectura.
+    """
+    if file_ext is None:
+        file_ext = Path(path).suffix.lower()
+    else:
+        file_ext = file_ext.lower()
+
+    # Columnas críticas que deben preservar ceros a la izquierda
+    critical_cols = [
+        "ID_ARTICULO", "ID_CLIENTE", "ID_VENDEDOR", "ID_LINEA",
+        "ID_GRUPO", "ID_TIPO", "ID_FAMILIA", "COD_SUCURSAL",
+        "NRO_DOC", "SERIE_DOC", "DOC_CLIENTE"
+    ]
+
+    if file_ext == '.csv':
+        # Para CSV, leer todo como string inicialmente
+        df = pd.read_csv(
+            path, dtype=str, encoding='utf-8-sig',
+            sep=None, engine='python', low_memory=False,
+        )
+    elif file_ext in ('.xls', '.xlsx'):
+        engine = "xlrd" if file_ext == ".xls" else "openpyxl"
+        try:
+            # Leer Excel con dtype=str para forzar texto en TODAS las columnas
+            # Esto previene que pandas convierta "01240" -> 1240 automáticamente
+            df = pd.read_excel(path, dtype=str, engine=engine)
+        except Exception as ex:
+            raise ValueError(
+                f"Error leyendo archivo Excel ({file_ext}) con motor '{engine}': {ex}"
+            )
+    else:
+        raise ValueError(f"Extension '{file_ext}' no soportada. Use .xls, .xlsx, .csv")
+
+    # Limpieza post-lectura: eliminar espacios en blanco de columnas críticas
+    for col in critical_cols:
+        if col in df.columns:
+            df[col] = df[col].astype(str).str.strip()
+
+    return df