g360-cli 1.7.1 → 1.10.0

package/README.md

@@ -55,6 +55,8 @@ CLI tool para el ecosistema G360 que permite inicializar proyectos con estructur
 - **Inicialización rápida** - Crea proyectos G360 con estructura estándar
 - **Gestión de assets** - Trae componentes, skills y plantillas embebidas
 - **Ingesta ERP** - Normaliza `.xls/.xlsx` de SAP, StarSoft, Spring con `g360 bring ingestion`
+- **Motor de clasificación comercial** - `commercial_engine` clasifica documentos en VENTA/DEVOLUCION/AJUSTE con subtipos (PRECIO_LINEA, CARGO_FIJO, SIN_BASE)
+- **Precio efectivo** - PRECIO_BASE, RECARGO_UNITARIO y PRECIO_EFECTIVO separan precio físico de ajustes financieros FAE
 - **Paquete Python** - `g360-core` en PyPI para pipelines de datos independientes
 - **Auditoría** - Verifica compliance de proyectos G360
 - **Limpieza** - Elimina assets embebidos antes de deployment
@@ -309,6 +311,35 @@ El paquete pip acompañante `g360-core` se publica en PyPI:
 pip install g360-core
 ```
 
+### `g360-core` — Módulos principales
+
+#### `commercial_engine.py`
+
+Motor de lógica de negocio para clasificación documental. Única fuente de verdad para reglas comerciales.
+
+| Función | Propósito |
+|---------|-----------|
+| `classify_base()` | Clasificación primaria: VENTA, DEVOLUCION, AJUSTE |
+| `build_invoice_index()` | Índice de facturas para cruce de referencias |
+| `resolve_document_relationships()` | Asigna SUBTIPO_AJUSTE (PRECIO_LINEA, CARGO_FIJO, SIN_BASE) |
+| `calculate_prices()` | PRECIO_BASE, RECARGO_UNITARIO, PRECIO_EFECTIVO |
+| `parse_referencia()` | Descompone REFERENCIA "F01/204-56287" en tipo/serie/número |
+
+**Clasificación de documentos:**
+```
+TPO_DOC  CANTIDAD  CANTIDAD_FAE  → CATEGORIA_OP  SUBTIPO_AJUSTE
+F01/BDI     ≠0         =           VENTA            —
+NCR         ≠0         =           DEVOLUCION       —
+NCR          0         ≠0          AJUSTE           PRECIO_LINEA / SIN_BASE
+NDB          0         ≠0          AJUSTE           CARGO_FIJO / SIN_BASE
+```
+
+#### `batch_processor.py`
+
+| Función | Propósito |
+|---------|-----------|
+| `read_erp_file()` | Punto único de lectura: .xls (xlrd), .xlsx (openpyxl), .csv. `dtype=str` preserva ceros a la izquierda |
+
 ---
 
 ### `g360 list`
@@ -588,12 +619,15 @@ mi-app/
 └── skill.json
 ```
 
-**Normalización de datos:** La ingesta aplica 16 transformaciones automáticas:
+**Normalización de datos:** La ingesta aplica transformaciones automáticas:
 - Parseo de referencias (`F01/201-243065` → tipo, serie, periodo, número)
 - Separación de sucursales (nombre + dirección)
 - Clasificación de documentos (RUC 11 dígitos / DNI 8 dígitos)
 - Normalización monetaria con auto-detección de formato SAP/Spring
 - Cantidad + Cantidad FAE → cantidad_total + tipo_transaccion
+- **Clasificación comercial**: VENTA / DEVOLUCION / AJUSTE con subtipos PRECIO_LINEA, CARGO_FIJO, SIN_BASE
+- **Precio efectivo**: PRECIO_BASE (físico) y RECARGO_UNITARIO (financiero) separados
+- Cruce de NC/NDB contra facturas referenciadas para determinar ajustes de precio por línea
 - Purga de filas total/general/acumulado
 
 ### python-flet-migrate
@@ -806,7 +840,7 @@ g360-cli/
 │       └── config/      # Configuraciones
 ├── py/                  # Paquete Python publicable en PyPI
 │   ├── pyproject.toml   # g360-core
-│   └── src/g360_core/   # ingestion.py + flet/ingestion_panel.py
+│   └── src/g360_core/   # commercial_engine.py, pipeline.py, processor.py, batch_processor.py, utils.py
 ├── package.json
 ├── README.md
 └── LICENSE
@@ -820,7 +854,7 @@ g360-cli/
 |---------|-------------|
 | `npm run build` | Build portable con pkg (g360.exe) |
 | `npm run build:portable` | Especificar target node18-win-x64 |
-| `npm test` | Ejecutar tests con Vitest (51 tests, 7 suites) |
+ | `npm test` | Ejecutar tests con Vitest (53 tests, 9 suites) |
 | `npm run prepublishOnly` | Validación antes de publicar en npm |
 
 ---
@@ -828,16 +862,16 @@ g360-cli/
 ## Testing
 
 ```bash
-npm test            # Vitest — 51 tests, 8 suites
+npm test            # Vitest — 53 tests, 9 suites
 npm run test:watch  # Modo watch
 npm run test:ui     # UI interactiva
 npm run test:coverage
 ```
 
-**Cobertura actual (v1.7.0):**
-- `commands/`: init, bring, list, audit, set-skill
-- `lib/`: manifest, validator, asset-validator
-- **51 passing / 1 timeout** (init.test.js requiere import pesado de inquirer)
+**Cobertura actual (v1.10.0):**
+- `commands/`: init, bring, list, audit, set-skill, addon
+- `lib/`: manifest, validator, asset-validator, python_runner
+- **53 passing / 1 timeout** (init.test.js requiere import pesado de inquirer)
 
 ---
 
@@ -877,6 +911,47 @@ Este proyecto forma parte de la familia de microherramientas **G360** para apoyo
 
 ---
 
+### `g360 addon`
+
+Gestión de addons y paquetes de desarrollo.
+
+```bash
+g360 addon <comando> [paquete] [opciones]
+```
+
+**Comandos:**
+- `install <package>` - Instala un addon (core o dev-tool)
+- `list` - Lista addons instalados
+- `remove <package>` - Desinstala un addon
+
+**Opciones:**
+| Opción | Descripción |
+|--------|-------------|
+| `-p, --path <ruta>` | Ruta destino (default: `.`) |
+| `--dry-run` | Previsualizar cambios |
+| `--force` | Forzar reinstalación/remoción |
+
+**Ejemplos:**
+```bash
+# Instalar paquete de diseño (core)
+g360 addon install @google/design.md
+
+# Instalar kit de testing (dev)
+g360 addon install @g360/testing
+
+# Listar addons
+g360 addon list
+
+# Remover addon
+g360 addon remove @google/design.md
+```
+
+**Registro de addons:**
+- 🏛️ Core Dev: Van a `dependencies` (producción)
+- 🛠️ Dev Tools: Van a `devDependencies` (desarrollo)
+
+---
+
 ## Integración con OpenCode
 
 g360-cli incluye integración con **OpenCode** para desarrollo asistido por IA. Esta integración permite que los agentes de IA tengan acceso a los recursos de g360-cli durante el desarrollo.

package/package.json

@@ -1,7 +1,7 @@
 {
   "name": "g360-cli",
-  "version": "1.7.1",
-  "description": "CLI tool for bootstrapping G360 projects with standardized structure, assets, and identity",
+  "version": "1.10.0",
+  "description": "CLI tool for bootstrapping G360 projects with standardized structure, assets, identity, and ERP data processing",
   "type": "module",
   "main": "src/cli.js",
   "bin": {
@@ -14,19 +14,25 @@
     "test:ui": "vitest --ui",
     "test:coverage": "vitest --coverage",
     "build": "npm run build:portable",
-    "build:portable": "pkg . --targets node18-win-x64 --output dist/g360.exe"
+    "build:portable": "pkg . --targets node18-win-x64 --output dist/g360.exe",
+    "postinstall": "echo '✅ g360-cli instalado. Asegúrate de tener Python 3.11+ y pip instalados.'"
   },
   "pkg": {
     "assets": [
-      "src/assets/**/*"
+      "src/assets/**/*",
+      "py/**/*"
     ],
-    "outputPath": "dist"
+    "outputPath": "dist",
+    "scripts": [],
+    "targets": "node18-win-x64"
   },
   "keywords": [
     "g360",
     "cli",
     "scaffolding",
-    "generator"
+    "generator",
+    "erp",
+    "data-processing"
   ],
   "author": "Carlos Cusi",
   "license": "MIT",
@@ -46,5 +52,9 @@
   },
   "engines": {
     "node": ">=18.0.0"
+  },
+  "repository": {
+    "type": "git",
+    "url": "https://github.com/ccusi/g360-cli.git"
   }
 }

package/py/pyproject.toml

@@ -18,10 +18,10 @@ classifiers = [
 ]
 
 dependencies = [
-    "pandas>=2.0.0",
-    "numpy>=1.24.0",
-    "openpyxl>=3.1.0",
-    "xlrd>=2.0.0",
+    "pandas>=2.2.3",
+    "numpy>=1.26.0",
+    "openpyxl>=3.1.5",
+    "xlrd>=2.0.1",
 ]
 
 [project.optional-dependencies]

package/py/requirements.txt

@@ -0,0 +1,4 @@
+pandas>=2.2.3
+numpy>=1.26.0
+openpyxl>=3.1.5
+xlrd>=2.0.1

package/py/src/g360_core/__init__.py

@@ -1,7 +1,70 @@
-from g360_core.ingestion import estabilizar_excel_crudo, _MAPA_TPO_DOC, _MAPA_MESES
+"""
+g360_core - Módulo principal de procesamiento ERP para g360-cli.
+
+Proporciona:
+- Estabilización de datos crudos de Excel/CSV
+- Pipeline de ingesta con normalización
+- Scanner de directorios
+- Protección de ceros a la izquierda en IDs
+- Batch processing
+"""
+
+from .commercial_engine import (classify_base, parse_referencia, resolve_document_relationships, calculate_prices, CAT_VENTA, CAT_DEVOLUCION, CAT_AJUSTE, SUBTIPO_PRECIO_LINEA, SUBTIPO_PRECIO_PARCIAL, SUBTIPO_CARGO_FIJO, SUBTIPO_SIN_BASE)
+from .pipeline import ingest_to_master, batch_ingest
+from .scanner import (
+    ERPScanner,
+    ERPFileInfo,
+    find_erp_files_in_dir,
+    process_single_file,
+    batch_process_files,
+    merge_processed_data,
+)
+from .processor import InsightProcessor
+from .utils import (
+    clean_erp_headers,
+    normalize_ids,
+    build_doc_completo,
+    build_entity_labels,
+    validate_columns,
+    parse_excel_date,
+    ID_COLS_PRESERVE_ZEROS,
+    NC_PREFIXES,
+)
+from .batch_processor import read_erp_file
 
 __all__ = [
-    "estabilizar_excel_crudo",
-    "_MAPA_TPO_DOC",
-    "_MAPA_MESES",
+    # Commercial Engine
+    "classify_base",
+    "parse_referencia",
+    "resolve_document_relationships",
+    "calculate_prices",
+    "CAT_VENTA",
+    "CAT_DEVOLUCION",
+    "CAT_AJUSTE",
+    "SUBTIPO_PRECIO_LINEA",
+    "SUBTIPO_PRECIO_PARCIAL",
+    "SUBTIPO_CARGO_FIJO",
+    "SUBTIPO_SIN_BASE",
+    # Ingestion
+    "ingest_to_master",
+    "batch_ingest",
+    # Scanner
+    "ERPScanner",
+    "ERPFileInfo",
+    "find_erp_files_in_dir",
+    "process_single_file",
+    "batch_process_files",
+    "merge_processed_data",
+    # Processor
+    "InsightProcessor",
+    # Utils
+    "clean_erp_headers",
+    "normalize_ids",
+    "build_doc_completo",
+    "build_entity_labels",
+    "validate_columns",
+    "parse_excel_date",
+    "ID_COLS_PRESERVE_ZEROS",
+    "NC_PREFIXES",
+    "read_erp_file",
 ]

package/py/src/g360_core/batch_processor.py

@@ -0,0 +1,120 @@
+"""
+Procesador por lotes para archivos ERP grandes.
+
+Lee archivos grandes y los procesa en un solo paso usando InsightProcessor.
+El chunking original causaba procesamiento duplicado; ahora se procesa
+todo el DataFrame de una vez para garantizar consistencia.
+"""
+import pandas as pd
+from pathlib import Path
+from typing import Optional, Callable
+import gc
+from .processor import InsightProcessor
+
+
+class BatchProcessor:
+    """Procesa archivos ERP grandes con feedback de progreso."""
+
+    def __init__(self, progress_callback: Optional[Callable] = None):
+        self.progress_callback = progress_callback
+
+    def process_large_file(self, df: pd.DataFrame, filename: str) -> InsightProcessor:
+        """
+        Procesa un DataFrame completo en un solo paso.
+
+        Args:
+            df: DataFrame con datos crudos
+            filename: Nombre del archivo para logs
+
+        Returns:
+            InsightProcessor con todos los datos procesados
+        """
+        if self.progress_callback:
+            self.progress_callback(0.1, f"Procesando {len(df):,} registros...")
+
+        processor = InsightProcessor(df)
+        gc.collect()
+
+        if self.progress_callback:
+            self.progress_callback(1.0, "Procesamiento completado")
+
+        return processor
+
+    def read_with_progress(self, path: str, file_ext: str,
+                           on_progress: Callable[[float, str], None]) -> pd.DataFrame:
+        """
+        Lee archivo con indicador de progreso.
+
+        Args:
+            path: Ruta del archivo
+            file_ext: Extension del archivo (.csv, .xls, .xlsx)
+            on_progress: Callback de progreso (0-1, mensaje)
+
+        Returns:
+            DataFrame leido
+        """
+        on_progress(0.05, "Leyendo archivo...")
+        df = read_erp_file(path, file_ext)
+        on_progress(0.2, f"Archivo leido: {len(df):,} filas")
+        return df
+
+
+def read_erp_file(path: str, file_ext: str = None) -> pd.DataFrame:
+    """
+    Funcion unificada de lectura de archivos ERP.
+
+    Es el unico punto de entrada para leer archivos .xls, .xlsx y .csv
+    en toda la aplicacion. Usa engines explicitos para evitar problemas
+    de compatibilidad con pandas/xlrd/openpyxl.
+
+    PROTECCIÓN DE CEROS A LA IZQUIERDA:
+    Las columnas críticas de IDs se leen obligatoriamente como strings (dtype=str)
+    para preservar ceros iniciales (ej: "01240" no se convierte a 1240).
+
+    Args:
+        path: Ruta absoluta al archivo.
+        file_ext: Extension (incluye el punto). Si es None se infiere.
+
+    Returns:
+        DataFrame con columnas críticas como strings para preservar ceros.
+
+    Raises:
+        ValueError: Si la extension no es soportada o hay error de lectura.
+    """
+    if file_ext is None:
+        file_ext = Path(path).suffix.lower()
+    else:
+        file_ext = file_ext.lower()
+
+    # Columnas críticas que deben preservar ceros a la izquierda
+    critical_cols = [
+        "ID_ARTICULO", "ID_CLIENTE", "ID_VENDEDOR", "ID_LINEA",
+        "ID_GRUPO", "ID_TIPO", "ID_FAMILIA", "COD_SUCURSAL",
+        "NRO_DOC", "SERIE_DOC", "DOC_CLIENTE"
+    ]
+
+    if file_ext == '.csv':
+        # Para CSV, leer todo como string inicialmente
+        df = pd.read_csv(
+            path, dtype=str, encoding='utf-8-sig',
+            sep=None, engine='python', low_memory=False,
+        )
+    elif file_ext in ('.xls', '.xlsx'):
+        engine = "xlrd" if file_ext == ".xls" else "openpyxl"
+        try:
+            # Leer Excel con dtype=str para forzar texto en TODAS las columnas
+            # Esto previene que pandas convierta "01240" -> 1240 automáticamente
+            df = pd.read_excel(path, dtype=str, engine=engine)
+        except Exception as ex:
+            raise ValueError(
+                f"Error leyendo archivo Excel ({file_ext}) con motor '{engine}': {ex}"
+            )
+    else:
+        raise ValueError(f"Extension '{file_ext}' no soportada. Use .xls, .xlsx, .csv")
+
+    # Limpieza post-lectura: eliminar espacios en blanco de columnas críticas
+    for col in critical_cols:
+        if col in df.columns:
+            df[col] = df[col].astype(str).str.strip()
+
+    return df