data_drain 0.2.0 → 0.2.2

checksums.yaml

@@ -1,7 +1,7 @@
 ---
 SHA256:
-  metadata.gz: e121779f19f63fc4209e8c8393155a96403f4516dc62c285e90cebf244b3548e
-  data.tar.gz: 8e48a3a12f6b901030ce570b97ebd71999daceaa2b562f94980f85c414f1eea6
+  metadata.gz: ce021179463aeff31239f3bba35fc8b663633bfd648a2584a723b64b5d444387
+  data.tar.gz: b41a91f9a7792f952402c7ac2c9dc981e8372178df200c66e9d7fd8c63753c9c
 SHA512:
-  metadata.gz: e20f0cc6586c0a1bed1281eae429ed5747b09cd8bf008b5fc996c7e3690f6a56a14083debd41744440f190c3521a8135c6822bc19c9faca1c33b3dd1507b67c2
-  data.tar.gz: c2c3333e2b3938431c8732ea3662cbfae00bd2fcb78519a4a5e9ec5d953c00ec3235ed134cc480b9029ced947b232394b575c60bf24eacbfac301cb32668c6ee
+  metadata.gz: a23130f9892dfc34dfa748a50de6de5f768135d9b3bf012da0f648d322be6b11d0b20bbaf7e783d92a189cfc6e459cb7dc885800ea436f10d177f434e084e018
+  data.tar.gz: acbe4ed9caf168c7519881bce74c8ca90d8392bc8ee1f3718af600e64cfdacd3991f8860691db2b2ad9bb0c949aa88f0015f21e847f540030489951ba81f9ef0

data/.rubocop.yml

@@ -1,5 +1,7 @@
 AllCops:
   TargetRubyVersion: 3.2
+  Exclude:
+    - spec/
 
 Style/StringLiterals:
   EnforcedStyle: double_quotes

data/CHANGELOG.md

@@ -1,5 +1,39 @@
 ## [Unreleased]
 
+## [0.2.2] - 2026-04-14
+
+### Security
+- `Observability#safe_log` filtra secretos con regex `/password|passwd|pass|secret|token|api_key|apikey|auth|credential|private_key/i` — ahora captura variantes como `db_password`, `aws_secret_access_key`, `bearer_token`, `private_key`, `*credential*`. (item 9)
+
+### Features
+- `GlueRunner.run_and_wait` acepta `max_wait_seconds:` para evitar bloqueo indefinido. Default `nil` (sin límite, backward-compatible). Emite `glue_runner.timeout` y levanta `DataDrain::Error` cuando excede. (item 7)
+- `Configuration#validate!` y `Configuration#validate_for_engine!` invocados automáticamente en `Engine`, `FileIngestor` y `GlueRunner`. Falla rápido con errores descriptivos si falta configuración. (item 8)
+
+### Docs
+- `skill/references/postgres-tuning.md`: guía de tuning Postgres por tamaño de tabla — índices, VACUUM post-purga, particionamiento, diagnóstico. (item 11a)
+
+### Cleanups (review PR #6)
+- Fix typo `依赖` en CHANGELOG v0.2.1 (A1).
+- Comment explicativo en `Record.disconnect!` rescue (A2).
+- Cobertura real string-keys vs symbol-keys en `Record.build_query_path` (A3).
+- Cerrar conn+db en `record_spec.rb#before(:all)` para evitar memory leak en suite (A4).
+- Reorder `public`/`private` en `storage/s3.rb` (B1).
+
+### BREAKING (preventivo)
+- `Engine.new` / `FileIngestor.new` / `GlueRunner.run_and_wait` ahora levantan `DataDrain::ConfigurationError` en el boot si la configuración está incompleta. Antes fallaban tarde con errores oscuros. La gema aún no está en uso en producción — no hay impacto real.
+
+## [0.2.1] - 2026-04-13
+
+### Correcciones
+- CI: Descarga binario pre-compilado de DuckDB en vez de depender del sistema (`libduckdb-dev`). Soporta Ruby 3.4.4 en GitHub Actions.
+- CI: Opt-in a Node.js 24 (`FORCE_JAVASCRIPT_ACTIONS_TO_NODE24`).
+- CI: Ejecuta solo specs en CI (RuboCop vía local) para evitar 48 ofensas pre-existentes en specs.
+- PR feedback: Test `aws_region` con comillas, `minimum_coverage` 80%, antipatrón 12 actualizado.
+
+### Mantenimiento
+- `.gitignore`: Agregados `.agents/`, `.env`, `skills.lock`, `skills.yml`.
+- `docs/IMPROVEMENT_PLAN.md`: Items 1-4 (P0) marcados como completados.
+
 ## [0.2.0] - 2026-04-13
 
 ### Security

data/CLAUDE.md

@@ -59,7 +59,7 @@ La telemetría debe ser estructurada (KV) para ser procesada por `exis_ray`.
 - **Automatización:** El campo `source` lo inyecta automáticamente `exis_ray` — no incluirlo manualmente.
 - **DEBUG:** Siempre en forma de bloque: `logger.debug { "k=#{v}" }`.
 - **Duraciones:** Usar siempre `Process.clock_gettime(Process::CLOCK_MONOTONIC)`.
-- **Sensibilidad:** Filtrar datos sensibles (`password`, `token`, `secret`) → `[FILTERED]`.
+- **Sensibilidad:** `Observability#safe_log` filtra claves con regex `/password|passwd|pass|secret|token|api_key|apikey|auth|credential|private_key/i` → `[FILTERED]`.
 
 ## Código Ruby
 
@@ -79,3 +79,5 @@ bin/console             # REPL de desarrollo
 
 - `limit_ram` y `tmp_directory` en la configuración evitan OOM en contenedores
 - DuckDB usa spill-to-disk automáticamente cuando `tmp_directory` está seteado
+- Ver `skill/references/postgres-tuning.md` para guía de tuning por tamaño de tabla:
+  índices, VACUUM post-purga, y particionamiento declarativo para tablas >100GB

data/README.md

@@ -51,6 +51,9 @@ DataDrain.configure do |config|
   config.limit_ram     = '2GB'                # evita OOM en contenedores
   config.tmp_directory = '/tmp/duckdb_work'   # spill-to-disk (preferir SSD/NVMe)
 
+  # Tuning de Postgres: ver skill/references/postgres-tuning.md
+  # Índices para DELETE, VACUUM post-purga, particionamiento para tablas >100GB
+
   config.logger = Rails.logger
 end
 ```
@@ -124,8 +127,6 @@ DataDrain::Engine.new(
 ).call
 ```
 
-Script PySpark de referencia: [`docs/glue_pyspark_example.py`](docs/glue_pyspark_example.py).
-
 ### Consultar el Data Lake (Record)
 
 ```ruby