@noeva/etl-core 1.0.1 → 1.1.1
This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
- package/CHANGELOG.md +134 -0
- package/README.md +6 -11
- package/dist/{ai-BoTwcmUg.d.ts → ai-DyDIf-hQ.d.ts} +1 -1
- package/dist/{ambiente-della-pipeline-BoymQ6uN.d.ts → ambiente-della-pipeline-BhWsyLUR.d.ts} +2 -2
- package/dist/chunk-47NVGHUY.js +2 -0
- package/dist/chunk-5OE6F2MK.js +2 -0
- package/dist/{chunk-NZR6TZ42.js → chunk-5XVANFXO.js} +1 -1
- package/dist/chunk-672L5BGQ.js +1 -0
- package/dist/{chunk-4NPSBPBY.js → chunk-6QVYBDIS.js} +1 -1
- package/dist/{chunk-PE2QKU34.js → chunk-CEAMQIRO.js} +1 -1
- package/dist/chunk-DHQ3YOPX.js +5 -0
- package/dist/chunk-FBSNZG34.js +1 -0
- package/dist/{chunk-J3PBMWSP.js → chunk-GZWYRO3V.js} +1 -1
- package/dist/chunk-IODXIHU2.js +1 -0
- package/dist/{chunk-P6B2KLNJ.js → chunk-KEFIGSRS.js} +2 -2
- package/dist/chunk-KGWA46Y6.js +2 -0
- package/dist/chunk-L25W2QNS.js +1 -0
- package/dist/{chunk-JLPK6MMQ.js → chunk-OK3XRTGA.js} +1 -1
- package/dist/chunk-UHGHK6NP.js +1 -0
- package/dist/chunk-VL7DZWWO.js +2 -0
- package/dist/chunk-VVXT66DC.js +1 -0
- package/dist/chunk-ZKDCUSM2.js +6 -0
- package/dist/cli.js +2 -2
- package/dist/{client-DYA3wIyb.d.ts → client-BC_mLuT2.d.ts} +2 -2
- package/dist/config-BSdGSRPG.d.ts +37 -0
- package/dist/{config-BSUwK4p_.d.ts → config-DMafsY4H.d.ts} +3 -3
- package/dist/connector-kit.d.ts +14 -9
- package/dist/connector-kit.js +1 -1
- package/dist/connectors/excel.d.ts +391 -0
- package/dist/connectors/excel.js +10 -0
- package/dist/connectors/file.d.ts +12 -5
- package/dist/connectors/file.js +1 -1
- package/dist/connectors/http.d.ts +7 -7
- package/dist/connectors/http.js +1 -1
- package/dist/connectors/imap.d.ts +6 -6
- package/dist/connectors/imap.js +1 -1
- package/dist/connectors/jira.d.ts +6 -6
- package/dist/connectors/jira.js +2 -2
- package/dist/connectors/mail.d.ts +7 -7
- package/dist/connectors/mail.js +1 -1
- package/dist/connectors/mysql.d.ts +238 -0
- package/dist/connectors/mysql.js +2 -0
- package/dist/connectors/noeva.d.ts +6 -6
- package/dist/connectors/noeva.js +1 -1
- package/dist/connectors/oauth.d.ts +5 -5
- package/dist/connectors/oauth.js +1 -1
- package/dist/connectors/odoo.d.ts +309 -0
- package/dist/connectors/odoo.js +3 -0
- package/dist/connectors/postgres.d.ts +7 -6
- package/dist/connectors/postgres.js +1 -1
- package/dist/connectors/process.d.ts +1 -1
- package/dist/connectors/process.js +1 -1
- package/dist/connectors/sendgrid.d.ts +7 -7
- package/dist/connectors/sendgrid.js +1 -1
- package/dist/connectors/smtp.d.ts +8 -8
- package/dist/connectors/smtp.js +1 -1
- package/dist/connectors/sqlserver.d.ts +7 -6
- package/dist/connectors/sqlserver.js +1 -1
- package/dist/connectors/zoho.d.ts +6 -6
- package/dist/connectors/zoho.js +1 -1
- package/dist/contract.d.ts +2 -2
- package/dist/{credenziali-posta-f7HB2cYW.d.ts → credenziali-posta-C0az04uV.d.ts} +2 -2
- package/dist/{errors-bgSO6lGO.d.ts → errors-CRq1uNYZ.d.ts} +8 -1
- package/dist/etl.config.js +3 -3
- package/dist/guida/404.html +2 -2
- package/dist/guida/GUIDA_SVILUPPO.html +7 -7
- package/dist/guida/TECHNICAL_OVERVIEW.html +7 -7
- package/dist/guida/assets/{GUIDA_SVILUPPO.md.CrN52ZDN.js → GUIDA_SVILUPPO.md.Bvr7RKHN.js} +2 -2
- package/dist/guida/assets/TECHNICAL_OVERVIEW.md.C6HYc5_h.js +10 -0
- package/dist/guida/assets/{app.DeVEBaIz.js → app.uK-5scpr.js} +1 -1
- package/dist/guida/assets/chunks/@localSearchIndexroot.AxYI9rrX.js +1 -0
- package/dist/guida/assets/chunks/{VPLocalSearchBox.CsTQzJUK.js → VPLocalSearchBox.CB5vaMvW.js} +1 -1
- package/dist/guida/assets/chunks/{theme.Dfy0C_Zf.js → theme.z6u0J2Ii.js} +2 -2
- package/dist/guida/assets/connectors_README.md.B5QWzWUK.js +1 -0
- package/dist/guida/assets/connectors_README.md.B5QWzWUK.lean.js +1 -0
- package/dist/guida/assets/connectors_excel.md.CqGtwEB4.js +92 -0
- package/dist/guida/assets/connectors_excel.md.CqGtwEB4.lean.js +1 -0
- package/dist/guida/assets/{connectors_file.md.B1NJe0VJ.js → connectors_file.md.Dbofo9W5.js} +3 -3
- package/dist/guida/assets/{connectors_file.md.B1NJe0VJ.lean.js → connectors_file.md.Dbofo9W5.lean.js} +1 -1
- package/dist/guida/assets/connectors_mysql.md.fVCxQWUW.js +34 -0
- package/dist/guida/assets/connectors_mysql.md.fVCxQWUW.lean.js +1 -0
- package/dist/guida/assets/connectors_odoo.md.DprabV5e.js +19 -0
- package/dist/guida/assets/connectors_odoo.md.DprabV5e.lean.js +1 -0
- package/dist/guida/assets/{conventions_node-descriptor.md.MQaGlm8a.js → conventions_node-descriptor.md.C19dB-Tb.js} +4 -4
- package/dist/guida/assets/conventions_node-descriptor.md.C19dB-Tb.lean.js +1 -0
- package/dist/guida/assets/{conventions_run-report.md.D_pG07VG.js → conventions_run-report.md.iVSN9fNV.js} +1 -1
- package/dist/guida/assets/{conventions_versioni-di-pipeline.md.cy5nsizS.js → conventions_versioni-di-pipeline.md.DJPSthZ8.js} +1 -1
- package/dist/guida/assets/{conventions_versioni-di-pipeline.md.cy5nsizS.lean.js → conventions_versioni-di-pipeline.md.DJPSthZ8.lean.js} +1 -1
- package/dist/guida/assets/{nodes_README.md.CHGy_go6.js → nodes_README.md.BNAiSoJJ.js} +2 -2
- package/dist/guida/assets/{nodes_README.md.CHGy_go6.lean.js → nodes_README.md.BNAiSoJJ.lean.js} +1 -1
- package/dist/guida/assets/{nodes_lookup.md.BI8tgBIq.js → nodes_lookup.md.DrJFsfOJ.js} +1 -1
- package/dist/guida/assets/{nodes_sink.md.yAf_z4wO.js → nodes_sink.md.C1S-lAh2.js} +2 -2
- package/dist/guida/assets/{nodes_source.md.DP2i3GFv.js → nodes_source.md.BitUNtug.js} +2 -2
- package/dist/guida/assets/{nodes_task.md.Dk6VB7as.js → nodes_task.md.CejEQZcD.js} +2 -2
- package/dist/guida/assets/{nodes_task.md.Dk6VB7as.lean.js → nodes_task.md.CejEQZcD.lean.js} +1 -1
- package/dist/guida/assets/{nodes_transform.md.Bv5fg2Xx.js → nodes_transform.md.Ciycywnb.js} +1 -1
- package/dist/guida/assets/{runbooks_deployment.md.CwG77qGO.js → runbooks_deployment.md.BV8Izw4I.js} +1 -1
- package/dist/guida/assets/runbooks_excel-operazioni-distruttive.md.CEygSROg.js +16 -0
- package/dist/guida/assets/runbooks_excel-operazioni-distruttive.md.CEygSROg.lean.js +1 -0
- package/dist/guida/assets/{runbooks_sql-task-truncate-swap.md.C8viT-fp.js → runbooks_sql-task-truncate-swap.md.DAz41942.js} +5 -3
- package/dist/guida/assets/{runbooks_sql-task-truncate-swap.md.C8viT-fp.lean.js → runbooks_sql-task-truncate-swap.md.DAz41942.lean.js} +1 -1
- package/dist/guida/connectors/README.html +5 -5
- package/dist/guida/connectors/excel.html +118 -0
- package/dist/guida/connectors/file.html +7 -7
- package/dist/guida/connectors/http.html +4 -4
- package/dist/guida/connectors/imap.html +4 -4
- package/dist/guida/connectors/jira.html +5 -5
- package/dist/guida/connectors/mysql.html +60 -0
- package/dist/guida/connectors/noeva.html +5 -5
- package/dist/guida/connectors/oauth.html +5 -5
- package/dist/guida/connectors/odoo.html +45 -0
- package/dist/guida/connectors/postgres.html +5 -5
- package/dist/guida/connectors/process.html +4 -4
- package/dist/guida/connectors/sendgrid.html +4 -4
- package/dist/guida/connectors/smtp.html +4 -4
- package/dist/guida/connectors/sqlserver.html +4 -4
- package/dist/guida/connectors/zoho.html +4 -4
- package/dist/guida/conventions/node-columns.html +4 -4
- package/dist/guida/conventions/node-descriptor.html +8 -8
- package/dist/guida/conventions/run-report.html +6 -6
- package/dist/guida/conventions/run-trace.html +4 -4
- package/dist/guida/conventions/variabili-del-core.html +4 -4
- package/dist/guida/conventions/versioni-di-pipeline.html +6 -6
- package/dist/guida/guide/claude-code/index.html +4 -4
- package/dist/guida/guide/claude-code/prompt.html +5 -5
- package/dist/guida/guide/claude-code/strumenti.html +4 -4
- package/dist/guida/guide/grafo.html +4 -4
- package/dist/guida/guide/usare/app-desktop.html +4 -4
- package/dist/guida/guide/usare/esito-di-una-run.html +4 -4
- package/dist/guida/guide/usare/index.html +4 -4
- package/dist/guida/hashmap.json +1 -1
- package/dist/guida/index.html +4 -4
- package/dist/guida/nodes/README.html +5 -5
- package/dist/guida/nodes/action.html +4 -4
- package/dist/guida/nodes/ai.html +4 -4
- package/dist/guida/nodes/join.html +4 -4
- package/dist/guida/nodes/lookup.html +6 -6
- package/dist/guida/nodes/pipeline.html +4 -4
- package/dist/guida/nodes/route.html +4 -4
- package/dist/guida/nodes/sink.html +7 -7
- package/dist/guida/nodes/source.html +7 -7
- package/dist/guida/nodes/task.html +6 -6
- package/dist/guida/nodes/transform.html +6 -6
- package/dist/guida/nodes/try-catch.html +4 -4
- package/dist/guida/nodes/union.html +4 -4
- package/dist/guida/pagine.json +4 -0
- package/dist/guida/pipelines/README.html +4 -4
- package/dist/guida/pipelines/crm-leads-sync.html +4 -4
- package/dist/guida/pipelines/cross-workspace-csv-merge.html +4 -4
- package/dist/guida/pipelines/movimenti-per-conto.html +4 -4
- package/dist/guida/pipelines/orders-enriched-daily.html +4 -4
- package/dist/guida/pipelines/test-posta.html +4 -4
- package/dist/guida/runbooks/aggiornamento-pm2.html +4 -4
- package/dist/guida/runbooks/deploy-ecr.html +4 -4
- package/dist/guida/runbooks/deployment.html +6 -6
- package/dist/guida/runbooks/etl-worker.html +5 -5
- package/dist/guida/runbooks/excel-operazioni-distruttive.html +42 -0
- package/dist/guida/runbooks/graph-server.html +5 -5
- package/dist/guida/runbooks/mask-key.html +4 -4
- package/dist/guida/runbooks/oauth-google-posta.html +4 -4
- package/dist/guida/runbooks/rollback-di-pipeline.html +4 -4
- package/dist/guida/runbooks/scd2-rehash.html +4 -4
- package/dist/guida/runbooks/sql-task-truncate-swap.html +8 -6
- package/dist/guida/runbooks/stato-incrementale.html +4 -4
- package/dist/guida/sub-pipelines/README.html +4 -4
- package/dist/guida/sub-pipelines/riepilogo-ordini.html +4 -4
- package/dist/index.d.ts +9 -9
- package/dist/index.js +1 -1
- package/dist/{invio-Dwz3J7sP.d.ts → invio-9Ubb_cdR.d.ts} +3 -3
- package/dist/{istanza-per-il-piano-CucqUF7b.d.ts → istanza-per-il-piano-74NYhIHc.d.ts} +1 -1
- package/dist/{manifest-variabili-U1UfPDfF.d.ts → manifest-variabili-DRWUzmxU.d.ts} +1 -1
- package/dist/pipelines.d.ts +3 -3
- package/dist/pipelines.js +1 -1
- package/dist/{runnable-pipeline-CArkLzfv.d.ts → runnable-pipeline-CWgPwi6w.d.ts} +2 -2
- package/dist/{config-DIthC7n7.d.ts → sql-watermark-CQVvxhPZ.d.ts} +9 -40
- package/dist/testing.d.ts +3 -3
- package/dist/testing.js +1 -1
- package/dist/{trasporto-DpPLCEQ1.d.ts → trasporto-BaRdP6Wl.d.ts} +4 -4
- package/dist/{types-BVA7BIou.d.ts → types-_3rgLhje.d.ts} +21 -2
- package/dist/{variabili-dichiarate-DmfcxsT9.d.ts → variabili-dichiarate-CS-eC53K.d.ts} +1 -1
- package/kit/skills/etl-graph/SKILL.md +6 -3
- package/kit/skills/etl-graph/references/data-patterns.md +1 -1
- package/kit/skills/etl-graph/references/error-handling.md +3 -3
- package/kit/skills/etl-graph/references/wiring.md +10 -10
- package/kit/skills/new-connector/SKILL.md +2 -2
- package/package.json +16 -1
- package/dist/chunk-BVUOUBLW.js +0 -1
- package/dist/chunk-CRR3Q2C7.js +0 -2
- package/dist/chunk-LJ7DVP5F.js +0 -2
- package/dist/chunk-PKBSETMV.js +0 -2
- package/dist/chunk-QPJC4GWR.js +0 -1
- package/dist/chunk-RCRMQPFH.js +0 -5
- package/dist/chunk-RS5SGDUU.js +0 -1
- package/dist/chunk-RWPHH4E2.js +0 -1
- package/dist/chunk-SRFFKE5W.js +0 -6
- package/dist/chunk-WVODQB6Z.js +0 -1
- package/dist/chunk-XZMCC6VQ.js +0 -1
- package/dist/chunk-ZCYGHS7P.js +0 -2
- package/dist/guida/assets/TECHNICAL_OVERVIEW.md.DTIhkkg9.js +0 -10
- package/dist/guida/assets/chunks/@localSearchIndexroot.NgfCNDyz.js +0 -1
- package/dist/guida/assets/connectors_README.md.BqI2RLCu.js +0 -1
- package/dist/guida/assets/connectors_README.md.BqI2RLCu.lean.js +0 -1
- package/dist/guida/assets/conventions_node-descriptor.md.MQaGlm8a.lean.js +0 -1
- /package/dist/guida/assets/{GUIDA_SVILUPPO.md.CrN52ZDN.lean.js → GUIDA_SVILUPPO.md.Bvr7RKHN.lean.js} +0 -0
- /package/dist/guida/assets/{TECHNICAL_OVERVIEW.md.DTIhkkg9.lean.js → TECHNICAL_OVERVIEW.md.C6HYc5_h.lean.js} +0 -0
- /package/dist/guida/assets/{conventions_run-report.md.D_pG07VG.lean.js → conventions_run-report.md.iVSN9fNV.lean.js} +0 -0
- /package/dist/guida/assets/{nodes_lookup.md.BI8tgBIq.lean.js → nodes_lookup.md.DrJFsfOJ.lean.js} +0 -0
- /package/dist/guida/assets/{nodes_sink.md.yAf_z4wO.lean.js → nodes_sink.md.C1S-lAh2.lean.js} +0 -0
- /package/dist/guida/assets/{nodes_source.md.DP2i3GFv.lean.js → nodes_source.md.BitUNtug.lean.js} +0 -0
- /package/dist/guida/assets/{nodes_transform.md.Bv5fg2Xx.lean.js → nodes_transform.md.Ciycywnb.lean.js} +0 -0
- /package/dist/guida/assets/{runbooks_deployment.md.CwG77qGO.lean.js → runbooks_deployment.md.BV8Izw4I.lean.js} +0 -0
package/CHANGELOG.md
CHANGED
|
@@ -1,5 +1,139 @@
|
|
|
1
1
|
# @noeva/etl-core
|
|
2
2
|
|
|
3
|
+
## 1.1.1
|
|
4
|
+
|
|
5
|
+
### Patch Changes
|
|
6
|
+
|
|
7
|
+
- fb1a59f: Nessuna modifica al comportamento del pacchetto: la 1.1.1 corregge il test di `etl upgrade` (le versioni del registry finto derivano ora da quella installata, invece di essere scritte a mano) che si era rotto con il rilascio 1.1.0. Non serve nessuna azione nei repo cliente. I piani delle pipeline d'esempio e pronte non cambiano.
|
|
8
|
+
|
|
9
|
+
## 1.1.0
|
|
10
|
+
|
|
11
|
+
### Minor Changes
|
|
12
|
+
|
|
13
|
+
- c531c56: `excelSink` non perde più una modifica fatta da altri mentre scrive: confronta l'impronta del file
|
|
14
|
+
prima di sostituirlo e, se è cambiata, dà un errore transitorio senza toccare nulla. Se accanto al
|
|
15
|
+
file c'è `~$nome.xlsx` (aperto in Excel) non scrive, salvo `onFileApertoInExcel: "ignore"`. Nuova
|
|
16
|
+
opzione `maxSheetBytes` (default 64 MiB di foglio decompresso) che ferma la run, senza toccare il
|
|
17
|
+
file, se il foglio è troppo grande per la memoria. Nel core, `Sink.exclusiveTarget` fa rifiutare a
|
|
18
|
+
`build()` due sink sulla stessa risorsa nello stesso grafo. Una sola pipeline scrive un dato
|
|
19
|
+
workbook. I piani delle pipeline d'esempio e pronte non cambiano.
|
|
20
|
+
- 5cd6459: `excelSink` dichiara come appare ciò che crea: per colonna `format` (`text`, `number`, `integer`,
|
|
21
|
+
`currency`, `percent`, `date`, `datetime` o `{ code }`) e `width`; per foglio `boldHeader`,
|
|
22
|
+
`freezeHeader`, `autoFilter` e `table` (una tabella Excel con nome valido e unico nel workbook).
|
|
23
|
+
Valgono solo per workbook, fogli e colonne creati dal sink: su un foglio o una colonna che il file ha
|
|
24
|
+
già decide l'utente. `styles.xml` cambia solo con aggiunte in coda, gli stili esistenti restano
|
|
25
|
+
identici. Una `Date` scritta in un foglio nuovo di un workbook senza stili di data riceve lo stile di
|
|
26
|
+
data, aggiunto dal sink. I piani delle pipeline d'esempio e
|
|
27
|
+
pronte non cambiano.
|
|
28
|
+
- e67c7d4: `excelSink` scrive le righe nuove come quelle inserite a mano. Una colonna può dichiarare una
|
|
29
|
+
`formula` con i segnaposto `{row}` e `{prev}` (`"=B{row}*0.22"`, funzioni in inglese): si scrive solo
|
|
30
|
+
nelle righe nuove, mai sulle aggiornate di un `upsert`, e Excel la calcola all'apertura. Nuova
|
|
31
|
+
opzione `repeatFormulas` (default `true`): le colonne non dichiarate che nella riga precedente hanno
|
|
32
|
+
una formula la ripetono traslata, e una formula con un riferimento ad un altro foglio ferma la run
|
|
33
|
+
nominando cella e formula. Gli `sqref` di formattazione condizionale e convalida (anche `x14`) che
|
|
34
|
+
arrivano all'ultima riga dati si estendono alle righe nuove, e la cache di una pivot con sorgente
|
|
35
|
+
una tabella riceve `refreshOnLoad`. I piani delle pipeline d'esempio e pronte non cambiano.
|
|
36
|
+
- 04b3430: `excelSource` legge il foglio a flusso: lo zip si apre con accesso casuale (JSZip), si leggono prima le
|
|
37
|
+
stringhe condivise e gli stili e poi il foglio, che esce da un parser SAX una riga alla volta. Il
|
|
38
|
+
comportamento esterno non cambia; cambia la memoria (su un foglio di 200k righe, circa 12 MB di heap
|
|
39
|
+
contro circa 360 MB del caricamento intero) e non dipende più dall'ordine delle voci nello zip, che
|
|
40
|
+
faceva perdere fogli a intermittenza al lettore a flusso di exceljs sui file salvati da Excel. `saxes`
|
|
41
|
+
diventa dipendenza diretta del pacchetto (era già installata come dipendenza di exceljs). I piani
|
|
42
|
+
delle pipeline d'esempio e pronte non cambiano.
|
|
43
|
+
- 21b2b6b: `excelSink` in modalità `append` accetta due modelli. `template` è un file `.xlsx` o `.xlsm` che si copia al posto dello scheletro minimo quando il workbook manca: grafici, pivot, macro e stili arrivano con lui. `sheetTemplate` è un foglio del workbook che si clona per ogni foglio nuovo (stili, larghezze, intestazione, formule e tabella con nome rigenerato e unico); errore se il modello ha grafici, pivot o disegni. I file `.xlsm` mantengono `vbaProject.bin` identico byte per byte; un `.xlsm` nuovo nasce solo da un `template` `.xlsm`, e un file la cui estensione non coincide col contenuto ferma la run.
|
|
44
|
+
- 110b483: `excelSink` ha la modalità `replace` (svuota le righe sotto l'intestazione del foglio e le riscrive,
|
|
45
|
+
senza toccare altri fogli né il resto del pacchetto) e, in `upsert`, `cancellaQuando: { field, equals }`
|
|
46
|
+
con `cancellaRighe: "svuota"`: il record che soddisfa la condizione svuota la riga con la sua chiave
|
|
47
|
+
(celle vuote, stile mantenuto, nessuna riga spostata). Le due operazioni vogliono `destructive: true`,
|
|
48
|
+
che `excelSink` pretende alla costruzione del grafo e che compare nel descriptor. `replace` non è
|
|
49
|
+
`retrySafe`. Nuova metrica `excel.righe-cancellate`. Runbook: `docs/runbooks/excel-operazioni-distruttive.md`.
|
|
50
|
+
I piani delle pipeline d'esempio e pronte non cambiano.
|
|
51
|
+
- 2c10032: `excelSink` in `upsert` con `cancellaQuando` toglie davvero la riga: `cancellaRighe: "rimuovi"` è il
|
|
52
|
+
default (`"svuota"` è la via d'uscita). Le righe sotto salgono e il layer riscrive
|
|
53
|
+
formule (del foglio e degli altri), `ref` di tabella e filtro, celle unite, formattazione
|
|
54
|
+
condizionale, convalide, nomi definiti e `dimension`; la `calcChain` si toglie e il workbook ricalcola
|
|
55
|
+
all'apertura. Dove non sa riscrivere (grafici, immagini, pivot, commenti, formule condivise che
|
|
56
|
+
citano le righe, `extLst` con riferimenti) il nodo fallisce **prima di scrivere**, nominando cosa lo
|
|
57
|
+
impedisce. I piani delle pipeline d'esempio e pronte non cambiano.
|
|
58
|
+
- c122ac6: Nuovo `excelTask` (`@noeva/etl-core/connectors/excel`): un nodo `task` che esegue un elenco ordinato di
|
|
59
|
+
operazioni senza record su un workbook, con una lettura e un solo salvataggio atomico (se una operazione
|
|
60
|
+
è rifiutata non si scrive nulla). Operazioni: `reorderSheets` (cambia ordine dei fogli, indici dei nomi
|
|
61
|
+
locali e foglio attivo) e `renameColumn` (cella d'intestazione, nome della colonna nella tabella e
|
|
62
|
+
formule con riferimento strutturato). Idempotente e `retrySafe`; descriptor `excel-task` con
|
|
63
|
+
`destructive`, report con le operazioni «già fatte». Le altre parti del pacchetto restano identiche byte
|
|
64
|
+
per byte. I piani delle pipeline d'esempio e pronte non cambiano.
|
|
65
|
+
- 9ccc169: `excelTask` impara le operazioni che rinominano, cancellano o spostano e quindi riscrivono i
|
|
66
|
+
riferimenti: `renameSheet` (formule, nomi definiti, formattazione condizionale, convalide, colonne
|
|
67
|
+
calcolate e collegamenti di tutti i fogli), `deleteSheet`, `deleteColumns`, `reorderColumns` e
|
|
68
|
+
`insertColumns` (celle, tabella con `ref`, nomi e filtro, celle unite, formattazione condizionale,
|
|
69
|
+
convalide, formule e nomi). Valgono la regola «rifiuta se non sa riscrivere i riferimenti» e la tabella
|
|
70
|
+
di `cancellaRighe: "rimuovi"`: grafici, tabelle pivot, immagini, commenti, formule condivise e
|
|
71
|
+
riferimenti strutturati a una colonna cancellata fanno fallire l'operazione **prima di scrivere**,
|
|
72
|
+
nominando cosa la impedisce; cancellare un foglio elenca i riferimenti che si romperebbero. Nuova
|
|
73
|
+
opzione `destructive: true`, obbligatoria con `deleteSheet` e `deleteColumns`; il report distingue
|
|
74
|
+
`already-absent`. Idempotenti: cancellare ciò che non c'è non fa nulla. I piani delle pipeline
|
|
75
|
+
d'esempio e pronte non cambiano.
|
|
76
|
+
- d516065: `@noeva/etl-core/connectors/excel` ha ora `excelValidate`, la transform che applica a ogni record le
|
|
77
|
+
regole di validazione del sink Excel (`NaN`, `Infinity`, testi oltre 32.767 caratteri, date prima del
|
|
78
|
+
01/03/1900, campi non dichiarati) con la stessa funzione e gli stessi messaggi: messa prima di
|
|
79
|
+
`excelSink` con un `deadLetter`, i record invalidi vanno negli scarti e gli altri si scrivono. Un intero
|
|
80
|
+
oltre 1e21 si scrive come testo, per non perdere cifre. I piani
|
|
81
|
+
delle pipeline d'esempio e pronte non cambiano.
|
|
82
|
+
- d636c2a: `@noeva/etl-core/connectors/excel` ha ora `excelSink` in modalità `append`: crea un workbook `.xlsx`
|
|
83
|
+
nuovo (file, foglio, riga d'intestazione e una riga per record) con `columns` (campo e titolo),
|
|
84
|
+
`headerRow` e `onMissingFile` (`create` o `error`). Valida tutto il batch prima di scrivere e scrive
|
|
85
|
+
con la sostituzione atomica dello storage (che deve offrire `atomic-replace`). Non è `retrySafe`:
|
|
86
|
+
`retry` e `rateLimit` sul nodo fanno fallire `build()`. Il workbook si rilegge con `excelSource`.
|
|
87
|
+
Nasce il layer OOXML proprio, su JSZip. I piani delle pipeline d'esempio e pronte non cambiano.
|
|
88
|
+
- 2424b6a: `excelSink` in modalità `append` aggiunge righe in fondo a un foglio di un workbook **già
|
|
89
|
+
esistente** (salvato da Excel, anche `.xlsm`). Modifica solo foglio, tabella e
|
|
90
|
+
`workbook.xml`: ogni altra parte (grafici, pivot, commenti, convalide, stili, macro) resta identica
|
|
91
|
+
byte per byte. Le colonne si abbinano per titolo all'intestazione del foglio, le righe nuove copiano lo
|
|
92
|
+
stile della riga precedente, `dimension` e il `ref` della tabella con il suo filtro si estendono, e se il
|
|
93
|
+
workbook ha formule si imposta `fullCalcOnLoad` (la `calcChain` si toglie se il sink scrive una
|
|
94
|
+
formula). Rifiuta, senza toccare il file, ciò che rischia di corrompere: foglio o titolo assenti, righe
|
|
95
|
+
sotto la tabella, riga dei totali, data in una colonna senza formato data. I piani delle pipeline
|
|
96
|
+
d'esempio e pronte non cambiano.
|
|
97
|
+
- 7da4ba0: `excelSink` in modalità `append` aggiunge un **foglio nuovo** a un workbook esistente (`onMissingSheet`: `create` di default, `error` per fermarsi) e sceglie il foglio dal valore di un campo con `sheet: { field }`; «Mario» e «mario» sono lo stesso foglio. Un campo dichiarato che il foglio non ha diventa una **colonna in fondo**, estendendo la tabella Excel se è accanto. Gli altri fogli e le altre parti del pacchetto restano identici.
|
|
98
|
+
- 10fd148: `excelSink` ha la modalità `upsert`: con `key` (uno o più campi) aggiorna la riga del foglio che ha la stessa chiave, altrimenti aggiunge in fondo. Confronto canonico (testo, spazi tolti, date in ISO, maiuscole distinte), chiave vuota = record invalido, ultimo record del batch vince, righe doppie nel foglio sono un errore solo se un record le incontra. È `retrySafe` (`append` no) e conta righe aggiunte, aggiornate e invariate. `excelSource` legge più fogli con `sheets` (elenco o `"all"`) e dà il foglio d'origine in `sheetField` (obbligatorio con più fogli); `sheet` o `sheets`, non entrambi. Le opzioni di `ExcelSinkOptions` sono un'unione discriminata dalla modalità (`ExcelSinkAppendOptions`, `ExcelSinkUpsertOptions`).
|
|
99
|
+
- 5a85f29: L'interfaccia `StorageProvider` del connettore file ottiene due capacità facoltative, dichiarate in
|
|
100
|
+
`capabilities` (tipo `StorageCapability`): `replace` sostituisce un oggetto in modo atomico e
|
|
101
|
+
`fingerprint` ne dà l'impronta, per accorgersi di una modifica concorrente. `filesystemStorage` le
|
|
102
|
+
implementa (temporaneo nella stessa cartella e rinomina; il temporaneo non compare in `list` e si
|
|
103
|
+
rimuove se la scrittura fallisce); `ftp`, `s3`, `sftp` e `memoryStorage` non la offrono e non cambiano: `excelSink` scrive solo su uno storage con
|
|
104
|
+
`atomic-replace`, quindi oggi solo su filesystem, e con gli altri si rifiuta con un errore chiaro. `jszip` diventa
|
|
105
|
+
dipendenza diretta del pacchetto. I piani delle pipeline d'esempio e pronte non cambiano.
|
|
106
|
+
- 1964b42: Nuovo subpath `@noeva/etl-core/connectors/excel`, con `excelSource`: legge un foglio di un workbook
|
|
107
|
+
`.xlsx` o `.xlsm` da uno storage del connettore file (`path` o `prefix`), con la riga d'intestazione
|
|
108
|
+
(`headerRow`, default 1) e le colonne abbinate per titolo (`columns`). Errori con foglio, riga e
|
|
109
|
+
colonna per foglio inesistente (`onMissingSheet: "skip"` per saltarlo), titoli duplicati o vuoti e
|
|
110
|
+
colonna assente. Cella vuota `null`, formula uguale al valore in cache (gli errori di Excel sono
|
|
111
|
+
`null` e si contano in `<nodo>:excel.errori-di-formula`), date in UTC con base 1900 o 1904, righe
|
|
112
|
+
vuote saltate, celle unite con il valore solo nella master. Il codec `xlsx` e il nodo `parse` non
|
|
113
|
+
cambiano. I piani delle pipeline d'esempio e pronte non cambiano.
|
|
114
|
+
- 44acd10: Nuovo subpath `@noeva/etl-core/connectors/mysql`: il connettore per MySQL e MariaDB (ADR-0109), sul
|
|
115
|
+
driver `mysql2`. `mysqlSource` streamma i risultati di una query, anche in modo incrementale
|
|
116
|
+
(`:watermark` si scrive dove serve), `mysqlSink` fa un upsert idempotente con
|
|
117
|
+
`INSERT … ON DUPLICATE KEY UPDATE`, `mysqlLookup` risolve un batch di chiavi e `mysqlSqlTask` esegue
|
|
118
|
+
statement statici in una transazione. `DATE`, `DATETIME`, `TIMESTAMP` e `BIGINT` arrivano come
|
|
119
|
+
stringhe nella forma del database, uguali a ogni fuso del processo; una `Date` si scrive in UTC e
|
|
120
|
+
un oggetto o un array come JSON. Le istanze sono `MYSQL_<ISTANZA>_HOST`, `_PORT`, `_USER`,
|
|
121
|
+
`_PASSWORD`, `_DATABASE` (`MYSQL_INSTANCES`), più `MYSQL_SSL` e `MYSQL_SSL_VERIFY`, con
|
|
122
|
+
`istanzaMysqlPerIlPiano` e `istanzaMysqlDichiarata`. Il DDL di MySQL fa commit implicito: lo scambio
|
|
123
|
+
atomico di due tabelle è un solo `RENAME TABLE`. Non c'è la modalità SCD2. Il connector-kit
|
|
124
|
+
esporta anche `PREFISSO_MYSQL` e `mapCode`. I piani delle pipeline d'esempio e pronte non cambiano.
|
|
125
|
+
- d377ee2: Nuovo subpath `@noeva/etl-core/connectors/odoo`: il connettore Odoo (ADR-0108). `odooRecords` legge
|
|
126
|
+
i record di un modello con i soli campi dichiarati, a pagine in ordine di `id` (`search_read` con
|
|
127
|
+
`load: ""` e `active_test: false`), dopo un `fields_get` che rifiuta i campi dichiarati assenti o
|
|
128
|
+
non stored; `odooConteggi` dà i `search_count` per confrontarli con le righe caricate. Il
|
|
129
|
+
connettore chiama solo metodi di lettura (`search_read`, `search_count`, `read`, `fields_get`,
|
|
130
|
+
`read_group`) e rifiuta gli altri prima della rete; al più una chiamata al secondo per database, mai
|
|
131
|
+
due in parallelo, come vuole l'Acceptable Use Policy di Odoo, con retry su 429 e 5xx. Parla XML-RPC
|
|
132
|
+
(Odoo fino alla 18); `ODOO_PROTOCOL=json2` è previsto per la 19 e oggi è rifiutato. Le istanze sono
|
|
133
|
+
`ODOO_<ISTANZA>_URL`, `_DATABASE`, `_LOGIN`, `_API_KEY` (`ODOO_INSTANCES`), con
|
|
134
|
+
`istanzaOdooPerIlPiano` e `istanzaOdooDichiarata`. Il connector-kit esporta anche `PREFISSO_ODOO`.
|
|
135
|
+
I piani delle pipeline d'esempio e pronte non cambiano.
|
|
136
|
+
|
|
3
137
|
## 1.0.1
|
|
4
138
|
|
|
5
139
|
### Patch Changes
|
package/README.md
CHANGED
|
@@ -18,8 +18,8 @@ pnpm install
|
|
|
18
18
|
pnpm run check # typecheck + lint + format + test:cov + gate delle versioni + gate dei changeset + build + API pubblica
|
|
19
19
|
# (report di api-extractor) + test del pacchetto + smoke del tarball + nessun cliente
|
|
20
20
|
# nel tarball + guida del core
|
|
21
|
-
# —
|
|
22
|
-
#
|
|
21
|
+
# — la CI, che gira solo sulle PR verso dev, rifà tutto tranne i
|
|
22
|
+
# test: quelli si passano qui, in locale, prima di fondere su dev
|
|
23
23
|
pnpm run test:watch
|
|
24
24
|
pnpm run docs:dev # la guida del core in locale con etl docs dev (ADR-0043, ADR-0095 §5)
|
|
25
25
|
|
|
@@ -114,15 +114,10 @@ config arriva da variabili d'ambiente. Tre modi di avviarla:
|
|
|
114
114
|
- **`run <pipeline>`** — batch: un container esegue una pipeline e termina. Con `--trace` salva
|
|
115
115
|
anche la traccia dei record ([La traccia di una run](docs/conventions/run-trace.md)).
|
|
116
116
|
|
|
117
|
-
Il
|
|
118
|
-
|
|
119
|
-
|
|
120
|
-
|
|
121
|
-
docker build -t noeva-etl .
|
|
122
|
-
docker run --rm --env-file .env -p 3005:3005 noeva-etl # serve: grafi + worker
|
|
123
|
-
docker run --rm noeva-etl list
|
|
124
|
-
docker run --rm --env-file .env noeva-etl run <pipeline>
|
|
125
|
-
```
|
|
117
|
+
Il core **non** si deploya da solo: ETL gira con le pipeline di un cliente, quindi l'immagine si
|
|
118
|
+
costruisce sempre da un repo cliente, con `deploy/Dockerfile` del pacchetto
|
|
119
|
+
([runbook Deploy](docs/runbooks/deployment.md), ETL-298). Il core in locale si prova con
|
|
120
|
+
`pnpm etl list`, `pnpm etl run <pipeline>` ed `etl serve`.
|
|
126
121
|
|
|
127
122
|
Il deploy su **ECR** di un cliente (ADR-0104) parte dal suo repo, con lo strumento del pacchetto:
|
|
128
123
|
`etl deploy-ecr <cliente>` ([runbook](docs/runbooks/deploy-ecr.md)). Nel core non resta nessun
|
package/dist/{ambiente-della-pipeline-BoymQ6uN.d.ts → ambiente-della-pipeline-BhWsyLUR.d.ts}
RENAMED
|
@@ -1,5 +1,5 @@
|
|
|
1
|
-
import { V as VariabileDichiarata } from './variabili-dichiarate-
|
|
2
|
-
import { M as ManifestVariabili } from './manifest-variabili-
|
|
1
|
+
import { V as VariabileDichiarata } from './variabili-dichiarate-CS-eC53K.js';
|
|
2
|
+
import { M as ManifestVariabili } from './manifest-variabili-DRWUzmxU.js';
|
|
3
3
|
|
|
4
4
|
/** Un'istanza di connettore che la pipeline usa. */
|
|
5
5
|
interface IstanzaDichiarata {
|
|
@@ -0,0 +1,2 @@
|
|
|
1
|
+
import {a,j,g as g$1,l,E,e}from'./chunk-CEAMQIRO.js';function A(e){return e===void 0||e===""?{}:{connection:{id:e}}}a(A,"connectionRef");var ce=/^([a-z][a-z0-9+.-]*:\/\/)[^/?#]*@/i,de=/\b([a-z][a-z0-9+.-]*:\/\/)[^\s/?#]*@/gi;function S(e){return e.replace(ce,"$1")}a(S,"withoutCredentials");function T(e){return e.replace(de,"$1***@")}a(T,"redactCredentials");function fe(e){return H(e,0)}a(fe,"redactError");function H(e,n){if(typeof e=="string")return T(e);if(!(e instanceof Error))return e;if(n>=10)return;let t=T(e.message),r=e.stack===void 0?void 0:T(e.stack),a=e.cause===void 0?void 0:H(e.cause,n+1);if(t===e.message&&r===e.stack&&a===e.cause)return e;let o=new Error(t,a===void 0?void 0:{cause:a});return o.name=e.name,r!==void 0&&(o.stack=r),o}a(H,"redactAt");var g="@chiavi",pe="SELECT NULL WHERE 1 = 0",ge="(SELECT NULL WHERE 1 = 0)",B="sql:lookup",me=["INSERT","UPDATE","DELETE","MERGE","TRUNCATE","DROP","ALTER","CREATE","GRANT","REVOKE","EXEC","EXECUTE","INTO"];function ye(e){return e.replace(/--[^\n]*/g," ").replace(/\/\*[\s\S]*?\*\//g," ").replace(/'(?:[^']|'')*'/g," '' ")}a(ye,"stripNoise");function Se(e,n={}){let t=n.stage??B,r=a(o=>{throw new j(`Query di lookup non ammessa: ${o}. Un nodo lookup accetta una sola SELECT.`,{stage:t,details:{reason:o}})},"fail");n.requireKeysPlaceholder&&!e.includes(g)&&r(`manca il segnaposto delle chiavi ${g}`);let a$1=ye(e).trim().replace(/;\s*$/,"");a$1.includes(";")&&r("contiene pi\xF9 statement separati da `;`"),/^\s*(SELECT|WITH)\b/i.test(a$1)||r("non comincia con SELECT o WITH");for(let o of me)new RegExp(`\\b${o}\\b`,"i").test(a$1)&&r(`contiene \`${o}\``);}a(Se,"assertReadOnlyQuery");function be(e,n,t,r={}){if(r.shape==="rows"){if(n===0)return e.replace(g,r.emptyRowset??ge);let o=Array.from({length:n},(s,l)=>`(${t(l)})`);return e.replace(g,`(VALUES ${o.join(", ")})`)}if(n===0)return e.replace(g,pe);let a=Array.from({length:n},(o,s)=>t(s));return e.replace(g,a.join(", "))}a(be,"replaceKeysPlaceholder");function O(e){return e.trim().toUpperCase()}a(O,"normalizeKey");function Ee(e){return [...new Set(e.map(O))]}a(Ee,"uniqueNormalizedKeys");function ve(e,n){let t=new Map;for(let r of e){let a=n.get(O(r));a!==void 0&&t.set(r,a);}return t}a(ve,"rowsByRequestedKey");function Re(e,n,t=B){let r=new Map;for(let a of e){if(!(n in a))throw new j(`La colonna chiave "${n}" non \xE8 nel result set del lookup`,{stage:t,details:{keyColumn:n,columns:Object.keys(a)}});let o=a[n];if(o==null)continue;if(typeof o!="string"&&typeof o!="number"&&typeof o!="bigint")throw new j(`La colonna chiave "${n}" del lookup non \xE8 un valore scalare`,{stage:t,details:{keyColumn:n,type:typeof o}});let s=O(String(o)),l=r.get(s);l===void 0?r.set(s,[a]):l.push(a);}return r}a(Re,"groupRowsByKey");var Q="default";function x(e,n,t=Q){return n===t?e:`${e.replace(/_+$/,"")}_${n.toUpperCase()}_`}a(x,"instanceEnvPrefix");function w(e,n){if(e===void 0||e.trim()==="")return;let t=e.split(",").map(a=>a.trim()).filter(a=>a!=="");if(t.length===0)throw new g$1(`${n} \xE8 impostata ma non contiene id validi`);let r=new Set;for(let a of t){if(r.has(a))throw new g$1(`${n}: id di istanza duplicato "${a}"`);r.add(a);}return t}a(w,"parseInstanceIds");function V(e){try{return {valore:e()}}catch(n){if(!(n instanceof g$1))throw n;return {errore:n}}}a(V,"tentaConfigurazione");function k(e){return new g$1(e.map(n=>n.message).join("; "),{},{mancanti:e.flatMap(n=>n.mancanti)})}a(k,"unisciConfigError");function G(e,n){let t=new Map;for(let{id:o,value:s}of e)t.has(o)||t.set(o,s);let r=[...t.keys()];return {has:a(o=>t.has(o),"has"),get:a(o=>{let s=t.get(o);if(s===void 0&&!t.has(o))throw Z(o,r,n);return s},"get"),ids:r}}a(G,"buildConnectorRegistry");function Z(e,n,t){return new g$1(`Istanza "${e}" non configurata per il connettore ${t.kind}: non \xE8 tra le istanze ammesse da ${t.listEnvVar} (${n.length>0?n.join(", "):"nessuna"}). Aggiungila alla config per operare su questa istanza.`)}a(Z,"istanzaNonConfigurata");function Te(e){let n=J(e).map(a=>({id:a,esito:V(()=>e.loadOne(a))})),t=n.flatMap(({esito:a})=>a.errore===void 0?[]:[a.errore]);if(t.length>0)throw k(t);let r=n.map(({id:a,esito:o})=>({id:a,value:o.valore}));return G(r,{kind:e.kind,listEnvVar:e.listEnvVar})}a(Te,"resolveConnectorRegistry");function Oe(e,n){let t=J(e);if(!t.includes(n))throw Z(n,t,e);return e.loadOne(n)}a(Oe,"resolveConnectorInstance");function J(e){return w(e.instancesRaw,e.listEnvVar)??[e.defaultId]}a(J,"idsConfigurati");var I="PG",Pe="MSSQL_",Ce="MYSQL_",he="IMAP_",Ae="SMTP_",xe="SENDGRID_",we="HTTP_",Ve="JIRA_",ke="ZOHO_",Ie="ODOO_",De="NOEVA_",_e="OAUTH_",ze="S3_",$e="SFTP_",Ne="FTP_";function m(e,n){return e?.find(t=>t.suffisso===n)}a(m,"variabileDi");function b(e,n,t){if(t===void 0)return {label:e,value:S(n)};let r=t.segreta?qe(t):S(t.valore??n);return {label:e,value:r,env:t.variabile,origine:t.origine}}a(b,"dettaglioVariabile");function Me(e){let n=e.segreta&&e.origine==="env"?"impostata":e.valore===void 0?void 0:S(e.valore);return {env:e.variabile,origine:e.origine,...n===void 0?{}:{value:n}}}a(Me,"variabileDelPiano");function qe(e){return e.origine==="env"?"impostata":e.origine}a(qe,"statoSegreto");var Le=new RegExp(`\\b(?:[A-Z][A-Z0-9]*_[A-Z0-9_]+|${"PG"}[A-Z]+)\\b`,"g");function D(e){if(e===void 0)return [];let n=[...new Set(e.message.match(Le)??[])],t=n.filter(r=>!e.mancanti.includes(r));return n.length>0&&t.length===0?[]:[{label:"configurazione",value:t.length===0?"non valida":`non valida: da controllare ${t.join(", ")}`}]}a(D,"righeNonValida");function Fe(e,n){let t=n("AUTH"),r=n("PASSWORD"),a=n("ACCESS_TOKEN");if(r!==void 0&&a!==void 0)throw new g$1(`${e}PASSWORD e ${e}ACCESS_TOKEN sono entrambe impostate: scegline una`);if(t===void 0){if(r!==void 0)return {tipo:"password",password:r};if(a!==void 0)return {tipo:"oauth2",accessToken:a,variabileToken:`${e}ACCESS_TOKEN`};throw new g$1(`Autenticazione mancante: imposta ${e}PASSWORD oppure ${e}ACCESS_TOKEN`)}if(t==="password"){if(r===void 0)throw new g$1(`${e}AUTH=password richiede ${e}PASSWORD`);return {tipo:"password",password:r}}if(t==="oauth2"){if(r!==void 0)throw new g$1(`${e}AUTH=oauth2 con ${e}PASSWORD impostata: togli la password`);return {tipo:"oauth2",accessToken:a??null,variabileToken:`${e}ACCESS_TOKEN`}}throw new g$1(`${e}AUTH non valido (attesi: password/oauth2)`)}a(Fe,"parseCredenzialiPosta");async function We(e,n){if(n!==void 0)return n();if(e.accessToken!==null)return e.accessToken;throw new g$1(`OAuth2 senza token: imposta ${e.variabileToken} o passa \`accessToken\` al connettore`)}a(We,"tokenOAuth2");function Ke(e){return {selettore:{suffisso:"AUTH"},varianti:{password:[{suffisso:"PASSWORD",segreta:true,obbligatoria:e}],oauth2:[{suffisso:"ACCESS_TOKEN",segreta:true}]},senzaSelettore:[{unaFra:[{suffisso:"PASSWORD",segreta:true},{suffisso:"ACCESS_TOKEN",segreta:true}],obbligatoria:e}]}}a(Ke,"manifestCredenzialiPosta");var _="nessuna: relay senza autenticazione",Y=["password","oauth2"];function Ue(e,n,t,r){let a$1="credenziale";if(t===void 0)return {label:a$1,value:Be(e,n)};let s=a(u=>m(t,u),"v")("USER");if(s?.origine==="non impostata")return {label:a$1,value:_,env:s.variabile,origine:s.origine};let l=je(t,n,r);if(s?.origine!=="mancante")return l;let d=l.origine==="mancante"?l.env??s.variabile:s.variabile;return {label:a$1,value:`${l.value} \xB7 manca ${s.variabile}`,...d!==void 0?{env:d}:{},origine:"mancante"}}a(Ue,"dettaglioCredenzialiPosta");function je(e,n,t){let r="credenziale",a$1=a(u=>m(e,u),"v"),o=a$1("AUTH");if(o?.valore!==void 0&&!Y.includes(o.valore))return {label:r,value:`${o.variabile} non valido (attesi: ${Y.join(", ")})`,env:o.variabile,origine:o.origine};let s=[a$1("PASSWORD"),a$1("ACCESS_TOKEN")].find(u=>u?.origine==="env");if(s!==void 0)return {label:r,value:s.suffisso==="PASSWORD"?"password \xB7 impostata":"access token \xB7 impostato",env:s.variabile,origine:"env"};let l=a$1("OAUTH_INSTANCE");if(o?.valore==="oauth2"&&l!==void 0){let[u]=t?.mancanti??[];return {label:r,value:He(`OAuth \xB7 identit\xE0 ${l.valore??n}`,t),env:u??l.variabile,origine:u===void 0?l.origine:"mancante"}}let d=e.filter(u=>u.origine==="mancante"&&(u.suffisso==="PASSWORD"||u.suffisso==="ACCESS_TOKEN"));return d.length>0?{label:r,value:Qe(d,o),origine:"mancante"}:{label:r,value:_}}a(je,"rigaDelMetodo");function He(e,n){if(n===void 0)return e;let{mancanti:t}=n;if(t.length===0)return `${e} \xB7 impostata`;let r=t.length===1?"manca":"mancano";return `${e} \xB7 ${r} ${t.join(", ")}`}a(He,"statoIdentita");function Be(e,n){return e===null?_:e.tipo==="password"?"password \xB7 impostata":e.accessToken!==null?"access token \xB7 impostato":`OAuth \xB7 identit\xE0 ${n}`}a(Be,"varianteDaConfig");function Qe(e,n){let t=[...e.map(r=>r.variabile),...n!==void 0&&n.valore===void 0?[`${n.variabile}=oauth2`]:[]];return t.length===1?t[0]??"":`una fra ${t.join(", ")}`}a(Qe,"alternative");var Ge={variabili:[],problemi:[]};function y(e,n,t){let r=a(l=>`${n}${l}`,"nome"),a$1=a(l=>{let d=t[r(l)];return d===void 0||d===""?void 0:d},"leggi"),{variabili:o,problemi:s}=z(e,{nome:r,leggi:a$1},[]);return {variabili:o,mancanti:o.filter(l=>l.origine==="mancante").map(l=>l.variabile),problemi:s}}a(y,"risolviVariabili");function M(e){let{mancanti:n,problemi:t}=e;if(n.length===0&&t.length===0)return;let r=[...n.length>0?[`Variabili mancanti: ${Xe(e.variabili)}`]:[],...t.map(en)];throw new g$1(r.join("; "),{},{mancanti:n})}a(M,"richiediCompleta");function q(e,n){let t=e.variabili.find(r=>r.suffisso===n)?.valore;if(t===void 0)throw new Error(`${n} senza valore dopo la risoluzione: il manifest non lo garantisce`);return t}a(q,"valoreGarantito");function z(e,n,t){return e.reduce((r,a)=>N(r,Ze(a,n,[...t,...r.variabili])),Ge)}a(z,"risolviVoci");function Ze(e,n,t){return "selettore"in e?Ye(e,n,t):"unaFra"in e?Je(e,n,t):{variabili:[X(e,n,t)],problemi:[]}}a(Ze,"risolviVoce");function X(e,n,t){let r={suffisso:e.suffisso,variabile:n.nome(e.suffisso),segreta:e.segreta===true},a=n.leggi(e.suffisso);if(a!==void 0)return $(r,"env",a);if(e.default!==void 0){let o=typeof e.default=="string"?e.default:e.default(ne(t));return $(r,"default",o)}return {...r,origine:ee(e.obbligatoria,t)?"mancante":"non impostata"}}a(X,"risolviVariabile");function Je(e,n,t){let r=a(u=>n.nome(u.suffisso),"nome"),a$1=e.unaFra.map(r),o=e.unaFra.filter(u=>n.leggi(u.suffisso)!==void 0),s=o.length===0&&ee(e.obbligatoria,t)?"mancante":"non impostata",l=e.unaFra.map(u=>{let p={suffisso:u.suffisso,variabile:r(u),segreta:u.segreta===true,alternative:a$1},f=n.leggi(u.suffisso);return f!==void 0?$(p,"env",f):{...p,origine:s}}),d=o.length>1?[{tipo:"alternative multiple",variabili:o.map(r)}]:[];return {variabili:l,problemi:d}}a(Je,"risolviUnaFra");function Ye(e,n,t){let r=X(e.selettore,n,t),a=r.valore;if(a===void 0)return N({variabili:[r],problemi:[]},z(e.senzaSelettore??[],n,[...t,r]));let o=Object.hasOwn(e.varianti,a)?e.varianti[a]:void 0;if(o===void 0){let s={tipo:"variante sconosciuta",variabile:r.variabile,ammesse:Object.keys(e.varianti)};return {variabili:[r],problemi:[s]}}return N({variabili:[r],problemi:[]},z(o,n,[...t,r]))}a(Ye,"risolviVarianti");function $(e,n,t){return e.segreta?{...e,origine:n}:{...e,origine:n,valore:t}}a($,"conValore");function ee(e,n){return typeof e=="function"?e(ne(n)):e===true}a(ee,"obbligatoria");function ne(e){return n=>e.find(t=>t.suffisso===n)?.valore}a(ne,"valoreFra");function N(e,n){return {variabili:[...e.variabili,...n.variabili],problemi:[...e.problemi,...n.problemi]}}a(N,"unisci");function Xe(e){let n=e.filter(t=>t.origine==="mancante").map(t=>t.alternative?.join(" oppure ")??t.variabile);return [...new Set(n)].join(", ")}a(Xe,"elencoMancanti");function en(e){switch(e.tipo){case "alternative multiple":return `${e.variabili.join(" e ")} sono impostate insieme: scegline una`;case "variante sconosciuta":return `${e.variabile} non valido (attesi: ${e.ammesse.join(", ")})`}}a(en,"descriviProblema");function nn(e){return `${e.replace(/_+$/,"")}_INSTANCES`}a(nn,"listaIstanze");function te(e,n,t,r){return y(e,n,r).variabili.map(a=>({variabile:a.variabile,origine:a.origine,provenienza:t}))}a(te,"variabiliRisolte");function tn(e,n){let t={tipo:"istanza",connettore:e.connettore,istanza:e.id},r=nn(e.prefisso),a=n[r];return [{variabile:r,origine:a===void 0||a===""?"non impostata":"env",provenienza:t},...te(e.manifest,x(e.prefisso,e.id),t,n)]}a(tn,"variabiliDellIstanza");function rn(e,n){let t=e.configurazione;return [...t===void 0?[]:te(t.manifest,t.prefisso,{tipo:"pipeline",pipeline:e.pipeline},n),...(e.istanze??[]).flatMap(r=>tn(r,n))]}a(rn,"ambienteDellaPipeline");function an(e,n,t,r){if(t===void 0)return r;if(t==="true")return true;if(t==="false")return false;throw new g$1(`${e}${n} non valido (attesi: true/false)`)}a(an,"parseBooleano");function L(e,n,t){if(n===void 0)return t;let r=Number(n);if(!Number.isInteger(r)||r<=0||r>65535)throw new g$1(`Porta non valida: ${e}PORT (atteso un intero fra 1 e 65535)`);return r}a(L,"parsePorta");function F(e,n){let t=a(r=>{let a=n[`${e}${r}`];return a===void 0||a===""?void 0:a},"get");return {get:t,obbligatoria:a(r=>{let a=t(r);if(a===void 0)throw new g$1(`Variabile mancante: ${e}${r}`);return a},"obbligatoria")}}a(F,"letturaEnv");var on=[{suffisso:"HOST",obbligatoria:true},{suffisso:"PORT",obbligatoria:true},{suffisso:"USER",obbligatoria:true},{suffisso:"PASSWORD",obbligatoria:true,segreta:true},{suffisso:"DATABASE",obbligatoria:true}];function sn(e,n,t){let r=y(e,n,t);M(r);let a$1=a(o=>q(r,o),"valore");return {connessione:{host:a$1("HOST"),port:L(n,a$1("PORT"),0),database:a$1("DATABASE"),variabili:r.variabili},user:a$1("USER"),password:F(n,t).obbligatoria("PASSWORD"),valore:a$1}}a(sn,"risolviIstanzaSql");function ln(e,n){let t=a(r=>m(e.variabili,r),"variabile");return [b("host",e.host,t("HOST")),b("porta",String(e.port),t("PORT")),b("database",e.database,t("DATABASE")),...n,...D(e.ricaduta),un(t("PASSWORD"))]}a(ln,"dettagliConnessioneSql");function un(e){let n="credenziale";if(e===void 0)return {label:n,value:"password"};let t=e.origine==="env"?"impostata":e.origine;return {label:n,value:`password \xB7 ${t}`,env:e.variabile,origine:e.origine}}a(un,"dettaglioPassword");function cn(e){return {risolta:e.risolta,esempio:a(n=>({...e.esempio,ricaduta:n,variabili:y(e.manifest,e.prefisso,e.env).variabili}),"esempio")}}a(cn,"istanzaSqlPerIlPiano");var dn=new Set(["40001","40P01","ECONNRESET","ETIMEDOUT","ER_LOCK_DEADLOCK","ER_LOCK_WAIT_TIMEOUT","PROTOCOL_CONNECTION_LOST"]),fn=new Set([1205]),pn=10;function W(e,n){return typeof e=="object"&&e!==null?e[n]:void 0}a(W,"field");function re(e,{codes:n,numbers:t}){let r=[e];for(let a=0;r.length>0&&a<pn;a++){let o=r.shift(),s=W(o,"code"),l=W(o,"number");if(typeof s=="string"&&n?.has(s)===true||typeof l=="number"&&t?.has(l)===true)return true;for(let d of ["cause","originalError"]){let u=W(o,d);u!==void 0&&r.push(u);}}return false}a(re,"driverErrorMatches");function ie(e){return re(e,{codes:dn,numbers:fn})}a(ie,"isTransientDriverError");function K(e){return ie(e)?{transient:true}:{}}a(K,"transientFlag");var ae=120,gn=/^[A-Za-z_][A-Za-z0-9_]*$/,oe=/(?<![A-Za-z0-9_@])@([A-Za-z_][A-Za-z0-9_]*)/g,mn=/'(?:[^']|'')*'|"(?:[^"]|"")*"|--[^\n]*|\/\*[\s\S]*?\*\/|\$([A-Za-z_]*)\$[\s\S]*?\$\1\$/g,yn=/\b(COMMIT|ROLLBACK|ABORT|SAVEPOINT|START\s+TRANSACTION|PREPARE\s+TRANSACTION|BEGIN\s+(TRAN|TRANSACTION|WORK)|END\s+(TRANSACTION|WORK))\b|^\s*(BEGIN|END)\s*$/i,Sn=/\b(TRUNCATE|DROP|DELETE)\b/i;function P(e){let n=[],t=0;for(let r of e.matchAll(mn))r.index>t&&n.push({code:true,text:e.slice(t,r.index)}),n.push({code:false,text:r[0]}),t=r.index+r[0].length;return t<e.length&&n.push({code:true,text:e.slice(t)}),n}a(P,"segments");function C(e){return P(e).map(n=>n.code?n.text:" ").join("")}a(C,"codeOf");function U(e,n){return P(e).map(t=>t.code?n(t.text):t.text).join("")}a(U,"mapCode");function se(e,n){let t=[];for(let r of C(e).matchAll(oe)){let a=r[1];a!==void 0&&n.has(a)&&!t.includes(a)&&t.push(a);}return t}a(se,"statementParams");function bn(e,n){return P(e.text).map(t=>t.code?t.text.replace(oe,(r,a)=>{let o=e.params.indexOf(a);return o===-1?r:n(o)}):t.text).join("")}a(bn,"replaceParams");function En(e){let t=P(e).map(r=>r.code?r.text:r.text.startsWith("'")||r.text.startsWith("$")?"'?'":r.text.startsWith('"')?r.text:" ").join("").replace(/\s+/g," ").trim();return t.length>ae?`${t.slice(0,ae)}\u2026`:t}a(En,"oneLine");function vn(e){let n=a(s=>{throw new g$1(`Task SQL "${e.name}": ${s}`)},"fail");e.statements.length===0&&n("serve almeno uno statement");let t=new Set(Object.keys(e.params??{}));for(let s of t)gn.test(s)||n(`il nome di parametro "${s}" non \xE8 valido: lettere, cifre e underscore, senza @`);let r=e.statements.map((s,l)=>{(typeof s!="string"||s.trim()==="")&&n(`lo statement ${l+1} \xE8 vuoto`);let d=C(s);return d.trim()===""&&n(`lo statement ${l+1} \xE8 vuoto`),/;\s*\S/.test(d)&&n(`lo statement ${l+1} contiene pi\xF9 comandi separati da ";": uno statement per voce di statements. Un blocco con pi\xF9 comandi va in una stored procedure`),yn.test(d.replace(/;\s*$/,""))&&n(`lo statement ${l+1} apre o chiude una transazione: il task esegue gi\xE0 tutti gli statement in una sola transazione, e romperla toglierebbe l'atomicit\xE0`),!e.destructive&&Sn.test(d)&&n(`lo statement ${l+1} contiene TRUNCATE, DROP o DELETE ma il task dichiara destructive: false. Dichiara destructive: true: compare nel DAG, e un'operazione distruttiva vuole un runbook (docs/runbooks/sql-task-truncate-swap.md)`),{text:s,params:se(s,t)}}),a$1=new Set(r.flatMap(s=>s.params)),o=[...t].find(s=>!a$1.has(s));return o!==void 0&&n(`il parametro "${o}" \xE8 dichiarato ma nessuno statement usa @${o}`),r}a(vn,"validate");function Rn(e){return e===null||typeof e=="string"||typeof e=="boolean"||typeof e=="number"&&Number.isFinite(e)||e instanceof Date&&!Number.isNaN(e.getTime())}a(Rn,"isSqlValue");function Tn(e,n){let t=vn(e),r=e.params??{},a$1=Object.keys(r),o=new WeakMap,s=a(l$1=>{let d={};for(let[u,p]of Object.entries(r)){let f=typeof p=="function"?p(l$1):p;if(!Rn(f))throw new l(`Task SQL "${e.name}": il parametro "${u}" non ha un valore che si possa legare (stringa, numero finito, booleano, data valida o null)`,{stage:e.name});d[u]=f;}return d},"resolveValues");return {name:e.name,retrySafe:e.retrySafe===true,descriptor:{kind:n.kind,...A(e.instanceId),details:[...n.connectionDetails,...t.map((l,d)=>({label:t.length===1?"statement":`statement ${d+1}`,value:En(l.text)})),...a$1.length>0?[{label:"params",value:a$1.join(", ")}]:[],{label:"destructive",value:String(e.destructive)}]},async run(l$1){let d=s(l$1),u=[];o.set(l$1,u),l$1.logger.info("sql-task.start",{task:e.name,statements:t.length,destructive:e.destructive});let p=false;try{await n.transaction(async f=>{for(let ue of t)l$1.signal.throwIfAborted(),u.push(await f.execute(ue,d));l$1.signal.throwIfAborted(),p=!0;});}catch(f){throw p?new l(`Task SQL "${e.name}" fallito durante il commit: l'esito \xE8 ignoto, verifica sul database prima di rieseguire`,{stage:e.name,transient:false},{cause:f}):new l(`Task SQL "${e.name}" fallito: la transazione \xE8 stata annullata`,{stage:e.name,...K(f)},{cause:f})}},writeReport:a(l=>({statements:t.length,destructive:e.destructive,rowsAffected:[...o.get(l)??[]]}),"writeReport")}}a(Tn,"sqlTask");var h=":watermark",le=/(?<![:\w]):watermark\b/g;function On(e){return C(e).search(le)!==-1}a(On,"hasPlaceholder");function Pn(e,n,t){let r=On(n);if(t===void 0){if(r)throw new g$1(`La query di "${e}" contiene ${h} ma la source non dichiara \`watermark\`: il segnaposto non verrebbe legato a nessun valore.`);return}if(E(e,t),!r)throw new g$1(`La source "${e}" dichiara \`watermark\` ma la query non contiene il segnaposto ${h}: senza il predicato (es. WHERE ${t.column} >= ${h}) l'estrazione sarebbe un full scan a ogni run.`)}a(Pn,"assertWatermarkQuery");function Cn(e,n){return U(e,t=>t.replace(le,()=>n))}a(Cn,"replaceWatermarkPlaceholder");function hn(e){return {label:"watermark",value:`${e.column} (${e.type})`}}a(hn,"watermarkDetail");function An(e$1,n){if(n===void 0)throw new e(`La source "${e$1}" \xE8 incrementale ma \xE8 stata eseguita senza un watermark da cui leggere: va eseguita dal runner di un grafo, con uno store dello stato di pipeline.`,{stage:e$1});return n}a(An,"requireIncremental");function xn(e$1,n,t,r,a){let o=t;if(typeof o!="object"||o===null)return;if(!(n.column in o))throw new e(`La colonna di watermark "${n.column}" non \xE8 nel risultato della query di "${e$1}": va selezionata, altrimenti il watermark non avanza mai.`,{stage:e$1});let s=o[n.column];if(s==null)return;let l=a(s,n.type);if(l===void 0)throw new e(`La colonna di watermark "${n.column}" di "${e$1}" ha un valore di tipo non gestito (${typeof s}) per un watermark "${n.type}".`,{stage:e$1});r.observe(l);}a(xn,"observeWatermark");function wn(e,n){if(typeof e=="string")return e;if(n==="integer"){if(typeof e=="bigint")return e.toString();if(typeof e=="number"&&Number.isSafeInteger(e))return String(e)}}a(wn,"plainWatermarkText");
|
|
2
|
+
export{re as $,Ve as A,ke as B,Ie as C,De as D,_e as E,ze as F,$e as G,Ne as H,m as I,b as J,Me as K,D as L,Fe as M,We as N,Ke as O,Ue as P,y as Q,M as R,q as S,rn as T,an as U,L as V,F as W,on as X,sn as Y,ln as Z,cn as _,A as a,ie as aa,S as b,K as ba,T as c,U as ca,fe as d,se as da,g as e,bn as ea,Se as f,Tn as fa,be as g,h as ga,O as h,Pn as ha,Ee as i,Cn as ia,ve as j,hn as ja,Re as k,An as ka,Q as l,xn as la,x as m,wn as ma,w as n,V as o,k as p,G as q,Te as r,Oe as s,I as t,Pe as u,Ce as v,he as w,Ae as x,xe as y,we as z};
|
|
@@ -0,0 +1,2 @@
|
|
|
1
|
+
import {d}from'./chunk-OK3XRTGA.js';import {z as z$1,Q as Q$1,R,S as S$1,W as W$1,l,m,r,s,I,J as J$1,L as L$1,a as a$1}from'./chunk-47NVGHUY.js';import {a,g,j as j$1,ca,Z as Z$1,aa,c}from'./chunk-CEAMQIRO.js';var w=1e4,T=10*1024*1024,j=/^[!#$%&'*+.^_`|~0-9A-Za-z-]+$/,q=new Set(["accept","content-type","content-length","host"]),v=["none","bearer","header","basic"],h=[{suffisso:"BASE_URL",obbligatoria:true},{selettore:{suffisso:"AUTH",default:"none"},varianti:{none:[],bearer:[{suffisso:"TOKEN",obbligatoria:true,segreta:true}],header:[{suffisso:"HEADER_NAME",obbligatoria:true},{suffisso:"API_KEY",obbligatoria:true,segreta:true}],basic:[{suffisso:"USERNAME",obbligatoria:true},{suffisso:"PASSWORD",obbligatoria:true,segreta:true}]}},{suffisso:"TIMEOUT_MS",default:String(w)},{suffisso:"MAX_RESPONSE_BYTES",default:String(T)}];function X(t){return {connettore:"http",prefisso:z$1,manifest:h,id:t}}a(X,"istanzaHttpDichiarata");function Z(t,e){let n;try{n=new URL(e);}catch{throw new g(`${t}BASE_URL non \xE8 un URL valido`)}if(n.protocol!=="http:"&&n.protocol!=="https:")throw new g(`${t}BASE_URL deve usare http o https`);if(n.username!==""||n.password!=="")throw new g(`${t}BASE_URL contiene credenziali nell'URL: usa ${t}AUTH e le sue variabili`);return e}a(Z,"parseBaseUrl");function z(t,e,n,o){let i=Number(n);if(!Number.isInteger(i)||i<=0)throw new g(`${t}${e} non valido (atteso un intero positivo di ${o})`);return i}a(z,"parsePositiveInt");function tt(t,e){if(!j.test(e)||q.has(e.toLowerCase()))throw new g(`${t}HEADER_NAME non valido: serve un nome di header, diverso da ${[...q].join(", ")}`);return e}a(tt,"parseHeaderName");function et(t,e,n,o){switch(e){case "none":return {kind:e};case "bearer":return {kind:e,token:o("TOKEN")};case "header":return {kind:e,name:tt(t,n("HEADER_NAME")),value:o("API_KEY")};case "basic":return {kind:e,username:n("USERNAME"),password:o("PASSWORD")};default:throw new Error(`variante HTTP non prevista dal manifest: ${e}`)}}a(et,"parseAuth");function S(t=z$1,e=process.env){let n=Q$1(h,t,e);R(n);let o=a(p=>S$1(n,p),"valore"),{obbligatoria:i}=W$1(t,e);return {baseUrl:Z(t,o("BASE_URL")),auth:et(t,o("AUTH"),o,i),timeoutMs:z(t,"TIMEOUT_MS",o("TIMEOUT_MS"),"millisecondi"),maxResponseBytes:z(t,"MAX_RESPONSE_BYTES",o("MAX_RESPONSE_BYTES"),"byte"),variabili:n.variabili}}a(S,"loadHttpConfig");function V(t){return {kind:"http",listEnvVar:"HTTP_INSTANCES",instancesRaw:t.HTTP_INSTANCES,defaultId:l,loadOne:a(e=>S(m(z$1,e),t),"loadOne")}}a(V,"opzioni");function nt(t=process.env){return r(V(t))}a(nt,"loadHttpRegistry");function O(t,e=process.env){return s(V(e),t)}a(O,"loadHttpInstance");var rt={baseUrl:"https://http.esempio",auth:{kind:"none"},timeoutMs:w,maxResponseBytes:T};function ot(t,e){return {risolta:a(()=>O(t,e),"risolta"),esempio:a(n=>({...rt,ricaduta:n,variabili:Q$1(h,m(z$1,t),e).variabili}),"esempio")}}a(ot,"istanzaHttpPerIlPiano");function F(t){try{let e=new URL(t);return `${e.origin}${e.pathname.replace(/\/+$/,"")}`}catch{return "non valido"}}a(F,"baseMostrabile");function A(t,e){let n=I(t.variabili,"BASE_URL");return [J$1("base",F(t.baseUrl),n?.valore===void 0?n:{...n,valore:F(n.valore)}),...e,...L$1(t.ricaduta),st(t)]}a(A,"dettagliHttp");var Y={bearer:{etichetta:"token \xB7 impostato",segreto:"TOKEN"},header:{etichetta:"API key \xB7 impostata",segreto:"API_KEY"},basic:{etichetta:"password \xB7 impostata",segreto:"PASSWORD"}},it={none:[],bearer:["TOKEN"],header:["HEADER_NAME","API_KEY"],basic:["USERNAME","PASSWORD"]},G="nessuna";function at(t){return v.includes(t)}a(at,"eVariante");function st(t){let e=t.variabili;if(e===void 0)return {label:P,value:ut(t.auth.kind)};let n=I(e,"AUTH"),o=n?.valore??"none";if(!at(o)){let i=n?.variabile??"AUTH";return L(`${i} non valido (attesi: ${v.join(", ")})`,n)}return o==="none"?L(G,n):pt(o,e)}a(st,"dettaglioCredenzialeHttp");var P="credenziale";function L(t,e){return {label:P,value:t,...e!==void 0?{env:e.variabile,origine:e.origine}:{}}}a(L,"riga");function pt(t,e){let{etichetta:n,segreto:o}=Y[t],i=I(e,o),p=it[t].map(a=>I(e,a)).filter(a=>a?.origine==="mancante").map(a=>a.variabile);if(p.length===0)return L(n,i);let u=p.length===1?"manca":"mancano";return {label:P,value:`${t} \xB7 ${u} ${p.join(", ")}`,env:p[0]??o,origine:"mancante"}}a(pt,"rigaDellaVariante");function ut(t){return t==="none"?G:Y[t].etichetta}a(ut,"varianteDaConfig");var Q="{chiave}",J=4;function lt(t){return t.mode==="batch"?`${t.method} ${t.path}`:`GET ${t.path(Q)}`}a(lt,"endpointOf");function dt(t){return {kind:"http-lookup",...a$1(t.instanceId),details:A(t.config,[{label:"richiesta",value:lt(t)},{label:"modalit\xE0",value:t.mode==="batch"?"una richiesta per batch":"una richiesta per chiave"}])}}a(dt,"descriptorOf");function W(t,e,n){return {notFoundIsEmpty:e,...n!==void 0?{limiter:n}:{},...t.fetchImpl!==void 0?{fetchImpl:t.fetchImpl}:{}}}a(W,"requestOptions");function ct(t,e){let{query:n,body:o}=t.request(e);return {method:"POST",path:t.path,endpoint:t.path,body:o,...n!==void 0?{query:n}:{}}}a(ct,"batchPost");function yt(t,e){if(t==="."||t==="..")throw new j$1(`GET ${e}: la chiave non \xE8 utilizzabile come segmento di path`,{stage:"http-lookup",details:{method:"GET",endpoint:e}});return encodeURIComponent(t)}a(yt,"pathSegment");async function ft(t,e,n,o){let i=t.method==="GET"?{method:"GET",path:t.path,endpoint:t.path,query:t.request(e).query}:ct(t,e),p=await d(t.config,i,t.response,n,W(t,false,o));if(p.kind==="not-found")return new Map;let u=t.normalizeKey??(l=>l),a=new Map;for(let l of t.rows(p.value)){let s=t.keyOf(l);if(s==null)continue;let y=u(s);a.set(y,[...a.get(y)??[],l]);}let d$1=new Map;for(let l of e){let s=a.get(u(l));s!==void 0&&d$1.set(l,s);}return d$1}a(ft,"resolveBatch");async function mt(t,e,n,o){let i=t.query?.(e),p=t.path(Q),u=await d(t.config,{method:"GET",path:t.path(yt(e,p)),endpoint:p,...i!==void 0?{query:i}:{}},t.response,n,W(t,true,o));return u.kind==="not-found"?[]:t.rows===void 0?[u.value]:t.rows(u.value,e)}a(mt,"resolveOne");async function Rt(t,e,n,o,i){let p=[...new Set(n)],u=new Map,a$1=new AbortController,d={...o,signal:AbortSignal.any([o.signal,a$1.signal])},l=a(async()=>{for(let s=p.shift();s!==void 0&&!a$1.signal.aborted;s=p.shift()){o.signal.throwIfAborted();try{let y=await mt(t,s,d,i);y.length>0&&u.set(s,y);}catch(y){throw a$1.abort(y),y}}},"worker");return await Promise.all(Array.from({length:Math.min(e,p.length)},l)),u}a(Rt,"resolvePerKey");function ht(t){let e=t.mode==="per-key"?t.concurrency??J:1;if(!Number.isInteger(e)||e<1)throw new g(`httpLookup: concurrency deve essere un intero >= 1 (ricevuto ${e})`);let n=t.rateLimit===void 0?void 0:ca(t.rateLimit,t.name??"http-lookup");return {name:t.name??"http-lookup",descriptor:dt(t),async resolve(o,i){return i.signal.throwIfAborted(),o.length===0?new Map:t.mode==="batch"?ft(t,o,i,n):Rt(t,e,o,i,n)}}}a(ht,"httpLookup");function gt(t){return {kind:"http-action",...a$1(t.instanceId),details:A(t.config,[{label:"richiesta",value:`${t.method} ${t.path}`},{label:"su errore",value:t.onError??"fallisci"},{label:"scrittura",value:t.idempotente===true?"dichiarata idempotente":"non idempotente: nessun retry"}])}}a(gt,"descriptorOf");function Ht(t){let e=t.context.details?.status;return {motivo:t.message,...typeof e=="number"?{status:e}:{}}}a(Ht,"motivoDa");function Et(t){let e=t.name??`http-${t.method.toLowerCase()}`,n=`${t.method} ${t.path}`;if(t.retry!==void 0&&t.idempotente!==true)throw new g(`httpAction "${e}": \`retry\` su ${n} richiede \`idempotente: true\`. Ritentare una scrittura la ripete: dichiaralo solo se il servizio la riconosce come gi\xE0 fatta.`);let o=t.retry===void 0?void 0:Z$1(t.retry,`httpAction "${e}"`),i=t.rateLimit===void 0?void 0:ca(t.rateLimit,`httpAction "${e}"`);async function p(u,a){let{body:d$1,query:l}=u,s=await d(t.config,{method:t.method,path:t.path,endpoint:t.path,...d$1!==void 0?{body:d$1}:{},...l!==void 0?{query:l}:{}},t.response,a,{chiamante:"action",...t.fetchImpl!==void 0?{fetchImpl:t.fetchImpl}:{},...i!==void 0?{limiter:i}:{}});if(s.kind!=="ok")throw new Error("stato inatteso");return {ok:true,status:s.status,body:s.value}}return a(p,"invia"),{name:e,descriptor:gt(t),async run(u,a){let d=t.request(u),l;try{l=o===void 0?await p(d,a):await aa(()=>p(d,a),o,a);}catch(s){if(!(s instanceof c)||(t.onError??"fallisci")==="fallisci")throw s;a.signal.throwIfAborted(),l={ok:false,...Ht(s)};}return t.merge(u,l)}}}a(Et,"httpAction");
|
|
2
|
+
export{w as a,h as b,X as c,S as d,nt as e,O as f,ot as g,J as h,ht as i,Et as j};
|
|
@@ -1 +1 @@
|
|
|
1
|
-
import {a}from'./chunk-
|
|
1
|
+
import {a}from'./chunk-CEAMQIRO.js';var i=Symbol.for("@noeva/etl-core/ready-pipeline");function r(e){return Object.freeze(Object.defineProperty({...e},i,{value:true}))}a(r,"readyPipeline");function t(e){return Object.getOwnPropertyDescriptor(e,i)?.value===true}a(t,"isReadyPipeline");export{r as a,t as b};
|
|
@@ -0,0 +1 @@
|
|
|
1
|
+
import {m,r,l,o,p,J as J$1,I as I$1,L as L$1,K as K$1}from'./chunk-47NVGHUY.js';import {a,g,d,W,P as P$1,c,w,T,Q as Q$1,x,b,ja,S,la,ia,ma,O,R,xb,ga,fa,m as m$1}from'./chunk-CEAMQIRO.js';export{z as L}from'zod';import {createHmac,createSecretKey,createHash}from'crypto';import {inspect}from'util';var In="first",Cn="drop";function xn(e,n){let{maxKeys:r}=n;if(!Number.isInteger(r)||r<1)throw new Error(`dedup "${e}": \`maxKeys\` deve essere un intero \u2265 1 (ricevuto ${r}).`)}a(xn,"assertConfig");function Rn(e,n){return new Error(`dedup "${e}": superato il tetto di chiavi distinte in memoria (maxKeys = ${n}). La run si ferma qui invece di deduplicare a met\xE0: alza \`maxKeys\`, oppure deduplica su una chiave meno granulare.`)}a(Rn,"overflow");function oe(e,n){return new d(`dedup "${e}": chiave duplicata "${n}"`,{details:{key:n}})}a(oe,"duplicateError");function Sn(e,n){xn(e,n);let r=n.keep??In,t=n.duplicates??Cn,o=n.maxKeys;function s(u){if(u>=o)throw Rn(e,o)}if(a(s,"admit"),r==="last")return {name:e,stateful:true,async*apply(u){let l=new Map;for await(let d of u){let c=n.key(d);if(l.has(c)){if(t==="error")throw oe(e,c)}else s(l.size);l.set(c,d);}yield*l.values();},async*applyWithLineage(u){let l=new Map;for await(let{value:d,id:c}of u){let f=n.key(d);if(l.has(f)){if(t==="error")throw oe(e,f)}else s(l.size);l.set(f,{value:d,id:c});}for(let{value:d,id:c}of l.values())yield {value:d,derivedFrom:[c]};}};let a$1=new WeakMap;return {name:e,async*apply(u,l){let d=a$1.get(l);d===void 0&&(d=new Set,a$1.set(l,d));for await(let c of u){let f=n.key(c);if(d.has(f)){if(t==="error")throw oe(e,f);continue}s(d.size),d.add(f),yield c;}}}}a(Sn,"dedup");function En(e,n){let r=n.finalize??(a=>a),t=W();function o(a,u){let l=n.key(u),d=a.get(l);return a.set(l,d===void 0?n.init(u):n.reduce(d,u)),l}return a(o,"fold"),{name:e,stateful:true,held:t.read,...P$1(n.outputSchema),async*apply(a,u){let l=new Map,d=new Map,c=0;try{for await(let f of a){let p=o(l,f);d.set(p,(d.get(p)??0)+1),c+=1,t.set(u,c);}for(let[f,p]of l)c-=d.get(f)??0,t.set(u,c),yield r(p,f);}finally{t.set(u,0);}},async*applyWithLineage(a,u){let l=new Map,d=new Map,c=0;try{for await(let{value:f,id:p}of a){let g=o(l,f),C=d.get(g);C===void 0?d.set(g,[p]):C.push(p),c+=1,t.set(u,c);}for(let[f,p]of l){let g=d.get(f)??[];c-=g.length,t.set(u,c),yield {value:s(p,f,g),derivedFrom:g};}}finally{t.set(u,0);}}};function s(a,u,l){try{return r(a,u)}catch(d){throw d instanceof c?w(d,l):d}}}a(En,"groupBy");function vn(e,n){let{field:r}=n,t=n.as??r;return T(e,o=>{let s=On(o,r);if(!Array.isArray(s))throw new d(`explode "${e}": il campo "${r}" non \xE8 un array (trovato: ${Te(s)})`,{details:{field:r,found:Te(s)}});if(t!==r&&Object.hasOwn(o,t))throw new d(`explode "${e}": as "${t}" coincide con un campo gi\xE0 presente nel record`,{details:{field:r,as:t}});let a=Object.fromEntries(Object.entries(o).filter(([u])=>u!==r));return s.map(u=>({...a,[t]:u}))},n.outputSchema===void 0?{}:{outputSchema:n.outputSchema})}a(vn,"explode");function On(e,n){if(!(typeof e!="object"||e===null))return Object.hasOwn(e,n)?e[n]:void 0}a(On,"fieldOf");function Te(e){return e===void 0?"assente":e===null?"null":typeof e}a(Te,"typeName");function V(e){return e.find((n,r)=>e.indexOf(n)!==r)}a(V,"firstDuplicate");function j(e,n){return e.find(r=>n.includes(r))}a(j,"firstShared");function An(e){if(!(typeof e!="object"||e===null))return e}a(An,"fieldsOf");function Kn(e,n){return n.filter(r=>!Object.hasOwn(e,r))}a(Kn,"missingColumns");function q(e,n){return Object.fromEntries(n.map(r=>[r,e[r]]))}a(q,"pickColumns");function _(e){return e===null?"null":Array.isArray(e)?"array":typeof e}a(_,"typeName");function Y(e,n,r){let t=An(n);if(t===void 0)throw new d(`${e}: il record non \xE8 un oggetto (trovato: ${_(n)})`,{details:{found:_(n)}});let o=Kn(t,r);if(o.length>0)throw new d(`${e}: campi assenti dal record: ${o.map(s=>`"${s}"`).join(", ")}`,{details:{missing:o}});return t}a(Y,"requireFields");function N(e,n){return new Error(`unpivot "${e}": ${n}`)}a(N,"configError");function Tn(e,n){let{keep:r,columns:t,nameAs:o,valueAs:s}=n;if(t.length===0)throw N(e,"`columns` \xE8 vuoto: serve almeno una colonna da ruotare.");let a=V(t);if(a!==void 0)throw N(e,`colonna "${a}" duplicata in \`columns\`.`);let u=V(r);if(u!==void 0)throw N(e,`colonna "${u}" duplicata in \`keep\`.`);let l=j(t,r);if(l!==void 0)throw N(e,`colonna "${l}" sia in \`keep\` sia in \`columns\`.`);if(o===""||s==="")throw N(e,"`nameAs` e `valueAs` non possono essere vuoti.");if(o===s)throw N(e,`\`nameAs\` e \`valueAs\` coincidono ("${o}").`);let d=j([o,s],r);if(d!==void 0)throw N(e,`"${d}" \xE8 una colonna di \`keep\`: \`nameAs\` e \`valueAs\` la sovrascriverebbero.`)}a(Tn,"assertConfig");function $n(e){return [...Q$1(e.keep,"unknown"),...Q$1([e.nameAs],"string"),...Q$1([e.valueAs],"unknown")]}a($n,"outputColumns");function Nn(e,n){Tn(e,n);let{keep:r,columns:t,nameAs:o,valueAs:s}=n,a=[...r,...t];return {...T(e,l=>{let d=Y(`unpivot "${e}"`,l,a),c=q(d,r);return t.map(f=>({...c,[o]:f,[s]:d[f]}))}),columns:$n(n)}}a(Nn,"unpivot");function $(e,n){return new Error(`pivot "${e}": ${n}`)}a($,"configError");function Pn(e){let{name:n,key:r,columns:t,maxGroups:o,onConflict:s}=e;if(t.length===0)throw $(n,"`columns` \xE8 vuoto: serve almeno una colonna d'uscita.");let a=V(t);if(a!==void 0)throw $(n,`colonna "${a}" duplicata in \`columns\`.`);let u=V(r);if(u!==void 0)throw $(n,`colonna "${u}" duplicata in \`key\`.`);let l=j(t,r);if(l!==void 0)throw $(n,`colonna "${l}" sia in \`key\` sia in \`columns\`.`);let d=j([e.nameFrom,e.valueFrom],r);if(d!==void 0)throw $(n,`"${d}" \xE8 in \`key\`: \`nameFrom\` e \`valueFrom\` non possono identificare il gruppo.`);if(e.nameFrom===e.valueFrom)throw $(n,`\`nameFrom\` e \`valueFrom\` coincidono ("${e.nameFrom}").`);if(!Number.isInteger(o)||o<1)throw $(n,`\`maxGroups\` deve essere un intero \u2265 1 (ricevuto ${String(o)}).`);if(typeof s!="function"&&s!=="error"&&s!=="last")throw $(n,`\`onConflict\` deve essere "error", "last" o una funzione (ricevuto ${String(s)}).`)}a(Pn,"assertConfig");function Mn(e,n){return new Error(`pivot "${e}": superato il tetto di gruppi in memoria (maxGroups = ${n}). La run si ferma qui invece di emettere un pivot parziale: alza \`maxGroups\`, oppure riduci lo stream a monte (filtra) prima di ruotarlo.`)}a(Mn,"overflow");function $e(e,n){return n.length===0?e:w(e,n)}a($e,"blame");function Ne(e){return e.id===void 0?[]:[e.id]}a(Ne,"idsOf");function Fn(e){if(e===null)return {ok:true,part:"null"};if(e instanceof Date){let n=e.getTime();return Number.isNaN(n)?{ok:false,found:"Invalid Date"}:{ok:true,part:`date:${n}`}}switch(typeof e){case "string":return {ok:true,part:`string:${e}`};case "number":return Number.isNaN(e)?{ok:false,found:"NaN"}:{ok:true,part:`number:${e}`};case "boolean":case "bigint":return {ok:true,part:`${typeof e}:${e}`};default:return {ok:false,found:_(e)}}}a(Fn,"keyPart");function Dn(e,n){let r=e.key.map(t=>{let o=Fn(n[t]);if(!o.ok)throw new d(`pivot "${e.name}": il valore di chiave "${t}" non \xE8 raggruppabile (trovato: ${o.found})`,{details:{column:t,found:o.found}});return o.part});return JSON.stringify(r)}a(Dn,"groupKeyOf");function zn(e,n){let r=n[e.nameFrom];if(typeof r!="string")throw new d(`pivot "${e.name}": il valore di "${e.nameFrom}" non \xE8 una stringa (trovato: ${_(r)})`,{details:{nameFrom:e.nameFrom,found:_(r)}});if(!e.columns.includes(r))throw new d(`pivot "${e.name}": "${r}" in "${e.nameFrom}" non \xE8 fra le colonne dichiarate in \`columns\``,{details:{nameFrom:e.nameFrom,value:r}});return r}a(zn,"columnOf");function _n(e,n,r,t){let{onConflict:o}=e;if(o==="last")return t;if(o==="error")throw new d(`pivot "${e.name}": pi\xF9 valori per la colonna "${r}" nello stesso gruppo`,{details:{key:n.keyFields,column:r}});return o(n.cells.get(r),t)}a(_n,"resolveConflict");async function Vn(e,n,r){let t=new Map,o=0;for await(let s of n){let a,u,l;try{a=Y(`pivot "${e.name}"`,s.value,e.required),u=Dn(e,a),l=zn(e,a);}catch(f){throw f instanceof c?$e(f,Ne(s)):f}let d=t.get(u);if(d===void 0){if(t.size>=e.maxGroups)throw Mn(e.name,e.maxGroups);d={keyFields:q(a,e.key),cells:new Map,ids:[],rows:0},t.set(u,d);}d.ids.push(...Ne(s)),d.rows+=1,o+=1,r(o);let c$1=a[e.valueFrom];try{d.cells.set(l,d.cells.has(l)?_n(e,d,l,c$1):c$1);}catch(f){throw f instanceof c?$e(f,d.ids):f}}return [...t.values()]}a(Vn,"collectGroups");async function*Pe(e,n,r){try{let t=await Vn(e,n,r),o=t.reduce((s,a)=>s+a.rows,0);for(let s of t)o-=s.rows,r(o),yield s;}finally{r(0);}}a(Pe,"heldGroups");function Me(e,n){return {...n.keyFields,...Object.fromEntries(e.columns.map(r=>[r,n.cells.has(r)?n.cells.get(r):null]))}}a(Me,"rowOf");function jn(e,n){let r={name:e,key:n.key,nameFrom:n.nameFrom,valueFrom:n.valueFrom,columns:n.columns,required:[...n.key,n.nameFrom,n.valueFrom],onConflict:n.onConflict??"error",maxGroups:n.maxGroups};Pn(r);let t=W();return {name:e,stateful:true,held:t.read,columns:Q$1([...r.key,...r.columns],"unknown"),async*apply(o,s){let a=Pe(r,Ln(o),u=>t.set(s,u));for await(let u of a)yield Me(r,u);},async*applyWithLineage(o,s){let a=Pe(r,o,u=>t.set(s,u));for await(let u of a)yield {value:Me(r,u),derivedFrom:[...u.ids]};}}}a(jn,"pivot");async function*Ln(e){for await(let n of e)yield {value:n};}a(Ln,"untagged");function Un(e,n){let r=0;for(;r<e.length&&r<n.length;){let t=e.codePointAt(r),o=n.codePointAt(r);if(t!==o)return t<o?-1:1;r+=t>65535?2:1;}return Math.sign(e.length-n.length)}a(Un,"compareCodepoints");function Fe(e,n){if(e==null)return {ok:true,kind:void 0,key:null};let r=Bn(e);return r.ok&&n!==void 0&&r.kind!==n?{ok:false,reason:`tipo "${r.kind}" diverso da "${n}", fissato dal primo valore non null`}:r}a(Fe,"normalizeKey");function Bn(e){if(typeof e=="string")return {ok:true,kind:"string",key:e};if(typeof e=="number")return Number.isNaN(e)?{ok:false,reason:"NaN non \xE8 ordinabile"}:{ok:true,kind:"number",key:e};if(e instanceof Date){let n=e.getTime();return Number.isNaN(n)?{ok:false,reason:"Invalid Date non \xE8 ordinabile"}:{ok:true,kind:"date",key:n}}return {ok:false,reason:`tipo "${typeof e}" non ordinabile: servono string, number o Date`}}a(Bn,"readKey");function De(e,n,r){for(let t=0;t<r.length;t++){let o=e[t],s=n[t];if(o===null||s===null){if(o===s)continue;return o===null?1:-1}let a=Gn(o,s);if(a!==0)return r[t]==="desc"?-a:a}return 0}a(De,"compareKeys");function Gn(e,n){if(typeof e=="string")return Un(e,n);let r=n;return e<r?-1:e>r?1:0}a(Gn,"compareValues");var Hn="asc";function ze(e,n){return new Error(`sort "${e}": ${n}`)}a(ze,"configError");function Wn(e,n){if(n.by.length===0)throw ze(e,"`by` \xE8 vuoto: serve almeno una chiave.");let{maxRecords:r}=n;if(!Number.isInteger(r)||r<1)throw ze(e,`\`maxRecords\` deve essere un intero \u2265 1 (ricevuto ${r}).`)}a(Wn,"assertConfig");function qn(e,n){return new Error(`sort "${e}": superato il tetto di record in memoria (maxRecords = ${n}). La run si ferma qui invece di emettere un ordinamento parziale: alza \`maxRecords\`, oppure riduci lo stream a monte (filtra o aggrega) prima di ordinarlo.`)}a(qn,"overflow");function Yn(e,n,r){return new d(`sort "${e}": by[${n}]: ${r}`,{details:{position:n}})}a(Yn,"invalidKey");function Zn(e,n){Wn(e,n);let r={name:e,by:n.by,maxRecords:n.maxRecords,dirs:n.by.map(o=>o.dir??Hn)},t=W();return {name:e,stateful:true,held:t.read,apply(o,s){return _e(r,o,a=>a,a=>a,a=>t.set(s,a))},async*applyWithLineage(o,s){let a=_e(r,o,u=>u.value,(u,l)=>w(u,[l.id]),u=>t.set(s,u));for await(let{value:u,id:l}of a)yield {value:u,derivedFrom:[l]};}}}a(Zn,"sort");async function*_e(e,n,r,t,o){try{yield*Xn(e,n,r,t,o);}finally{o(0);}}a(_e,"sortStream");async function*Xn(e,n,r,t,o){let s=e.by.map(()=>{}),a=[];for await(let l of n){if(a.length>=e.maxRecords)throw qn(e.name,e.maxRecords);let d=Jn(e.by,r(l),s);if(!d.ok)throw t(Yn(e.name,d.position,d.reason),l);s=d.kinds,a.push({item:l,keys:d.keys}),o(a.length);}let u=a.toSorted((l,d)=>De(l.keys,d.keys,e.dirs));for(let[l,{item:d}]of u.entries())o(u.length-l-1),yield d;}a(Xn,"sortHeld");function Jn(e,n,r){let t=[],o=r;for(let[s,{key:a}]of e.entries()){let u=Fe(a(n),o[s]);if(!u.ok)return {ok:false,position:s,reason:u.reason};o[s]===void 0&&u.kind!==void 0&&(o=o.with(s,u.kind)),t.push(u.key);}return {ok:true,keys:t,kinds:o}}a(Jn,"readRecordKeys");function Qn(e,n){if(!Number.isInteger(n)||n<1)throw new g(`chunk "${e}": \`size\` deve essere un intero \u2265 1 (ricevuto ${n}).`)}a(Qn,"assertSize");function er(e,n){let{size:r}=n;Qn(e,r);let t=W();return {name:e,stateful:true,held:t.read,apply(o,s){return Ve(o,r,a=>t.set(s,a))},async*applyWithLineage(o,s){for await(let a of Ve(o,r,u=>t.set(s,u)))yield {value:a.map(u=>u.value),derivedFrom:a.map(u=>u.id)};}}}a(er,"chunk");async function*Ve(e,n,r){let t=[];try{for await(let o of e)t.push(o),t.length===n?(r(0),yield t,t=[]):r(t.length);r(0),t.length>0&&(yield t);}finally{r(0);}}a(Ve,"lots");function Z(e){if(!(e instanceof Error))return "unknown";let n=e.code;return typeof n=="string"?n:e.name}a(Z,"codecErrorCause");function nr(e,n,r){let t=r.merge??(a=>a),o=T(e,a=>tr(n,r,t,a),r.emit===void 0?{}:{emit:r.emit}),s=rr(n,r);return s===void 0?o:{...o,columns:s}}a(nr,"parse");function rr(e,n){return n.outputSchema!==void 0?P$1(n.outputSchema).columns:n.merge===void 0?e.columns:void 0}a(rr,"parseColumns");async function*tr(e,n,r,t){let s=e.decode(or(n.bytes(t)))[Symbol.asyncIterator](),a=0,u=false;try{for(;;){let l;try{l=await s.next();}catch(d){throw u=!0,ir(d,n.fileName(t),a)}if(l.done===!0){u=!0;return}a+=1,yield r(l.value,t,a);}}finally{u||await s.return?.();}}a(tr,"decodeFile");async function*or(e){e instanceof Uint8Array?yield e:yield*e;}a(or,"asStream");function ir(e,n,r){let t=sr(e,r);return e instanceof c?x(e,{fileName:n,...t}):new d(`Il file "${n}" non si decodifica alla riga ${t.rowNumber}`,{details:{fileName:n,...t,cause:Z(e)}})}a(ir,"decodeError");function sr(e,n){let r=je(e,"records"),t=je(e,"lines");return {rowNumber:(r??n)+1,...t===void 0?{}:{line:t}}}a(sr,"positionOf");function je(e,n){if(typeof e!="object"||e===null)return;let r=e[n];return typeof r=="number"&&Number.isInteger(r)?r:void 0}a(je,"numericField");var ar="";function ur(e,n,r){cr(e,r.maxRecords);let t={name:e,codecFor:typeof n=="function"?n:()=>n,options:r},o=W();return {name:e,stateful:true,held:o.read,...P$1(r.outputSchema),apply:a((s,a)=>Ue(lr(t,s,a,Le(o,a)),o,a),"apply"),applyWithLineage:a((s,a)=>Ue(dr(t,s,a,Le(o,a)),o,a),"applyWithLineage")}}a(ur,"serialize");function Le(e,n){return r=>e.set(n,r)}a(Le,"holdIn");async function*Ue(e,n,r){try{yield*e;}finally{n.set(r,0);}}a(Ue,"releasing");function Be(e){return e.reduce((n,r)=>n+r.items.length,0)}a(Be,"recordsIn");async function*lr(e,n,r,t){let o=await Ge(e,n,a=>a,a=>a,t),s=Be(o);for(let[a,u]of o.entries()){let l=await He(e,r,u.key,u.items,a+1);s-=u.items.length,t(s),yield l;}}a(lr,"files");async function*dr(e,n,r,t){let o=await Ge(e,n,a=>a.value,(a,u)=>w(a,[u.id]),t),s=Be(o);for(let[a,u]of o.entries()){let l=u.items.map(f=>f.id),d=u.items.map(f=>f.value),c$1;try{c$1=await He(e,r,u.key,d,a+1);}catch(f){throw f instanceof c?w(f,l):f}s-=u.items.length,t(s),yield {value:c$1,derivedFrom:l};}}a(dr,"filesWithLineage");function cr(e,n){if(!Number.isInteger(n)||n<1)throw new g(`serialize "${e}": \`maxRecords\` deve essere un intero \u2265 1 (ricevuto ${n}).`)}a(cr,"assertMaxRecords");function fr(e,n){return new Error(`serialize "${e}": superato il tetto di record in memoria (maxRecords = ${n}). La run si ferma qui invece di emettere file a met\xE0: alza \`maxRecords\`, oppure riduci lo stream a monte.`)}a(fr,"overflow");async function Ge(e,n,r,t,o){let{groupBy:s,maxRecords:a}=e.options,u=new Map,l=0;for await(let d of n){if(l>=a)throw fr(e.name,a);let c=yr(s,r(d),d,t),f=u.get(c);f===void 0?u.set(c,{key:c,items:[d]}):f.items.push(d),l+=1,o(l);}return [...u.values()]}a(Ge,"collectGroups");function yr(e,n,r,t){if(e===void 0)return ar;try{return e(n)}catch(o){throw o instanceof c?t(o,r):o}}a(yr,"keyOf");async function He(e,n,r,t,o){if(t.length===0)throw new Error("serialize: gruppo vuoto (bug interno)");let s=e.codecFor(r,t[0]),a=e.options.row??(d=>d),u=t.map(d=>a(d)),l;try{l=await b(s.encode(pr(u)));}catch(d){throw mr(e.name,d,o,t.length)}return e.options.toOutput(r,l,t,n)}a(He,"toFile");async function*pr(e){yield*e;}a(pr,"rowsOf");function mr(e,n,r,t){return n instanceof c?n:new d(`serialize "${e}": il file ${r} non si codifica`,{details:{fileNumber:r,records:t,cause:Z(n)}})}a(mr,"encodeError");function L(e,n){let r;try{r=ja(e).toString("utf8");}catch(t){throw t instanceof d?n("contiene un surrogato UTF-16 spaiato"):t}if(r!==e)throw n("non \xE8 in forma NFC");return r}a(L,"assertNfcName");function A(e,n,r=()=>({})){try{return n()}catch(t){if(!(t instanceof c))throw t;let o=t.constructor;throw new o(`${e}: ${t.message}`,{...t.context,details:{...t.context.details,...r(t)}},{cause:t})}}a(A,"withErrorPrefix");var We={1:(e,n)=>"v1:"+createHash("sha256").update(ga(e,n)).digest("hex")};function U(e,n){return new Error(`hashRow "${e}": ${n}`)}a(U,"configError");function qe(e,n,r){return L(r,t=>U(e,`${n} "${r}" ${t}.`))}a(qe,"nfcName");function hr(e,n){let{columns:r,as:t}=n,o=n.version??1,s=Object.hasOwn(We,o)?We[o]:void 0;if(s===void 0)throw U(e,`\`version\` ${String(o)} non esiste.`);if(r.length===0)throw U(e,"`columns` \xE8 vuoto: serve almeno una colonna.");if(typeof t!="string"||t==="")throw U(e,"`as` \xE8 obbligatorio e non vuoto.");let a=new Set;for(let u of r){let l=qe(e,"la colonna",u);if(a.has(l))throw U(e,`colonna "${u}" duplicata in \`columns\`.`);a.add(l);}if(a.has(qe(e,"`as`",t)))throw U(e,`\`as\` "${t}" \xE8 una delle \`columns\`.`);return s}a(hr,"assertConfig");function kr(e,n){let r=hr(e,n),t=[...n.columns],{as:o}=n;return S(e,s=>{if(typeof s!="object"||s===null)throw new d(`hashRow "${e}": il record non \xE8 un oggetto`,{details:{reason:"not-an-object"}});let a=A(`hashRow "${e}"`,()=>r(s,t));return {...s,[o]:a}},n.outputSchema===void 0?{}:{outputSchema:n.outputSchema})}a(kr,"hashRow");function G(e,n,r){return new Error(`surrogateKey "${e}": ${n}`,r===void 0?void 0:{cause:r})}a(G,"configError");function wr(e,n){if(n.from.length===0)throw G(e,"`from` \xE8 vuoto: serve almeno una colonna.");if(typeof n.as!="string"||n.as==="")throw G(e,"`as` \xE8 obbligatorio e non vuoto.");for(let r of n.from)L(r,t=>G(e,`la colonna "${r}" ${t}.`));if(typeof n.entity!="string")throw G(e,"`entity` \xE8 obbligatoria.");try{return la(n.entity)}catch(r){throw G(e,r.message,r)}}a(wr,"assertConfig");function br(e,n){let r=wr(e,n),t=[...n.from],{as:o}=n;return S(e,s=>{let a=t.map(l=>ia(s,l)),u=A(`surrogateKey "${e}"`,()=>ma(r,a),l=>Ir(l,t));return {...s,[o]:u}},n.outputSchema===void 0?{}:{outputSchema:n.outputSchema})}a(br,"surrogateKey");function Ir(e,n){let r=e.context.details?.position,t=typeof r=="number"?n[r]:void 0;return t===void 0?{}:{column:t}}a(Ir,"columnOf");var X=32,Sr=/^[a-z0-9]+(?:_[a-z0-9]+)*$/,Er=/^(?:[A-Za-z0-9+/]{4})*(?:[A-Za-z0-9+/]{2}==|[A-Za-z0-9+/]{3}=)?$/,vr=8,Or=/^[A-Z][A-Z0-9_]{0,63}$/,Ye="la chiave di mask",ie="MASK_KEY_INSTANCES",Ar="MASK_KEY_",Q=Symbol("MaskKey"),K=class{static{a(this,"MaskKey");}id;#e;constructor(n,r,t){if(n!==Q)throw new g("MaskKey non si costruisce con `new`: usa loadMaskKeyRegistry, maskKeyFromBase64 o maskKeyForSpec.");this.id=r,this.#e=t;}get usable(){return this.#e!==void 0}assertUsable(){if(this.#e===void 0)throw new Error(`MaskKey "${this.id}" \xE8 il segnaposto di getSpec() e non pu\xF2 firmare: in run() la chiave va risolta con loadMaskKeyRegistry(env).get(id).`)}hasSameSecretAs(n){return this.#e!==void 0&&n.#e!==void 0&&this.#e.equals(n.#e)}hmacSha256Hex(n){return this.assertUsable(),createHmac("sha256",this.#e).update(n).digest("hex")}toString(){return `[MaskKey ${this.id}]`}toJSON(){return this.toString()}[inspect.custom](){return this.toString()}};function J(e,n){if(typeof e!="string"||!Sr.test(e))throw new g(`${n}: id di chiave non valido. Sono ammesse minuscole, cifre e underscore singoli in mezzo (es. \`crm\`, \`crm_2027\`).`)}a(J,"assertKeyId");function Ze(e,n){let r=e?.trim()??"";if(r==="")throw new g(`${n} non \xE8 impostata: serve la chiave HMAC della transform mask, almeno ${X} byte in base64 (openssl rand -base64 32).`);if(!Er.test(r))throw new g(`${n} non \xE8 base64 valido (standard, con padding).`);let t=Buffer.from(r,"base64");try{if(t.length<X)throw new g(`${n} \xE8 pi\xF9 corta di ${X} byte: generala con openssl rand -base64 32.`);if(new Set(t).size<vr)throw new g(`${n} non \xE8 casuale (byte ripetuti): una chiave non \xE8 una passphrase, generala con openssl rand -base64 32.`);return createSecretKey(t)}finally{t.fill(0);}}a(Ze,"decodeSecret");function Kr(e,n,r=Ye){let t=typeof r=="string"&&Or.test(r)?r:Ye;return J(e,t),new K(Q,e,Ze(n,t))}a(Kr,"maskKeyFromBase64");function Tr(e){return J(e,"maskKeyForSpec"),new K(Q,e,void 0)}a(Tr,"maskKeyForSpec");function se(e){return `${m(Ar,e)}SECRET`}a(se,"secretEnvVar");function $r(e){let n=e.ids.map(r=>e.get(r));n.forEach((r,t)=>{let o=n.slice(0,t).find(s=>s.hasSameSecretAs(r));if(o!==void 0)throw new g(`${se(o.id)} e ${se(r.id)} hanno lo stesso valore: ogni id di chiave vuole un segreto suo.`)});}a($r,"assertDistinctSecrets");function Nr(e=process.env){let n=e[ie];for(let t of (n??"").split(","))t.trim()!==""&&J(t.trim(),ie);let r$1=r({kind:"mask-key",listEnvVar:ie,instancesRaw:n,defaultId:l,loadOne:a(t=>{let o=se(t);return new K(Q,t,Ze(e[o],o))},"loadOne")});return $r(r$1),{...r$1,get:a(t=>(J(t,"loadMaskKeyRegistry().get"),r$1.get(t)),"get")}}a(Nr,"loadMaskKeyRegistry");var ae="***",Xe={1:(e,n)=>`v1:${e.id}:${e.hmacSha256Hex(fa(n))}`};function Je(e,n){if(typeof e!="number"||!Object.hasOwn(Xe,e))throw n(`\`version\` ${String(e)} non esiste.`);return Xe[e]}a(Je,"requirePseudonymizer");var Qe="`key` non \xE8 una MaskKey: va risolta con loadMaskKeyRegistry(env).get(id), non passata come stringa.";function Pr(e,n,r=1){let t=a(o=>new g(`pseudonymize: ${o}`),"fail");if(!(e instanceof K))throw t(Qe);return Je(r,t)(e,n)}a(Pr,"pseudonymize");function P(e,n){return new g(`mask "${e}": ${n}`)}a(P,"configError");function Mr(e){if(typeof e!="object"||e===null)return typeof e;let r=Object.getPrototypeOf(e)?.constructor;return typeof r=="function"&&r.name!=="Object"&&r.name!==""?r.name:"object"}a(Mr,"typeName");function Fr(e,n,r){return t=>{if(typeof t!="string")throw new d(`mask "${e}": la colonna "${n}" non \xE8 una stringa, e \`keep\` vale solo per le stringhe`,{details:{column:n,reason:"not-a-string",type:Mr(t)}});return [...t].slice(0,r).join("")+ae}}a(Fr,"keepMask");function Dr(e,n,r,t){return o=>A(`mask "${e}"`,()=>t(r,o),()=>({column:n}))}a(Dr,"hmacMask");function zr(e,n,r,t){if(Object.keys(r).some(s=>s!==n&&s.normalize("NFC")===n))throw new d(`mask "${e}": il record ha la colonna "${n}" in una forma Unicode diversa da NFC, e non verrebbe mascherata`,{details:{column:n,reason:"column-not-nfc"}});if(t==="error")throw new d(`mask "${e}": la colonna "${n}" manca dal record`,{details:{column:n,reason:"absent-column"}})}a(zr,"assertAbsentIsFine");function en(e){return typeof e=="object"&&e!==null&&!Array.isArray(e)}a(en,"isPlainRecord");function _r(e,n,r,t,o){if(L(n,a=>P(e,`la colonna "${n}" ${a}.`)),r==="redact")return {column:n,apply:a(()=>ae,"apply")};if(r==="hmac"){if(t===void 0)throw P(e,`la colonna "${n}" \xE8 \`hmac\` ma manca \`key\`: passa loadMaskKeyRegistry(env).get(id), o maskKeyForSpec(id) in getSpec().`);return {column:n,apply:Dr(e,n,t,o)}}let s=Vr(r)?r.keep:void 0;if(s===void 0)throw P(e,`la colonna "${n}" ha una strategia non valida: sono ammesse "hmac", "redact" e { keep: n } con n intero \u2265 1, senza altri campi.`);return {column:n,apply:Fr(e,n,s)}}a(_r,"compileColumn");function Vr(e){if(!en(e)||Object.keys(e).length!==1)return false;let n=e.keep;return typeof n=="number"&&Number.isInteger(n)&&n>=1}a(Vr,"isKeepStrategy");function jr(e,n){let{columns:r,key:t}=n,o=Je(n.version??1,s=>P(e,s));if(!en(r)||Object.keys(r).length===0)throw P(e,"`columns` \xE8 obbligatorio: un oggetto con almeno una colonna.");if(t!==void 0&&!(t instanceof K))throw P(e,Qe);return Object.entries(r).map(([s,a])=>_r(e,s,a,t,o))}a(jr,"compileColumnMasks");function Lr(e,n){let r=jr(e,n),t=n.onAbsent??"keep";if(t!=="keep"&&t!=="error")throw P(e,'`onAbsent` ammette solo "keep" e "error".');let o=Object.values(n.columns).includes("hmac")?n.key:void 0,s=S(e,a=>{if(typeof a!="object"||a===null)throw new d(`mask "${e}": il record non \xE8 un oggetto`,{details:{reason:"not-an-object"}});let u=r.flatMap(({column:l,apply:d})=>{let c=ia(a,l);return c===void 0&&zr(e,l,a,t),c==null?[]:[[l,d(c)]]});return {...a,...Object.fromEntries(u)}},n.outputSchema===void 0?{}:{outputSchema:n.outputSchema});return {...s,async*apply(a,u){o?.assertUsable(),yield*s.apply(a,u);}}}a(Lr,"mask");function ue(e,n,r){if(e==null||r.empty==="null"&&et(e))return null;let t=tn[n](e);if(t===I)throw new d(`la colonna "${r.column}" non \xE8 convertibile in ${n} (trovato: ${nn(e)})${nt(n,e)}`,{details:{column:r.column,expected:n,found:nn(e)}});return t}a(ue,"castValue");var I=Symbol("not-castable"),Ur=/^[+-]?(?:\d+\.?\d*|\.\d+)(?:[eE][+-]?\d+)?$/;function Br(e){if(typeof e=="number")return Number.isFinite(e)?e:I;if(typeof e!="string")return I;let n=e.trim();if(!Ur.test(n))return I;let r=Number(n);return Number.isFinite(r)?r:I}a(Br,"castNumber");var Gr=/^[+-]?\d+$/;function Hr(e){if(typeof e=="number")return Number.isSafeInteger(e)?e:I;if(typeof e!="string")return I;let n=e.trim();if(!Gr.test(n))return I;let r=Number(n);return Number.isSafeInteger(r)?r:I}a(Hr,"castInteger");var Wr=new Map([["true",true],["1",true],["false",false],["0",false]]);function qr(e){return typeof e=="boolean"?e:e===1?true:e===0?false:typeof e!="string"?I:Wr.get(e.trim().toLowerCase())??I}a(qr,"castBoolean");function Yr(e){return typeof e=="string"?e:typeof e=="number"?Number.isFinite(e)?String(e):I:typeof e=="bigint"||typeof e=="boolean"?String(e):I}a(Yr,"castString");var Zr=/^(\d{4})-(\d{2})-(\d{2})$/;function Xr(e){if(typeof e!="string")return I;let n=e.trim();return rn(n)?n:I}a(Xr,"castDate");function rn(e){let n=Zr.exec(e);if(n===null)return false;let[r,t,o]=[n[1],n[2],n[3]].map(Number);if(r===void 0||t===void 0||o===void 0)return false;let s=new Date(0);return s.setUTCFullYear(r,t-1,o),s.getUTCFullYear()===r&&s.getUTCMonth()===t-1&&s.getUTCDate()===o}a(rn,"isCalendarDate");var Jr=/^(\d{4}-\d{2}-\d{2})T(?:[01]\d|2[0-3]):[0-5]\d:[0-5]\d(?:\.\d{1,3})?(?:Z|[+-](?:[01]\d|2[0-3]):[0-5]\d)$/;function Qr(e){if(e instanceof Date)return Number.isNaN(e.getTime())?I:new Date(e.getTime());if(typeof e!="string")return I;let n=e.trim(),r=Jr.exec(n);if(r?.[1]===void 0||!rn(r[1]))return I;let t=new Date(n);return Number.isNaN(t.getTime())?I:t}a(Qr,"castTimestamp");var tn={number:Br,integer:Hr,boolean:qr,string:Yr,date:Xr,timestamp:Qr};function on(e){return typeof e=="string"&&Object.hasOwn(tn,e)}a(on,"isCastType");function et(e){return typeof e=="string"&&e.trim()===""}a(et,"isEmptyString");function nt(e,n){return e==="date"&&n instanceof Date?": il giorno di una Date dipende dal fuso del processo, la data senza ora deve arrivare come stringa YYYY-MM-DD":""}a(nt,"hintFor");function nn(e){return e===null?"null":e instanceof Date?"Date":Array.isArray(e)?"array":typeof e}a(nn,"typeName");function rt(e,n,r={}){let t=it(e,n),o=r.rest==="keep",s=ot(t,o,r.outputSchema);return {...S(e,a=>{let u=dt(e,a),l=Object.fromEntries(t.map(({column:d,compute:c})=>[d,c(u)]));return o?{...u,...l}:l}),...s===void 0?{}:{columns:s}}}a(rt,"mapColumns");var tt={number:"number",integer:"integer",boolean:"boolean",string:"string",date:"date",timestamp:"date"};function ot(e,n,r){let t=r===void 0?[]:O(r);if(t.length>0){let o=new Map(e.map(s=>[s.column,s.sources]));return t.map(s=>{let a=o.get(s.id);return a===void 0?s:{...s,sourceColumns:a}})}if(!n)return e.map(({column:o,dataType:s,sources:a})=>({id:o,name:o,dataType:s,isKey:R(o),sourceColumns:a}))}a(ot,"planColumns");function it(e,n){let r=Object.entries(n);if(r.length===0)throw new g(`mapColumns "${e}": lo spec \xE8 vuoto`);return r.map(([t,o])=>ut(e,t,o))}a(it,"compile");var st=["from","cast","empty"],at=["derive","type","from"];function ut(e,n,r){let t=a(s=>new g(`mapColumns "${e}": colonna "${n}": ${s}`,{details:{output:n}}),"fail");if(typeof r=="string")return sn(e,n,{from:r},t);if(typeof r!="object"||r===null)throw t("lo spec deve essere un nome di colonna o un oggetto");let o=r;return o.derive===void 0?sn(e,n,o,t):lt(e,n,o,t)}a(ut,"compileColumn");function an(e,n,r){let t=Object.keys(e).filter(o=>!n.includes(o));if(t.length>0)throw r(`chiavi non ammesse: ${t.join(", ")} (ammesse: ${n.join(", ")})`)}a(an,"assertKnownKeys");function sn(e,n,r,t){an(r,st,t);let{from:o,cast:s,empty:a$1}=r;if(typeof o!="string")throw t("serve `from` (una colonna d'origine) oppure `derive`");if(s===void 0){if(a$1!==void 0)throw t("`empty` vale solo insieme a `cast`");return {column:n,sources:[o],dataType:"unknown",compute:a(l=>le(e,l,n,o),"compute")}}if(!on(s))throw t("`cast` non \xE8 un tipo supportato");if(a$1!==void 0&&a$1!=="null"&&a$1!=="error")throw t('`empty` deve essere "null" o "error"');let u={column:o,...a$1===void 0?{}:{empty:a$1}};return {column:n,sources:[o],dataType:tt[s],compute:a(l=>{let d=le(e,l,n,o);return A(`mapColumns "${e}"`,()=>ue(d,s,u),()=>({output:n}))},"compute")}}a(sn,"compileSourced");function lt(e,n,r,t){an(r,at,t);let{derive:o,type:s,from:a$1}=r;if(typeof o!="function")throw t("`derive` non \xE8 una funzione");if(!ct(a$1))throw t("`derive` richiede `from`: l'elenco delle colonne d'origine");if(typeof s!="string"||s==="")throw t("`derive` richiede `type`: il tipo mostrato nel DAG");return {column:n,sources:a$1,dataType:s,compute:a(u=>{for(let l of a$1)le(e,u,n,l);return A(`mapColumns "${e}": colonna "${n}"`,()=>o(u),()=>({output:n}))},"compute")}}a(lt,"compileDerived");function le(e,n,r,t){if(!Object.hasOwn(n,t))throw new d(`mapColumns "${e}": nel record manca la colonna d'origine "${t}" (serve a "${r}")`,{details:{column:t,output:r}});return n[t]}a(le,"read");function dt(e,n){if(typeof n!="object"||n===null||Array.isArray(n))throw new d(`mapColumns "${e}": il record non \xE8 un oggetto`);return n}a(dt,"asRecord");function ct(e){return Array.isArray(e)&&e.every(n=>typeof n=="string")}a(ct,"isStringArray");function un(e){let n=Math.imul(e,3432918353);return Math.imul(n<<15|n>>>17,461845907)}a(un,"mixBlock");function ln(e,n){let r=e.length,t=r-(r&1),o=n|0;for(let s=0;s<t;s+=2)o^=un(e.charCodeAt(s)|e.charCodeAt(s+1)<<16),o=o<<13|o>>>19,o=Math.imul(o,5)+3864292196|0;return t<r&&(o^=un(e.charCodeAt(t))),o^=r*2,o^=o>>>16,o=Math.imul(o,2246822507),o^=o>>>13,o=Math.imul(o,3266489909),o^=o>>>16,o>>>0}a(ln,"murmur3");function ft(e,n){return e!==0?Math.clz32(e)-12+1:n!==0?20+Math.clz32(n)+1:53}a(ft,"rank");function yt(e){if(e===1)return Number.POSITIVE_INFINITY;let n=e,r=1,t=e,o;do n*=n,o=t,t+=n*r,r+=r;while(t!==o);return t}a(yt,"sigma");function pt(e){if(e===0||e===1)return 0;let n=e,r=1,t=1-e,o;do n=Math.sqrt(n),o=t,r*=.5,t-=(1-n)**2*r;while(t!==o);return t/3}a(pt,"tau");var mt=.5/Math.LN2,ee=class{static{a(this,"HyperLogLog");}registers=new Uint8Array(4096);get byteLength(){return this.registers.byteLength}add(n){let r=ln(n,2538058380),t=r>>>20,o=ft(r&1048575,ln(n,1013904242));o>(this.registers[t]??0)&&(this.registers[t]=o);}estimate(){let n=new Array(54).fill(0);for(let o of this.registers)n[o]=(n[o]??0)+1;let r=4096,t=r*pt(1-(n[53]??0)/r);for(let o=52;o>=1;o--)t=.5*(t+(n[o]??0));return t+=r*yt((n[0]??0)/r),Math.round(mt*r*r/t)}};var dn=Object.freeze({nulls:0,numbers:null,dates:null,stringLengths:null,other:0});function de(e,n){return e===null?{count:1,min:n,max:n}:{count:e.count+1,min:Math.min(e.min,n),max:Math.max(e.max,n)}}a(de,"widen");function cn(e,n){return n==null?{...e,nulls:e.nulls+1}:typeof n=="number"&&Number.isFinite(n)?{...e,numbers:de(e.numbers,n)}:typeof n=="string"?{...e,stringLengths:de(e.stringLengths,n.length)}:n instanceof Date&&!Number.isNaN(n.getTime())?{...e,dates:de(e.dates,n.getTime())}:{...e,other:e.other+1}}a(cn,"accumulate");function ne(e){switch(typeof e){case "string":return `s:${e}`;case "number":return `n:${String(e)}`;case "boolean":return `b:${String(e)}`;case "bigint":return `i:${String(e)}`;default:return e instanceof Date&&!Number.isNaN(e.getTime())?`d:${String(e.getTime())}`:null}}a(ne,"scalarKey");function fn(e){let{nulls:n,numbers:r,dates:t,stringLengths:o,other:s}=e;return {nulls:n,number:r,date:t===null?null:{count:t.count,min:new Date(t.min).toISOString(),max:new Date(t.max).toISOString()},string:o===null?null:{count:o.count,minLength:o.min,maxLength:o.max},other:s}}a(fn,"columnStatsReport");var yn=256;function gt(e,n){let{distinct:r,columns:t,maxColumns:o}=n;if(r!=="approx"&&r!=="off")throw new Error(`profile "${e}": \`distinct\` deve essere "approx" oppure "off" (ricevuto ${JSON.stringify(r)}).`);if(o!==void 0&&(!Number.isInteger(o)||o<1))throw new Error(`profile "${e}": \`maxColumns\` deve essere un intero \u2265 1 (ricevuto ${String(o)}).`);if(t!==void 0){if(t.length===0)throw new Error(`profile "${e}": \`columns\` \xE8 vuoto. Ometti l'opzione per profilare tutte le colonne.`);if(new Set(t).size!==t.length)throw new Error(`profile "${e}": \`columns\` contiene duplicati.`)}}a(gt,"assertConfig");function ht(e,n){return new Error(`profile "${e}": superato il tetto di colonne scoperte (maxColumns = ${n}). La run si ferma qui invece di profilare a met\xE0: dichiara \`columns\`, oppure alza \`maxColumns\`.`)}a(ht,"overflow");function kt(e,n){return pn(e)&&Object.hasOwn(e,n)?e[n]:void 0}a(kt,"ownValue");function pn(e){return typeof e=="object"&&e!==null&&!Array.isArray(e)}a(pn,"isProfilable");function wt(e,n){gt(e,n);let r=n.columns,t=n.distinct==="approx",o=n.maxColumns??yn,s=new WeakMap;function a$1(p){return {stats:{...dn,nulls:p},sketch:t?new ee:null}}a(a$1,"newColumn");function u(){return {records:0,columns:new Map((r??[]).map(p=>[p,a$1(0)]))}}a(u,"newRun");function l(p){let g=s.get(p);return g===void 0&&(g=u(),s.set(p,g)),g}a(l,"stateOf");function d(p,g){if(pn(g)){for(let C of Object.keys(g))if(!p.columns.has(C)){if(p.columns.size>=o)throw ht(e,o);p.columns.set(C,a$1(p.records));}}}a(d,"discover");function c(p,g){r===void 0&&d(p,g);for(let[C,S]of p.columns){let y=kt(g,C);if(S.stats=cn(S.stats,y),S.sketch===null)continue;let w=ne(y);w!==null&&S.sketch.add(w);}p.records+=1;}a(c,"observe");function f(p){let g=Object.fromEntries([...p.columns].map(([C,{stats:S,sketch:y}])=>[C,{...fn(S),distinctApprox:y===null?null:y.estimate()}]));return {profile:{records:p.records,distinct:n.distinct,columns:g}}}return a(f,"report"),{name:e,async*apply(p,g){let C=l(g);for await(let S of p)c(C,S),yield S;},writeReport:a(p=>f(s.get(p)??u()),"writeReport")}}a(wt,"profile");var mn=1e5,re="error";function M(e,n){return new Error(`${e}: ${n}`)}a(M,"configError");function gn(e,n){return n.ok?"ok":e.severity}a(gn,"outcomeOf");function hn(e){return e==null}a(hn,"isNullValue");function kn(e,n){return typeof e=="object"&&e!==null&&Object.hasOwn(e,n)?e[n]:void 0}a(kn,"columnValue");function bt(e){let{min:n,max:r}=e,t="rowCount";if(n===void 0&&r===void 0)throw M(t,"serve almeno una soglia fra `min` e `max`.");for(let[o,s]of [["min",n],["max",r]])if(s!==void 0&&(!Number.isInteger(s)||s<0))throw M(t,`\`${o}\` deve essere un intero \u2265 0 (ricevuto ${String(s)}).`);if(n!==void 0&&r!==void 0&&n>r)throw M(t,`\`min\` (${n}) supera \`max\` (${r}).`);return {name:t,kind:"rowCount",severity:e.severity??re,threshold:{...n!==void 0?{min:n}:{},...r!==void 0?{max:r}:{}},init:a(()=>0,"init"),step:a(o=>o+1,"step"),verdict:a(o=>({observed:o,ok:(n===void 0||o>=n)&&(r===void 0||o<=r)}),"verdict")}}a(bt,"rowCount");function It(e,n){let r=`nullRatio(${e})`,{max:t}=n;if(typeof t!="number"||Number.isNaN(t)||t<0||t>1)throw M(r,`\`max\` deve essere un numero fra 0 e 1 (ricevuto ${String(t)}).`);return {name:r,kind:"nullRatio",column:e,severity:n.severity??re,threshold:{max:t},init:a(()=>({records:0,nulls:0}),"init"),step:a((o,s)=>({records:o.records+1,nulls:o.nulls+(hn(kn(s,e))?1:0)}),"step"),verdict:a(({records:o,nulls:s})=>{if(o===0)return {observed:null,ok:true};let a=s/o;return {observed:a,ok:a<=t}},"verdict")}}a(It,"nullRatio");function Ct(e,n){let r=[];for(let t of n){let o=kn(e,t);if(hn(o))return null;let s=ne(o)??xt(o);r.push(`${s.length}:${s}`);}return r.join("|")}a(Ct,"uniqueKey");function xt(e){if(e instanceof Date)return "d:invalid";try{return `j:${JSON.stringify(e)}`}catch{return `o:${String(e)}`}}a(xt,"structuredKey");function Rt(e,n={}){let r=typeof e=="string"?[e]:e,t=`unique(${r.join(",")})`;if(r.length===0)throw M("unique()","serve almeno una colonna.");let o=n.maxKeys??mn;if(!Number.isInteger(o)||o<1)throw M(t,`\`maxKeys\` deve essere un intero \u2265 1 (ricevuto ${String(o)}).`);return {name:t,kind:"unique",column:r.join(","),severity:n.severity??re,threshold:{max:0},init:a(()=>({seen:new Set,duplicates:0}),"init"),step:a((s,a)=>{let u=Ct(a,r);if(u===null)return s;if(s.seen.has(u))return {seen:s.seen,duplicates:s.duplicates+1};if(s.seen.size>=o)throw new Error(`${t}: superato il tetto di chiavi distinte in memoria (maxKeys = ${o}). La run si ferma qui invece di verificare l'unicit\xE0 a met\xE0: alza \`maxKeys\`.`);return s.seen.add(u),s},"step"),verdict:a(({duplicates:s})=>({observed:s,ok:s===0}),"verdict")}}a(Rt,"unique");function St(e,n){if(e.trim()==="")throw M("custom()","il nome del check \xE8 obbligatorio.");return {name:e,kind:"custom",severity:n.severity??re,threshold:n.threshold??null,init:n.init,step:n.step,verdict:n.verdict}}a(St,"custom");var bn=1e5;function te(e,n){return new Error(`assert "${e}": ${n}`)}a(te,"configError");function Et(e,n){let{mode:r,maxRecords:t,checks:o}=n;if(r!==void 0&&r!=="gate"&&r!=="streaming")throw te(e,`\`mode\` deve essere "gate" oppure "streaming" (ricevuto ${JSON.stringify(r)}).`);if(t!==void 0&&(!Number.isInteger(t)||t<1))throw te(e,`\`maxRecords\` deve essere un intero \u2265 1 (ricevuto ${String(t)}).`);if(o.length===0)throw te(e,"`checks` \xE8 vuoto: serve almeno un check.");let s=new Set;for(let a of o){if(s.has(a.name))throw te(e,`il check "${a.name}" compare pi\xF9 di una volta: i nomi devono essere distinti.`);s.add(a.name);}}a(Et,"assertConfig");function vt(e,n){return new Error(`assert "${e}": superato il tetto di record trattenuti in gate (maxRecords = ${n}). La run si ferma qui, prima che a valle arrivi un record: alza \`maxRecords\`, oppure passa a \`mode: "streaming"\` se il caricamento a valle \xE8 annullabile.`)}a(vt,"overflow");function Ot(e){return e===null?"non dichiarata":Object.entries(e).map(([n,r])=>`${n} ${String(r)}`).join(", ")}a(Ot,"describeThreshold");var wn={ok:0,warn:1,error:2};function At(e){return e.reduce((n,{outcome:r})=>r!=="unknown"&&wn[r]>wn[n]?r:n,"ok")}a(At,"worstOf");function Kt(e,n){Et(e,n);let r=n.checks,t=n.mode??"gate",o=r.some(y=>y.severity==="error"),s=t==="gate"&&o,a$1=s?"gate":"streaming",u=n.maxRecords??bn,l=new WeakMap,d=W();function c(y){let w={records:0,states:r.map(k=>k.init()),results:null};return l.set(y,w),w}a(c,"begin");function f(y,w){y.states=r.map((k,E)=>k.step(y.states[E],w)),y.records+=1;}a(f,"observe");function p(y,w,k){return {check:y.name,kind:y.kind,...y.column!==void 0?{column:y.column}:{},severity:y.severity,observed:w,threshold:y.threshold,outcome:k}}a(p,"entry");function g(y,w){let k=r.map((h,B)=>{let H=h.verdict(y.states[B]);return p(h,H.observed,gn(h,H))});y.results=k,y.states=[];for(let h of k)h.outcome==="warn"&&w.logger.warn("assert.check-warn",{assert:e,check:h.check,observed:h.observed,threshold:h.threshold});let E=k.filter(h=>h.outcome==="error");if(E.length===0)return;let v=E.map(h=>`${h.check} (osservato ${String(h.observed)}, soglia ${Ot(h.threshold)})`).join("; ");throw new m$1(`assert "${e}": ${E.length} check non superati: ${v}`,{stage:e,details:{failed:E.map(({check:h,observed:B,threshold:H})=>({check:h,observed:B,threshold:H}))}})}a(g,"conclude");async function*C(y,w,k){let E=c(k),v=[];try{for await(let h of y){if(s&&v.length>=u)throw vt(e,u);f(E,w(h)),s?(v.push(h),d.set(k,v.length)):yield h;}g(E,k);for(let[h,B]of v.entries())d.set(k,v.length-h-1),yield B;}finally{d.set(k,0);}}a(C,"run");function S(y){let w=y?.results??r.map(k=>p(k,null,"unknown"));return {assert:{mode:a$1,records:y?.records??0,verdict:y?.results?At(w):"unknown",checks:w}}}return a(S,"report"),{name:e,stateful:true,...t==="streaming"&&o?{emit:"before-verdict"}:{},...s?{held:d.read}:{},apply(y,w){return C(y,k=>k,w)},async*applyWithLineage(y,w){for await(let{value:k,id:E}of C(y,v=>v.value,w))yield {value:k,derivedFrom:[E]};},writeReport:a(y=>S(l.get(y)),"writeReport")}}a(Kt,"assert");var _i="etl.config.ts",Vi=/^[a-z0-9]+(?:-[a-z0-9]+)*$/;function Tt(e){return e}a(Tt,"defineEtlConfig");function $t(e){return Object.fromEntries(Object.entries(e).map(([n,r])=>[n,Nt(r)]))}a($t,"configurazioneDelPiano");function Nt(e){try{return e.risolta()}catch(n){if(!(n instanceof g))throw n;return e.esempio(n)}}a(Nt,"risoltaOEsempio");function Pt(e){let n=Object.entries(e).map(([t,o$1])=>({chiave:t,esito:o(o$1)})),r=n.flatMap(({esito:t})=>t.errore===void 0?[]:[t.errore]);if(r.length>0)throw p(r);return Object.fromEntries(n.map(({chiave:t,esito:o})=>[t,o.valore]))}a(Pt,"configurazioneDellaRun");function Mt(e,n,r){let t=e.descriptor;return t===void 0?e:{...e,descriptor:{...t,details:[...t.details.map(o=>{let s=r[o.label];return s===void 0?o:J$1(o.label,o.value,I$1(n.variabili,s))}),...L$1(n.ricaduta)]}}}a(Mt,"conVariabili");function Ft(e,n){let r=n.variabili??[];return r.length===0?e:xb(e,{configuration:r.map(K$1)})}a(Ft,"conConfigurazioneDellaPipeline");export{Rt as A,St as B,bn as C,Kt as D,_i as E,Vi as F,Tt as G,$t as H,Pt as I,Mt as J,Ft as K,Sn as a,En as b,vn as c,Nn as d,jn as e,Zn as f,er as g,nr as h,ur as i,kr as j,br as k,X as l,K as m,Kr as n,Tr as o,Nr as p,ae as q,Pr as r,Lr as s,ue as t,rt as u,yn as v,wt as w,mn as x,bt as y,It as z};
|
|
@@ -1 +1 @@
|
|
|
1
|
-
import {a,d as d$1}from'./chunk-
|
|
1
|
+
import {a,d as d$1}from'./chunk-CEAMQIRO.js';import {createHash}from'crypto';import c from'nodemailer/lib/addressparser/index.js';function M(n){return createHash("sha256").update(n).digest("hex").slice(0,32)}a(M,"hashChiave");function f(n){let e=c(n,{flatten:true}),o=e.length===1?e[0]:void 0,t=o?.address;if(t===void 0||!/^[^@\s]+@[^@\s]+$/.test(t))return;let a=o?.name.trim()??"";return {testo:n,email:t,...a!==""?{nome:a}:{}}}a(f,"indirizzoMail");var y=/[\r\n]/;function u(n){return y.test(n)}a(u,"haACapo");function l(n,e){if(u(e))throw new d$1(`Mail non valida: a capo in "${n}"`);return e}a(l,"intestazione");function d(n,e){return (e??[]).map(o=>{l(n,o);let t=f(o);if(t===void 0)throw new d$1(`Mail non valida: indirizzo non valido in "${n}"`);return t})}a(d,"indirizzi");function v(n){let e=d("a",n.a),o=d("cc",n.cc),t=d("ccn",n.ccn);if(e.length+o.length+t.length===0)throw new d$1("Mail non valida: nessun destinatario");if(n.oggetto.trim()==="")throw new d$1("Mail non valida: oggetto vuoto");if(n.testo===void 0&&n.html===void 0)throw new d$1("Mail non valida: nessun corpo (testo o html)");let a=n.rispondiA===void 0?void 0:d("rispondiA",[n.rispondiA])[0];l("oggetto",n.oggetto);for(let s of n.allegati??[])l("allegati",s.nome),s.contentType!==void 0&&l("allegati",s.contentType);return {a:e,cc:o,ccn:t,...a!==void 0?{rispondiA:a}:{},oggetto:n.oggetto,...n.testo!==void 0?{testo:n.testo}:{},...n.html!==void 0?{html:n.html}:{},...n.allegati!==void 0?{allegati:n.allegati}:{},...n.chiave!==void 0?{chiave:n.chiave}:{}}}a(v,"validaMail");export{M as a,f as b,u as c,v as d};
|