@noeva/etl-core 0.0.0-stage → 1.0.0-next.1
This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
- package/README.md +212 -2
- package/deploy/Dockerfile +57 -0
- package/deploy/Dockerfile.dockerignore +18 -0
- package/deploy/pm2.cjs +121 -0
- package/deploy/pm2.d.ts +29 -0
- package/dist/ai-BoTwcmUg.d.ts +20 -0
- package/dist/ambiente-della-pipeline-BoymQ6uN.d.ts +39 -0
- package/dist/chunk-4NPSBPBY.js +1 -0
- package/dist/chunk-5B2425TT.js +1 -0
- package/dist/chunk-BFW7HTF6.js +2 -0
- package/dist/chunk-BPRH262Y.js +2 -0
- package/dist/chunk-DFFLQC6T.js +1 -0
- package/dist/chunk-DPWGI266.js +1 -0
- package/dist/chunk-H75NY6Z4.js +1 -0
- package/dist/chunk-HMED2UDJ.js +2 -0
- package/dist/chunk-JLPK6MMQ.js +1 -0
- package/dist/chunk-KMUNED7K.js +2 -0
- package/dist/chunk-MOHJWOCB.js +1 -0
- package/dist/chunk-MXSKD3Z4.js +2 -0
- package/dist/chunk-NZR6TZ42.js +1 -0
- package/dist/chunk-PE2QKU34.js +1 -0
- package/dist/chunk-PGJWGJEB.js +5 -0
- package/dist/chunk-R53642SH.js +1 -0
- package/dist/chunk-RU6CZIDB.js +1 -0
- package/dist/chunk-UN3BPCPA.js +1 -0
- package/dist/chunk-XFHTODDW.js +6 -0
- package/dist/chunk-ZBKP2UOF.js +3 -0
- package/dist/chunk-ZCYSL5A6.js +1 -0
- package/dist/cli.js +192 -0
- package/dist/client-DYA3wIyb.d.ts +478 -0
- package/dist/client-ZuKAar0B.d.ts +47 -0
- package/dist/config-BSUwK4p_.d.ts +76 -0
- package/dist/config-DIthC7n7.d.ts +236 -0
- package/dist/connector-kit.d.ts +200 -0
- package/dist/connector-kit.js +1 -0
- package/dist/connectors/file.d.ts +593 -0
- package/dist/connectors/file.js +1 -0
- package/dist/connectors/http.d.ts +311 -0
- package/dist/connectors/http.js +1 -0
- package/dist/connectors/imap.d.ts +293 -0
- package/dist/connectors/imap.js +1 -0
- package/dist/connectors/jira.d.ts +1148 -0
- package/dist/connectors/jira.js +12 -0
- package/dist/connectors/mail.d.ts +63 -0
- package/dist/connectors/mail.js +1 -0
- package/dist/connectors/noeva.d.ts +535 -0
- package/dist/connectors/noeva.js +1 -0
- package/dist/connectors/oauth.d.ts +139 -0
- package/dist/connectors/oauth.js +1 -0
- package/dist/connectors/postgres.d.ts +224 -0
- package/dist/connectors/postgres.js +1 -0
- package/dist/connectors/process.d.ts +125 -0
- package/dist/connectors/process.js +1 -0
- package/dist/connectors/sendgrid.d.ts +77 -0
- package/dist/connectors/sendgrid.js +1 -0
- package/dist/connectors/smtp.d.ts +115 -0
- package/dist/connectors/smtp.js +1 -0
- package/dist/connectors/sqlserver.d.ts +221 -0
- package/dist/connectors/sqlserver.js +1 -0
- package/dist/contract.d.ts +197 -0
- package/dist/contract.js +0 -0
- package/dist/credenziali-posta-f7HB2cYW.d.ts +80 -0
- package/dist/errors-bgSO6lGO.d.ts +3322 -0
- package/dist/etl.config.js +159 -0
- package/dist/guida/404.html +24 -0
- package/dist/guida/GUIDA_SVILUPPO.html +80 -0
- package/dist/guida/TECHNICAL_OVERVIEW.html +46 -0
- package/dist/guida/assets/GUIDA_SVILUPPO.md.Dj20s7gS.js +54 -0
- package/dist/guida/assets/GUIDA_SVILUPPO.md.Dj20s7gS.lean.js +1 -0
- package/dist/guida/assets/TECHNICAL_OVERVIEW.md.DQP0pWc8.js +10 -0
- package/dist/guida/assets/TECHNICAL_OVERVIEW.md.DQP0pWc8.lean.js +1 -0
- package/dist/guida/assets/app.vAJRZtow.js +1 -0
- package/dist/guida/assets/chunks/@localSearchIndexroot.Bhyx8u0i.js +1 -0
- package/dist/guida/assets/chunks/VPLocalSearchBox.D3nX303F.js +9 -0
- package/dist/guida/assets/chunks/abnfDiagram-VCTEODGH.Cb8_1LKM.js +1 -0
- package/dist/guida/assets/chunks/arc.DlWjKRLi.js +1 -0
- package/dist/guida/assets/chunks/architectureDiagram-5GKGNRK7.B_kcbYHp.js +36 -0
- package/dist/guida/assets/chunks/blockDiagram-I7D4REHJ.DtqGIcrS.js +129 -0
- package/dist/guida/assets/chunks/c4Diagram-7LVT6UL2.CUgQS4x3.js +38 -0
- package/dist/guida/assets/chunks/channel.D_e0R7P0.js +1 -0
- package/dist/guida/assets/chunks/chunk-2Q5K7J3B.BMgi5qnO.js +1 -0
- package/dist/guida/assets/chunks/chunk-5VM5RSS4.BXYD6ZTr.js +15 -0
- package/dist/guida/assets/chunks/chunk-F27PBJKO.DM48gRiB.js +1 -0
- package/dist/guida/assets/chunks/chunk-IMKFNOWR.DISu_OOa.js +231 -0
- package/dist/guida/assets/chunks/chunk-JWPE2WC7.B-PUbabd.js +1 -0
- package/dist/guida/assets/chunks/chunk-POPQ4Y6H.BmGr7jGW.js +1 -0
- package/dist/guida/assets/chunks/chunk-SVP7TREG.Bh63qZfN.js +88 -0
- package/dist/guida/assets/chunks/chunk-TICWLB2K.tpBz0Z_F.js +206 -0
- package/dist/guida/assets/chunks/chunk-XXDRQBXY.BG7ffZFk.js +1 -0
- package/dist/guida/assets/chunks/classDiagram-ZZMXUADV.B0Df5o6D.js +1 -0
- package/dist/guida/assets/chunks/classDiagram-v2-VYDZK3BY.B0Df5o6D.js +1 -0
- package/dist/guida/assets/chunks/cose-bilkent-JH36ORCC.D917yLk3.js +1 -0
- package/dist/guida/assets/chunks/cynefin-OW5HDTMX.MD0cBh5r.js +178 -0
- package/dist/guida/assets/chunks/cynefinDiagram-5FMLGOSQ.CxCONqwD.js +62 -0
- package/dist/guida/assets/chunks/cytoscape.esm.C5JX3QLV.js +331 -0
- package/dist/guida/assets/chunks/dagre-GXQ25YYZ.Ci3bpvf5.js +4 -0
- package/dist/guida/assets/chunks/defaultLocale.DX6XiGOO.js +1 -0
- package/dist/guida/assets/chunks/diagram-S7CK7UJ4.CBeCKj1d.js +30 -0
- package/dist/guida/assets/chunks/diagram-UQ7AKVKN.D8O8MJrj.js +41 -0
- package/dist/guida/assets/chunks/diagram-VSXAHHWV.BPgJw-gh.js +3 -0
- package/dist/guida/assets/chunks/diagram-VX7I27RA.Bq26S7cC.js +24 -0
- package/dist/guida/assets/chunks/diagram-Z3DM3KII.DSA6DrjF.js +24 -0
- package/dist/guida/assets/chunks/ebnfDiagram-PWID7BFC.LswEQqYW.js +1 -0
- package/dist/guida/assets/chunks/erDiagram-RLTQ6QDP.BJ3NdhL2.js +99 -0
- package/dist/guida/assets/chunks/flowDiagram-HODETNUW.CRtfX8AA.js +168 -0
- package/dist/guida/assets/chunks/framework.qdetmeNX.js +20 -0
- package/dist/guida/assets/chunks/ganttDiagram-EL5Y4UJY.CxA1Dnx0.js +292 -0
- package/dist/guida/assets/chunks/gitGraphDiagram-WWUBYQGX.CQaT0oTr.js +106 -0
- package/dist/guida/assets/chunks/infoDiagram-27XIBGKW.BeCaFFY1.js +2 -0
- package/dist/guida/assets/chunks/init.Gi6I4Gst.js +1 -0
- package/dist/guida/assets/chunks/ishikawaDiagram-5VMMS53U.Baj8FbHt.js +70 -0
- package/dist/guida/assets/chunks/journeyDiagram-3NMN7TZE.BXlrD4oo.js +139 -0
- package/dist/guida/assets/chunks/kanban-definition-UXKFOSKX.QQzvJvFS.js +89 -0
- package/dist/guida/assets/chunks/katex.C5jXJg4s.js +257 -0
- package/dist/guida/assets/chunks/layout.BY6jFlX9.js +1 -0
- package/dist/guida/assets/chunks/linear.B6gNuaUR.js +1 -0
- package/dist/guida/assets/chunks/mermaid.core.CVXi_Lcy.js +312 -0
- package/dist/guida/assets/chunks/mindmap-definition-YA3MSWOX.BBJvKe9c.js +96 -0
- package/dist/guida/assets/chunks/ordinal.BYWQX77i.js +1 -0
- package/dist/guida/assets/chunks/pegDiagram-XKGWAZYB.DjtpGKLj.js +1 -0
- package/dist/guida/assets/chunks/pieDiagram-E7YTZNPT.CKXeGYv0.js +39 -0
- package/dist/guida/assets/chunks/quadrantDiagram-AXDQQJYC.aGVlkIuB.js +7 -0
- package/dist/guida/assets/chunks/railroadDiagram-O6MQD6OU.C-BgEXU7.js +1 -0
- package/dist/guida/assets/chunks/requirementDiagram-BXWQKSXE.BBuRGBW9.js +84 -0
- package/dist/guida/assets/chunks/sankeyDiagram-P5KCCOFB.Dtsk75it.js +40 -0
- package/dist/guida/assets/chunks/sequenceDiagram-WJ2MYXX4.CcOUgc_M.js +162 -0
- package/dist/guida/assets/chunks/sizeCapture-INFHLROL.BicZWmaf.js +1 -0
- package/dist/guida/assets/chunks/stateDiagram-D77RDMKH.C2MvblKd.js +1 -0
- package/dist/guida/assets/chunks/stateDiagram-v2-MP3YSRHH.B_xN3KdF.js +1 -0
- package/dist/guida/assets/chunks/swimlanes-42K2YHIH.D4u0nDGp.js +1 -0
- package/dist/guida/assets/chunks/swimlanesDiagram-VR7AAH4N.D-JOOQbE.js +8 -0
- package/dist/guida/assets/chunks/theme.Bq6mfDhZ.js +60 -0
- package/dist/guida/assets/chunks/timeline-definition-24CTP7MA.BpHSmeC-.js +120 -0
- package/dist/guida/assets/chunks/vennDiagram-4TSXK5OY.79Gaotvr.js +34 -0
- package/dist/guida/assets/chunks/wardleyDiagram-VM6X3IG4.CzXZt9WD.js +78 -0
- package/dist/guida/assets/chunks/xychartDiagram-S5SC5T6Z.fZ7ibbyL.js +7 -0
- package/dist/guida/assets/connectors_README.md.ChyXSf73.js +1 -0
- package/dist/guida/assets/connectors_README.md.ChyXSf73.lean.js +1 -0
- package/dist/guida/assets/connectors_file.md.B1NJe0VJ.js +76 -0
- package/dist/guida/assets/connectors_file.md.B1NJe0VJ.lean.js +1 -0
- package/dist/guida/assets/connectors_http.md.B8utPijY.js +50 -0
- package/dist/guida/assets/connectors_http.md.B8utPijY.lean.js +1 -0
- package/dist/guida/assets/connectors_imap.md.CMMpZVXn.js +38 -0
- package/dist/guida/assets/connectors_imap.md.CMMpZVXn.lean.js +1 -0
- package/dist/guida/assets/connectors_jira.md.0DJvrRXH.js +210 -0
- package/dist/guida/assets/connectors_jira.md.0DJvrRXH.lean.js +1 -0
- package/dist/guida/assets/connectors_noeva.md.DkxCC8Ey.js +50 -0
- package/dist/guida/assets/connectors_noeva.md.DkxCC8Ey.lean.js +1 -0
- package/dist/guida/assets/connectors_oauth.md.DUHajB0u.js +7 -0
- package/dist/guida/assets/connectors_oauth.md.DUHajB0u.lean.js +1 -0
- package/dist/guida/assets/connectors_postgres.md.DPpHqXkc.js +92 -0
- package/dist/guida/assets/connectors_postgres.md.DPpHqXkc.lean.js +1 -0
- package/dist/guida/assets/connectors_process.md.lQLmWbGN.js +32 -0
- package/dist/guida/assets/connectors_process.md.lQLmWbGN.lean.js +1 -0
- package/dist/guida/assets/connectors_sendgrid.md.dJzIWepq.js +16 -0
- package/dist/guida/assets/connectors_sendgrid.md.dJzIWepq.lean.js +1 -0
- package/dist/guida/assets/connectors_smtp.md.DXXvaNxD.js +22 -0
- package/dist/guida/assets/connectors_smtp.md.DXXvaNxD.lean.js +1 -0
- package/dist/guida/assets/connectors_sqlserver.md.D1sYNLEq.js +89 -0
- package/dist/guida/assets/connectors_sqlserver.md.D1sYNLEq.lean.js +1 -0
- package/dist/guida/assets/conventions_node-columns.md.D9K1peUx.js +21 -0
- package/dist/guida/assets/conventions_node-columns.md.D9K1peUx.lean.js +1 -0
- package/dist/guida/assets/conventions_node-descriptor.md.D8Si7E2S.js +79 -0
- package/dist/guida/assets/conventions_node-descriptor.md.D8Si7E2S.lean.js +1 -0
- package/dist/guida/assets/conventions_run-report.md.D_pG07VG.js +203 -0
- package/dist/guida/assets/conventions_run-report.md.D_pG07VG.lean.js +1 -0
- package/dist/guida/assets/conventions_run-trace.md.nKS_RgLC.js +111 -0
- package/dist/guida/assets/conventions_run-trace.md.nKS_RgLC.lean.js +1 -0
- package/dist/guida/assets/conventions_variabili-del-core.md.BU6BD6w_.js +1 -0
- package/dist/guida/assets/conventions_variabili-del-core.md.BU6BD6w_.lean.js +1 -0
- package/dist/guida/assets/conventions_versioni-di-pipeline.md.cy5nsizS.js +1 -0
- package/dist/guida/assets/conventions_versioni-di-pipeline.md.cy5nsizS.lean.js +1 -0
- package/dist/guida/assets/guide_claude-code_index.md.CxVSru8e.js +5 -0
- package/dist/guida/assets/guide_claude-code_index.md.CxVSru8e.lean.js +1 -0
- package/dist/guida/assets/guide_claude-code_prompt.md.C7uETA9W.js +1 -0
- package/dist/guida/assets/guide_claude-code_prompt.md.C7uETA9W.lean.js +1 -0
- package/dist/guida/assets/guide_claude-code_strumenti.md.BWhQnAlY.js +1 -0
- package/dist/guida/assets/guide_claude-code_strumenti.md.BWhQnAlY.lean.js +1 -0
- package/dist/guida/assets/guide_grafo.md.Dy8_YMeh.js +1 -0
- package/dist/guida/assets/guide_grafo.md.Dy8_YMeh.lean.js +1 -0
- package/dist/guida/assets/guide_usare_app-desktop.md.CcDu8cJL.js +1 -0
- package/dist/guida/assets/guide_usare_app-desktop.md.CcDu8cJL.lean.js +1 -0
- package/dist/guida/assets/guide_usare_esito-di-una-run.md.DkvAOPBE.js +7 -0
- package/dist/guida/assets/guide_usare_esito-di-una-run.md.DkvAOPBE.lean.js +1 -0
- package/dist/guida/assets/guide_usare_index.md.BJqi3P7J.js +1 -0
- package/dist/guida/assets/guide_usare_index.md.BJqi3P7J.lean.js +1 -0
- package/dist/guida/assets/index.md.kMhsF-sv.js +1 -0
- package/dist/guida/assets/index.md.kMhsF-sv.lean.js +1 -0
- package/dist/guida/assets/inter-italic-cyrillic-ext.r48I6akx.woff2 +0 -0
- package/dist/guida/assets/inter-italic-cyrillic.By2_1cv3.woff2 +0 -0
- package/dist/guida/assets/inter-italic-greek-ext.1u6EdAuj.woff2 +0 -0
- package/dist/guida/assets/inter-italic-greek.DJ8dCoTZ.woff2 +0 -0
- package/dist/guida/assets/inter-italic-latin-ext.CN1xVJS-.woff2 +0 -0
- package/dist/guida/assets/inter-italic-latin.C2AdPX0b.woff2 +0 -0
- package/dist/guida/assets/inter-italic-vietnamese.BSbpV94h.woff2 +0 -0
- package/dist/guida/assets/inter-roman-cyrillic-ext.BBPuwvHQ.woff2 +0 -0
- package/dist/guida/assets/inter-roman-cyrillic.C5lxZ8CY.woff2 +0 -0
- package/dist/guida/assets/inter-roman-greek-ext.CqjqNYQ-.woff2 +0 -0
- package/dist/guida/assets/inter-roman-greek.BBVDIX6e.woff2 +0 -0
- package/dist/guida/assets/inter-roman-latin-ext.4ZJIpNVo.woff2 +0 -0
- package/dist/guida/assets/inter-roman-latin.Di8DUHzh.woff2 +0 -0
- package/dist/guida/assets/inter-roman-vietnamese.BjW4sHH5.woff2 +0 -0
- package/dist/guida/assets/nodes_README.md.CHGy_go6.js +51 -0
- package/dist/guida/assets/nodes_README.md.CHGy_go6.lean.js +1 -0
- package/dist/guida/assets/nodes_action.md.DOsTbV-i.js +25 -0
- package/dist/guida/assets/nodes_action.md.DOsTbV-i.lean.js +1 -0
- package/dist/guida/assets/nodes_ai.md.CVtP9gEJ.js +9 -0
- package/dist/guida/assets/nodes_ai.md.CVtP9gEJ.lean.js +1 -0
- package/dist/guida/assets/nodes_join.md.DSYbIDG6.js +17 -0
- package/dist/guida/assets/nodes_join.md.DSYbIDG6.lean.js +1 -0
- package/dist/guida/assets/nodes_lookup.md.BI8tgBIq.js +28 -0
- package/dist/guida/assets/nodes_lookup.md.BI8tgBIq.lean.js +1 -0
- package/dist/guida/assets/nodes_pipeline.md.DIMlyprm.js +87 -0
- package/dist/guida/assets/nodes_pipeline.md.DIMlyprm.lean.js +1 -0
- package/dist/guida/assets/nodes_route.md.Bt9qH6OA.js +9 -0
- package/dist/guida/assets/nodes_route.md.Bt9qH6OA.lean.js +1 -0
- package/dist/guida/assets/nodes_sink.md.yAf_z4wO.js +43 -0
- package/dist/guida/assets/nodes_sink.md.yAf_z4wO.lean.js +1 -0
- package/dist/guida/assets/nodes_source.md.V_vlNfOz.js +33 -0
- package/dist/guida/assets/nodes_source.md.V_vlNfOz.lean.js +1 -0
- package/dist/guida/assets/nodes_task.md.Dk6VB7as.js +13 -0
- package/dist/guida/assets/nodes_task.md.Dk6VB7as.lean.js +1 -0
- package/dist/guida/assets/nodes_transform.md.Bv5fg2Xx.js +241 -0
- package/dist/guida/assets/nodes_transform.md.Bv5fg2Xx.lean.js +1 -0
- package/dist/guida/assets/nodes_try-catch.md.DCYydDPm.js +18 -0
- package/dist/guida/assets/nodes_try-catch.md.DCYydDPm.lean.js +1 -0
- package/dist/guida/assets/nodes_union.md.CznVzHTK.js +5 -0
- package/dist/guida/assets/nodes_union.md.CznVzHTK.lean.js +1 -0
- package/dist/guida/assets/pipelines_README.md.Ee6LS-SU.js +73 -0
- package/dist/guida/assets/pipelines_README.md.Ee6LS-SU.lean.js +1 -0
- package/dist/guida/assets/pipelines_crm-leads-sync.md.BlZUnxYn.js +16 -0
- package/dist/guida/assets/pipelines_crm-leads-sync.md.BlZUnxYn.lean.js +1 -0
- package/dist/guida/assets/pipelines_cross-workspace-csv-merge.md.CsRE6GNe.js +1 -0
- package/dist/guida/assets/pipelines_cross-workspace-csv-merge.md.CsRE6GNe.lean.js +1 -0
- package/dist/guida/assets/pipelines_movimenti-per-conto.md.DRGfO1_5.js +1 -0
- package/dist/guida/assets/pipelines_movimenti-per-conto.md.DRGfO1_5.lean.js +1 -0
- package/dist/guida/assets/pipelines_orders-enriched-daily.md.jESRtvBo.js +1 -0
- package/dist/guida/assets/pipelines_orders-enriched-daily.md.jESRtvBo.lean.js +1 -0
- package/dist/guida/assets/pipelines_test-posta.md.Cxo_DGBs.js +1 -0
- package/dist/guida/assets/pipelines_test-posta.md.Cxo_DGBs.lean.js +1 -0
- package/dist/guida/assets/runbooks_aggiornamento-pm2.md.f3LAxif4.js +25 -0
- package/dist/guida/assets/runbooks_aggiornamento-pm2.md.f3LAxif4.lean.js +1 -0
- package/dist/guida/assets/runbooks_deployment.md.DvIOOsoG.js +15 -0
- package/dist/guida/assets/runbooks_deployment.md.DvIOOsoG.lean.js +1 -0
- package/dist/guida/assets/runbooks_etl-worker.md.Bu05cEgT.js +28 -0
- package/dist/guida/assets/runbooks_etl-worker.md.Bu05cEgT.lean.js +1 -0
- package/dist/guida/assets/runbooks_graph-server.md.BOXZqdXC.js +68 -0
- package/dist/guida/assets/runbooks_graph-server.md.BOXZqdXC.lean.js +1 -0
- package/dist/guida/assets/runbooks_mask-key.md.nZkhAjBf.js +1 -0
- package/dist/guida/assets/runbooks_mask-key.md.nZkhAjBf.lean.js +1 -0
- package/dist/guida/assets/runbooks_oauth-google-posta.md.Bs7QTkmU.js +19 -0
- package/dist/guida/assets/runbooks_oauth-google-posta.md.Bs7QTkmU.lean.js +1 -0
- package/dist/guida/assets/runbooks_rollback-di-pipeline.md.6US0Wsdc.js +6 -0
- package/dist/guida/assets/runbooks_rollback-di-pipeline.md.6US0Wsdc.lean.js +1 -0
- package/dist/guida/assets/runbooks_scd2-rehash.md.DtmuXA67.js +7 -0
- package/dist/guida/assets/runbooks_scd2-rehash.md.DtmuXA67.lean.js +1 -0
- package/dist/guida/assets/runbooks_sql-task-truncate-swap.md.C8viT-fp.js +36 -0
- package/dist/guida/assets/runbooks_sql-task-truncate-swap.md.C8viT-fp.lean.js +1 -0
- package/dist/guida/assets/runbooks_stato-incrementale.md.hGZ8FlbZ.js +9 -0
- package/dist/guida/assets/runbooks_stato-incrementale.md.hGZ8FlbZ.lean.js +1 -0
- package/dist/guida/assets/style.BNn_AkzN.css +1 -0
- package/dist/guida/assets/sub-pipelines_README.md.CF8gmNPU.js +55 -0
- package/dist/guida/assets/sub-pipelines_README.md.CF8gmNPU.lean.js +1 -0
- package/dist/guida/assets/sub-pipelines_riepilogo-ordini.md.qCBZJ4nh.js +1 -0
- package/dist/guida/assets/sub-pipelines_riepilogo-ordini.md.qCBZJ4nh.lean.js +1 -0
- package/dist/guida/connectors/README.html +27 -0
- package/dist/guida/connectors/file.html +102 -0
- package/dist/guida/connectors/http.html +76 -0
- package/dist/guida/connectors/imap.html +64 -0
- package/dist/guida/connectors/jira.html +236 -0
- package/dist/guida/connectors/noeva.html +76 -0
- package/dist/guida/connectors/oauth.html +33 -0
- package/dist/guida/connectors/postgres.html +118 -0
- package/dist/guida/connectors/process.html +58 -0
- package/dist/guida/connectors/sendgrid.html +42 -0
- package/dist/guida/connectors/smtp.html +48 -0
- package/dist/guida/connectors/sqlserver.html +115 -0
- package/dist/guida/conventions/node-columns.html +47 -0
- package/dist/guida/conventions/node-descriptor.html +105 -0
- package/dist/guida/conventions/run-report.html +229 -0
- package/dist/guida/conventions/run-trace.html +137 -0
- package/dist/guida/conventions/variabili-del-core.html +27 -0
- package/dist/guida/conventions/versioni-di-pipeline.html +35 -0
- package/dist/guida/favicon.svg +1 -0
- package/dist/guida/fonts/GRUPPO4D.otf +0 -0
- package/dist/guida/fonts/hanken-grotesk-400-latin-ext.woff2 +0 -0
- package/dist/guida/fonts/hanken-grotesk-400-latin.woff2 +0 -0
- package/dist/guida/fonts/hanken-grotesk-500-latin-ext.woff2 +0 -0
- package/dist/guida/fonts/hanken-grotesk-500-latin.woff2 +0 -0
- package/dist/guida/fonts/hanken-grotesk-600-latin-ext.woff2 +0 -0
- package/dist/guida/fonts/hanken-grotesk-600-latin.woff2 +0 -0
- package/dist/guida/fonts/hanken-grotesk-700-latin-ext.woff2 +0 -0
- package/dist/guida/fonts/hanken-grotesk-700-latin.woff2 +0 -0
- package/dist/guida/fonts/jetbrains-mono-400-latin-ext.woff2 +0 -0
- package/dist/guida/fonts/jetbrains-mono-400-latin.woff2 +0 -0
- package/dist/guida/fonts/jetbrains-mono-500-latin-ext.woff2 +0 -0
- package/dist/guida/fonts/jetbrains-mono-500-latin.woff2 +0 -0
- package/dist/guida/fonts/jetbrains-mono-600-latin-ext.woff2 +0 -0
- package/dist/guida/fonts/jetbrains-mono-600-latin.woff2 +0 -0
- package/dist/guida/fonts/sora-400-latin-ext.woff2 +0 -0
- package/dist/guida/fonts/sora-400-latin.woff2 +0 -0
- package/dist/guida/fonts/sora-500-latin-ext.woff2 +0 -0
- package/dist/guida/fonts/sora-500-latin.woff2 +0 -0
- package/dist/guida/fonts/sora-600-latin-ext.woff2 +0 -0
- package/dist/guida/fonts/sora-600-latin.woff2 +0 -0
- package/dist/guida/fonts/sora-700-latin-ext.woff2 +0 -0
- package/dist/guida/fonts/sora-700-latin.woff2 +0 -0
- package/dist/guida/guide/claude-code/index.html +31 -0
- package/dist/guida/guide/claude-code/prompt.html +31 -0
- package/dist/guida/guide/claude-code/strumenti.html +27 -0
- package/dist/guida/guide/grafo.html +65 -0
- package/dist/guida/guide/usare/app-desktop.html +27 -0
- package/dist/guida/guide/usare/esito-di-una-run.html +33 -0
- package/dist/guida/guide/usare/index.html +27 -0
- package/dist/guida/hashmap.json +1 -0
- package/dist/guida/index.html +45 -0
- package/dist/guida/logo-dark.png +0 -0
- package/dist/guida/logo-light.png +0 -0
- package/dist/guida/nodes/README.html +77 -0
- package/dist/guida/nodes/action.html +63 -0
- package/dist/guida/nodes/ai.html +45 -0
- package/dist/guida/nodes/join.html +51 -0
- package/dist/guida/nodes/lookup.html +64 -0
- package/dist/guida/nodes/pipeline.html +123 -0
- package/dist/guida/nodes/route.html +45 -0
- package/dist/guida/nodes/sink.html +75 -0
- package/dist/guida/nodes/source.html +69 -0
- package/dist/guida/nodes/task.html +47 -0
- package/dist/guida/nodes/transform.html +277 -0
- package/dist/guida/nodes/try-catch.html +56 -0
- package/dist/guida/nodes/union.html +41 -0
- package/dist/guida/pagine.json +70 -0
- package/dist/guida/pipelines/README.html +99 -0
- package/dist/guida/pipelines/crm-leads-sync.html +68 -0
- package/dist/guida/pipelines/cross-workspace-csv-merge.html +59 -0
- package/dist/guida/pipelines/movimenti-per-conto.html +44 -0
- package/dist/guida/pipelines/orders-enriched-daily.html +68 -0
- package/dist/guida/pipelines/test-posta.html +46 -0
- package/dist/guida/runbooks/aggiornamento-pm2.html +51 -0
- package/dist/guida/runbooks/deployment.html +41 -0
- package/dist/guida/runbooks/etl-worker.html +54 -0
- package/dist/guida/runbooks/graph-server.html +94 -0
- package/dist/guida/runbooks/mask-key.html +28 -0
- package/dist/guida/runbooks/oauth-google-posta.html +45 -0
- package/dist/guida/runbooks/rollback-di-pipeline.html +32 -0
- package/dist/guida/runbooks/scd2-rehash.html +33 -0
- package/dist/guida/runbooks/sql-task-truncate-swap.html +62 -0
- package/dist/guida/runbooks/stato-incrementale.html +35 -0
- package/dist/guida/sub-pipelines/README.html +81 -0
- package/dist/guida/sub-pipelines/riepilogo-ordini.html +38 -0
- package/dist/guida/vp-icons.css +0 -0
- package/dist/index.d.ts +2353 -0
- package/dist/index.js +1 -0
- package/dist/invio-Dwz3J7sP.d.ts +101 -0
- package/dist/istanza-per-il-piano-CucqUF7b.d.ts +24 -0
- package/dist/mail-Bo8XEneS.d.ts +41 -0
- package/dist/manifest-variabili-U1UfPDfF.d.ts +138 -0
- package/dist/pipelines.d.ts +17 -0
- package/dist/pipelines.js +1 -0
- package/dist/registry-tB3G64MU.d.ts +70 -0
- package/dist/runnable-pipeline-CArkLzfv.d.ts +105 -0
- package/dist/sql-lookup-Bx2-TWsm.d.ts +91 -0
- package/dist/testing.d.ts +264 -0
- package/dist/testing.js +2 -0
- package/dist/trasporto-DpPLCEQ1.d.ts +108 -0
- package/dist/types-BVA7BIou.d.ts +45 -0
- package/dist/variabili-dichiarate-DmfcxsT9.d.ts +28 -0
- package/docs/.vitepress/config.ts +209 -0
- package/docs/.vitepress/data/claude.data.ts +65 -0
- package/docs/.vitepress/data/concepts.data.ts +136 -0
- package/docs/.vitepress/data/pipelines.data.ts +24 -0
- package/docs/.vitepress/data/sub-pipelines.data.ts +18 -0
- package/docs/.vitepress/lib/claude-assets.ts +109 -0
- package/docs/.vitepress/lib/client-config.ts +113 -0
- package/docs/.vitepress/lib/core-links.ts +69 -0
- package/docs/.vitepress/lib/dag-geometry.ts +169 -0
- package/docs/.vitepress/lib/doc-links.ts +91 -0
- package/docs/.vitepress/lib/embed-protocol.ts +82 -0
- package/docs/.vitepress/lib/example-graph.ts +552 -0
- package/docs/.vitepress/lib/instance-projection.ts +385 -0
- package/docs/.vitepress/lib/markdown-table.ts +53 -0
- package/docs/.vitepress/lib/markdown-text.ts +129 -0
- package/docs/.vitepress/lib/mermaid-fence.ts +37 -0
- package/docs/.vitepress/lib/node-demos/action.ts +87 -0
- package/docs/.vitepress/lib/node-demos/ai.ts +91 -0
- package/docs/.vitepress/lib/node-demos/beats.ts +41 -0
- package/docs/.vitepress/lib/node-demos/flow.ts +73 -0
- package/docs/.vitepress/lib/node-demos/index.ts +36 -0
- package/docs/.vitepress/lib/node-demos/join.ts +82 -0
- package/docs/.vitepress/lib/node-demos/lookup.ts +116 -0
- package/docs/.vitepress/lib/node-demos/pipeline.ts +87 -0
- package/docs/.vitepress/lib/node-demos/route.ts +73 -0
- package/docs/.vitepress/lib/node-demos/shapes.ts +31 -0
- package/docs/.vitepress/lib/node-demos/sink.ts +102 -0
- package/docs/.vitepress/lib/node-demos/source.ts +87 -0
- package/docs/.vitepress/lib/node-demos/steps.ts +45 -0
- package/docs/.vitepress/lib/node-demos/task.ts +84 -0
- package/docs/.vitepress/lib/node-demos/transform.ts +84 -0
- package/docs/.vitepress/lib/node-demos/try-catch.ts +123 -0
- package/docs/.vitepress/lib/node-demos/types.ts +159 -0
- package/docs/.vitepress/lib/node-demos/union.ts +83 -0
- package/docs/.vitepress/lib/pipeline-diagrams.ts +115 -0
- package/docs/.vitepress/lib/pipeline-prompt.ts +252 -0
- package/docs/.vitepress/lib/pipeline-versions.ts +350 -0
- package/docs/.vitepress/lib/placeholder-lines.ts +72 -0
- package/docs/.vitepress/lib/plan-diagram.ts +405 -0
- package/docs/.vitepress/lib/plan-layout.ts +375 -0
- package/docs/.vitepress/lib/published-docs.ts +125 -0
- package/docs/.vitepress/lib/shared-config.ts +98 -0
- package/docs/.vitepress/lib/sidebar.ts +63 -0
- package/docs/.vitepress/lib/site.ts +109 -0
- package/docs/.vitepress/shims.d.ts +6 -0
- package/docs/.vitepress/theme/components/ClaudeCatalog.vue +264 -0
- package/docs/.vitepress/theme/components/DagNodeShape.vue +246 -0
- package/docs/.vitepress/theme/components/EmbedBridge.vue +65 -0
- package/docs/.vitepress/theme/components/GraphDemo.vue +1032 -0
- package/docs/.vitepress/theme/components/GraphExplorer.vue +568 -0
- package/docs/.vitepress/theme/components/HeroDag.vue +412 -0
- package/docs/.vitepress/theme/components/HomeLanding.vue +633 -0
- package/docs/.vitepress/theme/components/LevelNavigator.vue +273 -0
- package/docs/.vitepress/theme/components/MermaidDiagram.vue +127 -0
- package/docs/.vitepress/theme/components/NodeDemo.vue +18 -0
- package/docs/.vitepress/theme/components/PipelineDag.vue +63 -0
- package/docs/.vitepress/theme/components/PipelineVersions.vue +266 -0
- package/docs/.vitepress/theme/components/PromptBuilder.vue +659 -0
- package/docs/.vitepress/theme/components/SubPipelineDag.vue +93 -0
- package/docs/.vitepress/theme/components/SubPipelineUsage.vue +89 -0
- package/docs/.vitepress/theme/fonts.css +298 -0
- package/docs/.vitepress/theme/index.ts +51 -0
- package/docs/.vitepress/theme/style.css +418 -0
- package/docs/public/favicon.svg +1 -0
- package/docs/public/fonts/GRUPPO4D.otf +0 -0
- package/docs/public/fonts/hanken-grotesk-400-latin-ext.woff2 +0 -0
- package/docs/public/fonts/hanken-grotesk-400-latin.woff2 +0 -0
- package/docs/public/fonts/hanken-grotesk-500-latin-ext.woff2 +0 -0
- package/docs/public/fonts/hanken-grotesk-500-latin.woff2 +0 -0
- package/docs/public/fonts/hanken-grotesk-600-latin-ext.woff2 +0 -0
- package/docs/public/fonts/hanken-grotesk-600-latin.woff2 +0 -0
- package/docs/public/fonts/hanken-grotesk-700-latin-ext.woff2 +0 -0
- package/docs/public/fonts/hanken-grotesk-700-latin.woff2 +0 -0
- package/docs/public/fonts/jetbrains-mono-400-latin-ext.woff2 +0 -0
- package/docs/public/fonts/jetbrains-mono-400-latin.woff2 +0 -0
- package/docs/public/fonts/jetbrains-mono-500-latin-ext.woff2 +0 -0
- package/docs/public/fonts/jetbrains-mono-500-latin.woff2 +0 -0
- package/docs/public/fonts/jetbrains-mono-600-latin-ext.woff2 +0 -0
- package/docs/public/fonts/jetbrains-mono-600-latin.woff2 +0 -0
- package/docs/public/fonts/sora-400-latin-ext.woff2 +0 -0
- package/docs/public/fonts/sora-400-latin.woff2 +0 -0
- package/docs/public/fonts/sora-500-latin-ext.woff2 +0 -0
- package/docs/public/fonts/sora-500-latin.woff2 +0 -0
- package/docs/public/fonts/sora-600-latin-ext.woff2 +0 -0
- package/docs/public/fonts/sora-600-latin.woff2 +0 -0
- package/docs/public/fonts/sora-700-latin-ext.woff2 +0 -0
- package/docs/public/fonts/sora-700-latin.woff2 +0 -0
- package/docs/public/logo-dark.png +0 -0
- package/docs/public/logo-light.png +0 -0
- package/kit/agents/doc-syncer.md +89 -0
- package/kit/agents/etl-reviewer.md +104 -0
- package/kit/agents/graph-auditor.md +241 -0
- package/kit/agents/graph-builder.md +129 -0
- package/kit/agents/schema-contract-auditor.md +59 -0
- package/kit/agents/test-author.md +71 -0
- package/kit/blocco-agents.md +32 -0
- package/kit/boilerplate/.env.example +15 -0
- package/kit/boilerplate/.github/workflows/ci.yml +39 -0
- package/kit/boilerplate/.github/workflows/image.yml +86 -0
- package/kit/boilerplate/AGENTS.md +15 -0
- package/kit/boilerplate/CLAUDE.md +1 -0
- package/kit/boilerplate/docs/pipelines/.gitkeep +0 -0
- package/kit/boilerplate/ecosystem.config.cjs +5 -0
- package/kit/boilerplate/eslint.config.js +1 -0
- package/kit/boilerplate/etl.config.ts +11 -0
- package/kit/boilerplate/gitignore +21 -0
- package/kit/boilerplate/npmrc +2 -0
- package/kit/boilerplate/package.json +24 -0
- package/kit/boilerplate/prettierignore +5 -0
- package/kit/boilerplate/src/pipelines/.gitkeep +0 -0
- package/kit/boilerplate/tsconfig.json +1 -0
- package/kit/boilerplate/vitest.config.ts +1 -0
- package/kit/hooks/branch-guard.sh +56 -0
- package/kit/skills/doc-sync/SKILL.md +57 -0
- package/kit/skills/etl-graph/SKILL.md +309 -0
- package/kit/skills/etl-graph/references/data-patterns.md +327 -0
- package/kit/skills/etl-graph/references/error-handling.md +269 -0
- package/kit/skills/etl-graph/references/purpose.md +82 -0
- package/kit/skills/etl-graph/references/ui-contract.md +109 -0
- package/kit/skills/etl-graph/references/wiring.md +371 -0
- package/kit/skills/etl-review/SKILL.md +40 -0
- package/kit/skills/new-connector/SKILL.md +46 -0
- package/kit/skills/new-pipeline/SKILL.md +34 -0
- package/kit/skills/new-pipeline/scheda.md +82 -0
- package/kit/skills/new-transform/SKILL.md +29 -0
- package/package.json +197 -3
- package/presets/eslint.d.ts +8 -0
- package/presets/eslint.js +54 -0
- package/presets/tsconfig.json +27 -0
- package/presets/vitest.d.ts +8 -0
- package/presets/vitest.js +25 -0
package/README.md
CHANGED
|
@@ -1,3 +1,213 @@
|
|
|
1
|
-
#
|
|
1
|
+
# noeva-etl
|
|
2
2
|
|
|
3
|
-
|
|
3
|
+
Piattaforma **code-first** per applicazioni di Business Intelligence con forte componente
|
|
4
|
+
**ETL** (estrazione → trasformazione → caricamento), in stile Talend ma versionata, testata
|
|
5
|
+
e documentata come software: TypeScript, `pnpm`, `vitest`.
|
|
6
|
+
|
|
7
|
+
> 📄 Panoramica condivisibile del prodotto: **[Technical Overview](docs/TECHNICAL_OVERVIEW.md)**.
|
|
8
|
+
|
|
9
|
+
## Perché code-first
|
|
10
|
+
|
|
11
|
+
Le pipeline sono codice: versionabili, testabili, rivedibili in PR, riusabili. Niente job
|
|
12
|
+
grafici opachi, niente lock-in. Vedi [ADR-0002](docs/architecture/adr/0002-typescript-codefirst-etl.md).
|
|
13
|
+
|
|
14
|
+
## Quick start
|
|
15
|
+
|
|
16
|
+
```bash
|
|
17
|
+
pnpm install
|
|
18
|
+
pnpm run check # typecheck + lint + format + test:cov + gate delle versioni + gate dei changeset + build + API pubblica
|
|
19
|
+
# (report di api-extractor) + test del pacchetto + smoke del tarball + guida del core
|
|
20
|
+
# — lo stesso gate della CI, che gira sulle PR verso
|
|
21
|
+
# dev e main e sui push su main
|
|
22
|
+
pnpm run test:watch
|
|
23
|
+
pnpm run docs:dev # la guida del core in locale con etl docs dev (ADR-0043, ADR-0095 §5)
|
|
24
|
+
|
|
25
|
+
# CLI: elenca ed esegui le pipeline (legge le env da .env)
|
|
26
|
+
pnpm run etl list
|
|
27
|
+
pnpm run etl run langfuse-sessions-daily
|
|
28
|
+
|
|
29
|
+
# storico locale: ogni run conclusa lascia il suo report in .runs/ (ADR-0039),
|
|
30
|
+
# consultabile senza UI e senza rete
|
|
31
|
+
pnpm run etl runs list
|
|
32
|
+
pnpm run etl runs show <runId> # basta un prefisso non ambiguo
|
|
33
|
+
pnpm run etl runs list --pipeline langfuse-sessions-daily --limit 5
|
|
34
|
+
pnpm run etl runs show <runId> --json # report grezzo, per comporre con jq
|
|
35
|
+
|
|
36
|
+
# run tracciata: il percorso dei primi record di ogni source e dei loro derivati,
|
|
37
|
+
# con i valori in chiaro, in .runs/<runId>.trace.json (ADR-0088,
|
|
38
|
+
# docs/conventions/run-trace.md); --trace-max-records fissa il tetto (default 1000),
|
|
39
|
+
# --trace-max-errors quello dei record in errore fuori dal campione (default 1000)
|
|
40
|
+
pnpm run etl run orders-enriched-daily --trace --trace-sample 10
|
|
41
|
+
|
|
42
|
+
# stato di pipeline: i watermark delle source incrementali (ADR-0068). Locale in
|
|
43
|
+
# .state/, oppure quello del worker con --workspace <id> — vedi
|
|
44
|
+
# docs/runbooks/stato-incrementale.md
|
|
45
|
+
pnpm run etl state show <pipeline>
|
|
46
|
+
pnpm run etl state reset <pipeline> --node <id> --to <valore> --reason "<motivo>"
|
|
47
|
+
|
|
48
|
+
# ambiente: le variabili obbligatorie mancanti nell'intero catalogo, con chi le
|
|
49
|
+
# dichiara (core, istanza, pipeline), e le chiavi del .env che nessuno dichiara
|
|
50
|
+
# (ADR-0094 §1) — vedi docs/runbooks/aggiornamento-pm2.md
|
|
51
|
+
pnpm run etl env check
|
|
52
|
+
|
|
53
|
+
# conformità del catalogo (ADR-0093 §4): scopo dei nodi, changelog, piano senza
|
|
54
|
+
# credenziali e senza segreti (ambiente di prova da .env.example), cartelle orfane in
|
|
55
|
+
# src/pipelines/ — una riga per violazione, exit 1 se ce n'è una
|
|
56
|
+
pnpm run catalog:check
|
|
57
|
+
|
|
58
|
+
# sito di documentazione del repo (ADR-0095 §6), con tema e componenti dal pacchetto:
|
|
59
|
+
# si ferma su scheda o scopo mancante, link rotto o core: non risolto, una riga per
|
|
60
|
+
# problema — vedi docs/conventions/documentation.md
|
|
61
|
+
pnpm run docs:build
|
|
62
|
+
|
|
63
|
+
# versioni di pipeline (ADR-0086): lo snapshot del piano della versione corrente,
|
|
64
|
+
# calcolato senza .env — vedi docs/conventions/versioni-di-pipeline.md
|
|
65
|
+
pnpm run pipeline:snapshot <pipeline>
|
|
66
|
+
# il gate delle versioni: una pipeline cambiata rispetto a origin/dev (origin/main su
|
|
67
|
+
# hotfix/* verso main) vuole bump e voce — vedi docs/conventions/versioni-di-pipeline.md
|
|
68
|
+
pnpm run pipeline:check
|
|
69
|
+
# rollback di una pipeline sola a una versione andata in produzione: prepara un branch
|
|
70
|
+
# hotfix/* da origin/main, senza committare — vedi docs/runbooks/rollback-di-pipeline.md
|
|
71
|
+
pnpm run pipeline:rollback <pipeline> <N> --motivo "<testo>" --ticket <chiave>
|
|
72
|
+
|
|
73
|
+
# in un repo cliente: il boilerplate in una cartella vuota, il gate completo,
|
|
74
|
+
# lo stesso della CI, il kit dell'agente riscritto dal core installato, e
|
|
75
|
+
# l'aggiornamento del core: --check in sola lettura, poi il bump coi file gestiti
|
|
76
|
+
# (ADR-0094 §4–5) — vedi docs/GUIDA_SVILUPPO.md §2, §7 e §10
|
|
77
|
+
pnpm exec etl init <slug>
|
|
78
|
+
pnpm exec etl ci
|
|
79
|
+
pnpm exec etl agent sync
|
|
80
|
+
pnpm exec etl upgrade --check
|
|
81
|
+
pnpm exec etl upgrade
|
|
82
|
+
|
|
83
|
+
# daemon: polling continuo su processes (worker_type da env; uno o più workspace,
|
|
84
|
+
# NOEVA_WORKSPACE_IDS per il multi-workspace) — vedi docs/runbooks/etl-worker.md
|
|
85
|
+
pnpm run etl worker
|
|
86
|
+
```
|
|
87
|
+
|
|
88
|
+
Requisiti: Node ≥ 20, pnpm 9.
|
|
89
|
+
|
|
90
|
+
## Distribuzione (Docker / CLI)
|
|
91
|
+
|
|
92
|
+
Quello che si mette in servizio è un **repo cliente** a un commit, in due confezioni avviate
|
|
93
|
+
entrambe con `etl serve` ([ADR-0094](docs/architecture/adr/0094-artefatto-versioni-e-ci-del-repo-cliente.md)):
|
|
94
|
+
l'**immagine container**, costruita dal file gestito `image.yml` col Dockerfile del pacchetto
|
|
95
|
+
(`@noeva/etl-core/deploy/Dockerfile`) e pubblicata su GHCR con tag = SHA, oppure **PM2 dai
|
|
96
|
+
sorgenti**, con un `ecosystem.config.cjs` di una riga su `@noeva/etl-core/pm2`. Runbook:
|
|
97
|
+
[Deploy](docs/runbooks/deployment.md#immagine-del-repo-cliente) e
|
|
98
|
+
[Aggiornare un deploy PM2](docs/runbooks/aggiornamento-pm2.md).
|
|
99
|
+
|
|
100
|
+
L'entrypoint è la CLI `etl`, che carica da sola il `.env` alla radice del repo; il resto della
|
|
101
|
+
config arriva da variabili d'ambiente. Tre modi di avviarla:
|
|
102
|
+
|
|
103
|
+
- **`serve`** — il `CMD` di default dell'immagine: nello stesso processo espone i grafi via
|
|
104
|
+
HTTP per la UI **e** avvia i worker (un poller su `processes` per workspace). Un solo
|
|
105
|
+
container fa girare tutto ([ADR-0028](docs/architecture/adr/0028-serve-colocato-worker.md),
|
|
106
|
+
[runbook](docs/runbooks/graph-server.md)). Lancia anche le run tracciate chieste dall'app
|
|
107
|
+
desktop sulla stessa macchina ([ADR-0090](docs/architecture/adr/0090-run-tracciata-lanciata-da-etl-serve.md)).
|
|
108
|
+
- **`worker`** — solo i poller, senza server; utile per scalare i worker a parte, ma **mai in
|
|
109
|
+
parallelo a un `serve`** nello stesso ambiente, o i job vengono presi due volte
|
|
110
|
+
([runbook](docs/runbooks/etl-worker.md)). Il multi-workspace è la lista
|
|
111
|
+
`NOEVA_WORKSPACE_IDS` con un'unica `NOEVA_API_KEY` condivisa
|
|
112
|
+
([ADR-0021](docs/architecture/adr/0021-etl-worker-multi-workspace.md)).
|
|
113
|
+
- **`run <pipeline>`** — batch: un container esegue una pipeline e termina. Con `--trace` salva
|
|
114
|
+
anche la traccia dei record ([La traccia di una run](docs/conventions/run-trace.md)).
|
|
115
|
+
|
|
116
|
+
Il `Dockerfile` alla radice di questo repo costruisce ancora l'immagine del **core**, con tutte le
|
|
117
|
+
sue pipeline, per il job interno che gira da ECR finché non migra al suo repo cliente:
|
|
118
|
+
|
|
119
|
+
```bash
|
|
120
|
+
docker build -t noeva-etl .
|
|
121
|
+
docker run --rm --env-file .env -p 3005:3005 noeva-etl # serve: grafi + worker
|
|
122
|
+
docker run --rm noeva-etl list
|
|
123
|
+
docker run --rm --env-file .env noeva-etl run langfuse-sessions-daily
|
|
124
|
+
```
|
|
125
|
+
|
|
126
|
+
Deploy su **ECR** ed esecuzione rapida da ECR con gli script (solo worker):
|
|
127
|
+
|
|
128
|
+
```bash
|
|
129
|
+
./deploy-ecr.sh <cliente> # controlli + gate + build + push dell'immagine di un cliente (ADR-0104)
|
|
130
|
+
./run-ecr.sh langfuse-sessions-daily # pull da ECR ed esegui la pipeline (Docker Desktop)
|
|
131
|
+
```
|
|
132
|
+
|
|
133
|
+
La UI (`noeva-etl-ui`) **non** passa da ECR: è un'app desktop Tauri, che si builda nel suo
|
|
134
|
+
submodule con `pnpm tauri build` ([ADR-0025](docs/architecture/adr/0025-noeva-etl-ui-desktop-tauri.md),
|
|
135
|
+
che supera ADR-0023). In sviluppo `./dev-desktop.sh` avvia insieme `etl serve` e la finestra
|
|
136
|
+
Tauri.
|
|
137
|
+
|
|
138
|
+
Dettagli in [docs/runbooks/deployment.md](docs/runbooks/deployment.md) e
|
|
139
|
+
[ADR-0005](docs/architecture/adr/0005-distribuzione-container-cli.md).
|
|
140
|
+
|
|
141
|
+
## Concetti (mappa Talend → codice)
|
|
142
|
+
|
|
143
|
+
| Talend | Qui | File |
|
|
144
|
+
| ------------------------------ | ------------------------------------------------------------------- | ----------------------------- |
|
|
145
|
+
| Componente input/output | `Source<T>` / `Sink<T>` | `src/core/connector.ts` |
|
|
146
|
+
| Trasformazione | `Transform<I,O>` | `src/core/transform.ts` |
|
|
147
|
+
| Lookup su DB o API | Nodo `lookup` (lettura, SQL o REST) | `src/core/lookup.ts` |
|
|
148
|
+
| Componente AI | Nodo `ai` (domanda a un modello) | `src/core/ai.ts` |
|
|
149
|
+
| Output con `Main` | Nodo `action` (scrittura per record) | `src/core/action.ts` |
|
|
150
|
+
| `tXxxRow` (senza dati) | Nodo `task` (operazione senza record: truncate, scambio di tabelle) | `src/core/task.ts` |
|
|
151
|
+
| `OnSubjobOk` | Edge di controllo (`after` su `.task()` e `.source()`) | `src/core/control-flow.ts` |
|
|
152
|
+
| Job / flusso | `graph()...build()` | `src/core/graph-builder.ts` |
|
|
153
|
+
| Schema componente | Contratto Zod + `validate()` | `src/core/transform.ts` |
|
|
154
|
+
| Context | `RunContext` | `src/core/context.ts` |
|
|
155
|
+
| Reject flow | Dead-letter sink (per nodo) | `src/core/graph.ts` |
|
|
156
|
+
| Try/catch (ramo) | Nodo `try-catch` + porta `catch` | `src/core/graph.ts` |
|
|
157
|
+
| `tMap` con più output | Nodo `route` (una porta per condizione) | `src/core/route.ts` |
|
|
158
|
+
| `tUnite` | Nodo `union` (fan-in, record invariati) | `src/core/union.ts` |
|
|
159
|
+
| `tJoin` | Nodo `join` (due flussi per chiave) | `src/core/join.ts` |
|
|
160
|
+
| `tPostgresqlSCD` / `tMSSqlSCD` | Sink SQL con `mode: "scd2"` | `src/connectors/shared/scd2/` |
|
|
161
|
+
| `tSystem` | `processoEsternoAction` in un nodo `action` (programma senza shell) | `src/connectors/process/` |
|
|
162
|
+
|
|
163
|
+
Le transform pronte della libreria (`mapColumns`, `groupBy`, `dedup`, `explode`, `unpivot`, `pivot`, `sort`, `chunk`, `parse`,
|
|
164
|
+
`serialize`, `hashRow`, `surrogateKey`, `mask`, `profile`, `assert`), con la corrispondenza Talend, sono nel catalogo di
|
|
165
|
+
[`docs/nodes/transform.md`](docs/nodes/transform.md#transform-pronte).
|
|
166
|
+
|
|
167
|
+
Esempio end-to-end (dati reali Postgres): [`src/pipelines/langfuse-sessions-daily/`](src/pipelines/langfuse-sessions-daily/).
|
|
168
|
+
|
|
169
|
+
## Regole del progetto (da leggere)
|
|
170
|
+
|
|
171
|
+
- 📜 **[CLAUDE.md](CLAUDE.md)** — regole operative vincolanti (test e doc obbligatori, Definition of Done).
|
|
172
|
+
- 🧭 **[docs/](docs/README.md)** — convenzioni, architettura, ADR, schede pipeline, runbook.
|
|
173
|
+
- 🧪 **Test** non opzionali: [strategia di test](docs/conventions/testing-strategy.md).
|
|
174
|
+
- 📝 **Documentazione** come tassello fondante: [policy](docs/conventions/documentation.md).
|
|
175
|
+
|
|
176
|
+
## Workflow dell'agente
|
|
177
|
+
|
|
178
|
+
Il kit dell'agente nasce in `kit/` e `etl agent sync` lo copia in `.claude/*/noeva-etl-*`, qui come
|
|
179
|
+
in ogni repo cliente: le skill `/new-pipeline`, `/new-connector`, `/new-transform`, `/etl-review`,
|
|
180
|
+
`/doc-sync` ed `etl-graph`, i subagent di review e l'hook di guardia sui branch. Solo per il core:
|
|
181
|
+
la skill `etl-core` e il subagent `project-pulse`. Vedi [CLAUDE.md](CLAUDE.md) §8.
|
|
182
|
+
|
|
183
|
+
## Struttura
|
|
184
|
+
|
|
185
|
+
```
|
|
186
|
+
src/core/ framework ETL (testato, senza logica di dominio)
|
|
187
|
+
src/connectors/ connettori riusabili verso sistemi reali
|
|
188
|
+
src/transforms/ trasformazioni riusabili
|
|
189
|
+
src/pipelines/<n>/ solo cartelle di pipeline (schema, definizione, changelog, snapshot del piano, run, test)
|
|
190
|
+
src/catalog/ catalogo delle pipeline lanciabili (etl.config.ts, defineEtlConfig) e workspace-scope
|
|
191
|
+
src/versions/ versioni di pipeline (ADR-0086): changelog, snapshot del piano, gate, rollback
|
|
192
|
+
src/sub-pipelines/ sub-pipeline riusabili, istanziate dal nodo `pipeline` (ADR-0079)
|
|
193
|
+
src/runs/ storico locale delle run (RunStore, formattazione CLI) — mai importato da core/
|
|
194
|
+
src/state/ store dello stato di pipeline: memoria, file, noeva-server-api — mai importato da core/
|
|
195
|
+
src/worker/ daemon: poller su `processes` (claim, dispatch, loop)
|
|
196
|
+
src/docs/ `etl docs build|dev`: gate della documentazione, sito e guida del core installata (ADR-0095 §6)
|
|
197
|
+
src/init/ `etl init`: il boilerplate di un repo cliente dal template in kit/boilerplate/ (ADR-0094 §5)
|
|
198
|
+
src/ci/ `etl ci`: gli strumenti della toolchain lanciati dal gate di un repo cliente (ADR-0094 §4)
|
|
199
|
+
src/agent/ `etl agent sync`: il kit dell'agente copiato in .claude/*/noeva-etl-* e il blocco di AGENTS.md (ADR-0094 §5)
|
|
200
|
+
src/upgrade/ `etl upgrade`: registry, changelog fra due versioni, file gestiti e bump (ADR-0094 §5)
|
|
201
|
+
src/testing/ doppi in memoria dei sistemi esterni (IMAP, Noeva, SendGrid), subpath ./testing
|
|
202
|
+
src/contract.ts tipi del contratto fra `etl serve` e la UI (ADR-0095 §3), subpath ./contract
|
|
203
|
+
presets/ preset di tsconfig, ESLint e vitest esportati dal pacchetto, che il core estende (ADR-0094 §5)
|
|
204
|
+
kit/ pubblicato col pacchetto (ADR-0094 §5): il kit dell'agente (skills/, agents/, hooks/,
|
|
205
|
+
blocco-agents.md) e il template del boilerplate di `etl init` (boilerplate/)
|
|
206
|
+
api/ report di api-extractor dell'API pubblica (ADR-0093 §4)
|
|
207
|
+
scripts/ strumenti del repo (report dell'API pubblica, sorgente di ogni subpath)
|
|
208
|
+
tests/ test del framework e di integrazione; tests/package/ prova il dist/ costruito, tests/smoke/ il tarball installato
|
|
209
|
+
docs/ convenzioni, ADR, runbook, schede pipeline e sub-pipeline; docs/.vitepress/ è config e tema del sito, nel pacchetto
|
|
210
|
+
.claude/ settings, le copie noeva-etl-* del kit scritte da `etl agent sync` e gli strumenti
|
|
211
|
+
del solo core (skill etl-core, subagent project-pulse)
|
|
212
|
+
.github/ CI (quality gate) e template
|
|
213
|
+
```
|
|
@@ -0,0 +1,57 @@
|
|
|
1
|
+
# L'immagine dell'artefatto (ADR-0094 §1): il repo cliente a un commit, con il
|
|
2
|
+
# suo lockfile, che fissa anche la versione del core. Non c'è un'immagine base
|
|
3
|
+
# del core né una build: gira dai sorgenti con `tsx`, come sotto PM2.
|
|
4
|
+
#
|
|
5
|
+
# La costruisce `image.yml`, il file gestito del repo cliente. In locale, dalla
|
|
6
|
+
# radice del repo e dopo `pnpm install` (il Dockerfile sta nel pacchetto):
|
|
7
|
+
#
|
|
8
|
+
# docker build \
|
|
9
|
+
# -f node_modules/@noeva/etl-core/deploy/Dockerfile \
|
|
10
|
+
# --build-arg ETL_RELEASE=git:$(git rev-parse --short=12 HEAD) \
|
|
11
|
+
# -t noeva-etl-<slug>:$(git rev-parse HEAD) .
|
|
12
|
+
#
|
|
13
|
+
# docker run --rm --env-file .env -p 3005:3005 noeva-etl-<slug>:<sha>
|
|
14
|
+
# docker run --rm --env-file .env noeva-etl-<slug>:<sha> run <pipeline>
|
|
15
|
+
#
|
|
16
|
+
# Il contesto lo filtra `Dockerfile.dockerignore`, accanto a questo file. Un
|
|
17
|
+
# cliente che ha bisogno di altro (un CA aziendale, un proxy) copia il
|
|
18
|
+
# Dockerfile nel suo repo e se ne assume l'aggiornamento.
|
|
19
|
+
FROM node:20-slim
|
|
20
|
+
ENV NODE_ENV=production \
|
|
21
|
+
COREPACK_ENABLE_DOWNLOAD_PROMPT=0 \
|
|
22
|
+
PATH=/app/node_modules/.bin:$PATH
|
|
23
|
+
WORKDIR /app
|
|
24
|
+
RUN corepack enable
|
|
25
|
+
|
|
26
|
+
# L'`.npmrc` del repo porta le impostazioni di pnpm del cliente, se ne ha.
|
|
27
|
+
COPY package.json pnpm-lock.yaml .npmrc* ./
|
|
28
|
+
|
|
29
|
+
# Il core è pubblico su npmjs (ADR-0105): l'install non ha credenziali. Lo
|
|
30
|
+
# store di pnpm sta in una cache della build, fuori dall'immagine.
|
|
31
|
+
RUN --mount=type=cache,id=pnpm-store,target=/pnpm/store \
|
|
32
|
+
pnpm install --prod --frozen-lockfile --store-dir /pnpm/store
|
|
33
|
+
|
|
34
|
+
COPY . .
|
|
35
|
+
|
|
36
|
+
# La documentazione del cliente, che `etl serve` mostra su `/guida/` (ADR-0095).
|
|
37
|
+
# La guida del core, su `/guida/core/`, è già costruita nel pacchetto installato.
|
|
38
|
+
RUN etl docs build
|
|
39
|
+
|
|
40
|
+
# Storico delle run e stato di pipeline sono relativi alla cartella corrente:
|
|
41
|
+
# l'utente dell'immagine deve poterci scrivere.
|
|
42
|
+
RUN mkdir -p .runs .state && chown node:node .runs .state
|
|
43
|
+
|
|
44
|
+
# La release che finisce nel report di ogni run: `git:<sha12>` del commit, che
|
|
45
|
+
# `image.yml` passa come build arg. Senza, il report porta `null`; un
|
|
46
|
+
# `-e ETL_RELEASE=…` al `docker run` la sovrascrive.
|
|
47
|
+
ARG ETL_RELEASE=""
|
|
48
|
+
ENV ETL_RELEASE=${ETL_RELEASE}
|
|
49
|
+
|
|
50
|
+
USER node
|
|
51
|
+
EXPOSE 3005
|
|
52
|
+
# Avvio unico di default: `serve` espone i grafi, serve `/guida` e avvia il/i
|
|
53
|
+
# worker. Un solo container fa girare tutto: NON deployarne in parallelo uno
|
|
54
|
+
# `worker`, o si avrebbero poller duplicati sugli stessi job. I comandi
|
|
55
|
+
# one-off (`list`, `run <pipeline>`) restano possibili sovrascrivendo il CMD.
|
|
56
|
+
ENTRYPOINT ["etl"]
|
|
57
|
+
CMD ["serve"]
|
|
@@ -0,0 +1,18 @@
|
|
|
1
|
+
# Il contesto dell'immagine dell'artefatto (ADR-0094 §1): BuildKit legge questo
|
|
2
|
+
# file perché sta accanto al Dockerfile, e vince sul `.dockerignore` del repo.
|
|
3
|
+
# Restano sorgenti, config e documentazione; le dipendenze le installa la build.
|
|
4
|
+
node_modules
|
|
5
|
+
.git
|
|
6
|
+
.github
|
|
7
|
+
.claude
|
|
8
|
+
.env
|
|
9
|
+
.env.*
|
|
10
|
+
.runs
|
|
11
|
+
.state
|
|
12
|
+
logs
|
|
13
|
+
coverage
|
|
14
|
+
dist
|
|
15
|
+
docs/.vitepress/dist
|
|
16
|
+
docs/.vitepress/cache
|
|
17
|
+
docs/.vitepress/.temp
|
|
18
|
+
docs/catalogo.md
|
package/deploy/pm2.cjs
ADDED
|
@@ -0,0 +1,121 @@
|
|
|
1
|
+
// @ts-check
|
|
2
|
+
"use strict";
|
|
3
|
+
|
|
4
|
+
/*
|
|
5
|
+
* Confezione PM2 dell'artefatto (ADR-0094 §1): `@noeva/etl-core/pm2`. In
|
|
6
|
+
* un repo cliente `ecosystem.config.cjs` è una riga,
|
|
7
|
+
*
|
|
8
|
+
* module.exports = require("@noeva/etl-core/pm2").ecosystem(__dirname);
|
|
9
|
+
*
|
|
10
|
+
* e il sapere del core sull'avvio sotto PM2 arriva aggiornato con il bump. È
|
|
11
|
+
* CommonJS perché PM2 carica la configurazione con `require`.
|
|
12
|
+
*/
|
|
13
|
+
|
|
14
|
+
const fs = require("node:fs");
|
|
15
|
+
const path = require("node:path");
|
|
16
|
+
const { parseEnv } = require("node:util");
|
|
17
|
+
|
|
18
|
+
/** La CLI del pacchetto, accanto a questo file: `dist/cli.js`. */
|
|
19
|
+
const CLI = path.join(__dirname, "..", "dist", "cli.js");
|
|
20
|
+
|
|
21
|
+
/**
|
|
22
|
+
* Porta dedicata all'avvio sotto PM2, distinta dal default di prodotto di
|
|
23
|
+
* `etl serve` (:3005), che vale per l'immagine e il desktop.
|
|
24
|
+
*/
|
|
25
|
+
const DEFAULT_PM2_PORT = "9010";
|
|
26
|
+
|
|
27
|
+
/**
|
|
28
|
+
* I 10 s coprono il passo non interrompibile più lento (un commit) e il report
|
|
29
|
+
* finale a noeva-server-api. Oltre, PM2 manda SIGKILL e il processo resta
|
|
30
|
+
* `running`.
|
|
31
|
+
*/
|
|
32
|
+
const KILL_TIMEOUT_MS = 10000;
|
|
33
|
+
|
|
34
|
+
/**
|
|
35
|
+
* Le chiavi del `.env` alla radice del repo, o nessuna se non c'è. Un `.env`
|
|
36
|
+
* che c'è ma non si legge ferma il caricamento: sotto PM2 l'app partirebbe con
|
|
37
|
+
* un ambiente diverso da quello che si crede.
|
|
38
|
+
*
|
|
39
|
+
* @param {string} root
|
|
40
|
+
* @returns {Set<string>}
|
|
41
|
+
*/
|
|
42
|
+
function chiaviDelDotenv(root) {
|
|
43
|
+
const percorso = path.join(root, ".env");
|
|
44
|
+
let testo;
|
|
45
|
+
try {
|
|
46
|
+
testo = fs.readFileSync(percorso, "utf8");
|
|
47
|
+
} catch (err) {
|
|
48
|
+
if (err && /** @type {NodeJS.ErrnoException} */ (err).code === "ENOENT") {
|
|
49
|
+
return new Set();
|
|
50
|
+
}
|
|
51
|
+
throw new Error(`${percorso} non si legge: ${String(err)}`, { cause: err });
|
|
52
|
+
}
|
|
53
|
+
return new Set(Object.keys(parseEnv(testo)));
|
|
54
|
+
}
|
|
55
|
+
|
|
56
|
+
/**
|
|
57
|
+
* Le variabili che la configurazione mette nell'ambiente del processo: solo
|
|
58
|
+
* quelle che il `.env` del repo non definisce. Una variabile del processo
|
|
59
|
+
* vince sul `.env`, quindi un default messo qui lo oscurerebbe, e sotto PM2
|
|
60
|
+
* l'ambiente non sarebbe più quello di un terminale o dell'immagine.
|
|
61
|
+
*
|
|
62
|
+
* @param {string} root
|
|
63
|
+
* @returns {Record<string, string>}
|
|
64
|
+
*/
|
|
65
|
+
function ambienteDiDefault(root) {
|
|
66
|
+
const nelDotenv = chiaviDelDotenv(root);
|
|
67
|
+
const defaults = {
|
|
68
|
+
NODE_ENV: "production",
|
|
69
|
+
ETL_HTTP_PORT: process.env.ETL_HTTP_PORT || DEFAULT_PM2_PORT,
|
|
70
|
+
};
|
|
71
|
+
return Object.fromEntries(
|
|
72
|
+
Object.entries(defaults).filter(([chiave]) => !nelDotenv.has(chiave)),
|
|
73
|
+
);
|
|
74
|
+
}
|
|
75
|
+
|
|
76
|
+
/**
|
|
77
|
+
* La configurazione PM2 di un deploy: una sola app, `etl serve`, server dei
|
|
78
|
+
* grafi e worker nello stesso processo. La UI è un'app desktop, non un'app
|
|
79
|
+
* PM2 (ADR-0095).
|
|
80
|
+
*
|
|
81
|
+
* - `node` lancia direttamente la CLI del pacchetto: con lo shim di pnpm, su
|
|
82
|
+
* Windows PM2 eseguirebbe con node uno script shell (SyntaxError in loop), e
|
|
83
|
+
* il messaggio d'arresto non arriverebbe al processo che ferma i worker.
|
|
84
|
+
* - Niente `--env-file` né `--import tsx`: il `.env` lo carica la CLI dalla
|
|
85
|
+
* radice del config, e `tsx` lo registra il caricamento del catalogo. I due
|
|
86
|
+
* default di PM2, `NODE_ENV=production` ed `ETL_HTTP_PORT=9010`, valgono
|
|
87
|
+
* solo se il `.env` non li definisce.
|
|
88
|
+
* - Arresto col messaggio IPC `shutdown` invece di un segnale, su ogni
|
|
89
|
+
* sistema: su Windows i segnali non esistono e PM2 ucciderebbe subito il
|
|
90
|
+
* processo con `taskkill /F`. `cli-arresto` ascolta il messaggio, e i worker
|
|
91
|
+
* annullano la run in corso (ADR-0081).
|
|
92
|
+
*
|
|
93
|
+
* @param {string} [repoRoot] La radice del repo cliente, la cartella
|
|
94
|
+
* dell'`etl.config.ts`: il `__dirname` di `ecosystem.config.cjs`. Di default
|
|
95
|
+
* la cartella corrente, che sotto PM2 è quella da cui si lancia `pm2`.
|
|
96
|
+
*/
|
|
97
|
+
function ecosystem(repoRoot = process.cwd()) {
|
|
98
|
+
const root = path.resolve(repoRoot);
|
|
99
|
+
const logs = path.join(root, "logs");
|
|
100
|
+
return {
|
|
101
|
+
apps: [
|
|
102
|
+
{
|
|
103
|
+
name: "noeva-etl",
|
|
104
|
+
cwd: root,
|
|
105
|
+
script: CLI,
|
|
106
|
+
interpreter: "node",
|
|
107
|
+
args: "serve",
|
|
108
|
+
env: ambienteDiDefault(root),
|
|
109
|
+
autorestart: true,
|
|
110
|
+
watch: false,
|
|
111
|
+
shutdown_with_message: true,
|
|
112
|
+
kill_timeout: KILL_TIMEOUT_MS,
|
|
113
|
+
error_file: path.join(logs, "noeva-etl-error.log"),
|
|
114
|
+
out_file: path.join(logs, "noeva-etl-out.log"),
|
|
115
|
+
time: true,
|
|
116
|
+
},
|
|
117
|
+
],
|
|
118
|
+
};
|
|
119
|
+
}
|
|
120
|
+
|
|
121
|
+
module.exports = { ecosystem };
|
package/deploy/pm2.d.ts
ADDED
|
@@ -0,0 +1,29 @@
|
|
|
1
|
+
/** Un'app della configurazione PM2: i campi che il core imposta. */
|
|
2
|
+
export interface Pm2App {
|
|
3
|
+
readonly name: string;
|
|
4
|
+
readonly cwd: string;
|
|
5
|
+
readonly script: string;
|
|
6
|
+
readonly interpreter: string;
|
|
7
|
+
readonly args: string;
|
|
8
|
+
readonly env: Readonly<Record<string, string>>;
|
|
9
|
+
readonly autorestart: boolean;
|
|
10
|
+
readonly watch: boolean;
|
|
11
|
+
readonly shutdown_with_message: boolean;
|
|
12
|
+
readonly kill_timeout: number;
|
|
13
|
+
readonly error_file: string;
|
|
14
|
+
readonly out_file: string;
|
|
15
|
+
readonly time: boolean;
|
|
16
|
+
}
|
|
17
|
+
|
|
18
|
+
/**
|
|
19
|
+
* La configurazione PM2 di un deploy (ADR-0094 §1): una sola app, `etl serve`,
|
|
20
|
+
* con l'arresto via messaggio IPC e `node` diretto anche su Windows. In un repo
|
|
21
|
+
* cliente `ecosystem.config.cjs` è una riga:
|
|
22
|
+
* `module.exports = require("@noeva/etl-core/pm2").ecosystem(__dirname);`
|
|
23
|
+
*
|
|
24
|
+
* @param repoRoot - La radice del repo cliente, la cartella dell'`etl.config.ts`;
|
|
25
|
+
* di default la cartella corrente.
|
|
26
|
+
*/
|
|
27
|
+
export declare function ecosystem(repoRoot?: string): {
|
|
28
|
+
readonly apps: readonly Pm2App[];
|
|
29
|
+
};
|
|
@@ -0,0 +1,20 @@
|
|
|
1
|
+
import { Y as LookupConfig } from './errors-bgSO6lGO.js';
|
|
2
|
+
|
|
3
|
+
/**
|
|
4
|
+
* Configurazione di un nodo `ai`: una domanda a un modello per ogni record,
|
|
5
|
+
* con la risposta che arricchisce il record. Vedi ADR-0063.
|
|
6
|
+
*
|
|
7
|
+
* Ha la **forma di un {@link LookupConfig}** perché ne ha la semantica: una
|
|
8
|
+
* lettura senza effetti, a batch, con cache per-run, retry e rate limit
|
|
9
|
+
* (ADR-0052). Il nodo `ai` esiste per ciò che è davvero distinto — dichiarare
|
|
10
|
+
* nel grafo e nel DAG che lì decide un modello — non per un secondo motore di
|
|
11
|
+
* esecuzione.
|
|
12
|
+
*
|
|
13
|
+
* Il core non sa parlare con un modello, come non sa parlare con un database:
|
|
14
|
+
* il `resolver` lo porta un connettore (`noevaAiExtract`, sull'inference di
|
|
15
|
+
* Noeva). Il core non verifica che il resolver interroghi davvero un modello;
|
|
16
|
+
* il `kind` è una dichiarazione, come per `action`.
|
|
17
|
+
*/
|
|
18
|
+
type AiConfig<I, O> = LookupConfig<I, O>;
|
|
19
|
+
|
|
20
|
+
export type { AiConfig as A };
|
|
@@ -0,0 +1,39 @@
|
|
|
1
|
+
import { V as VariabileDichiarata } from './variabili-dichiarate-DmfcxsT9.js';
|
|
2
|
+
import { M as ManifestVariabili } from './manifest-variabili-U1UfPDfF.js';
|
|
3
|
+
|
|
4
|
+
/** Un'istanza di connettore che la pipeline usa. */
|
|
5
|
+
interface IstanzaDichiarata {
|
|
6
|
+
/** Il tipo di connettore, come lo vede l'operatore: `imap`, `postgres`… */
|
|
7
|
+
readonly connettore: string;
|
|
8
|
+
/** Il prefisso base del tipo (`PREFISSO_IMAP`), da cui `instanceEnvPrefix`. */
|
|
9
|
+
readonly prefisso: string;
|
|
10
|
+
/** Il manifest del tipo, lo stesso del loader: `MANIFEST_IMAP`… */
|
|
11
|
+
readonly manifest: ManifestVariabili;
|
|
12
|
+
/** L'id dell'istanza nel registry: `default`, `dwh`… */
|
|
13
|
+
readonly id: string;
|
|
14
|
+
}
|
|
15
|
+
/** La configurazione della pipeline: il suo prefisso e il suo manifest. */
|
|
16
|
+
interface ConfigurazioneDichiarata {
|
|
17
|
+
/** Il prefisso delle variabili della pipeline: `TEST_POSTA_`. */
|
|
18
|
+
readonly prefisso: string;
|
|
19
|
+
/** Il manifest della configurazione, lo stesso del suo `parseConfig`. */
|
|
20
|
+
readonly manifest: ManifestVariabili;
|
|
21
|
+
}
|
|
22
|
+
/** Ciò che una pipeline legge dall'ambiente. */
|
|
23
|
+
interface AmbienteDichiarato {
|
|
24
|
+
/** Il nome della pipeline, quello del catalogo. */
|
|
25
|
+
readonly pipeline: string;
|
|
26
|
+
/** Assente se la pipeline non ha variabili sue. */
|
|
27
|
+
readonly configurazione?: ConfigurazioneDichiarata;
|
|
28
|
+
/** Le istanze di connettore che la run costruisce, una per tipo e id. */
|
|
29
|
+
readonly istanze?: readonly IstanzaDichiarata[];
|
|
30
|
+
}
|
|
31
|
+
/**
|
|
32
|
+
* Le variabili che una pipeline legge, risolte contro `env`, con chi le
|
|
33
|
+
* dichiara: la configurazione della pipeline e ogni istanza di connettore,
|
|
34
|
+
* più la lista delle istanze del suo tipo. È il corpo tipico di
|
|
35
|
+
* `RunnablePipeline.environment`. Non porta valori, solo nomi e origini.
|
|
36
|
+
*/
|
|
37
|
+
declare function ambienteDellaPipeline(dichiarato: AmbienteDichiarato, env: NodeJS.ProcessEnv): readonly VariabileDichiarata[];
|
|
38
|
+
|
|
39
|
+
export { type AmbienteDichiarato as A, type ConfigurazioneDichiarata as C, type IstanzaDichiarata as I, ambienteDellaPipeline as a };
|
|
@@ -0,0 +1 @@
|
|
|
1
|
+
import {a,d as d$1}from'./chunk-PE2QKU34.js';import {createHash}from'crypto';import c from'nodemailer/lib/addressparser/index.js';function M(n){return createHash("sha256").update(n).digest("hex").slice(0,32)}a(M,"hashChiave");function f(n){let e=c(n,{flatten:true}),o=e.length===1?e[0]:void 0,t=o?.address;if(t===void 0||!/^[^@\s]+@[^@\s]+$/.test(t))return;let a=o?.name.trim()??"";return {testo:n,email:t,...a!==""?{nome:a}:{}}}a(f,"indirizzoMail");var y=/[\r\n]/;function u(n){return y.test(n)}a(u,"haACapo");function l(n,e){if(u(e))throw new d$1(`Mail non valida: a capo in "${n}"`);return e}a(l,"intestazione");function d(n,e){return (e??[]).map(o=>{l(n,o);let t=f(o);if(t===void 0)throw new d$1(`Mail non valida: indirizzo non valido in "${n}"`);return t})}a(d,"indirizzi");function v(n){let e=d("a",n.a),o=d("cc",n.cc),t=d("ccn",n.ccn);if(e.length+o.length+t.length===0)throw new d$1("Mail non valida: nessun destinatario");if(n.oggetto.trim()==="")throw new d$1("Mail non valida: oggetto vuoto");if(n.testo===void 0&&n.html===void 0)throw new d$1("Mail non valida: nessun corpo (testo o html)");let a=n.rispondiA===void 0?void 0:d("rispondiA",[n.rispondiA])[0];l("oggetto",n.oggetto);for(let s of n.allegati??[])l("allegati",s.nome),s.contentType!==void 0&&l("allegati",s.contentType);return {a:e,cc:o,ccn:t,...a!==void 0?{rispondiA:a}:{},oggetto:n.oggetto,...n.testo!==void 0?{testo:n.testo}:{},...n.html!==void 0?{html:n.html}:{},...n.allegati!==void 0?{allegati:n.allegati}:{},...n.chiave!==void 0?{chiave:n.chiave}:{}}}a(v,"validaMail");export{M as a,f as b,u as c,v as d};
|
|
@@ -0,0 +1 @@
|
|
|
1
|
+
import {k,l as l$1}from'./chunk-BPRH262Y.js';import {i,j}from'./chunk-H75NY6Z4.js';import {a}from'./chunk-PE2QKU34.js';function p(n){return {...n.name!==void 0?{name:n.name}:{},...n.instanceId!==void 0?{instanceId:n.instanceId}:{}}}a(p,"comuni");function l(n,i$1){let e={...p(i$1),mail:i$1.mail,merge:i$1.merge};return n.tipo==="smtp"?i(n.config,{...e,...n.opzioni!==void 0?{trasporto:n.opzioni}:{}}):k(n.config,{...e,...n.opzioni!==void 0?{trasporto:n.opzioni}:{}})}a(l,"mailAction");function s(n,i){let e={...p(i),mail:i.mail};return n.tipo==="smtp"?j(n.config,{...e,...n.opzioni!==void 0?{trasporto:n.opzioni}:{}}):l$1(n.config,{...e,...n.opzioni!==void 0?{trasporto:n.opzioni}:{}})}a(s,"mailSink");export{l as a,s as b};
|
|
@@ -0,0 +1,2 @@
|
|
|
1
|
+
import {a,j as j$1,g as g$1,l,E,e}from'./chunk-PE2QKU34.js';function A(e){return e===void 0||e===""?{}:{connection:{id:e}}}a(A,"connectionRef");var ce=/^([a-z][a-z0-9+.-]*:\/\/)[^/?#]*@/i,de=/\b([a-z][a-z0-9+.-]*:\/\/)[^\s/?#]*@/gi;function b(e){return e.replace(ce,"$1")}a(b,"withoutCredentials");function T(e){return e.replace(de,"$1***@")}a(T,"redactCredentials");function fe(e){return j(e,0)}a(fe,"redactError");function j(e,n){if(typeof e=="string")return T(e);if(!(e instanceof Error))return e;if(n>=10)return;let t=T(e.message),r=e.stack===void 0?void 0:T(e.stack),a=e.cause===void 0?void 0:j(e.cause,n+1);if(t===e.message&&r===e.stack&&a===e.cause)return e;let o=new Error(t,a===void 0?void 0:{cause:a});return o.name=e.name,r!==void 0&&(o.stack=r),o}a(j,"redactAt");var g="@chiavi",pe="SELECT NULL WHERE 1 = 0",ge="(SELECT NULL WHERE 1 = 0)",H="sql:lookup",me=["INSERT","UPDATE","DELETE","MERGE","TRUNCATE","DROP","ALTER","CREATE","GRANT","REVOKE","EXEC","EXECUTE","INTO"];function ye(e){return e.replace(/--[^\n]*/g," ").replace(/\/\*[\s\S]*?\*\//g," ").replace(/'(?:[^']|'')*'/g," '' ")}a(ye,"stripNoise");function be(e,n={}){let t=n.stage??H,r=a(o=>{throw new j$1(`Query di lookup non ammessa: ${o}. Un nodo lookup accetta una sola SELECT.`,{stage:t,details:{reason:o}})},"fail");n.requireKeysPlaceholder&&!e.includes(g)&&r(`manca il segnaposto delle chiavi ${g}`);let a$1=ye(e).trim().replace(/;\s*$/,"");a$1.includes(";")&&r("contiene pi\xF9 statement separati da `;`"),/^\s*(SELECT|WITH)\b/i.test(a$1)||r("non comincia con SELECT o WITH");for(let o of me)new RegExp(`\\b${o}\\b`,"i").test(a$1)&&r(`contiene \`${o}\``);}a(be,"assertReadOnlyQuery");function Se(e,n,t,r={}){if(r.shape==="rows"){if(n===0)return e.replace(g,r.emptyRowset??ge);let o=Array.from({length:n},(s,l)=>`(${t(l)})`);return e.replace(g,`(VALUES ${o.join(", ")})`)}if(n===0)return e.replace(g,pe);let a=Array.from({length:n},(o,s)=>t(s));return e.replace(g,a.join(", "))}a(Se,"replaceKeysPlaceholder");function P(e){return e.trim().toUpperCase()}a(P,"normalizeKey");function Ee(e){return [...new Set(e.map(P))]}a(Ee,"uniqueNormalizedKeys");function ve(e,n){let t=new Map;for(let r of e){let a=n.get(P(r));a!==void 0&&t.set(r,a);}return t}a(ve,"rowsByRequestedKey");function Re(e,n,t=H){let r=new Map;for(let a of e){if(!(n in a))throw new j$1(`La colonna chiave "${n}" non \xE8 nel result set del lookup`,{stage:t,details:{keyColumn:n,columns:Object.keys(a)}});let o=a[n];if(o==null)continue;if(typeof o!="string"&&typeof o!="number"&&typeof o!="bigint")throw new j$1(`La colonna chiave "${n}" del lookup non \xE8 un valore scalare`,{stage:t,details:{keyColumn:n,type:typeof o}});let s=P(String(o)),l=r.get(s);l===void 0?r.set(s,[a]):l.push(a);}return r}a(Re,"groupRowsByKey");var B="default";function x(e,n,t=B){return n===t?e:`${e.replace(/_+$/,"")}_${n.toUpperCase()}_`}a(x,"instanceEnvPrefix");function w(e,n){if(e===void 0||e.trim()==="")return;let t=e.split(",").map(a=>a.trim()).filter(a=>a!=="");if(t.length===0)throw new g$1(`${n} \xE8 impostata ma non contiene id validi`);let r=new Set;for(let a of t){if(r.has(a))throw new g$1(`${n}: id di istanza duplicato "${a}"`);r.add(a);}return t}a(w,"parseInstanceIds");function V(e){try{return {valore:e()}}catch(n){if(!(n instanceof g$1))throw n;return {errore:n}}}a(V,"tentaConfigurazione");function k(e){return new g$1(e.map(n=>n.message).join("; "),{},{mancanti:e.flatMap(n=>n.mancanti)})}a(k,"unisciConfigError");function G(e,n){let t=new Map;for(let{id:o,value:s}of e)t.has(o)||t.set(o,s);let r=[...t.keys()];return {has:a(o=>t.has(o),"has"),get:a(o=>{let s=t.get(o);if(s===void 0&&!t.has(o))throw Q(o,r,n);return s},"get"),ids:r}}a(G,"buildConnectorRegistry");function Q(e,n,t){return new g$1(`Istanza "${e}" non configurata per il connettore ${t.kind}: non \xE8 tra le istanze ammesse da ${t.listEnvVar} (${n.length>0?n.join(", "):"nessuna"}). Aggiungila alla config per operare su questa istanza.`)}a(Q,"istanzaNonConfigurata");function Te(e){let n=Z(e).map(a=>({id:a,esito:V(()=>e.loadOne(a))})),t=n.flatMap(({esito:a})=>a.errore===void 0?[]:[a.errore]);if(t.length>0)throw k(t);let r=n.map(({id:a,esito:o})=>({id:a,value:o.valore}));return G(r,{kind:e.kind,listEnvVar:e.listEnvVar})}a(Te,"resolveConnectorRegistry");function Pe(e,n){let t=Z(e);if(!t.includes(n))throw Q(n,t,e);return e.loadOne(n)}a(Pe,"resolveConnectorInstance");function Z(e){return w(e.instancesRaw,e.listEnvVar)??[e.defaultId]}a(Z,"idsConfigurati");var I="PG",Ce="MSSQL_",Oe="IMAP_",he="SMTP_",Ae="SENDGRID_",xe="HTTP_",we="JIRA_",Ve="NOEVA_",ke="OAUTH_",Ie="S3_",De="SFTP_",ze="FTP_";function m(e,n){return e?.find(t=>t.suffisso===n)}a(m,"variabileDi");function S(e,n,t){if(t===void 0)return {label:e,value:b(n)};let r=t.segreta?Ne(t):b(t.valore??n);return {label:e,value:r,env:t.variabile,origine:t.origine}}a(S,"dettaglioVariabile");function $e(e){let n=e.segreta&&e.origine==="env"?"impostata":e.valore===void 0?void 0:b(e.valore);return {env:e.variabile,origine:e.origine,...n===void 0?{}:{value:n}}}a($e,"variabileDelPiano");function Ne(e){return e.origine==="env"?"impostata":e.origine}a(Ne,"statoSegreto");var _e=new RegExp(`\\b(?:[A-Z][A-Z0-9]*_[A-Z0-9_]+|${"PG"}[A-Z]+)\\b`,"g");function D(e){if(e===void 0)return [];let n=[...new Set(e.message.match(_e)??[])],t=n.filter(r=>!e.mancanti.includes(r));return n.length>0&&t.length===0?[]:[{label:"configurazione",value:t.length===0?"non valida":`non valida: da controllare ${t.join(", ")}`}]}a(D,"righeNonValida");function Me(e,n){let t=n("AUTH"),r=n("PASSWORD"),a=n("ACCESS_TOKEN");if(r!==void 0&&a!==void 0)throw new g$1(`${e}PASSWORD e ${e}ACCESS_TOKEN sono entrambe impostate: scegline una`);if(t===void 0){if(r!==void 0)return {tipo:"password",password:r};if(a!==void 0)return {tipo:"oauth2",accessToken:a,variabileToken:`${e}ACCESS_TOKEN`};throw new g$1(`Autenticazione mancante: imposta ${e}PASSWORD oppure ${e}ACCESS_TOKEN`)}if(t==="password"){if(r===void 0)throw new g$1(`${e}AUTH=password richiede ${e}PASSWORD`);return {tipo:"password",password:r}}if(t==="oauth2"){if(r!==void 0)throw new g$1(`${e}AUTH=oauth2 con ${e}PASSWORD impostata: togli la password`);return {tipo:"oauth2",accessToken:a??null,variabileToken:`${e}ACCESS_TOKEN`}}throw new g$1(`${e}AUTH non valido (attesi: password/oauth2)`)}a(Me,"parseCredenzialiPosta");async function qe(e,n){if(n!==void 0)return n();if(e.accessToken!==null)return e.accessToken;throw new g$1(`OAuth2 senza token: imposta ${e.variabileToken} o passa \`accessToken\` al connettore`)}a(qe,"tokenOAuth2");function Le(e){return {selettore:{suffisso:"AUTH"},varianti:{password:[{suffisso:"PASSWORD",segreta:true,obbligatoria:e}],oauth2:[{suffisso:"ACCESS_TOKEN",segreta:true}]},senzaSelettore:[{unaFra:[{suffisso:"PASSWORD",segreta:true},{suffisso:"ACCESS_TOKEN",segreta:true}],obbligatoria:e}]}}a(Le,"manifestCredenzialiPosta");var z="nessuna: relay senza autenticazione",J=["password","oauth2"];function Fe(e,n,t,r){let a$1="credenziale";if(t===void 0)return {label:a$1,value:Ue(e,n)};let s=a(u=>m(t,u),"v")("USER");if(s?.origine==="non impostata")return {label:a$1,value:z,env:s.variabile,origine:s.origine};let l=We(t,n,r);if(s?.origine!=="mancante")return l;let d=l.origine==="mancante"?l.env??s.variabile:s.variabile;return {label:a$1,value:`${l.value} \xB7 manca ${s.variabile}`,...d!==void 0?{env:d}:{},origine:"mancante"}}a(Fe,"dettaglioCredenzialiPosta");function We(e,n,t){let r="credenziale",a$1=a(u=>m(e,u),"v"),o=a$1("AUTH");if(o?.valore!==void 0&&!J.includes(o.valore))return {label:r,value:`${o.variabile} non valido (attesi: ${J.join(", ")})`,env:o.variabile,origine:o.origine};let s=[a$1("PASSWORD"),a$1("ACCESS_TOKEN")].find(u=>u?.origine==="env");if(s!==void 0)return {label:r,value:s.suffisso==="PASSWORD"?"password \xB7 impostata":"access token \xB7 impostato",env:s.variabile,origine:"env"};let l=a$1("OAUTH_INSTANCE");if(o?.valore==="oauth2"&&l!==void 0){let[u]=t?.mancanti??[];return {label:r,value:Ke(`OAuth \xB7 identit\xE0 ${l.valore??n}`,t),env:u??l.variabile,origine:u===void 0?l.origine:"mancante"}}let d=e.filter(u=>u.origine==="mancante"&&(u.suffisso==="PASSWORD"||u.suffisso==="ACCESS_TOKEN"));return d.length>0?{label:r,value:je(d,o),origine:"mancante"}:{label:r,value:z}}a(We,"rigaDelMetodo");function Ke(e,n){if(n===void 0)return e;let{mancanti:t}=n;if(t.length===0)return `${e} \xB7 impostata`;let r=t.length===1?"manca":"mancano";return `${e} \xB7 ${r} ${t.join(", ")}`}a(Ke,"statoIdentita");function Ue(e,n){return e===null?z:e.tipo==="password"?"password \xB7 impostata":e.accessToken!==null?"access token \xB7 impostato":`OAuth \xB7 identit\xE0 ${n}`}a(Ue,"varianteDaConfig");function je(e,n){let t=[...e.map(r=>r.variabile),...n!==void 0&&n.valore===void 0?[`${n.variabile}=oauth2`]:[]];return t.length===1?t[0]??"":`una fra ${t.join(", ")}`}a(je,"alternative");var He={variabili:[],problemi:[]};function y(e,n,t){let r=a(l=>`${n}${l}`,"nome"),a$1=a(l=>{let d=t[r(l)];return d===void 0||d===""?void 0:d},"leggi"),{variabili:o,problemi:s}=$(e,{nome:r,leggi:a$1},[]);return {variabili:o,mancanti:o.filter(l=>l.origine==="mancante").map(l=>l.variabile),problemi:s}}a(y,"risolviVariabili");function M(e){let{mancanti:n,problemi:t}=e;if(n.length===0&&t.length===0)return;let r=[...n.length>0?[`Variabili mancanti: ${Ze(e.variabili)}`]:[],...t.map(Je)];throw new g$1(r.join("; "),{},{mancanti:n})}a(M,"richiediCompleta");function q(e,n){let t=e.variabili.find(r=>r.suffisso===n)?.valore;if(t===void 0)throw new Error(`${n} senza valore dopo la risoluzione: il manifest non lo garantisce`);return t}a(q,"valoreGarantito");function $(e,n,t){return e.reduce((r,a)=>_(r,Be(a,n,[...t,...r.variabili])),He)}a($,"risolviVoci");function Be(e,n,t){return "selettore"in e?Qe(e,n,t):"unaFra"in e?Ge(e,n,t):{variabili:[X(e,n,t)],problemi:[]}}a(Be,"risolviVoce");function X(e,n,t){let r={suffisso:e.suffisso,variabile:n.nome(e.suffisso),segreta:e.segreta===true},a=n.leggi(e.suffisso);if(a!==void 0)return N(r,"env",a);if(e.default!==void 0){let o=typeof e.default=="string"?e.default:e.default(ee(t));return N(r,"default",o)}return {...r,origine:Y(e.obbligatoria,t)?"mancante":"non impostata"}}a(X,"risolviVariabile");function Ge(e,n,t){let r=a(u=>n.nome(u.suffisso),"nome"),a$1=e.unaFra.map(r),o=e.unaFra.filter(u=>n.leggi(u.suffisso)!==void 0),s=o.length===0&&Y(e.obbligatoria,t)?"mancante":"non impostata",l=e.unaFra.map(u=>{let p={suffisso:u.suffisso,variabile:r(u),segreta:u.segreta===true,alternative:a$1},f=n.leggi(u.suffisso);return f!==void 0?N(p,"env",f):{...p,origine:s}}),d=o.length>1?[{tipo:"alternative multiple",variabili:o.map(r)}]:[];return {variabili:l,problemi:d}}a(Ge,"risolviUnaFra");function Qe(e,n,t){let r=X(e.selettore,n,t),a=r.valore;if(a===void 0)return _({variabili:[r],problemi:[]},$(e.senzaSelettore??[],n,[...t,r]));let o=Object.hasOwn(e.varianti,a)?e.varianti[a]:void 0;if(o===void 0){let s={tipo:"variante sconosciuta",variabile:r.variabile,ammesse:Object.keys(e.varianti)};return {variabili:[r],problemi:[s]}}return _({variabili:[r],problemi:[]},$(o,n,[...t,r]))}a(Qe,"risolviVarianti");function N(e,n,t){return e.segreta?{...e,origine:n}:{...e,origine:n,valore:t}}a(N,"conValore");function Y(e,n){return typeof e=="function"?e(ee(n)):e===true}a(Y,"obbligatoria");function ee(e){return n=>e.find(t=>t.suffisso===n)?.valore}a(ee,"valoreFra");function _(e,n){return {variabili:[...e.variabili,...n.variabili],problemi:[...e.problemi,...n.problemi]}}a(_,"unisci");function Ze(e){let n=e.filter(t=>t.origine==="mancante").map(t=>t.alternative?.join(" oppure ")??t.variabile);return [...new Set(n)].join(", ")}a(Ze,"elencoMancanti");function Je(e){switch(e.tipo){case "alternative multiple":return `${e.variabili.join(" e ")} sono impostate insieme: scegline una`;case "variante sconosciuta":return `${e.variabile} non valido (attesi: ${e.ammesse.join(", ")})`}}a(Je,"descriviProblema");function Xe(e){return `${e.replace(/_+$/,"")}_INSTANCES`}a(Xe,"listaIstanze");function ne(e,n,t,r){return y(e,n,r).variabili.map(a=>({variabile:a.variabile,origine:a.origine,provenienza:t}))}a(ne,"variabiliRisolte");function Ye(e,n){let t={tipo:"istanza",connettore:e.connettore,istanza:e.id},r=Xe(e.prefisso),a=n[r];return [{variabile:r,origine:a===void 0||a===""?"non impostata":"env",provenienza:t},...ne(e.manifest,x(e.prefisso,e.id),t,n)]}a(Ye,"variabiliDellIstanza");function en(e,n){let t=e.configurazione;return [...t===void 0?[]:ne(t.manifest,t.prefisso,{tipo:"pipeline",pipeline:e.pipeline},n),...(e.istanze??[]).flatMap(r=>Ye(r,n))]}a(en,"ambienteDellaPipeline");function nn(e,n,t,r){if(t===void 0)return r;if(t==="true")return true;if(t==="false")return false;throw new g$1(`${e}${n} non valido (attesi: true/false)`)}a(nn,"parseBooleano");function L(e,n,t){if(n===void 0)return t;let r=Number(n);if(!Number.isInteger(r)||r<=0||r>65535)throw new g$1(`Porta non valida: ${e}PORT (atteso un intero fra 1 e 65535)`);return r}a(L,"parsePorta");function F(e,n){let t=a(r=>{let a=n[`${e}${r}`];return a===void 0||a===""?void 0:a},"get");return {get:t,obbligatoria:a(r=>{let a=t(r);if(a===void 0)throw new g$1(`Variabile mancante: ${e}${r}`);return a},"obbligatoria")}}a(F,"letturaEnv");var tn=[{suffisso:"HOST",obbligatoria:true},{suffisso:"PORT",obbligatoria:true},{suffisso:"USER",obbligatoria:true},{suffisso:"PASSWORD",obbligatoria:true,segreta:true},{suffisso:"DATABASE",obbligatoria:true}];function rn(e,n,t){let r=y(e,n,t);M(r);let a$1=a(o=>q(r,o),"valore");return {connessione:{host:a$1("HOST"),port:L(n,a$1("PORT"),0),database:a$1("DATABASE"),variabili:r.variabili},user:a$1("USER"),password:F(n,t).obbligatoria("PASSWORD"),valore:a$1}}a(rn,"risolviIstanzaSql");function an(e,n){let t=a(r=>m(e.variabili,r),"variabile");return [S("host",e.host,t("HOST")),S("porta",String(e.port),t("PORT")),S("database",e.database,t("DATABASE")),...n,...D(e.ricaduta),on(t("PASSWORD"))]}a(an,"dettagliConnessioneSql");function on(e){let n="credenziale";if(e===void 0)return {label:n,value:"password"};let t=e.origine==="env"?"impostata":e.origine;return {label:n,value:`password \xB7 ${t}`,env:e.variabile,origine:e.origine}}a(on,"dettaglioPassword");function sn(e){return {risolta:e.risolta,esempio:a(n=>({...e.esempio,ricaduta:n,variabili:y(e.manifest,e.prefisso,e.env).variabili}),"esempio")}}a(sn,"istanzaSqlPerIlPiano");var ln=new Set(["40001","40P01","ECONNRESET","ETIMEDOUT"]),un=new Set([1205]),cn=10;function W(e,n){return typeof e=="object"&&e!==null?e[n]:void 0}a(W,"field");function te(e,{codes:n,numbers:t}){let r=[e];for(let a=0;r.length>0&&a<cn;a++){let o=r.shift(),s=W(o,"code"),l=W(o,"number");if(typeof s=="string"&&n?.has(s)===true||typeof l=="number"&&t?.has(l)===true)return true;for(let d of ["cause","originalError"]){let u=W(o,d);u!==void 0&&r.push(u);}}return false}a(te,"driverErrorMatches");function re(e){return te(e,{codes:ln,numbers:un})}a(re,"isTransientDriverError");function K(e){return re(e)?{transient:true}:{}}a(K,"transientFlag");var ie=120,dn=/^[A-Za-z_][A-Za-z0-9_]*$/,ae=/(?<![A-Za-z0-9_@])@([A-Za-z_][A-Za-z0-9_]*)/g,fn=/'(?:[^']|'')*'|"(?:[^"]|"")*"|--[^\n]*|\/\*[\s\S]*?\*\/|\$([A-Za-z_]*)\$[\s\S]*?\$\1\$/g,pn=/\b(COMMIT|ROLLBACK|ABORT|SAVEPOINT|START\s+TRANSACTION|PREPARE\s+TRANSACTION|BEGIN\s+(TRAN|TRANSACTION|WORK)|END\s+(TRANSACTION|WORK))\b|^\s*(BEGIN|END)\s*$/i,gn=/\b(TRUNCATE|DROP|DELETE)\b/i;function C(e){let n=[],t=0;for(let r of e.matchAll(fn))r.index>t&&n.push({code:true,text:e.slice(t,r.index)}),n.push({code:false,text:r[0]}),t=r.index+r[0].length;return t<e.length&&n.push({code:true,text:e.slice(t)}),n}a(C,"segments");function O(e){return C(e).map(n=>n.code?n.text:" ").join("")}a(O,"codeOf");function oe(e,n){return C(e).map(t=>t.code?n(t.text):t.text).join("")}a(oe,"mapCode");function se(e,n){let t=[];for(let r of O(e).matchAll(ae)){let a=r[1];a!==void 0&&n.has(a)&&!t.includes(a)&&t.push(a);}return t}a(se,"statementParams");function mn(e,n){return C(e.text).map(t=>t.code?t.text.replace(ae,(r,a)=>{let o=e.params.indexOf(a);return o===-1?r:n(o)}):t.text).join("")}a(mn,"replaceParams");function yn(e){let t=C(e).map(r=>r.code?r.text:r.text.startsWith("'")||r.text.startsWith("$")?"'?'":r.text.startsWith('"')?r.text:" ").join("").replace(/\s+/g," ").trim();return t.length>ie?`${t.slice(0,ie)}\u2026`:t}a(yn,"oneLine");function bn(e){let n=a(s=>{throw new g$1(`Task SQL "${e.name}": ${s}`)},"fail");e.statements.length===0&&n("serve almeno uno statement");let t=new Set(Object.keys(e.params??{}));for(let s of t)dn.test(s)||n(`il nome di parametro "${s}" non \xE8 valido: lettere, cifre e underscore, senza @`);let r=e.statements.map((s,l)=>{(typeof s!="string"||s.trim()==="")&&n(`lo statement ${l+1} \xE8 vuoto`);let d=O(s);return d.trim()===""&&n(`lo statement ${l+1} \xE8 vuoto`),/;\s*\S/.test(d)&&n(`lo statement ${l+1} contiene pi\xF9 comandi separati da ";": uno statement per voce di statements. Un blocco con pi\xF9 comandi va in una stored procedure`),pn.test(d.replace(/;\s*$/,""))&&n(`lo statement ${l+1} apre o chiude una transazione: il task esegue gi\xE0 tutti gli statement in una sola transazione, e romperla toglierebbe l'atomicit\xE0`),!e.destructive&&gn.test(d)&&n(`lo statement ${l+1} contiene TRUNCATE, DROP o DELETE ma il task dichiara destructive: false. Dichiara destructive: true: compare nel DAG, e un'operazione distruttiva vuole un runbook (docs/runbooks/sql-task-truncate-swap.md)`),{text:s,params:se(s,t)}}),a$1=new Set(r.flatMap(s=>s.params)),o=[...t].find(s=>!a$1.has(s));return o!==void 0&&n(`il parametro "${o}" \xE8 dichiarato ma nessuno statement usa @${o}`),r}a(bn,"validate");function Sn(e){return e===null||typeof e=="string"||typeof e=="boolean"||typeof e=="number"&&Number.isFinite(e)||e instanceof Date&&!Number.isNaN(e.getTime())}a(Sn,"isSqlValue");function En(e,n){let t=bn(e),r=e.params??{},a$1=Object.keys(r),o=new WeakMap,s=a(l$1=>{let d={};for(let[u,p]of Object.entries(r)){let f=typeof p=="function"?p(l$1):p;if(!Sn(f))throw new l(`Task SQL "${e.name}": il parametro "${u}" non ha un valore che si possa legare (stringa, numero finito, booleano, data valida o null)`,{stage:e.name});d[u]=f;}return d},"resolveValues");return {name:e.name,retrySafe:e.retrySafe===true,descriptor:{kind:n.kind,...A(e.instanceId),details:[...n.connectionDetails,...t.map((l,d)=>({label:t.length===1?"statement":`statement ${d+1}`,value:yn(l.text)})),...a$1.length>0?[{label:"params",value:a$1.join(", ")}]:[],{label:"destructive",value:String(e.destructive)}]},async run(l$1){let d=s(l$1),u=[];o.set(l$1,u),l$1.logger.info("sql-task.start",{task:e.name,statements:t.length,destructive:e.destructive});let p=false;try{await n.transaction(async f=>{for(let ue of t)l$1.signal.throwIfAborted(),u.push(await f.execute(ue,d));l$1.signal.throwIfAborted(),p=!0;});}catch(f){throw p?new l(`Task SQL "${e.name}" fallito durante il commit: l'esito \xE8 ignoto, verifica sul database prima di rieseguire`,{stage:e.name,transient:false},{cause:f}):new l(`Task SQL "${e.name}" fallito: la transazione \xE8 stata annullata`,{stage:e.name,...K(f)},{cause:f})}},writeReport:a(l=>({statements:t.length,destructive:e.destructive,rowsAffected:[...o.get(l)??[]]}),"writeReport")}}a(En,"sqlTask");var h=":watermark",le=/(?<![:\w]):watermark\b/g;function vn(e){return O(e).search(le)!==-1}a(vn,"hasPlaceholder");function Rn(e,n,t){let r=vn(n);if(t===void 0){if(r)throw new g$1(`La query di "${e}" contiene ${h} ma la source non dichiara \`watermark\`: il segnaposto non verrebbe legato a nessun valore.`);return}if(E(e,t),!r)throw new g$1(`La source "${e}" dichiara \`watermark\` ma la query non contiene il segnaposto ${h}: senza il predicato (es. WHERE ${t.column} >= ${h}) l'estrazione sarebbe un full scan a ogni run.`)}a(Rn,"assertWatermarkQuery");function Tn(e,n){return oe(e,t=>t.replace(le,()=>n))}a(Tn,"replaceWatermarkPlaceholder");function Pn(e){return {label:"watermark",value:`${e.column} (${e.type})`}}a(Pn,"watermarkDetail");function Cn(e$1,n){if(n===void 0)throw new e(`La source "${e$1}" \xE8 incrementale ma \xE8 stata eseguita senza un watermark da cui leggere: va eseguita dal runner di un grafo, con uno store dello stato di pipeline.`,{stage:e$1});return n}a(Cn,"requireIncremental");function On(e$1,n,t,r,a){let o=t;if(typeof o!="object"||o===null)return;if(!(n.column in o))throw new e(`La colonna di watermark "${n.column}" non \xE8 nel risultato della query di "${e$1}": va selezionata, altrimenti il watermark non avanza mai.`,{stage:e$1});let s=o[n.column];if(s==null)return;let l=a(s,n.type);if(l===void 0)throw new e(`La colonna di watermark "${n.column}" di "${e$1}" ha un valore di tipo non gestito (${typeof s}) per un watermark "${n.type}".`,{stage:e$1});r.observe(l);}a(On,"observeWatermark");function hn(e,n){if(typeof e=="string")return e;if(n==="integer"){if(typeof e=="bigint")return e.toString();if(typeof e=="number"&&Number.isSafeInteger(e))return String(e)}}a(hn,"plainWatermarkText");
|
|
2
|
+
export{se as $,Ve as A,ke as B,Ie as C,De as D,ze as E,m as F,S as G,$e as H,D as I,Me as J,qe as K,Le as L,Fe as M,y as N,M as O,q as P,en as Q,nn as R,L as S,F as T,tn as U,rn as V,an as W,sn as X,te as Y,re as Z,K as _,A as a,mn as aa,b,En as ba,T as c,h as ca,fe as d,Rn as da,g as e,Tn as ea,be as f,Pn as fa,Se as g,Cn as ga,P as h,On as ha,Ee as i,hn as ia,ve as j,Re as k,B as l,x as m,w as n,V as o,k as p,G as q,Te as r,Pe as s,I as t,Ce as u,Oe as v,he as w,Ae as x,xe as y,we as z};
|
|
@@ -0,0 +1,2 @@
|
|
|
1
|
+
import {c,b,a as a$1,d}from'./chunk-4NPSBPBY.js';import {c as c$1,b as b$1}from'./chunk-JLPK6MMQ.js';import {x,N,O,P,T,R as R$1,l,m,r,s,F,G,I as I$1,a as a$2}from'./chunk-BFW7HTF6.js';import {a,g,f,Z as Z$1,aa}from'./chunk-PE2QKU34.js';import {z as z$1}from'zod';var S="https://api.sendgrid.com",p=[{suffisso:"API_KEY",obbligatoria:true,segreta:true},{suffisso:"FROM",obbligatoria:true},{suffisso:"SANDBOX",default:"false"},{suffisso:"BASE_URL",default:S}];function te(e){return {connettore:"sendgrid",prefisso:x,manifest:p,id:e}}a(te,"istanzaSendgridDichiarata");function I(e,n=x){let i=c(e)?void 0:b(e);if(i===void 0)throw new g(`${n}FROM non \xE8 un indirizzo valido (atteso x@dominio o Nome <x@dominio>)`);return i}a(I,"mittenteSendgrid");function oe(e,n){let i;try{i=new URL(n);}catch{throw new g(`${e}BASE_URL non \xE8 un URL valido`)}if(i.protocol!=="https:")throw new g(`${e}BASE_URL deve usare https`);if(i.username!==""||i.password!=="")throw new g(`${e}BASE_URL contiene credenziali nell'URL: la chiave va in ${e}API_KEY`);return n.replace(/\/+$/,"")}a(oe,"parseBaseUrl");function h(e=x,n=process.env){let i=N(p,e,n);O(i);let t=a(s=>P(i,s),"valore"),{obbligatoria:a$1}=T(e,n),o=t("FROM");return I(o,e),{apiKey:a$1("API_KEY"),from:o,sandbox:R$1(e,"SANDBOX",t("SANDBOX"),false),baseUrl:oe(e,t("BASE_URL")),variabili:i.variabili}}a(h,"loadSendgridConfig");function J(e){return {kind:"sendgrid",listEnvVar:"SENDGRID_INSTANCES",instancesRaw:e.SENDGRID_INSTANCES,defaultId:l,loadOne:a(n=>h(m(x,n),e),"loadOne")}}a(J,"opzioni");function ae(e=process.env){return r(J(e))}a(ae,"loadSendgridRegistry");function v(e,n=process.env){return s(J(n),e)}a(v,"loadSendgridInstance");var se={apiKey:"non-una-credenziale",from:"noeva@esempio",sandbox:false,baseUrl:S};function de(e,n){return {risolta:a(()=>v(e,n),"risolta"),esempio:a(i=>({...se,ricaduta:i,variabili:N(p,m(x,e),n).variabili}),"esempio")}}a(de,"istanzaSendgridPerIlPiano");var le="noeva_chiave",C=a(e=>({email:e.email,...e.nome!==void 0?{name:e.nome}:{}}),"indirizzo");function A(e,n){return n.length>0?{[e]:n.map(C)}:{}}a(A,"lista");function X(e,n,i){let t=[...e.testo!==void 0?[{type:"text/plain",value:e.testo}]:[],...e.html!==void 0?[{type:"text/html",value:e.html}]:[]];return {personalizations:[{...A("to",e.a),...A("cc",e.cc),...A("bcc",e.ccn)}],from:C(n),...e.rispondiA!==void 0?{reply_to:C(e.rispondiA)}:{},subject:e.oggetto,content:t,...e.allegati!==void 0&&e.allegati.length>0?{attachments:e.allegati.map(a=>({content:Buffer.from(a.contenuto).toString("base64"),filename:a.nome,...a.contentType!==void 0?{type:a.contentType}:{},disposition:"attachment"}))}:{},...e.chiave!==void 0?{custom_args:{[le]:a$1(e.chiave)}}:{},...i?{mail_settings:{sandbox_mode:{enable:true}}}:{}}}a(X,"corpoSendgrid");var q={attempts:4,baseMs:1e3,maxMs:3e4},Q=3e4,ce="/v3/mail/send",ge=64*1024,pe=5,fe=300,me=/[^\s@<>"'(),;:]+@[^\s@<>"'(),;:]+/g,ye=z$1.object({errors:z$1.array(z$1.object({message:z$1.string().optional(),field:z$1.string().nullable().optional()}))});function Y(e,n){return (n===""?e:e.split(n).join("[chiave]")).replace(me,"[indirizzo]").slice(0,fe)}a(Y,"pulisci");function ue(e,n){if(e===void 0||e==="")return {messaggi:[],campi:[]};let i;try{i=JSON.parse(e);}catch{return {messaggi:[],campi:[]}}let t=ye.safeParse(i);if(!t.success)return {messaggi:[],campi:[]};let a=t.data.errors.slice(0,pe);return {messaggi:a.map(o=>o.message).filter(o=>o!==void 0&&o!=="").map(o=>Y(o,n)),campi:a.map(o=>o.field).filter(o=>typeof o=="string"&&o!=="").map(o=>Y(o,n))}}a(ue,"leggiErrori");var Se=a(e=>e===429||e>=500,"eTransitorio");function z(e,n,i={},t=false){return new f(`SendGrid invio su ${e.host}: ${n}`,{stage:e.stage,details:{host:e.host,...i},...t?{transient:true}:{}})}a(z,"fallisci");async function Ie(e,n,i){let t=AbortSignal.timeout(e.timeoutMs);try{return await e.fetchImpl(e.url,{method:"POST",headers:{authorization:`Bearer ${e.apiKey}`,"content-type":"application/json",accept:"application/json"},body:n,signal:AbortSignal.any([i.signal,t])})}catch{throw i.signal.throwIfAborted(),t.aborted?z(e,`timeout dopo ${e.timeoutMs} ms, la mail potrebbe essere partita`,{timeoutMs:e.timeoutMs}):z(e,"servizio non raggiungibile")}}a(Ie,"posta");async function Re(e,n,i){let t;try{t=await c$1(n,ge);}catch{i.signal.throwIfAborted(),t=void 0;}let{messaggi:a,campi:o}=ue(t,e.apiKey),s=Se(n.status),d=s?b$1(n.headers.get("retry-after")):void 0;return z(e,[`risposta ${n.status}`,...a].join(": "),{status:n.status,...o.length>0?{campi:o}:{},...d!==void 0?{retryAfterMs:d}:{}},s)}a(Re,"erroreDaRisposta");async function Ee(e,n,i,t){t.signal.throwIfAborted();let a=await Ie(e,n,t);if(!a.ok)throw await Re(e,a,t);await a.body?.cancel(),a.status!==(e.sandbox?200:202)&&t.logger.warn("sendgrid.esito-inatteso",{stage:e.stage,status:a.status,sandbox:e.sandbox});let o=a.headers.get("x-message-id")??void 0;return {...o!==void 0?{messageId:o}:{},accettati:i,sandbox:e.sandbox&&a.status===200}}a(Ee,"unTentativo");function be(e,n,i){let t=n.timeoutMs??Q;if(!Number.isFinite(t)||t<=0)throw new g(`sendgrid "${i}": timeoutMs deve essere positivo`);return {url:`${e.baseUrl}${ce}`,host:new URL(e.baseUrl).host,apiKey:e.apiKey,sandbox:e.sandbox,timeoutMs:t,fetchImpl:n.fetchImpl??fetch,stage:i}}a(be,"endpointSendgrid");function R(e,n,i){let t=I(e.from),a$1=Z$1(n.retry??q,`sendgrid "${i}"`),o=be(e,n,i);return {async invia(s,d$1){let g=d(s),W=JSON.stringify(X(g,t,e.sandbox)),ee=g.a.length+g.cc.length+g.ccn.length;return aa(()=>Ee(o,W,ee,d$1),a$1,d$1,{onRetry:a(({retry:ne,delayMs:ie,error:x})=>{let re=x instanceof f?x.context.details?.status:void 0;d$1.logger.warn("sendgrid.retry",{stage:i,retry:ne,delayMs:ie,status:re});},"onRetry")})}}}a(R,"clientSendgrid");var Z="credenziale",H="API key \xB7 impostata";function he(e){return e===void 0?{label:Z,value:H}:{label:Z,value:e.origine==="mancante"?`API key \xB7 manca ${e.variabile}`:H,env:e.variabile,origine:e.origine}}a(he,"dettaglioChiave");function E(e,n){let i=a(t=>F(e.variabili,t),"variabile");return {kind:"sendgrid",...a$2(n),details:[G("mittente",e.from,i("FROM")),G("base",e.baseUrl,i("BASE_URL")),G("sandbox",String(e.sandbox),i("SANDBOX")),...I$1(e.ricaduta),he(i("API_KEY"))]}}a(E,"descriptorSendgrid");function ve(e,n){let i=n.name??"sendgrid",t=R(e,n.trasporto??{},i);return {name:i,descriptor:E(e,n.instanceId),async run(a,o){let s=await t.invia(n.mail(a),o);return n.merge(a,s)}}}a(ve,"sendgridAction");function Ae(e,n){let i=n.name??"sendgrid",t=R(e,n.trasporto??{},i),a$1=a((o,s)=>t.invia(n.mail(o),s),"invia");return {name:i,descriptor:E(e,n.instanceId),async load(o,s){let d=0;for await(let g of o)s.signal.throwIfAborted(),await a$1(g,s),d++;return s.logger.info("sendgrid-sink.inviate",{stage:i,inviate:d}),{written:d}},async loadOne(o,s){await a$1(o,s);}}}a(Ae,"sendgridSink");
|
|
2
|
+
export{S as a,p as b,te as c,I as d,h as e,ae as f,v as g,de as h,q as i,Q as j,ve as k,Ae as l};
|
|
@@ -0,0 +1 @@
|
|
|
1
|
+
import {b as b$1,c,a as a$2}from'./chunk-UN3BPCPA.js';import {U,u,Y,V,l,m as m$1,r,s,X,g as g$1,f,i,_,k,j as j$1,a as a$1,ia,da,ea,ga,ha,fa,ba}from'./chunk-BFW7HTF6.js';import {a,g,j,e,W,f as f$1}from'./chunk-PE2QKU34.js';import b from'mssql';var E=[...U,{suffisso:"ENCRYPT",default:"true"},{suffisso:"TRUSTCERT",default:"true"}];function de(e){return {connettore:"sqlserver",prefisso:u,manifest:E,id:e}}a(de,"istanzaMssqlDichiarata");function se(e,n){return V(E,e,n)}a(se,"risolviMssql");function L(e=u,n=process.env){let r=se(e,n),{host:o,port:s,database:c}=r.connessione;return {server:o,port:s,user:r.user,password:r.password,database:c,options:{encrypt:r.valore("ENCRYPT")!=="false",trustServerCertificate:r.valore("TRUSTCERT")!=="false"},pool:{max:10,min:0,idleTimeoutMillis:3e4}}}a(L,"loadMssqlConfig");function ae(e,n){return se(e,n).connessione}a(ae,"loadMssqlConnessioneDaPrefisso");function fe(e,n={}){return new b.ConnectionPool({...e,...n.requestTimeout===void 0?{}:{requestTimeout:n.requestTimeout}})}a(fe,"createMssqlPool");function ie(e,n){return {kind:"sqlserver",listEnvVar:"MSSQL_INSTANCES",instancesRaw:e.MSSQL_INSTANCES,defaultId:l,loadOne:a(r=>n(m$1(u,r),e),"loadOne")}}a(ie,"opzioni");function me(e=process.env){return r(ie(e,L))}a(me,"loadMssqlRegistry");function N(e,n=process.env){return s(ie(n,ae),e)}a(N,"loadMssqlConnessione");function ye(e,n){return X({manifest:E,prefisso:m$1(u,e),env:n,esempio:{host:"sqlserver.esempio",port:1433,database:"esempio"},risolta:a(()=>N(e,n),"risolta")})}a(ye,"istanzaMssqlPerIlPiano");var Se=/^[A-Za-z_][A-Za-z0-9_]*$/;function m(e){if(!Se.test(e))throw new g(`Identificatore SQL non valido: "${e}"`);return `[${e}]`}a(m,"quoteIdentifier");function C(e){return e.split(".").map(m).join(".")}a(C,"qualifiedTable");function O(e,n,r,o){if(n.length===0)throw new g("`columns` non pu\xF2 essere vuoto");if(o<=0)throw new g("`rowCount` deve essere > 0");let s=C(e),c=n.map(m).join(", "),d=0,u=[];for(let p=0;p<o;p+=1){let l=n.map(()=>`@p${d++}`).join(", ");u.push(`(${l})`);}let a=u.join(", ");if(r.length===0)return `INSERT INTO ${s} (${c}) VALUES ${a};`;let i=n.map(m).join(", "),y=r.map(p=>`TGT.${m(p)} = SRC.${m(p)}`).join(" AND "),f=n.filter(p=>!r.includes(p)),S=f.length===0?"":` WHEN MATCHED THEN UPDATE SET ${f.map(p=>`TGT.${m(p)} = SRC.${m(p)}`).join(", ")}`,g$1=n.map(p=>`SRC.${m(p)}`).join(", ");return `MERGE INTO ${s} AS TGT USING (VALUES ${a}) AS SRC (${i}) ON ${y}${S} WHEN NOT MATCHED THEN INSERT (${c}) VALUES (${g$1});`}a(O,"buildMergeText");function qe(e){let n=e.config;if(typeof n!="object"||n===null)return {};let{server:r,port:o,database:s}=n;return {...typeof r=="string"?{server:r}:{},...typeof o=="number"?{port:o}:{},...typeof s=="string"?{database:s}:{}}}a(qe,"readConfig");function q(e){let{server:n,port:r,database:o}=qe(e),s=[];return n!==void 0&&n!==""&&s.push({label:"host",value:n}),r!==void 0&&s.push({label:"porta",value:String(r)}),o!==void 0&&o!==""&&s.push({label:"database",value:o}),s}a(q,"poolDetails");function v(e){let n=e.replace(/\s+/g," ").trim();return {label:"query",value:n.length>120?`${n.slice(0,120)}\u2026`:n}}a(v,"queryDetail");var A="sqlserver:lookup",ge="(SELECT CAST(NULL AS nvarchar(4000)) AS chiave WHERE 1 = 0)";function Te(e,n,r="list"){let o={};return n.forEach((s,c)=>{o[`k${c}`]=s;}),{text:g$1(e,n.length,s=>`@k${s}`,{shape:r,emptyRowset:ge}),inputs:o}}a(Te,"expandKeysPlaceholder");function ke(e){let n=e.name??"sqlserver-lookup";return f(e.query,{requireKeysPlaceholder:true,stage:A}),{name:n,descriptor:{kind:"sqlserver-lookup",...a$1(e.instanceId),details:[...q(e.pool),v(e.query)]},async resolve(r,o){o.signal.throwIfAborted();let{text:s,inputs:c}=Te(e.query,i(r),e.keysAs??"list"),d=e.pool.request();for(let[i,y]of Object.entries(c))d.input(i,y);let u;try{u=await d.query(s);}catch(i){throw new j("Query del lookup fallita su SQL Server",{stage:A,..._(i)},{cause:i})}let a=k(u.recordset??[],e.keyColumn,A);return j$1(r,a)}}}a(ke,"mssqlLookup");var x="watermark";function he(e,n){if(!(e instanceof Date)||n!=="timestamp")return ia(e,n);if(Number.isNaN(e.getTime()))return;let r=e.nanosecondsDelta,o=typeof r=="number"&&Number.isFinite(r)&&r>0?Math.round(r*1e7):0,s=Math.min(999,Math.floor(o/10));return `${e.toISOString().slice(0,-1)}${String(s).padStart(3,"0")}`}a(he,"mssqlWatermarkText");function Ee(e$1){let n=e$1.name??"sqlserver",r=e$1.highWaterMark??1e3,{watermark:o}=e$1;if(da(n,e$1.query,o),o!==void 0&&Object.keys(e$1.inputs??{}).includes(x))throw new g(`La source "${n}" \xE8 incrementale: il parametro @${x} lo lega la source, non pu\xF2 stare fra gli \`inputs\`.`);let s=o===void 0?e$1.query:ea(e$1.query,`@${x}`);return {name:n,descriptor:{kind:"sqlserver",...a$1(e$1.instanceId),details:[...q(e$1.pool),v(e$1.query),...o!==void 0?[fa(o)]:[]]},...o!==void 0?{watermark:{...o,...e$1.instanceId!==void 0?{instanceId:e$1.instanceId}:{}}}:{},async*extract(c,d){let u=o===void 0?void 0:{watermark:o,incremental:ga(n,d)},a$1=e$1.pool.request();a$1.stream=true;for(let[l,ue]of Object.entries(e$1.inputs??{}))a$1.input(l,ue);u!==void 0&&a$1.input(x,u.incremental.from);let i=[],y=false,f=null,S=null,g=a(()=>{if(S){let l=S;S=null,l();}},"signal");a$1.on("row",l=>{i.push(l),i.length>=r&&a$1.pause(),g();}),a$1.on("error",l=>{f=l,g();}),a$1.on("done",()=>{y=true,g();}),a$1.query(s).catch(l=>{f??=l instanceof Error?l:new Error(String(l)),g();});try{for(;;){if(c.signal.throwIfAborted(),i.length===0){if(f!==null||y)break;await new Promise(l=>{S=l;});continue}for(;i.length>0;){let l=i.shift();u!==void 0&&ha(n,u.watermark,l,u.incremental,he),yield l;}a$1.resume();}}catch(l){throw a$1.cancel(),l instanceof e?l:new e("Errore durante l'estrazione da SQL Server",{stage:n},{cause:l})}let p=f;if(p)throw a$1.cancel(),new e("Errore durante l'estrazione da SQL Server",{stage:n},{cause:p})}}}a(Ee,"mssqlSource");var le={quote:m,table:C,param:a(e=>`@p${e}`,"param"),dateText:a(e=>`CONVERT(char(10), ${e}, 23)`,"dateText"),trueLiteral:"1",falseLiteral:"0",tryLock:a(e=>({text:"DECLARE @scd2_lock int; EXEC @scd2_lock = sp_getapplock @Resource = @p0, @LockMode = 'Exclusive', @LockOwner = 'Transaction', @LockTimeout = 0; SELECT @scd2_lock AS locked;",params:[`noeva-etl:scd2:${e}`]}),"tryLock"),lockGranted:a(e=>{let n=e?.locked;return typeof n=="number"&&n>=0},"lockGranted"),isUniqueViolation:a(e=>Y(e,{numbers:new Set([2601,2627])}),"isUniqueViolation")};function we(e){return async n=>{let r=new b.Request(e);n.params.forEach((c,d)=>{r.input(`p${d}`,c);});let o=await r.query(n.text);return {rows:o.recordset??[],rowCount:o.rowsAffected.reduce((c,d)=>c+d,0)}}}a(we,"scd2Exec");var ce=2100,Re=1e3;function Me(e,n,r){let o=Math.max(n.columns.length+1,n.naturalKey.length+1),s=Math.min(Re,Math.floor((ce-2)/o));if(r===void 0)return Math.min(200,s);if(!Number.isInteger(r)||r<1||r>s)throw new g(`sink SCD2 "${e}": \`batchSize\` deve essere un intero fra 1 e ${s}: SQL Server ammette ${ce} parametri per richiesta, e questa tabella ne usa ${o} per riga.`);return r}a(Me,"scd2BatchSize");function Ce(e,n,r){let o=Me(r,n,e.batchSize),s=W();return {name:r,retrySafe:true,held:s.read,descriptor:{kind:"sqlserver",...a$1(e.instanceId),details:[...q(e.pool),{label:"table",value:e.table},{label:"mode",value:"scd2"}]},async load(c$1,d){let u=b$1(d.params,r),a$1=new b.Transaction(e.pool);return c({config:n,dialect:le,exec:we(a$1),records:c$1,ctx:d,batchSize:o,run:u,stage:r,onHeld:a(i=>s.set(d,i),"onHeld")},{engine:"SQL Server",begin:a(async()=>{await a$1.begin();},"begin"),commit:a(()=>a$1.commit(),"commit"),rollback:a(()=>a$1.rollback(),"rollback")})}}}a(Ce,"mssqlScd2Sink");function ve(e){let n=e.name??`sqlserver:${e.table}`;if(e.mode==="scd2")return Ce(e,a$2(n,e.table,e.columns,e),n);let r=e.batchSize??200,o=e.conflictTarget??[],s=W();return {name:n,retrySafe:true,held:s.read,descriptor:{kind:"sqlserver",...a$1(e.instanceId),details:[...q(e.pool),{label:"table",value:e.table}]},async load(c,d){let u=new b.Transaction(e.pool),a$1=0,i=[],y=a(async()=>{if(i.length===0)return;let f=O(e.table,e.columns,o,i.length),S=new b.Request(u),g=0;for(let p of i)for(let l of e.columns)S.input(`p${g++}`,p[l]);await S.query(f),a$1+=i.length,i=[],s.set(d,0);},"flush");await u.begin();try{for await(let f of c)d.signal.throwIfAborted(),i.push(f),s.set(d,i.length),i.length>=r&&await y();await y(),await u.commit();}catch(f){try{await u.rollback();}catch{}throw new f$1("Errore durante il caricamento su SQL Server",{stage:n,..._(f)},{cause:f})}finally{s.set(d,0);}return {written:a$1}}}}a(ve,"mssqlSink");function xe(e){return {kind:"sqlserver-task",connectionDetails:q(e),async transaction(n){let r=e.transaction();try{await r.begin(),await n({async execute(o,s){let c=r.request();for(let a of o.params)c.input(a,s[a]);let u=(await c.query(o.text)).rowsAffected;return u.length===0?null:u.reduce((a,i)=>a+i,0)}}),await r.commit();}catch(o){try{await r.rollback();}catch{}throw o}}}}a(xe,"mssqlDriver");function be(e){let{pool:n,...r}=e;return ba(r,xe(n))}a(be,"mssqlSqlTask");export{E as a,de as b,L as c,fe as d,me as e,N as f,ye as g,m as h,C as i,O as j,ke as k,Ee as l,ve as m,be as n};
|