aziendasanitaria-utils 1.2.39 → 1.2.40

package/package.json

@@ -3,7 +3,7 @@
   "engines": {
     "node": ">=14.0.0"
   },
-  "version": "1.2.39",
+  "version": "1.2.40",
   "repository": "deduzzo/aziendasanitaria-utils",
   "description": "Un utility per gestire i flussi sanitari Siciliani e non solo..",
   "main": "index.js",
@@ -18,7 +18,8 @@
   "scripts": {
     "test": "echo \"Error: no test specified\"",
     "run-private": "node ./private_example.js",
-    "bun-run-private": "bun ./private_example.js"
+    "bun-run-private": "bun ./private_example.js",
+    "genera-strutture": "node ./load_strutture.js"
   },
   "dependencies": {
     "@freiraum/msgreader": "^1.1.1",

package/src/Procedure.js

@@ -132,8 +132,9 @@ class Procedure {
                     for (let assistito of assistitiNar[codReg].assistiti) {
                         allAssistitiDistrettuali[distretto].nar.push({...assistito, ...medico});
                     }
-                    for (let assistito of assistitiTs[codReg]) {
-                        allAssistitiDistrettuali[distretto].ts.push({...assistito, ...medico});
+                    for (let assistiti of assistitiTs[codReg] ?? []) {
+                        if (assistiti)
+                            allAssistitiDistrettuali[distretto].ts.push({...assistiti, ...medico});
                     }
                     allAssistitiDistrettuali[distretto].codRegNar[codReg] = assistitiNar[codReg].assistiti;
                     allAssistitiDistrettuali[distretto].codRegTs[codReg] = assistitiTs[codReg];
@@ -188,7 +189,7 @@ class Procedure {
      *
      * @return {Promise<number>} Returns 0 upon successful processing.
      */
-    static async getControlliEsenzione(pathElenco, anno,impostazioniServizi, config={}){
+    static async getControlliEsenzione(pathElenco, anno, impostazioniServizi, config = {}) {
         let {
             colonnaProtocolli = "PROTOCOLLO",
             colonnaEsenzione = "ESENZIONE",
@@ -394,7 +395,7 @@ class Procedure {
                     }
                 }
             }
-            if (Object.values(outData) >0)
+            if (Object.values(outData) > 0)
                 outFinal.push(outData);
             da = da.add(1, "month");
         } while (da.isSameOrBefore(a) && !singoloCedolino);

package/src/Utils.js

@@ -853,13 +853,67 @@ const riunisciJsonDaTag = async (path, tag, filter = null) => {
     return out;
 }
 
-const riunisciExcelDaTag = async (path, tag, filter = null) => {
-    let files = getAllFilesRecursive(path, ".xlsx", filter);
-    let out = {};
-    out[tag] = [];
+/**
+ * Riunisci dati da tutti i file Excel trovati ricorsivamente in `path`.
+ *
+ * - Cerca tutti i file `.xlsx` all'interno della cartella `path` (ricorsivamente),
+ *   applicando opzionalmente un `filter` sui nomi dei file.
+ * - Per ogni file trovato legge il primo foglio usando `getObjectFromFileExcel`.
+ * - Se `config.tags` è un array non vuoto, per ogni `tag` crea un array in output
+ *   e ci inserisce i valori corrispondenti (per ogni riga prende `row[tag]`).
+ * - Se `config.tags` è vuoto, costruisce l'output con tutte le colonne presenti
+ *   nella prima riga del primo file (`data[0]`).
+ * - Se `config.salvaInNuovoFileExcel` è true, salva il risultato in
+ *   un file `riunito.xlsx` nella cartella `path`.
+ *
+ * @param {string} path - Cartella radice dove cercare i file Excel.
+ * @param {Object} [config={}] - Configurazione opzionale.
+ * @param {string[]} [config.tags=[]] - Array di colonne (nomi) da raccogliere.
+ * @param {string|null} [config.filter=null] - Filtro per i nomi dei file (opzionale).
+ * @param {boolean} [config.salvaInNuovoFileExcel=false] - Se true salva l'output in `riunito.xlsx`.
+ * @param {string|null} [config.soloValoriUniciPerCampo=null] - Se specificato, mantiene solo righe con valori unici per questo campo.
+ * @returns {Promise<Object>} Oggetto con chiavi corrispondenti ai tag (o colonne) e valori come array dei relativi valori.
+ *
+ * @example
+ * // Unisce le colonne "nome" e "cognome" da tutti gli xlsx nella cartella
+ * const out = await riunisciExcelDaTag(`/Users/deduzzo/dati`, { tags: ['nome','cognome'] });
+ */
+const riunisciExcelDaTag = async (folderPath, config = {}) => {
+    let {
+        tags = [],
+        filter = null,
+        salvaInNuovoFileExcel = false,
+        soloValoriUniciPerCampo = null
+    } = config;
+    let files = getAllFilesRecursive(folderPath, ".xlsx", filter);
+    let out = [];
     for (let file of files) {
         let data = await getObjectFromFileExcel(file);
-        out[tag].push(...data);
+        if (tags.length === 0) {
+            // get all keys from data[0]
+            let keys = Object.keys(data[0]);
+            tags = keys;
+        }
+        // add every object of data but only the tags we want, ex. if tag is ['cf', 'data'] we want to put only object type {cf: 'xxx', data: 'yyy'} in out
+        for (let obj of data) {
+            let objTemp = {};
+            tags.forEach(tag => {
+                objTemp[tag] = obj[tag];
+            });
+            // prevent to push empty object
+            if (Object.values(objTemp).some(value => value !== ""))
+                out.push(objTemp);
+        }
+    }
+    if (soloValoriUniciPerCampo) {
+        let out2 = {};
+        for (let riga of out)
+            if (!out2.hasOwnProperty(riga[soloValoriUniciPerCampo]))
+                out2[riga[soloValoriUniciPerCampo]] = riga;
+        out = Object.values(out2);
+    }
+    if (salvaInNuovoFileExcel) {
+        await scriviOggettoSuNuovoFileExcel(folderPath + path.sep + "riunito.xlsx", out);
     }
     return out;
 }

package/src/m/FlussoM.js

@@ -10,6 +10,7 @@ import {DatiStruttureProgettoTs} from "./DatiStruttureProgettoTs.js";
 import ExcelJS from "exceljs"
 import loki from 'lokijs';
 import {hashFile} from "hasha";
+import * as cheerio from 'cheerio';
 
 export class FlussoM {
     /**
@@ -403,27 +404,76 @@ export class FlussoM {
     }
 
 
-    #loadStruttureFromFlowlookDB() {
-        const buffer = fs.readFileSync(this._settings.flowlookDBFilePath);
-        const reader = new MDBReader(buffer);
+    // DEPRECATO: sostituito da #loadStruttureFromLatestFile()
+    // #loadStruttureFromFlowlookDB() {
+    //     const buffer = fs.readFileSync(this._settings.flowlookDBFilePath);
+    //     const reader = new MDBReader(buffer);
+    //     const strutture = reader.getTable(this._settings.flowlookDBTableSTS11).getData();
+    //     let struttureFiltrate = strutture.filter(p => p["CodiceAzienda"] === this._settings.codiceAzienda && p["CodiceRegione"] === this._settings.codiceRegione && (parseInt(p["Anno"]) >= (new Date().getFullYear()) - 2));
+    //     let mancanti = []
+    //     let struttureOut = {}
+    //     struttureFiltrate.forEach(p => {
+    //         if (this._settings.datiStruttureRegione.comuniDistretti.hasOwnProperty(p["CodiceComune"])) {
+    //             struttureOut[p['CodiceStruttura']] = {
+    //                 codiceRegione: p['CodiceRegione'],
+    //                 codiceAzienda: p['CodiceAzienda'],
+    //                 denominazione: p['DenominazioneStruttura'],
+    //                 codiceComune: p['CodiceComune'],
+    //                 idDistretto: this._settings.datiStruttureRegione.comuniDistretti[p["CodiceComune"]],
+    //                 dataUltimoAggiornamento: moment(p['DataAggiornamento'], 'DD/MM/YYYY')
+    //             };
+    //         } else
+    //             mancanti.push(p);
+    //     })
+    //     return struttureOut;
+    // }
+
+    #loadStruttureFromLatestFile() {
+        const struttureDir = path.join("data", "strutture");
+        if (!fs.existsSync(struttureDir)) {
+            throw new Error(`Cartella ${struttureDir} non trovata. Eseguire prima la generazione delle strutture con load_strutture.js`);
+        }
 
-        const strutture = reader.getTable(this._settings.flowlookDBTableSTS11).getData();
-        let struttureFiltrate = strutture.filter(p => p["CodiceAzienda"] === this._settings.codiceAzienda && p["CodiceRegione"] === this._settings.codiceRegione && (parseInt(p["Anno"]) >= (new Date().getFullYear()) - 2));
-        let mancanti = []
-        let struttureOut = {}
-        struttureFiltrate.forEach(p => {
-            if (this._settings.datiStruttureRegione.comuniDistretti.hasOwnProperty(p["CodiceComune"])) {
-                struttureOut[p['CodiceStruttura']] = {
-                    codiceRegione: p['CodiceRegione'],
-                    codiceAzienda: p['CodiceAzienda'],
-                    denominazione: p['DenominazioneStruttura'],
-                    codiceComune: p['CodiceComune'],
-                    idDistretto: this._settings.datiStruttureRegione.comuniDistretti[p["CodiceComune"]],
-                    dataUltimoAggiornamento: moment(p['DataAggiornamento'], 'DD/MM/YYYY')
-                };
-            } else
-                mancanti.push(p);
-        })
+        const latestFile = fs.readdirSync(struttureDir).find(f => f.startsWith("LATEST_"));
+        if (!latestFile) {
+            throw new Error(`Nessun file LATEST_ trovato in ${struttureDir}. Eseguire prima la generazione delle strutture con load_strutture.js`);
+        }
+
+        const strutture = JSON.parse(fs.readFileSync(path.join(struttureDir, latestFile), "utf-8"));
+
+        // Costruisci reverse lookup: nome distretto -> id numerico
+        const reverseDistretti = {};
+        for (const [id, nome] of Object.entries(this._settings.datiStruttureRegione.distretti)) {
+            reverseDistretti[nome.toLowerCase()] = parseInt(id);
+        }
+
+        const struttureOut = {};
+        for (const s of strutture) {
+            let idDistretto = null;
+            if (s.distretto) {
+                const distLower = s.distretto.toLowerCase();
+                // Match esatto
+                idDistretto = reverseDistretti[distLower];
+                // Match parziale (es. "Barcellona P.G." contiene "barcellona")
+                if (idDistretto === undefined) {
+                    const found = Object.entries(reverseDistretti).find(([nome]) =>
+                        distLower.startsWith(nome) || nome.startsWith(distLower)
+                    );
+                    if (found) idDistretto = found[1];
+                }
+            }
+
+            struttureOut[s.codice] = {
+                denominazione: s.denominazione,
+                codiceComune: s.codCatastale,
+                idDistretto: idDistretto,
+                distretto: s.distretto,
+                ambito: s.ambito,
+                stato: s.stato
+            };
+        }
+
+        console.log(`Caricate ${Object.keys(struttureOut).length} strutture da ${latestFile}`);
         return struttureOut;
     }
 
@@ -476,7 +526,7 @@ export class FlussoM {
     }
 
     async #ottieniStatDaFileFlussoM(file) {
-        let strutture = this.#loadStruttureFromFlowlookDB();
+        let strutture = this.#loadStruttureFromLatestFile();
         let ricetteInFile = await this.#elaboraFileFlussoM(file, this._starts);
         let warn = "";
         if (ricetteInFile.error) {
@@ -486,13 +536,13 @@ export class FlussoM {
             let verificaDateStruttura = this.#checkMeseAnnoStruttura(Object.values(ricetteInFile.ricette))
             ricetteInFile.codiceStruttura = verificaDateStruttura.codiceStruttura;
             ricetteInFile.file = file;
-            ricetteInFile.idDistretto = strutture[verificaDateStruttura.codiceStruttura]?.idDistretto.toString() ?? (ricetteInFile.datiDaFile?.idDistretto ?? "X");
+            ricetteInFile.idDistretto = strutture[verificaDateStruttura.codiceStruttura]?.idDistretto?.toString() ?? (ricetteInFile.datiDaFile?.idDistretto ?? "X");
             ricetteInFile.annoPrevalente = verificaDateStruttura.meseAnnoPrevalente.substr(2, 4);
             ricetteInFile.mesePrevalente = verificaDateStruttura.meseAnnoPrevalente.substr(0, 2);
             ricetteInFile.date = _.omitBy(verificaDateStruttura.date, _.isNil);
             if (!strutture.hasOwnProperty(verificaDateStruttura.codiceStruttura)) {
-                console.log("STRUTTURA " + verificaDateStruttura.codiceStruttura + " non presente sul FLOWLOOK")
-                warn = "STRUTTURA " + verificaDateStruttura.codiceStruttura + " non presente sul FLOWLOOK"
+                console.log("STRUTTURA " + verificaDateStruttura.codiceStruttura + " non presente nel file strutture")
+                warn = "STRUTTURA " + verificaDateStruttura.codiceStruttura + " non presente nel file strutture"
             }
             return {errore: false, warning: (warn === "" ? false : warn), out: ricetteInFile}
         }
@@ -536,7 +586,7 @@ export class FlussoM {
 
     async generaReportDaStats(salvaFileHtml = true, salvaFileExcel = true) {
         let idDistretti = Object.keys(this._settings.datiStruttureRegione.distretti);
-        let strutture = this.#loadStruttureFromFlowlookDB();
+        let strutture = this.#loadStruttureFromLatestFile();
         let files = utils.getAllFilesRecursive(this._settings.out_folder, '.mstats');
         const table = {
             name: '',
@@ -897,11 +947,19 @@ export class FlussoM {
         }
         let lunghezzaRiga = utils.verificaLunghezzaRiga(this._starts);
         const outputFile = nomeFile === "" ? (outFolder + path.sep + '190205_000_XXXX_XX_M_AL_20XX_XX_XX.TXT') : outFolder + path.sep + nomeFile;
-        var logger = fs.createWriteStream(outputFile, {
-            flags: 'a' // 'a' means appending (old data will be preserved)
-        })
-        var writeLine = (line) => logger.write(`${line}\n`);
-        for (var file of allFiles) {
+
+        // Rimuovi file esistente per evitare append duplicato
+        if (fs.existsSync(outputFile)) {
+            fs.unlinkSync(outputFile);
+        }
+
+        console.log(`unisciFileTxt: ${allFiles.length} file da ${inFolder}`);
+
+        const logger = fs.createWriteStream(outputFile, { flags: 'w' });
+        const writeLine = (line) => logger.write(`${line}\n`);
+        let totalLines = 0;
+
+        for (const file of allFiles) {
             const fileStream = fs.createReadStream(file);
             const rl = readline.createInterface({
                 input: fileStream,
@@ -911,7 +969,6 @@ export class FlussoM {
             let nLine = 0;
             for await (const line of rl) {
                 writeLine(line);
-                // Each line in input.txt will be successively available here as `line`.
                 nLine++;
                 if (line.length !== lunghezzaRiga) {
                     console.log("file: " + file);
@@ -920,10 +977,14 @@ export class FlussoM {
                     errors.push({file: file, lunghezza: line.length, linea: nLine})
                 }
             }
+            totalLines += nLine;
         }
         logger.end();
+
+        const fileSize = fs.existsSync(outputFile) ? fs.statSync(outputFile).size : 0;
+        console.log(`unisciFileTxt: ${totalLines} righe totali, ${(fileSize / 1024).toFixed(1)} KB -> ${outputFile}`);
+
         if (errors.length === 0) {
-            //verifica
             console.log("verifica.. ");
             errors = [...errors, ...await this.#processLineByLine(outputFile, lunghezzaRiga)]
             if (errors.length === 0)
@@ -933,7 +994,7 @@ export class FlussoM {
                 console.table(errors);
             }
         }
-        return {error: errors.length !== 0, errors: errors}
+        return {error: errors.length !== 0, errors: errors, totalFiles: allFiles.length, totalLines, fileSize}
     }
 
     async inviaMailAiDistretti(distretti, meseAnno = "", mailGlobale = "", nomeFileCompleto = "CONSEGNE_GLOBALI") {
@@ -1440,7 +1501,7 @@ export class FlussoM {
 
 
     async generaFileExcelPerAnno(nomeFile, anno, cosaGenerare = [FlussoM.PER_STRUTTURA_ANNO_MESE, FlussoM.TAB_CONSEGNE_PER_CONTENUTO, FlussoM.TAB_CONSEGNE_PER_NOME_FILE, FlussoM.TAB_DIFFERENZE_CONTENUTO_NOMEFILE]) {
-        const strutture = this.#loadStruttureFromFlowlookDB();
+        const strutture = this.#loadStruttureFromLatestFile();
         let files = utils.getAllFilesRecursive(this._settings.out_folder, '.mstats');
         let data = [];
         for (let file of files) {
@@ -1616,7 +1677,7 @@ export class FlussoM {
             }
         }
 
-        const strutture = this.#loadStruttureFromFlowlookDB();
+        const strutture = this.#loadStruttureFromLatestFile();
 
         const buffer = fs.readFileSync(this.settings.flowlookDBFilePath);
         const reader = new MDBReader(buffer);
@@ -1748,4 +1809,175 @@ export class FlussoM {
         }
     }
 
+    /**
+     * Esegue lo scraping di una pagina HTML dell'elenco strutture del Progetto Tessera Sanitaria
+     * e genera un file JSON con i dati estratti.
+     * @param {string} htmlContent - Il contenuto HTML della pagina
+     * @param {string} outputDir - La directory di output (default: "data")
+     * @returns {Array<{codice: string, denominazione: string, indirizzo: string, localita: string, piva: string, stato: string}>}
+     */
+    static scrapingStruttureProgettoTs(htmlContent, outputDir = "data/strutture") {
+        const strutture = [];
+        const isHTML = /<tr[\s>]/i.test(htmlContent) || /<td[\s>]/i.test(htmlContent);
+
+        if (isHTML) {
+            const $ = cheerio.load(htmlContent);
+            $('tr').each((i, row) => {
+                const tds = $(row).find('td');
+                if (tds.length < 5) return;
+
+                const codice = $(tds[0]).text().trim();
+                if (!codice || codice === "Codice") return;
+
+                const denominazione = $(tds[1]).text().trim();
+                const indirizzo = $(tds[2]).text().trim();
+                const localita = $(tds[3]).text().trim();
+                const piva = $(tds[4]).text().trim();
+
+                const rigaTesto = $(row).text();
+                const stato = rigaTesto.includes("Struttura chiusa") ? "chiuso" : "attivo";
+
+                strutture.push({codice, denominazione, indirizzo, localita, piva, stato});
+            });
+        } else {
+            // Parsing testo piano (copia-incolla dal browser)
+            const lines = htmlContent.split('\n');
+            for (const line of lines) {
+                const trimmed = line.trim();
+                if (!trimmed || !/^\d{6}\s/.test(trimmed)) continue;
+
+                const stato = trimmed.includes("Struttura chiusa") ? "chiuso" : "attivo";
+                const cleaned = trimmed.replace(/\s+Visualizza Dettaglio.*$/, '');
+
+                // Prova prima con tab, poi con 4+ spazi
+                let parts = cleaned.split('\t').map(p => p.trim()).filter(p => p);
+                if (parts.length < 5) {
+                    parts = cleaned.split(/\s{4,}/).map(p => p.trim()).filter(p => p);
+                }
+
+                if (parts.length >= 5) {
+                    strutture.push({
+                        codice: parts[0],
+                        denominazione: parts[1],
+                        indirizzo: parts[2],
+                        localita: parts[3],
+                        piva: parts[4],
+                        stato
+                    });
+                }
+            }
+        }
+
+        // Arricchimento con codice catastale e distretto dal CSV ambiti
+        const csvPath = path.join(path.dirname(outputDir), "ambiti_distretti_messina.csv");
+        if (fs.existsSync(csvPath)) {
+            const csvContent = fs.readFileSync(csvPath, "utf-8");
+            const ambiti = {};
+            csvContent.split('\n').slice(1).forEach(line => {
+                const parts = line.split(',');
+                if (parts.length >= 3) {
+                    const ambito = parts[0].trim();
+                    if (ambito) {
+                        ambiti[ambito] = { codCatastale: parts[1].trim(), distretto: parts[2].trim() };
+                    }
+                }
+            });
+
+            // Carica mapping manuale da file JSON esterno
+            const mappingPath = path.join(path.dirname(outputDir), "mapping_strutture_extra.json");
+            let mappingVarianti = {};
+            let mappingPerCodice = {};
+            if (fs.existsSync(mappingPath)) {
+                const mappingData = JSON.parse(fs.readFileSync(mappingPath, "utf-8"));
+                mappingVarianti = mappingData.per_comune || {};
+                mappingPerCodice = mappingData.per_codice_struttura || {};
+            }
+
+            // Normalizza stringa per match fuzzy (rimuove apostrofi, trattini, spazi multipli)
+            const normalizza = (s) => s.toUpperCase().replace(/['\-\u2019\u0060]/g, '').replace(/\s+/g, ' ').trim();
+
+            // Costruisci indice normalizzato degli ambiti
+            const ambitiNorm = {};
+            for (const [key, val] of Object.entries(ambiti)) {
+                ambitiNorm[normalizza(key)] = { ...val, ambitoOriginale: key };
+            }
+
+            let matchati = 0;
+            let nonMatchati = [];
+
+            for (const s of strutture) {
+                // Estrai comune dalla localita (rimuovi provincia es. "(ME)")
+                let comune = s.localita.replace(/\s*\([A-Z]{2}\)\s*$/, '').trim();
+
+                // 0. Match per codice struttura (override manuale)
+                if (mappingPerCodice[s.codice]) {
+                    comune = mappingPerCodice[s.codice];
+                }
+
+                // 1. Match diretto
+                if (ambiti[comune]) {
+                    s.codCatastale = ambiti[comune].codCatastale;
+                    s.distretto = ambiti[comune].distretto;
+                    s.ambito = comune;
+                    matchati++;
+                    continue;
+                }
+
+                // 2. Match via mapping manuale per comune
+                const mappato = mappingVarianti[comune];
+                if (mappato && ambiti[mappato]) {
+                    s.codCatastale = ambiti[mappato].codCatastale;
+                    s.distretto = ambiti[mappato].distretto;
+                    s.ambito = mappato;
+                    matchati++;
+                    continue;
+                }
+
+                // 3. Match fuzzy normalizzato (apostrofi, trattini)
+                const comuneNorm = normalizza(comune);
+                if (ambitiNorm[comuneNorm]) {
+                    const found = ambitiNorm[comuneNorm];
+                    s.codCatastale = found.codCatastale;
+                    s.distretto = found.distretto;
+                    s.ambito = found.ambitoOriginale;
+                    matchati++;
+                    continue;
+                }
+
+                // Non trovato
+                s.codCatastale = null;
+                s.distretto = null;
+                s.ambito = null;
+                nonMatchati.push({ codice: s.codice, denominazione: s.denominazione, localita: s.localita });
+            }
+
+            console.log(`Matching ambiti: ${matchati}/${strutture.length} matchati, ${nonMatchati.length} non matchati`);
+            if (nonMatchati.length > 0) {
+                console.log("Strutture senza match ambito:");
+                nonMatchati.forEach(s => console.log(`  ${s.codice} - ${s.denominazione} - ${s.localita}`));
+            }
+        }
+
+        const timestamp = moment().format("YYYYMMDD_HHmmss");
+        const nomeFile = path.join(outputDir, `strutture_ts_${timestamp}.json`);
+
+        if (!fs.existsSync(outputDir)) {
+            fs.mkdirSync(outputDir, {recursive: true});
+        }
+
+        fs.writeFileSync(nomeFile, JSON.stringify(strutture, null, 2), "utf-8");
+        console.log(`Salvate ${strutture.length} strutture in ${nomeFile}`);
+
+        // Rimuovi eventuali file LATEST_ precedenti e crea il nuovo
+        const files = fs.readdirSync(outputDir);
+        files.filter(f => f.startsWith("LATEST_")).forEach(f => {
+            fs.unlinkSync(path.join(outputDir, f));
+        });
+        const latestFile = path.join(outputDir, `LATEST_strutture_ts_${timestamp}.json`);
+        fs.copyFileSync(nomeFile, latestFile);
+        console.log(`Creato ${latestFile}`);
+
+        return strutture;
+    }
+
 }

package/src/narTsServices/Medici.js

@@ -512,7 +512,8 @@ export class Medici {
                         });
                         if (!error && !error2) {
                             await page.waitForSelector("body > div:nth-child(12) > div:nth-child(3) > div:nth-child(2)");
-                            await page.click("#menu_voci > ol > li:nth-child(1) > a");
+                            //await page.click("#menu_voci > ol > li:nth-child(1) > a");
+                            await page.goto("https://sistemats4.sanita.finanze.it/simossMedici/elencoAssistiti.do", {waitUntil: 'networkidle2'});
                             // Attendiamo che il selettore #mef sia presente E che sia visibile
                             await page.waitForSelector("#mef", {
                                 visibile: true,
@@ -573,7 +574,7 @@ export class Medici {
             numParallelsJobs = 20,
             visibile = false,
         } = config;
-
+        //numParallelsJobs = 1;
         EventEmitter.defaultMaxListeners = 40;
         let out = {};
         let jobs = [];
@@ -633,7 +634,7 @@ export class Medici {
                 };
             allAssistitiNar.push(assistito.codiceFiscale);
         }
-        for (let assistito of assistitiTs) {
+        for (let assistito of assistitiTs ?? []) {
             if (!allAssistiti.hasOwnProperty(assistito.cf))
                 allAssistiti[assistito.cf] = {
                     nome_assistito: assistito.nome,
@@ -1016,104 +1017,106 @@ export class Medici {
 
 
     async creaElenchiDeceduti(codToCfDistrettoMap, pathData, distretti, dataQuote = null) {
-        let lista = {perDistretto: {}, nonTrovati: []};
-        if (!dataQuote)
-            dataQuote = moment().format("YYYY-MM-DD");
-        let allfiles = utils.getAllFilesRecursive(pathData + path.sep + "elaborazioni" + path.sep, ".zip");
-        let allAssistiti = await utils.leggiOggettoDaFileJSON(pathData + path.sep + "assistitiNar.json");
-        for (let medico in codToCfDistrettoMap) {
-            let fileMedico = allfiles.filter(file => file.includes(medico));
-            if (fileMedico.length === 0)
-                lista.nonTrovati.push(codToCfDistrettoMap[medico]);
-            else if (fileMedico.length === 1) {
-                //let fileData = await utils.leggiOggettoDaFileJSON(fileMedico[0]);
-                let fileData = await utils.decomprimiELeggiFile(fileMedico[0])
-                if (!lista.perDistretto.hasOwnProperty(codToCfDistrettoMap[medico].distretto))
-                    lista.perDistretto[codToCfDistrettoMap[medico].distretto] = {
-                        recuperi: [],
-                        problemi: [],
-                        anagrafica: [],
-                        medici: {}
-                    };
-                for (let deceduto of Object.values(fileData.deceduti)) {
-                    let allAssistitiMedicoMap = {};
-                    for (let assistito of Object.values(allAssistiti[medico].assistiti)) {
-                        allAssistitiMedicoMap[assistito.codiceFiscale] = assistito;
-                    }
-                    let numQuote = 0;
-                    let dataScelta = moment(allAssistitiMedicoMap[deceduto.cf].data_scelta, "DD/MM/YYYY");
+        if (!fs.existsSync(pathData + path.sep + "recuperi" + path.sep)) {
+            let lista = {perDistretto: {}, nonTrovati: []};
+            if (!dataQuote)
+                dataQuote = moment().format("YYYY-MM-DD");
+            let allfiles = utils.getAllFilesRecursive(pathData + path.sep + "elaborazioni" + path.sep, ".zip");
+            let allAssistiti = await utils.leggiOggettoDaFileJSON(pathData + path.sep + "assistitiNar.json");
+            for (let medico in codToCfDistrettoMap) {
+                let fileMedico = allfiles.filter(file => file.includes(medico));
+                if (fileMedico.length === 0)
+                    lista.nonTrovati.push(codToCfDistrettoMap[medico]);
+                else if (fileMedico.length === 1) {
+                    //let fileData = await utils.leggiOggettoDaFileJSON(fileMedico[0]);
+                    let fileData = await utils.decomprimiELeggiFile(fileMedico[0])
+                    if (!lista.perDistretto.hasOwnProperty(codToCfDistrettoMap[medico].distretto))
+                        lista.perDistretto[codToCfDistrettoMap[medico].distretto] = {
+                            recuperi: [],
+                            problemi: [],
+                            anagrafica: [],
+                            medici: {}
+                        };
+                    for (let deceduto of Object.values(fileData.deceduti)) {
+                        let allAssistitiMedicoMap = {};
+                        for (let assistito of Object.values(allAssistiti[medico].assistiti)) {
+                            allAssistitiMedicoMap[assistito.codiceFiscale] = assistito;
+                        }
+                        let numQuote = 0;
+                        let dataScelta = moment(allAssistitiMedicoMap[deceduto.cf].data_scelta, "DD/MM/YYYY");
 
-                    if (!deceduto.hasOwnProperty('indirizzo') || deceduto.indirizzo === "" || deceduto.indirizzo === null)
-                        deceduto.indirizzo = "-";
-                    deceduto.dataScelta = dataScelta.format("DD/MM/YYYY");
-                    deceduto.codMedico = medico;
-                    deceduto.nomeCognomeMedico = codToCfDistrettoMap[medico].nome_cognome;
-                    deceduto.distretto = distretti[codToCfDistrettoMap[medico].distretto];
-                    deceduto.ambito = codToCfDistrettoMap[medico].ambito;
-                    if (deceduto.hasOwnProperty('dataDecesso') && deceduto.dataDecesso !== "" && deceduto.dataDecesso !== null && moment(deceduto.dataDecesso, "DD/MM/YYYY").isAfter(moment("01/01/1900", "DD/MM/YYYY"))) {
-                        let dataInizio = moment(deceduto.dataDecesso, "DD/MM/YYYY").isBefore(dataScelta) ? dataScelta.format("DD/MM/YYYY") : deceduto.dataDecesso;
-                        // se la data di decesso è superiore al 1 gennaio 1900
-                        numQuote = utils.calcolaMesiDifferenza(dataInizio, dataQuote);
-                        deceduto.numQuoteDaRecuperare = numQuote;
-                        deceduto.note = "";
-                        if (moment(deceduto.dataDecesso, "DD/MM/YYYY").isBefore(dataScelta)) {
-                            deceduto.note = "Data decesso precedente alla data di scelta";
-                            lista.perDistretto[codToCfDistrettoMap[medico].distretto].problemi.push(deceduto);
+                        if (!deceduto.hasOwnProperty('indirizzo') || deceduto.indirizzo === "" || deceduto.indirizzo === null)
+                            deceduto.indirizzo = "-";
+                        deceduto.dataScelta = dataScelta.format("DD/MM/YYYY");
+                        deceduto.codMedico = medico;
+                        deceduto.nomeCognomeMedico = codToCfDistrettoMap[medico].nome_cognome;
+                        deceduto.distretto = distretti[codToCfDistrettoMap[medico].distretto];
+                        deceduto.ambito = codToCfDistrettoMap[medico].ambito;
+                        if (deceduto.hasOwnProperty('dataDecesso') && deceduto.dataDecesso !== "" && deceduto.dataDecesso !== null && moment(deceduto.dataDecesso, "DD/MM/YYYY").isAfter(moment("01/01/1900", "DD/MM/YYYY"))) {
+                            let dataInizio = moment(deceduto.dataDecesso, "DD/MM/YYYY").isBefore(dataScelta) ? dataScelta.format("DD/MM/YYYY") : deceduto.dataDecesso;
+                            // se la data di decesso è superiore al 1 gennaio 1900
+                            numQuote = utils.calcolaMesiDifferenza(dataInizio, dataQuote);
+                            deceduto.numQuoteDaRecuperare = numQuote;
+                            deceduto.note = "";
+                            if (moment(deceduto.dataDecesso, "DD/MM/YYYY").isBefore(dataScelta)) {
+                                deceduto.note = "Data decesso precedente alla data di scelta";
+                                lista.perDistretto[codToCfDistrettoMap[medico].distretto].problemi.push(deceduto);
+                            } else {
+                                lista.perDistretto[codToCfDistrettoMap[medico].distretto].recuperi.push(deceduto);
+                                if (!lista.perDistretto[codToCfDistrettoMap[medico].distretto].medici.hasOwnProperty(medico))
+                                    lista.perDistretto[codToCfDistrettoMap[medico].distretto].medici[medico] = {
+                                        codice: medico,
+                                        distretto: distretti[codToCfDistrettoMap[medico].distretto],
+                                        ambito: codToCfDistrettoMap[medico].ambito,
+                                        nomeCognome: codToCfDistrettoMap[medico].nome_cognome,
+                                        numDeceduti: 0,
+                                        quote: 0
+                                    };
+                                lista.perDistretto[codToCfDistrettoMap[medico].distretto].medici[medico].numDeceduti += 1;
+                                lista.perDistretto[codToCfDistrettoMap[medico].distretto].medici[medico].quote += numQuote;
+                            }
                         } else {
-                            lista.perDistretto[codToCfDistrettoMap[medico].distretto].recuperi.push(deceduto);
-                            if (!lista.perDistretto[codToCfDistrettoMap[medico].distretto].medici.hasOwnProperty(medico))
-                                lista.perDistretto[codToCfDistrettoMap[medico].distretto].medici[medico] = {
-                                    codice: medico,
-                                    distretto: distretti[codToCfDistrettoMap[medico].distretto],
-                                    ambito: codToCfDistrettoMap[medico].ambito,
-                                    nomeCognome: codToCfDistrettoMap[medico].nome_cognome,
-                                    numDeceduti: 0,
-                                    quote: 0
-                                };
-                            lista.perDistretto[codToCfDistrettoMap[medico].distretto].medici[medico].numDeceduti += 1;
-                            lista.perDistretto[codToCfDistrettoMap[medico].distretto].medici[medico].quote += numQuote;
+                            deceduto.numQuoteDaRecuperare = 0;
+                            deceduto.note = "Data di decesso non valida";
+                            lista.perDistretto[codToCfDistrettoMap[medico].distretto].problemi.push(deceduto);
                         }
-                    } else {
-                        deceduto.numQuoteDaRecuperare = 0;
-                        deceduto.note = "Data di decesso non valida";
-                        lista.perDistretto[codToCfDistrettoMap[medico].distretto].problemi.push(deceduto);
                     }
-                }
-                // add ambito and distretto to ...Object.values(Object.values(fileData.vivi)
-                lista.perDistretto[codToCfDistrettoMap[medico].distretto].anagrafica.push(...Object.values(Object.values(fileData.vivi)));
+                    // add ambito and distretto to ...Object.values(Object.values(fileData.vivi)
+                    lista.perDistretto[codToCfDistrettoMap[medico].distretto].anagrafica.push(...Object.values(Object.values(fileData.vivi)));
 
+                }
             }
+            let out = {};
+            for (let distretto in lista.perDistretto) {
+                if (!out.hasOwnProperty(distretto))
+                    out[distretto] = {recuperi: [], problemi: []};
+                out[distretto].recuperi.push(...lista.perDistretto[distretto].recuperi);
+                out[distretto].problemi.push(...lista.perDistretto[distretto].problemi);
+            }
+            let global = {recuperi: [], problemi: []};
+            for (let distretto in out) {
+                // add column distretto in each recuperi and problemi
+                for (let recupero of out[distretto].recuperi)
+                    global.recuperi.push(recupero);
+                for (let problema of out[distretto].problemi)
+                    global.problemi.push(problema);
+            }
+            // create folder if exist pathData + path.sep + "recuperi" + path.sep
+            if (!fs.existsSync(pathData + path.sep + "recuperi" + path.sep))
+                fs.mkdirSync(pathData + path.sep + "recuperi" + path.sep);
+            if (!fs.existsSync(pathData + path.sep + "recuperi" + path.sep + "per distretto" + path.sep))
+                fs.mkdirSync(pathData + path.sep + "recuperi" + path.sep + "per distretto" + path.sep);
+            if (!fs.existsSync(pathData + path.sep + "anagrafica"))
+                fs.mkdirSync(pathData + path.sep + "anagrafica");
+            let allAnagraficaTuttiDistretti = [];
+            for (let distretto in out) {
+                await utils.scriviOggettoSuNuovoFileExcel(pathData + path.sep + "recuperi" + path.sep + "per distretto" + path.sep + distretto + "_recuperi.xlsx", out[distretto].recuperi);
+                await utils.scriviOggettoSuNuovoFileExcel(pathData + path.sep + "recuperi" + path.sep + "per distretto" + path.sep + distretto + "_problemi.xlsx", out[distretto].problemi);
+                await utils.scriviOggettoSuNuovoFileExcel(pathData + path.sep + "anagrafica" + path.sep + distretto + "_anagrafica.xlsx", lista.perDistretto[distretto].anagrafica);
+                allAnagraficaTuttiDistretti.push(...lista.perDistretto[distretto].anagrafica);
+            }
+            await utils.scriviOggettoSuNuovoFileExcel(pathData + path.sep + "recuperi" + path.sep + "global_recuperi.xlsx", global.recuperi);
+            await utils.scriviOggettoSuNuovoFileExcel(pathData + path.sep + "recuperi" + path.sep + "global_problemi.xlsx", global.problemi);
         }
-        let out = {};
-        for (let distretto in lista.perDistretto) {
-            if (!out.hasOwnProperty(distretto))
-                out[distretto] = {recuperi: [], problemi: []};
-            out[distretto].recuperi.push(...lista.perDistretto[distretto].recuperi);
-            out[distretto].problemi.push(...lista.perDistretto[distretto].problemi);
-        }
-        let global = {recuperi: [], problemi: []};
-        for (let distretto in out) {
-            // add column distretto in each recuperi and problemi
-            for (let recupero of out[distretto].recuperi)
-                global.recuperi.push(recupero);
-            for (let problema of out[distretto].problemi)
-                global.problemi.push(problema);
-        }
-        // create folder if exist pathData + path.sep + "recuperi" + path.sep
-        if (!fs.existsSync(pathData + path.sep + "recuperi" + path.sep))
-            fs.mkdirSync(pathData + path.sep + "recuperi" + path.sep);
-        if (!fs.existsSync(pathData + path.sep + "recuperi" + path.sep + "per distretto" + path.sep))
-            fs.mkdirSync(pathData + path.sep + "recuperi" + path.sep + "per distretto" + path.sep);
-        if (!fs.existsSync(pathData + path.sep + "anagrafica"))
-            fs.mkdirSync(pathData + path.sep + "anagrafica");
-        let allAnagraficaTuttiDistretti = [];
-        for (let distretto in out) {
-            await utils.scriviOggettoSuNuovoFileExcel(pathData + path.sep + "recuperi" + path.sep + "per distretto" + path.sep + distretto + "_recuperi.xlsx", out[distretto].recuperi);
-            await utils.scriviOggettoSuNuovoFileExcel(pathData + path.sep + "recuperi" + path.sep + "per distretto" + path.sep + distretto + "_problemi.xlsx", out[distretto].problemi);
-            await utils.scriviOggettoSuNuovoFileExcel(pathData + path.sep + "anagrafica" + path.sep + distretto + "_anagrafica.xlsx", lista.perDistretto[distretto].anagrafica);
-            allAnagraficaTuttiDistretti.push(...lista.perDistretto[distretto].anagrafica);
-        }
-        await utils.scriviOggettoSuNuovoFileExcel(pathData + path.sep + "recuperi" + path.sep + "global_recuperi.xlsx", global.recuperi);
-        await utils.scriviOggettoSuNuovoFileExcel(pathData + path.sep + "recuperi" + path.sep + "global_problemi.xlsx", global.problemi);
     }
 }

package/src/narTsServices/Nar2.js

@@ -343,28 +343,35 @@ export class Nar2 {
         let datiIdAssistito;
         const retry = 3;
         for (let i = 0; i < retry; i++) {
-            if (!fallback) {
-                datiIdAssistito = await this.getAssistitiFromParams({codiceFiscale: codiceFiscale});
-                if (datiIdAssistito.ok && datiIdAssistito.data && datiIdAssistito.data.length === 1)
-                    datiAssistito = await this.getAssistitoFromId(datiIdAssistito.data[0].pz_id);
-            } else {
-                await this.getToken({fallback});
-                const data = {cf: codiceFiscale, token: Nar2.#token, type: "nar2"};
-                const cripted = CryptHelper.AESEncrypt(JSON.stringify(data), this._cryptData["KEY"], CryptHelper.convertBase64StringToByte(this._cryptData["IV"]));
-                datiIdAssistito = await axios.request({
-                    method: "post",
-                    url: Nar2.GET_WS_FALLBACK_INTERNAL,
-                    data: {d: cripted},
-                    headers: {
-                        'Content-Type': 'application/x-www-form-urlencoded'
+            try {
+                if (!fallback) {
+                    datiIdAssistito = await this.getAssistitiFromParams({codiceFiscale: codiceFiscale});
+                    if (datiIdAssistito.ok && datiIdAssistito.data && datiIdAssistito.data.length === 1)
+                        datiAssistito = await this.getAssistitoFromId(datiIdAssistito.data[0].pz_id);
+                } else {
+                    await this.getToken({fallback});
+                    const data = {cf: codiceFiscale, token: Nar2.#token, type: "nar2"};
+                    const cripted = CryptHelper.AESEncrypt(JSON.stringify(data), this._cryptData["KEY"], CryptHelper.convertBase64StringToByte(this._cryptData["IV"]));
+                    datiIdAssistito = await axios.request({
+                        method: "post",
+                        url: Nar2.GET_WS_FALLBACK_INTERNAL,
+                        data: {d: cripted},
+                        headers: {
+                            'Content-Type': 'application/x-www-form-urlencoded'
+                        }
+                    });
+                    if (datiIdAssistito.status === 200 && datiIdAssistito.data?.data?.hasOwnProperty('nar2'))
+                        datiAssistito = {ok: true, data: datiIdAssistito.data.data.nar2.result};
+                    else {
+                        datiAssistito = {ok: false, data: datiIdAssistito.data};
+                        console.log(`[getDatiAssistitoNar2FromCf] Risposta fallback non valida - status: ${datiIdAssistito.status}, hasData: ${!!datiIdAssistito.data?.data}, hasNar2: ${!!datiIdAssistito.data?.data?.nar2}`);
                     }
-                });
-                if (datiIdAssistito.status === 200 && datiIdAssistito.data.data.hasOwnProperty('nar2'))
-                    datiAssistito = {ok: true, data: datiIdAssistito.data.data.nar2.result};
-                else datiAssistito = {ok: false, data: datiIdAssistito.data};
+                }
+            } catch (e) {
+                console.log("[getDatiAssistitoNar2FromCf] Eccezione durante recupero Nar2:", e.message);
             }
             if (datiAssistito && datiAssistito.ok) break;
-            else console.log("Errore durante il recupero dei dati assistito da Nar2, tentativi rimanenti:" + (retry - i));
+            else console.log("[getDatiAssistitoNar2FromCf] Errore Nar2, tentativi rimanenti:" + (retry - i));
         }
         if (datiAssistito && datiAssistito.ok) {
             try {
@@ -416,6 +423,7 @@ export class Nar2 {
                 fullData: datiAssistito
             };
         } else {
+            console.log(`[getDatiAssistitoNar2FromCf] Nar2 fallito dopo ${retry} tentativi per CF: ${codiceFiscale?.substring(0, 6)}***`);
             assistito.erroreNar2 = "Nessun assistito trovato con il codice fiscale fornito";
             assistito.okNar2 = false;
             return {ok: false, data: null, fullData: datiIdAssistito};
@@ -535,13 +543,19 @@ export class Nar2 {
 
         await this.getToken({fallback});
         if (sogei && nar2) {
-            await Promise.all([
+            const results = await Promise.allSettled([
                 this.getDatiAssistitoFromCfSuSogeiNew(cf, assistito, fallback),
                 this.getDatiAssistitoNar2FromCf(cf, assistito, fallback)
             ]);
+            results.forEach((result, index) => {
+                if (result.status === 'rejected') {
+                    const source = index === 0 ? 'Sogei' : 'Nar2';
+                    console.log(`[getDatiAssistitoCompleti] ${source} fallito:`, result.reason?.message || result.reason);
+                }
+            });
         } else {
-            if (sogei) await this.getDatiAssistitoFromCfSuSogeiNew(cf, assistito, fallback);
-            if (nar2) await this.getDatiAssistitoNar2FromCf(cf, assistito, fallback);
+            if (sogei) await this.getDatiAssistitoFromCfSuSogeiNew(cf, assistito, fallback).catch(e => console.log('[getDatiAssistitoCompleti] Sogei fallito:', e.message));
+            if (nar2) await this.getDatiAssistitoNar2FromCf(cf, assistito, fallback).catch(e => console.log('[getDatiAssistitoCompleti] Nar2 fallito:', e.message));
         }
 
         return assistito;
@@ -589,7 +603,7 @@ export class Nar2 {
                             'Content-Type': 'application/x-www-form-urlencoded'
                         }
                     })
-                    out.data = {status: out.data.data.sogei.status || false, data: out.data.data.sogei.data};
+                    out.data = {status: out.data?.data?.sogei?.status || false, data: out.data?.data?.sogei?.data};
                 }
 
                 if (!out.data || out.data === undefined || (fallback && out.data.status.toString().toLowerCase().includes("token is invalid")))
@@ -643,16 +657,20 @@ export class Nar2 {
                     };
                 }
             } catch (e) {
+                console.log(`[getDatiAssistitoFromCfSuSogeiNew] Errore tentativo Sogei:`, e.message);
                 await this.getToken({fallback});
             }
         }
-        if (!ok)
+        if (!ok) {
+            console.log(`[getDatiAssistitoFromCfSuSogeiNew] Sogei fallito dopo ${this._maxRetry} tentativi per CF: ${cf?.substring(0, 6)}***`);
             return {
                 ok: false,
                 fullData: null,
                 data: assistito
             };
+        }
     }
 
 
+
 }

package/src/siad/FlussoSIAD.js

@@ -731,7 +731,7 @@ export class FlussoSIAD {
      * @param {string} [nomeFileTs="datiTS.mpdb"] (Opzionale) Il percorso del file dati TS da utilizzare per il confronto.
      * @return {Promise<void>} Una promessa che si risolve una volta completato il calcolo delle statistiche e la scrittura del file di output.
      */
-    async statisticheFLS21(pathData, nomeFileTs = "datiTS.mpdb") {
+    async statisticheFLS21(pathData, nomeFileTs = "siad.mpdb") {
         let data = {
             allChiaviCasiTrattati: {},
             statsT1: {totali: 0, anziani: 0, palliativa: 0},
@@ -744,8 +744,8 @@ export class FlussoSIAD {
 
         let fileDatiTs = fs.existsSync(pathData + path.sep + nomeFileTs) ? await utils.leggiOggettoMP(pathData + path.sep + nomeFileTs) : null;
 
-        let filesT1 = utils.getAllFilesRecursive(pathData, ".xml", "AP2");
-        let filesT2 = utils.getAllFilesRecursive(pathData, ".xml", "AA2");
+        let filesT1 = utils.getAllFilesRecursive(pathData, ".xml", "AA2");
+        let filesT2 = utils.getAllFilesRecursive(pathData, ".xml", "AP2");
 
         filesT1.forEach(file => {
             let xml_string = fs.readFileSync(file, "utf8");
@@ -757,9 +757,9 @@ export class FlussoSIAD {
                         const chiavePic = assistenze[i]['Eventi'][0]['PresaInCarico'][0]['Id_Rec'][0];
                         console.log(chiavePic)
                         const cf = assistenze[i]['Assistito'][0]['DatiAnagrafici'][0]['CUNI'][0];
-                        const presenteSuTs = fileDatiTs.out.vivi.hasOwnProperty(cf) || fileDatiTs.out.morti.hasOwnProperty(cf);
-                        const vivo = presenteSuTs ? fileDatiTs.out.vivi.hasOwnProperty(cf) : null;
-                        const datiTs = presenteSuTs ? (vivo ? fileDatiTs.out.vivi[cf] : fileDatiTs.out.morti[cf]) : null;
+                        const presenteSuTs = fileDatiTs.fromTS.out.vivi.hasOwnProperty(cf) || fileDatiTs.fromTS.out.morti.hasOwnProperty(cf);
+                        const vivo = presenteSuTs ? fileDatiTs.fromTS.out.vivi.hasOwnProperty(cf) : null;
+                        const datiTs = presenteSuTs ? (vivo ? fileDatiTs.fromTS.out.vivi[cf] : fileDatiTs.fromTS.out.morti[cf]) : null;
                         const eta = datiTs ? datiTs.eta : utils.getAgeFromCF(cf);
                         const anziano = eta >= 65;
                         const palliativa = assistenze[i]['Eventi'][0]['PresaInCarico'][0]['ATTR']['TipologiaPIC'] === "2";
@@ -954,21 +954,24 @@ export class FlussoSIAD {
             }
         }
 
-        console.log("Totale prese in carico : " + chiavi.length);
-        console.log("Totale prese in carico almeno un accesso: " + totalePreseIncaricoAlmenoUnAccesso);
-        console.log("Totali geriatrica: " + (totalePreseIncaricoAlmenoUnAccesso - totalePalliativa));
-        console.log("Totali palliativa: " + totalePalliativa);
-        console.log("Totali accessi: " + (totaleAccessiPalliativa + totaleAccessiGeriatrica));
-        console.log("Totali accessi Geriatrica: " + totaleAccessiGeriatrica);
-        console.log("Totali accessi Palliativa: " + totaleAccessiPalliativa);
-
-        console.log("Totale prese in carico over 65: " + chiavi65.length);
-        console.log("Totale prese in carico almeno un accesso over 65: " + totalePreseIncaricoAlmenoUnAccesso65);
-        console.log("Totali geriatrica over 65: " + (totalePreseIncaricoAlmenoUnAccesso65 - totalePalliativa65));
-        console.log("Totali palliativa over 65: " + totalePalliativa65);
-        console.log("Totali accessi over 65: " + (totaleAccessiPalliativa65 + totaleAccessiGeriatrica65));
-        console.log("Totali accessi Geriatrica over 65: " + totaleAccessiGeriatrica65);
-        console.log("Totali accessi Palliativa over 65: " + totaleAccessiPalliativa65);
+        const result = {
+            totalePreseInCarico: chiavi.length,
+            totalePreseInCaricoAlmenoUnAccesso: totalePreseIncaricoAlmenoUnAccesso,
+            totaliGeriatrica: (totalePreseIncaricoAlmenoUnAccesso - totalePalliativa),
+            totaliPalliativa: totalePalliativa,
+            totaliAccessi: (totaleAccessiPalliativa + totaleAccessiGeriatrica),
+            totaliAccessiGeriatrica: totaleAccessiGeriatrica,
+            totaliAccessiPalliativa: totaleAccessiPalliativa,
+            totalePreseInCaricoOver65: chiavi65.length,
+            totalePreseInCaricoAlmenoUnAccessoOver65: totalePreseIncaricoAlmenoUnAccesso65,
+            totaliGeriatricaOver65: (totalePreseIncaricoAlmenoUnAccesso65 - totalePalliativa65),
+            totaliPalliativaOver65: totalePalliativa65,
+            totaliAccessiOver65: (totaleAccessiPalliativa65 + totaleAccessiGeriatrica65),
+            totaliAccessiGeriatricaOver65: totaleAccessiGeriatrica65,
+            totaliAccessiPalliativaOver65: totaleAccessiPalliativa65
+        };
+        console.log(JSON.stringify(result, null, 2));
+        return result;
     }
 
     statisticheChiaviValide(pathFile) {
@@ -1107,6 +1110,7 @@ export class FlussoSIAD {
      * @param {boolean} [config.chiudiPicAnnoPrecedente=true] - Flag indicating whether to close the previous year PIC process.
      * @param {array} [config.trimestriDaConsiderare=[1, 2, 3, 4]] - Optional array of quarters to consider for processing.
      * @param {string|null} [config.nonConsiderareSeSuccessivoA=null] - Optional date to skip processing if the data is newer than this date.
+     * @param {boolean} [config.creaFlussoPulito=false] - Flag indicating whether to create a clean flow without errors.
      *
      * @return {Promise<object>} A promise that resolves to an object containing the output data, structured logs, and mapping results or any errors encountered during processing.
      */
@@ -1119,7 +1123,8 @@ export class FlussoSIAD {
             dbFile = "siad.mpdb",
             chiudiPicAnnoPrecedente = true,
             trimestriDaConsiderare = [1, 2, 3, 4],
-            nonConsiderareSeSuccessivoA = null
+            nonConsiderareSeSuccessivoA = null,
+            creaFlussoPulito = false
         } = config;
         let out = {
             errors: {
@@ -1234,11 +1239,16 @@ export class FlussoSIAD {
                 }
                 // data.datiTracciatiDitte.T1byCf
                 for (let t1row of data.datiTracciatiDitte.T1) {
-                    const cf = t1row[tracciato1Maggioli[1]].trim();
-                    if (!data.datiTracciatiDitte.T1byCf.hasOwnProperty(cf))
-                        data.datiTracciatiDitte.T1byCf[cf] = [t1row]
-                    else
-                        data.datiTracciatiDitte.T1byCf[cf].push(t1row);
+                    try {
+                        const cf = t1row[tracciato1Maggioli[1]].trim();
+                        if (!data.datiTracciatiDitte.T1byCf.hasOwnProperty(cf))
+                            data.datiTracciatiDitte.T1byCf[cf] = [t1row]
+                        else
+                            data.datiTracciatiDitte.T1byCf[cf].push(t1row);
+                    } catch (e) {
+                        console.log("Errore su riga T1: " + JSON.stringify(t1row));
+                        process.exit(1);
+                    }
                 }
 
                 for (let file of allFilesT2) {
@@ -1327,12 +1337,14 @@ export class FlussoSIAD {
         const ultimaPicAttivitaPerAssistito = {};
         let mappingIdPicAperte = {};
         let cfNonValidiTs = {};
-        let dataDaNonConsiderare = config.nonConsiderareSeSuccessivoA ? moment(config.nonConsiderareSeSuccessivoA, "DD/MM/YYYY") : null;
+        let dataDaNonConsiderare = nonConsiderareSeSuccessivoA ? moment(nonConsiderareSeSuccessivoA, "DD/MM/YYYY") : null;
         // remove the first 200.000 record of t2bykeyOrdered
         //t2bykeyOrdered = t2bykeyOrdered.slice(200000);
         // PER CREARE IL FLUSSO PULITO
-        //data.mappaDatiMinistero.perCf = {};
-        //data.mappaDatiMinistero.allCfTrattati.perCf = {};
+        if (creaFlussoPulito) {
+            data.mappaDatiMinistero.perCf = {};
+            data.mappaDatiMinistero.allCfTrattati.perCf = {};
+        }
 
         for (let key of t2bykeyOrdered) {
 
@@ -1437,7 +1449,7 @@ export class FlussoSIAD {
                     }
                 }
                 //in caso di decisione di chiudere pic aperte negli anni precedenti
-                if (datiPicAperteMinistero && datiPicAperteMinistero.corrente && config.chiudiPicAnnoPrecedente &&
+                if (datiPicAperteMinistero && datiPicAperteMinistero.corrente && chiudiPicAnnoPrecedente &&
                     (moment(datiPicAperteMinistero.corrente.substring(6, 16), "YYYY-MM-DD").year() !== anno)) {
                     datiPicAperteMinistero.precedenti.push(datiPicAperteMinistero.corrente);
                     delete data.mappaDatiMinistero.perCf[cf].aperte[datiPicAperteMinistero.corrente];
@@ -2725,6 +2737,239 @@ export class FlussoSIAD {
     }
 
 
+    /**
+     * Sviluppa i dati delle vaccinazioni e genera tracciati di output a partire dai file di input.
+     *
+     * Legge file Excel/JSON in `pathCartellaIn`, normalizza codici fiscali (gestione sostituti),
+     * filtra soggetti deceduti e crea i tracciati 1 e 2 per il flusso vaccinazioni.
+     *
+     * @param {string} pathCartellaIn - percorso della cartella con i file di input.
+     * @param {string|null} pathChiaviValideAttive - percorso file chiavi valide attive (opzionale).
+     * @param {number|string} anno - anno di riferimento per i tracciati.
+     * @param {number|string} numTrimestre - numero del trimestre.
+     * @param {Object} [config={}] - opzioni:
+     *   - `nomeFileVaccini` {string} nome file vaccini (default: "vaccini.xlsx")
+     *   - `nomeFileVivi` {string} nome file vivi (default: "vivi.xlsx")
+     *   - `nomeFileMorti` {string} nome file morti (default: "morti.xlsx")
+     *   - `nomeFileSostituti` {string} nome file sostituti (default: "sostituti.xlsx")
+     *   - `nomeColonnaCf` {string} nome colonna CF (default: "cf")
+     *   - `nomeColonnaData` {string} nome colonna data vaccinazione (default: "data")
+     *
+     * @returns {Promise<void>} Risolve quando i file di output sono stati scritti.
+     * @throws {Error} Se mancano colonne richieste o ci sono errori nella lettura dei file.
+     */
+    async sviluppaDatiVaccinazioni(pathCartellaIn, pathChiaviValideAttive, anno, numTrimestre, config = {}) {
+        let {
+            nomeFileTracciatoADP = "datiVaccinazioni.xlsx",
+            nomeFileMorti = "morti.xlsx",
+            nomeFileVivi = "vivi.xlsx",
+            nomeFileSostituti = "sostituti.xlsx",
+            nomeColonnaCf = "cf",
+            nomecolonnaCfSostituto = "cfOk",
+            colonnaIdRecordChiaviValide = "Id Record",
+            colonnaDataPresaInCaricoChiaviValide = "Data  Presa In Carico",
+            colonnaConclusioneChiaviValide = "Data Conclusione",
+
+        } = config;
+
+        // put int dataInizio the first day of the correct trimester
+        let dataInizio = moment("01/01/" + anno, "DD/MM/YYYY").add(numTrimestre * 3 - 3, 'months');
+        let dataFine = moment(dataInizio).add(3, 'months').subtract(1, 'days');
+        let allChiaviValideAperte = {};
+        if (fs.existsSync(pathChiaviValideAttive)) {
+            let chiaviValide = await utils.getObjectFromFileExcel(pathChiaviValideAttive);
+            for (let chiave of chiaviValide)
+                if (typeof chiave[colonnaConclusioneChiaviValide] == "string" && chiave[colonnaConclusioneChiaviValide].includes("--"))
+                    allChiaviValideAperte[chiave[colonnaIdRecordChiaviValide]] = chiave;
+        }
+        let tracciato = await utils.getObjectFromFileExcel(pathCartellaIn + path.sep + nomeFileTracciatoADP, 0, false);
+
+        let allFileVivi = utils.getAllFilesRecursive(pathCartellaIn, ".xlsx", nomeFileVivi);
+        let allFileMorti = utils.getAllFilesRecursive(pathCartellaIn, ".xlsx", nomeFileMorti);
+        let allFileSostituti = utils.getAllFilesRecursive(pathCartellaIn, ".xlsx", nomeFileSostituti);
+        let allVivi = {};
+        let allMorti = {};
+        let allSostituti = {};
+        for (let file of allFileVivi) {
+            let allViviTemp = await utils.getObjectFromFileExcel(file);
+            for (let vivo of allViviTemp) {
+                if (!vivo.hasOwnProperty(nomeColonnaCf))
+                    throw new Error("Errore in file " + file + " colonna " + nomeColonnaCf + " non presente");
+                else
+                    allVivi[vivo[nomeColonnaCf]] = vivo;
+            }
+        }
+        for (let file of allFileMorti) {
+            let allMortiTemp = await utils.getObjectFromFileExcel(file);
+            for (let morto of allMortiTemp) {
+                if (!morto.hasOwnProperty(nomeColonnaCf))
+                    throw new Error("Errore in file " + file + " colonna " + nomeColonnaCf + " non presente");
+                else
+                    allMorti[morto[nomeColonnaCf]] = morto;
+            }
+        }
+        for (let file of allFileSostituti) {
+            let allSostitutiTemp = await utils.getObjectFromFileExcel(file);
+            for (let sostituto of allSostitutiTemp) {
+                if (!sostituto.hasOwnProperty(nomecolonnaCfSostituto.trim().replaceAll(" ", "")) || !sostituto.hasOwnProperty(nomeColonnaCf))
+                    // error and break
+                    throw new Error("Errore in file " + file + " colonna " + nomecolonnaCfSostituto + " o " + nomeColonnaCf + " non presenti");
+                allSostituti[sostituto[nomeColonnaCf].trim().replaceAll(" ", "")] = sostituto[nomecolonnaCfSostituto].trim().replaceAll(" ", "");
+            }
+        }
+        let outTracciato1 = [];
+        let rigaHeaderTracciato1 = {}
+        for (let i = 0; i < Object.keys(tracciato1Maggioli).length; i++)
+            rigaHeaderTracciato1[i] = tracciato1Maggioli[i];
+        outTracciato1.push(rigaHeaderTracciato1);
+        let allCf = {};
+
+        for (let riga of tracciato) {
+            if (riga[1] !== "") {
+                let chiaviValideAperte = Object.keys(allChiaviValideAperte).filter(key => key.includes(riga[0]));
+
+                if ((allSostituti.hasOwnProperty(riga[0].trim().replaceAll(" ", "")) && allSostituti[riga[0].trim().replaceAll(" ", "")].trim().replaceAll(" ", "") !== "") || Object.keys(allSostituti) === 0 || !allSostituti.hasOwnProperty(riga[0].trim().replaceAll(" ", ""))) {
+                    let codFiscale = allSostituti.hasOwnProperty(riga[0].trim().replaceAll(" ", "")) ? allSostituti[riga[0].trim().replaceAll(" ", "")] : riga[0].trim().replaceAll(" ", "");
+                    let dataDecesso = allMorti.hasOwnProperty(codFiscale) ? moment(allMorti[codFiscale]['dataDecesso'], "DD/MM/YYYY") : null;
+                    let dataNascita = allVivi.hasOwnProperty(codFiscale) ? moment(allVivi[codFiscale]['dataNascita'], "DD/MM/YYYY") : (allMorti.hasOwnProperty(codFiscale) ? moment(allMorti[codFiscale]['dataNascita'], "DD/MM/YYYY") : null);
+                    let annoNascita = (dataNascita && dataNascita.isValid()) ? dataNascita.year() : Parser.cfToBirthYear(codFiscale);
+                    if (dataDecesso !== null)
+                        console.log(dataDecesso.format("DD/MM/YYYY"))
+
+                    if (!allCf.hasOwnProperty(codFiscale) && (dataDecesso == null || dataDecesso.isSameOrAfter(dataInizio))) {
+                        allCf[codFiscale] = riga[1];
+                        let rigaT1 = {};
+                        rigaT1[0] = ""; // tipo
+                        rigaT1[1] = codFiscale;
+                        rigaT1[2] = ""; // validita ci
+                        rigaT1[3] = ""; // tipologia ci
+                        rigaT1[4] = annoNascita;
+                        rigaT1[5] = Parser.cfToGender(codFiscale) === "M" ? "1" : "2";
+                        rigaT1[6] = codFiscale.substring(11, 12) !== "Z" ? "IT" : "XX";
+                        rigaT1[7] = "9";
+                        rigaT1[8] = "190";
+                        rigaT1[9] = "205";
+                        rigaT1[10] = "083048";
+                        rigaT1[11] = "1";
+                        rigaT1[12] = "2";
+                        rigaT1[13] = "190";
+                        rigaT1[14] = "205";
+                        rigaT1[15] = dataInizio.format("DD/MM/YYYY");
+                        rigaT1[16] = ""; // id record
+                        rigaT1[17] = "2";
+                        rigaT1[18] = "1";
+                        rigaT1[19] = dataInizio.format("DD/MM/YYYY");
+                        rigaT1[20] = "1";
+                        rigaT1[21] = "1";
+                        rigaT1[22] = "3";
+                        rigaT1[23] = "9";
+                        rigaT1[24] = "2";
+                        rigaT1[25] = "9";
+                        rigaT1[26] = "2";
+                        rigaT1[27] = "2";
+                        rigaT1[28] = "2";
+                        rigaT1[29] = "2";
+                        rigaT1[30] = "2";
+                        rigaT1[31] = "2";
+                        rigaT1[32] = "2";
+                        rigaT1[33] = "2";
+                        rigaT1[34] = "2";
+                        rigaT1[35] = "2";
+                        rigaT1[36] = "2";
+                        rigaT1[37] = "2";
+                        rigaT1[38] = "2";
+                        rigaT1[39] = "2";
+                        rigaT1[40] = "2";
+                        rigaT1[41] = "2";
+                        rigaT1[42] = "2";
+                        rigaT1[43] = "2";
+                        rigaT1[44] = "2";
+                        rigaT1[45] = "2";
+                        rigaT1[46] = "2";
+                        rigaT1[47] = "3";
+                        rigaT1[48] = "3";
+                        rigaT1[49] = "3";
+                        rigaT1[50] = "3";
+                        rigaT1[51] = "3";
+                        rigaT1[52] = "3";
+                        rigaT1[53] = "3";
+                        let patologie = [
+                            "401", // ipertensione
+                            "413", // angina
+                            "427", // tachicardia
+                            "715", // artrosi
+                            "518", // insufficenza respiratoria
+                            "493", // asma
+                            "715", // osteortrite
+                            "707", // ulcera da decubito
+                        ]
+                        // put random value of patologie
+                        rigaT1[54] = patologie[Math.floor(Math.random() * patologie.length)];
+                        rigaT1[55] = "";
+                        if (chiaviValideAperte.length > 0) {
+                            rigaT1[56] = chiaviValideAperte[0];
+                            rigaT1[57] = moment(allChiaviValideAperte[chiaviValideAperte[0]][colonnaDataPresaInCaricoChiaviValide]).format("DD/MM/YYYY");
+                        } else {
+                            rigaT1[56] = "";
+                            rigaT1[57] = "";
+                        }
+                        rigaT1[58] = allMorti.hasOwnProperty(codFiscale) ? allMorti[codFiscale]['dataDecesso'] : "";
+
+                        outTracciato1.push(rigaT1);
+                    }
+                }
+            }
+        }
+        await utils.scriviOggettoSuNuovoFileExcel(pathCartellaIn + path.sep + "tracciato1_out.xlsx", outTracciato1, null, false);
+
+
+        let outTracciato2 = [];
+        let rigaHeaderTracciato2 = {}
+        for (let i = 0; i < Object.keys(tracciato2Maggioli).length; i++)
+            rigaHeaderTracciato2[i] = tracciato2Maggioli[i];
+        outTracciato2.push(rigaHeaderTracciato2);
+
+
+        let allCfKey = Object.keys(allCf);
+        for (let codFiscale of allCfKey) {
+            console.log(codFiscale)
+            let dataFromT2 = allCf[codFiscale];
+            let data = moment(dataFromT2, "DD/MM/YYYY");
+            // verifica che data sia tra inizio e fine, in caso metti una data casuale in questo range
+            if (!data.isBetween(dataInizio, dataFine)) {
+                let diffDays = dataFine.diff(dataInizio, 'days');
+                let randomDays = Math.floor(Math.random() * diffDays);
+                data = dataInizio.clone().add(randomDays, 'days');
+            }
+            let dataDecesso = allMorti.hasOwnProperty(codFiscale) ? moment(allMorti[codFiscale]['dataDecesso'], "DD/MM/YYYY") : null;
+            if (dataDecesso == null || dataDecesso.isAfter(data)) {
+                let rigaT2 = {}
+                rigaT2[0] = codFiscale;
+                rigaT2[1] = ""; // tipo
+                rigaT2[2] = "190";
+                rigaT2[3] = "205";
+                rigaT2[4] = dataInizio.format("DD/MM/YYYY");
+                rigaT2[5] = "";
+                rigaT2[6] = ""
+                rigaT2[7] = ""
+                rigaT2[8] = ""
+                rigaT2[9] = "1"
+                rigaT2[10] = data.format("DD/MM/YYYY")// data accesso
+                rigaT2[11] = "1" // tipo operatore
+                rigaT2[12] = "6"; // tipo prestazione
+                rigaT2[13] = ""; // data sospensione
+                rigaT2[14] = ""; //motivo sospensione
+                rigaT2[15] = "";
+                outTracciato2.push(rigaT2);
+            }
+        }
+
+        await utils.scriviOggettoSuNuovoFileExcel(pathCartellaIn + path.sep + "tracciato2_out.xlsx", outTracciato2, null, false);
+
+
+    }
+
+
     /**
      * Processes and develops ADP data for a company by reading and analyzing various input Excel files
      * containing data for active keys, living individuals, deceased individuals, and replacements.