@tricoteuses/senat 2.10.5 → 2.11.0

package/lib/raw_types_schemats/ameli.d.ts

@@ -1,8 +1,8 @@
 /**
  * AUTO-GENERATED FILE - DO NOT EDIT!
  *
- * This file was automatically generated by schemats v.2.9.8
- * $ schemats generate -c postgres://username:password@localhost:5433/ameli -t amd -t amdsen -t avicom -t avigvt -t cab -t com_ameli -t ent -t etatxt -t fbu -t grppol_ameli -t gvt -t intora -t irr -t lec_ameli -t mot -t nat -t orarol -t sai -t saisen -t sea -t sen_ameli -t ses -t sor -t sub -t txt_ameli -t typrect -t typses -t typsub -t w_nivrec -s public
+ * This file was automatically generated by schemats v.2.10.5
+ * $ schemats generate -c postgres://username:password@localhost:5433/senat -t amd -t amdsen -t avicom -t avigvt -t cab -t com_ameli -t ent -t etatxt -t fbu -t grppol_ameli -t gvt -t intora -t irr -t lec_ameli -t mot -t nat -t orarol -t sai -t saisen -t sea -t sen_ameli -t ses -t sor -t sub -t txt_ameli -t typrect -t typses -t typsub -t w_nivrec -s ameli
  *
  */
 export declare namespace amdFields {

package/lib/raw_types_schemats/debats.d.ts

@@ -1,8 +1,8 @@
 /**
  * AUTO-GENERATED FILE - DO NOT EDIT!
  *
- * This file was automatically generated by schemats v.2.9.8
- * $ schemats generate -c postgres://username:password@localhost:5433/debats -t debats -t intdivers -t intpjl -t lecassdeb -t secdis -t secdivers -t syndeb -t typsec -s public
+ * This file was automatically generated by schemats v.2.10.5
+ * $ schemats generate -c postgres://username:password@localhost:5433/senat -t debats -t intdivers -t intpjl -t lecassdeb -t secdis -t secdivers -t syndeb -t typsec -s debats
  *
  */
 export declare namespace debatsFields {

package/lib/raw_types_schemats/dosleg.d.ts

@@ -1,8 +1,8 @@
 /**
  * AUTO-GENERATED FILE - DO NOT EDIT!
  *
- * This file was automatically generated by schemats v.2.9.8
- * $ schemats generate -c postgres://username:password@localhost:5433/dosleg -t amescr -t ass -t aud -t auteur -t ble -t catrap -t corscr -t date_seance -t deccoc -t denrap -t doc -t docatt -t docsea -t ecr -t etaloi -t evtsea -t forpub -t gen -t lecass -t lecassrap -t lecture -t lnkrap -t loi -t loithe -t natloi -t org -t orgnomhis -t orippr -t oritxt -t posvot -t qua -t rap -t raporg -t rapthe -t rolsig -t scr -t ses -t stavot -t texte -t texte_ancien -t the -t titsen -t typatt -t typaut -t typdoc -t typevtsea -t typlec -t typloi -t typorg -t typrap -t typtxt -t typurl -t votsen -s public
+ * This file was automatically generated by schemats v.2.10.5
+ * $ schemats generate -c postgres://username:password@localhost:5433/senat -t amescr -t ass -t aud -t auteur -t ble -t catrap -t corscr -t date_seance -t deccoc -t denrap -t doc -t docatt -t docsea -t ecr -t etaloi -t evtsea -t forpub -t gen -t lecass -t lecassrap -t lecture -t lnkrap -t loi -t loithe -t natloi -t org -t orgnomhis -t orippr -t oritxt -t posvot -t qua -t rap -t raporg -t rapthe -t rolsig -t scr -t ses -t stavot -t texte -t texte_ancien -t the -t titsen -t typatt -t typaut -t typdoc -t typevtsea -t typlec -t typloi -t typorg -t typrap -t typtxt -t typurl -t votsen -s dosleg
  *
  */
 export declare namespace amescrFields {

package/lib/raw_types_schemats/questions.d.ts

@@ -1,8 +1,8 @@
 /**
  * AUTO-GENERATED FILE - DO NOT EDIT!
  *
- * This file was automatically generated by schemats v.2.9.8
- * $ schemats generate -c postgres://username:password@localhost:5433/questions -t etatquestion -t legquestion -t naturequestion -t sortquestion -t tam_ministeres -t tam_questions -t tam_reponses -t the -s questions
+ * This file was automatically generated by schemats v.2.10.5
+ * $ schemats generate -c postgres://username:password@localhost:5433/senat -t etatquestion -t legquestion -t naturequestion -t sortquestion -t tam_ministeres -t tam_questions -t tam_reponses -t the -s questions
  *
  */
 export declare namespace etatquestionFields {

package/lib/raw_types_schemats/sens.d.ts

@@ -1,8 +1,8 @@
 /**
  * AUTO-GENERATED FILE - DO NOT EDIT!
  *
- * This file was automatically generated by schemats v.2.9.8
- * $ schemats generate -c postgres://username:password@localhost:5433/sens -t acr -t activite -t activite_audit -t activite_delegation -t activite_delegation_audit -t activite_loi -t activite_loi_audit -t activite_obligatoire -t activite_participant -t activite_participant_audit -t activite_senateur -t activite_senateur_audit -t activite_senateur_params -t activite_senateur_params_audit -t activites_liees -t activites_liees_audit -t actpro -t adhgrpsen -t adr -t adresse -t adrsen -t app -t assparint -t asster -t autgrpsen -t autorisation_profil -t autorisations -t avis_nomination_art13 -t basdes -t bur -t bur3r -t bur4r -t cad -t candid -t candidat -t candtodelete -t categorie_activite -t catpro -t catpro2e -t catterrit -t cible_categorie_periode -t cirdep -t com -t con -t cotgip -t csp -t cspfam -t databasechangelog -t databasechangeloglock -t delega -t derogation -t derogation_audit -t derogation_senateur -t derogation_senateur_audit -t design -t designoep -t designorg -t discou -t div -t dpt -t dpt_seuil_presence -t dptele -t dptele_files -t dptele_processing -t dptele_processing_type -t dpttypman -t droits_acces -t droits_acces_audit -t droits_type_derogation -t ele -t eleloc -t elucan -t eludep -t eludiv -t elueur -t elueur_apf -t elumet -t elureg -t elusen -t elusen2e -t elusen3r -t elusen4r -t elusencommu -t elusenpair -t eluter -t elutit -t eluvil -t etadebman -t etadebman3r -t etadebman4r -t etafinman -t etafinman3r -t etafinman4r -t etaprr -t etarpm -t etasen -t ext2e_bio -t ext2e_csp -t ext2e_mandats -t ext2e_minist -t extsencom_identite -t extsencom_mandat -t fonact_participant -t foncandid -t foncom -t fondelega -t fongrppol -t fongrpsen -t fonmemcom -t fonmemdelega -t fonmemextpar -t fonmemgrppol -t fonmemgrpsen -t fonmemorg -t fonorg -t grppol -t grppol4r -t grpsenami -t grpsenamiadh -t grpsenamiadhreq -t grpsenamiadhreqeta -t grpsenamiunadh -t grpsim -t gvt -t insee_pays2008 -t jhi_authority -t jhi_user -t jhi_user_authority -t lanetr -t libcom -t libdelega -t libgrppol -t libgrpsen -t liborg -t lisdptele -t mel -t memcom -t memcomsea -t memdelega -t memextpar -t memgrppol -t memgrpsen -t memorg -t met -t minind -t minist -t mis -t misetafin -t mismin -t misrapeta -t missen -t moddes -t mode_acces_elusenpair -t nation -t nationgrpsen -t nivlan -t org -t orgext -t orgextpres -t orgthe -t pairie_elusenpair -t parpol -t parpolglo -t participa -t pcs -t pcs24 -t pcs42 -t pcs8 -t pcscatpro -t per -t per_sen -t perapp -t periode_presence -t perpolglo -t perrol -t pj_justificatif -t pj_justificatif_audit -t plaind -t plan_table -t plsql_profiler_runs -t plsql_profiler_units -t poicon -t posvot -t presences_scrutin_surcharge -t presencesrevisionentity -t profil_applicatif -t qua -t rap_the -t reg -t reladr -t requetes_profil -t reslis -t resultat -t reu -t revchanges -t rne_mandat -t rne_mandat_diff -t rne_sen -t rne_sen_diff -t rne_type_mandat -t rol -t sal -t scr -t scrusoldelega -t sea -t sec -t sec2e -t secexe -t sen -t senbur -t senbur3r -t senbur4r -t sennom -t senpj -t sensim -t sentablenom -t senurl -t seuil_presence -t sirpas_elusen -t sirpas_fonmemcom -t sirpas_fonmemdelega -t sirpas_fonmemgrppol -t sirpas_memcom -t sirpas_memdelega -t sirpas_memgrppol -t sirpas_mvt -t sirpas_mvtcm -t sirpas_mvttri -t sirpas_sen -t sirpas_senbur -t sirpas_trf -t srv -t stajur -t stavot -t suspensiontravaux -t suspensiontravaux_audit -t sysage -t syscognos -t sysevt -t sysvar -t sysvar_sendev -t sysvar_senprod -t tapsenrevchanges -t tapsenrevisionentity -t telephone -t temval -t tenpol -t territ -t testoracle -t titele -t titelerne -t titmin -t titnob -t tmpsd -t toutes -t turelu -t typadr -t typapppol -t typbister -t typcandid -t type_activite -t type_activite_participant -t type_activite_rol -t type_activite_senateur -t type_categorie -t type_derogation -t type_droit_acces -t type_pj_justificatif -t type_rne_diff -t type_type_derogation -t typele -t typgrpsen -t typman -t typmin -t typmoddes -t typorg -t typorgext -t typparpol -t typpoicon -t typprs -t typprssta -t typscr -t typtel -t typurl -t typvoi -t uploaded_file -t uploaded_file_type -t validation -t validation_defview_profil -t validation_profil -t vercand -t verres -t votes -t zongeo -s public
+ * This file was automatically generated by schemats v.2.10.5
+ * $ schemats generate -c postgres://username:password@localhost:5433/senat -t acr -t activite -t activite_audit -t activite_delegation -t activite_delegation_audit -t activite_loi -t activite_loi_audit -t activite_obligatoire -t activite_participant -t activite_participant_audit -t activite_senateur -t activite_senateur_audit -t activite_senateur_params -t activite_senateur_params_audit -t activites_liees -t activites_liees_audit -t actpro -t adhgrpsen -t adr -t adresse -t adrsen -t app -t assparint -t asster -t autgrpsen -t autorisation_profil -t autorisations -t avis_nomination_art13 -t basdes -t bur -t bur3r -t bur4r -t cad -t candid -t candidat -t candtodelete -t categorie_activite -t catpro -t catpro2e -t catterrit -t cible_categorie_periode -t cirdep -t com -t con -t cotgip -t csp -t cspfam -t databasechangelog -t databasechangeloglock -t delega -t derogation -t derogation_audit -t derogation_senateur -t derogation_senateur_audit -t design -t designoep -t designorg -t discou -t div -t dpt -t dpt_seuil_presence -t dptele -t dptele_files -t dptele_processing -t dptele_processing_type -t dpttypman -t droits_acces -t droits_acces_audit -t droits_type_derogation -t ele -t eleloc -t elucan -t eludep -t eludiv -t elueur -t elueur_apf -t elumet -t elureg -t elusen -t elusen2e -t elusen3r -t elusen4r -t elusencommu -t elusenpair -t eluter -t elutit -t eluvil -t etadebman -t etadebman3r -t etadebman4r -t etafinman -t etafinman3r -t etafinman4r -t etaprr -t etarpm -t etasen -t ext2e_bio -t ext2e_csp -t ext2e_mandats -t ext2e_minist -t extsencom_identite -t extsencom_mandat -t fonact_participant -t foncandid -t foncom -t fondelega -t fongrppol -t fongrpsen -t fonmemcom -t fonmemdelega -t fonmemextpar -t fonmemgrppol -t fonmemgrpsen -t fonmemorg -t fonorg -t grppol -t grppol4r -t grpsenami -t grpsenamiadh -t grpsenamiadhreq -t grpsenamiadhreqeta -t grpsenamiunadh -t grpsim -t gvt -t insee_pays2008 -t jhi_authority -t jhi_user -t jhi_user_authority -t lanetr -t libcom -t libdelega -t libgrppol -t libgrpsen -t liborg -t lisdptele -t mel -t memcom -t memcomsea -t memdelega -t memextpar -t memgrppol -t memgrpsen -t memorg -t met -t minind -t minist -t mis -t misetafin -t mismin -t misrapeta -t missen -t moddes -t mode_acces_elusenpair -t nation -t nationgrpsen -t nivlan -t org -t orgext -t orgextpres -t orgthe -t pairie_elusenpair -t parpol -t parpolglo -t participa -t pcs -t pcs24 -t pcs42 -t pcs8 -t pcscatpro -t per -t per_sen -t perapp -t periode_presence -t perpolglo -t perrol -t pj_justificatif -t pj_justificatif_audit -t plaind -t plan_table -t plsql_profiler_runs -t plsql_profiler_units -t poicon -t posvot -t presences_scrutin_surcharge -t presencesrevisionentity -t profil_applicatif -t qua -t rap_the -t reg -t reladr -t requetes_profil -t reslis -t resultat -t reu -t revchanges -t rne_mandat -t rne_mandat_diff -t rne_sen -t rne_sen_diff -t rne_type_mandat -t rol -t sal -t scr -t scrusoldelega -t sea -t sec -t sec2e -t secexe -t sen -t senbur -t senbur3r -t senbur4r -t sennom -t senpj -t sensim -t sentablenom -t senurl -t seuil_presence -t sirpas_elusen -t sirpas_fonmemcom -t sirpas_fonmemdelega -t sirpas_fonmemgrppol -t sirpas_memcom -t sirpas_memdelega -t sirpas_memgrppol -t sirpas_mvt -t sirpas_mvtcm -t sirpas_mvttri -t sirpas_sen -t sirpas_senbur -t sirpas_trf -t srv -t stajur -t stavot -t suspensiontravaux -t suspensiontravaux_audit -t sysage -t syscognos -t sysevt -t sysvar -t sysvar_sendev -t sysvar_senprod -t tapsenrevchanges -t tapsenrevisionentity -t telephone -t temval -t tenpol -t territ -t testoracle -t titele -t titelerne -t titmin -t titnob -t tmpsd -t toutes -t turelu -t typadr -t typapppol -t typbister -t typcandid -t type_activite -t type_activite_participant -t type_activite_rol -t type_activite_senateur -t type_categorie -t type_derogation -t type_droit_acces -t type_pj_justificatif -t type_rne_diff -t type_type_derogation -t typele -t typgrpsen -t typman -t typmin -t typmoddes -t typorg -t typorgext -t typparpol -t typpoicon -t typprs -t typprssta -t typscr -t typtel -t typurl -t typvoi -t uploaded_file -t uploaded_file_type -t validation -t validation_defview_profil -t validation_profil -t vercand -t verres -t votes -t zongeo -s sens
  *
  */
 export declare namespace acrFields {

package/lib/scripts/convert_data.js

@@ -21,14 +21,14 @@ async function convertData() {
     const enabledDatasets = getEnabledDatasets(options["categories"]);
     console.time("data transformation time");
     if (enabledDatasets & EnabledDatasets.Ameli) {
-        await convertDatasetAmeli(dataDir);
+        await convertDatasetAmeli(dataDir, options);
     }
     if (enabledDatasets & EnabledDatasets.Debats) {
-        await convertDatasetDebats(dataDir);
+        await convertDatasetDebats(dataDir, options);
     }
     if (enabledDatasets & EnabledDatasets.DosLeg) {
-        await convertDatasetDosLeg(dataDir);
-        await convertDatasetScrutins(dataDir);
+        await convertDatasetDosLeg(dataDir, options);
+        await convertDatasetScrutins(dataDir, options);
     }
     if (enabledDatasets & EnabledDatasets.Questions) {
         await convertDatasetQuestions(dataDir);
@@ -40,27 +40,27 @@ async function convertData() {
         console.timeEnd("data transformation time");
     }
 }
-async function convertDatasetAmeli(dataDir) {
+async function convertDatasetAmeli(dataDir, options) {
     const dataset = datasets.ameli;
     if (!options["silent"]) {
         console.log(`Converting database ${dataset.database} data into files…`);
     }
     const ameliReorganizedRootDir = path.join(dataDir, dataset.database);
     ensureAndClearDir(ameliReorganizedRootDir);
-    for await (const amendement of findAllAmendements()) {
+    for await (const amendement of findAllAmendements(options["fromSession"])) {
         if (options["verbose"]) {
-            console.log(`Converting ${amendement.numero} file…`);
+            console.log(`Converting ${amendement["numero"]} file…`);
         }
-        const session = String(amendement.session) || UNDEFINED_SESSION;
-        const signetDossierLegislatif = amendement.signet_dossier_legislatif ||
-            `${amendement.nature_texte}-${amendement.numero_texte}`.toLowerCase();
+        const session = String(amendement["session"]) || UNDEFINED_SESSION;
+        const signetDossierLegislatif = amendement["signet_dossier_legislatif"] ||
+            `${amendement["nature_texte"]}-${amendement["numero_texte"]}`.toLowerCase();
         const ameliReorganizedDir = path.join(ameliReorganizedRootDir, String(session), signetDossierLegislatif);
         fs.ensureDirSync(ameliReorganizedDir);
-        const amendementFileName = `${amendement.numero}.json`;
+        const amendementFileName = `${amendement["numero"]}.json`;
         fs.writeJSONSync(path.join(ameliReorganizedDir, amendementFileName), amendement, { spaces: 2 });
     }
 }
-async function convertDatasetDebats(dataDir) {
+async function convertDatasetDebats(dataDir, options) {
     const dataset = datasets.debats;
     if (!options["silent"]) {
         console.log(`Converting database ${dataset.database} data into files…`);
@@ -74,6 +74,9 @@ async function convertDatasetDebats(dataDir) {
         }
         const enrichedDebat = await enrichDebat(debat, allAuteurs);
         const session = getSessionFromDate(enrichedDebat.date_seance);
+        if (options["fromSession"] && session < options["fromSession"]) {
+            continue;
+        }
         const debatsReorganizedDir = path.join(debatsReorganizedRootDir, String(session));
         fs.ensureDirSync(debatsReorganizedDir);
         const debatFileName = `${enrichedDebat.id}.json`;
@@ -84,12 +87,12 @@ async function enrichDebat(debat, auteurs) {
     const enrichedDebat = { ...debat };
     for (const section of enrichedDebat.sections) {
         for (const intervention of section.interventions) {
-            intervention.auteur = findAuteur(intervention.auteur_code, auteurs);
+            intervention.auteur = findAuteur(intervention["auteur_code"], auteurs);
         }
     }
     for (const section of enrichedDebat.sections_divers) {
         for (const intervention of section.interventions) {
-            intervention.auteur = findAuteur(intervention.auteur_code, auteurs);
+            intervention.auteur = findAuteur(intervention["auteur_code"], auteurs);
         }
     }
     return enrichedDebat;
@@ -97,7 +100,7 @@ async function enrichDebat(debat, auteurs) {
 function findAuteur(auteurCode, auteurs) {
     return auteurs.find(auteur => auteur.code === auteurCode);
 }
-async function convertDatasetDosLeg(dataDir) {
+async function convertDatasetDosLeg(dataDir, options) {
     const dataset = datasets.dosleg;
     if (!options["silent"]) {
         console.log(`Converting database ${dataset.database} data into files…`);
@@ -112,6 +115,9 @@ async function convertDatasetDosLeg(dataDir) {
         }
         let loiReorganizedDir = path.join(dossiersReorganizedDir, String(UNDEFINED_SESSION));
         const session = getSessionFromSignet(loi["signet"]) || UNDEFINED_SESSION;
+        if (options["fromSession"] && session < options["fromSession"]) {
+            continue;
+        }
         loiReorganizedDir = path.join(dossiersReorganizedDir, String(session));
         fs.ensureDirSync(loiReorganizedDir);
         const scrutinFileName = `${loi["signet"]}.json`;
@@ -122,22 +128,22 @@ async function convertDatasetDosLeg(dataDir) {
     await convertTexteUrls(dataDir);
     await convertRapportUrls(dataDir);
 }
-async function convertDatasetScrutins(dataDir) {
+async function convertDatasetScrutins(dataDir, options) {
     const dataset = datasets.dosleg;
     if (!options["silent"]) {
-        console.log(`Converting database ${dataset.database} scrutins data into files…`);
+        console.log(`Converting database scrutins (${dataset.database}) data into files…`);
     }
     const scrutinsReorganizedDir = path.join(dataDir, SCRUTINS_FOLDER);
     ensureAndClearDir(scrutinsReorganizedDir);
-    for await (const scrutin of findAllScrutins()) {
+    for await (const scrutin of findAllScrutins(options["fromSession"])) {
         if (options["verbose"]) {
-            console.log(`Converting ${scrutin.numero} file…`);
+            console.log(`Converting ${scrutin["numero"]} file…`);
         }
         let scrutinReorganizedDir = path.join(scrutinsReorganizedDir, String(UNDEFINED_SESSION));
-        const session = scrutin.session || UNDEFINED_SESSION;
+        const session = scrutin["session"] || UNDEFINED_SESSION;
         scrutinReorganizedDir = path.join(scrutinsReorganizedDir, String(session));
         fs.ensureDirSync(scrutinReorganizedDir);
-        const scrutinFileName = `${scrutin.numero}.json`;
+        const scrutinFileName = `${scrutin["numero"]}.json`;
         fs.writeJSONSync(path.join(scrutinReorganizedDir, scrutinFileName), scrutin, {
             spaces: 2,
         });
@@ -152,12 +158,12 @@ async function convertDatasetQuestions(dataDir) {
     ensureAndClearDir(questionsReorganizedRootDir);
     for await (const question of findAllQuestions()) {
         if (options["verbose"]) {
-            console.log(`Converting ${question.reference} file…`);
+            console.log(`Converting ${question["reference"]} file…`);
         }
-        const legislature = question.legislature ? question.legislature : 0;
+        const legislature = question["legislature"] ? question["legislature"] : 0;
         const questionReorganizedDir = path.join(questionsReorganizedRootDir, String(legislature));
         fs.ensureDirSync(questionReorganizedDir);
-        const questionFileName = `${question.reference}.json`;
+        const questionFileName = `${question["reference"]}.json`;
         fs.writeJSONSync(path.join(questionReorganizedDir, questionFileName), question, { spaces: 2 });
     }
 }
@@ -229,26 +235,26 @@ async function convertDatasetSens(dataDir) {
     ensureAndClearDir(organismesReorganizedDir);
     for await (const sen of findAllSens()) {
         if (options["verbose"]) {
-            console.log(`Converting ${sen.matricule} file…`);
+            console.log(`Converting ${sen["matricule"]} file…`);
         }
-        const senFileName = `${sen.matricule}.json`;
+        const senFileName = `${sen["matricule"]}.json`;
         fs.writeJSONSync(path.join(senateursReorganizedDir, senFileName), sen, {
             spaces: 2,
         });
     }
     for await (const circonscription of findAllCirconscriptions()) {
         if (options["verbose"]) {
-            console.log(`Converting ${circonscription.identifiant} file…`);
+            console.log(`Converting ${circonscription["identifiant"]} file…`);
         }
-        const circonscriptionFileName = `${circonscription.identifiant}.json`;
+        const circonscriptionFileName = `${circonscription["identifiant"]}.json`;
         fs.writeJSONSync(path.join(circonscriptionsReorganizedDir, circonscriptionFileName), circonscription, { spaces: 2 });
     }
     for await (const organisme of findAllOrganismes()) {
         if (options["verbose"]) {
-            console.log(`Converting ${organisme.code} file…`);
+            console.log(`Converting ${organisme["code"]} file…`);
         }
-        const organismeFileName = `${organisme.code}.json`;
-        const organismeDir = path.join(organismesReorganizedDir, organisme.type_code);
+        const organismeFileName = `${organisme["code"]}.json`;
+        const organismeDir = path.join(organismesReorganizedDir, organisme["type_code"]);
         fs.ensureDirSync(organismeDir);
         fs.writeJSONSync(path.join(organismeDir, organismeFileName), organisme, { spaces: 2 });
     }

package/lib/scripts/retrieve_open_data.js

@@ -202,6 +202,30 @@ async function retrieveDataset(dataDir, dataset) {
             console.log(`Importing ${dataset.title}: ${sqlFilename}…`);
         }
         await copyToSenat(dataset, dataDir, options);
+        // Create indexes programmatically after import
+        if (dataset.indexes) {
+            for (const [table, indexes] of Object.entries(dataset.indexes)) {
+                for (const index of indexes) {
+                    const indexName = index.name;
+                    const columns = index.columns.join(", ");
+                    const schema = dataset.database;
+                    const sql = `CREATE INDEX IF NOT EXISTS ${indexName} ON ${schema}.${table} (${columns});`;
+                    try {
+                        execSync(`${options["sudo"] ? `sudo -u ${options["sudo"]} ` : ""}psql --quiet -d senat -c "${sql}"`, {
+                            env: process.env,
+                            encoding: "utf-8",
+                            stdio: ["ignore", "ignore", "pipe"],
+                        });
+                        if (!options["silent"]) {
+                            console.log(`Created index: ${indexName} on ${schema}.${table} (${columns})`);
+                        }
+                    }
+                    catch (err) {
+                        console.error(`Failed to create index ${indexName} on ${schema}.${table}:`, err);
+                    }
+                }
+            }
+        }
     }
     if (options["schema"]) {
         let definitionsDir = path.resolve("src", "raw_types_schemats");
@@ -224,7 +248,7 @@ async function retrieveDataset(dataDir, dataset) {
         fs.writeFileSync(definitionFilePath, definitionRepaired);
         definitionsDir = path.resolve("src", "raw_types");
         definitionFilePath = path.join(definitionsDir, `${dataset.database}.ts`);
-        execSync(`npx pg-to-ts generate -c '${dbConnectionString}' -s ${dataset.database} -o ${definitionFilePath}`, {
+        execSync(`npx kysely-codegen --url '${dbConnectionString}' --default-schema ${dataset.database} --include-pattern '${dataset.database}.*' --out-file ${definitionFilePath}`, {
             env: process.env,
             encoding: "utf-8",
             // stdio: ["ignore", "ignore", "pipe"],
@@ -261,6 +285,16 @@ async function retrieveOpenData() {
     for (const dataset of chosenDatasets) {
         await retrieveDataset(dataDir, dataset);
     }
+    if (options["schema"]) {
+        const dbConnectionString = `postgres://${process.env["PGUSER"]}:${process.env["PGPASSWORD"]}@${process.env["PGHOST"]}:${process.env["PGPORT"]}/senat`;
+        const definitionsDir = path.resolve("src", "raw_types");
+        const definitionFilePath = path.join(definitionsDir, `senat.ts`);
+        execSync(`npx kysely-codegen --url '${dbConnectionString}' --out-file ${definitionFilePath}`, {
+            env: process.env,
+            encoding: "utf-8",
+            // stdio: ["ignore", "ignore", "pipe"],
+        });
+    }
     if (!options["silent"]) {
         console.timeEnd("data extraction time");
     }

package/package.json

@@ -1,6 +1,6 @@
 {
   "name": "@tricoteuses/senat",
-  "version": "2.10.5",
+  "version": "2.11.0",
   "description": "Handle French Sénat's open data",
   "keywords": [
     "France",
@@ -66,12 +66,12 @@
     "fs-extra": "^9.1.0",
     "jsdom": "^26.0.0",
     "kysely": "^0.27.4",
-    "luxon": "^3.5.0",
+    "luxon": "^3.7.2",
     "node-stream-zip": "^1.8.2",
     "pg": "^8.13.1",
     "pg-cursor": "^2.12.1",
     "slug": "^11.0.0",
-    "tsx": "^4.19.4",
+    "tsx": "^4.20.6",
     "windows-1252": "^1.0.0"
   },
   "devDependencies": {
@@ -80,19 +80,19 @@
     "@types/command-line-args": "^5.0.0",
     "@types/fs-extra": "^9.0.7",
     "@types/jsdom": "^21.1.7",
-    "@types/luxon": "^3.4.2",
+    "@types/luxon": "^3.7.1",
     "@types/node": "^20.17.6",
-    "@types/pg": "^8.11.10",
+    "@types/pg": "^8.15.5",
     "@types/pg-cursor": "^2.7.2",
     "@types/slug": "^5.0.9",
-    "@typescript-eslint/eslint-plugin": "^8.13.0",
-    "@typescript-eslint/parser": "^8.13.0",
-    "cross-env": "^10.0.0",
+    "@typescript-eslint/eslint-plugin": "^8.46.0",
+    "@typescript-eslint/parser": "^8.46.0",
+    "cross-env": "^10.1.0",
     "eslint": "^8.57.1",
     "iconv-lite": "^0.7.0",
-    "pg-to-ts": "^4.1.1",
+    "kysely-codegen": "^0.19.0",
     "prettier": "^3.5.3",
     "tslib": "^2.1.0",
-    "typescript": "^5.8.3"
+    "typescript": "^5.9.3"
   }
 }