@tricoteuses/senat 2.20.22 → 2.20.24

package/lib/model/ameli.js

@@ -22,12 +22,16 @@ function auteurs(amendementId) {
     ])
         .orderBy("ameli.amdsen.rng", "asc"));
 }
-function scrutin(amendementNum, sesann) {
+function scrutin(amendementNum, sesann, lecassidt) {
     return dbSenat
         .selectFrom("dosleg.amescr")
-        .leftJoin("dosleg.scr", "dosleg.amescr.scrnum", "dosleg.scr.scrnum")
+        .leftJoin("dosleg.scr", (join) => join
+        .onRef("dosleg.amescr.scrnum", "=", "dosleg.scr.scrnum")
+        .onRef("dosleg.amescr.sesann", "=", "dosleg.scr.sesann"))
+        .leftJoin("dosleg.date_seance", "dosleg.scr.code", "dosleg.date_seance.code")
         .where("dosleg.amescr.amescrnum", "=", amendementNum)
         .where("dosleg.amescr.sesann", "=", sesann)
+        .where("dosleg.date_seance.lecidt", "=", lecassidt)
         .select(["dosleg.amescr.scrnum as scrutin_num"])
         .limit(1)
         .as("scrutin_num");
@@ -43,7 +47,9 @@ const findAllAmendementsQuery = dbSenat
     .leftJoin("ameli.typses", "ameli.typses.id", "ameli.ses.typid")
     .leftJoin("ameli.nat", "ameli.txt_ameli.natid", "ameli.nat.id")
     .leftJoin("ameli.lec_ameli", "ameli.txt_ameli.lecid", "ameli.lec_ameli.id")
-    .leftJoin("dosleg.texte", "ameli.txt_ameli.id", "dosleg.texte.texcod")
+    .leftJoin("dosleg.texte", (join) => join
+    .onRef("ameli.ses.ann", "=", "dosleg.texte.sesann")
+    .onRef("ameli.txt_ameli.numabs", "=", "dosleg.texte.texnum"))
     .leftJoin("dosleg.lecass", "dosleg.texte.lecassidt", "dosleg.lecass.lecassidt")
     .leftJoin("ameli.mot", "ameli.amd.motid", "ameli.mot.id")
     .leftJoin("ameli.avicom", "ameli.amd.avcid", "ameli.avicom.id")
@@ -127,7 +133,7 @@ const findAllAmendementsQuery = dbSenat
     "ameli.grppol_ameli.lilcou as au_nom_de_groupe_politique",
     "ameli.com_ameli.lil as au_nom_de_commission",
     eb.case().when("ameli.cab.entid", "is not", null).then(true).else(false).end().as("auteur_est_gouvernement"),
-    scrutin(ref("ameli.amd.num"), ref("ameli.ses.ann")),
+    scrutin(ref("ameli.amd.num"), ref("ameli.ses.ann"), ref("dosleg.texte.lecassidt")),
     auteurs(ref("ameli.amd.id")).as("auteurs"),
 ]);
 export function findAllAmendements(fromSession) {

package/lib/model/dosleg.d.ts

@@ -1,8 +1,7 @@
 import { InferResult, SelectQueryBuilder } from "kysely";
 declare const findAllDossiersQuery: SelectQueryBuilder<any, any, any>;
 export declare function findAllDossiers(): AsyncIterableIterator<DossierLegislatifResult>;
-export declare function createActesLegislatifs(dossier: DossierLegislatifResult): any;
 export declare function getCodeActeLecture(codeNatureDossier: string, typeLecture: string, assemblee: string): string | null;
-export declare function getCodeActeTexte(codeParent: string | null, texteOrigine: string): string | null;
 export type DossierLegislatifResult = InferResult<typeof findAllDossiersQuery>[0];
+export declare function buildActesLegislatifs(dossier: any): any[];
 export {};

package/lib/model/dosleg.js

@@ -29,6 +29,17 @@ function auteursRapport(rapportId) {
     ])
         .orderBy("dosleg.ecr.ecrnumtri", "asc"));
 }
+function documentsAttaches(rapportId) {
+    return jsonArrayFrom(dbSenat
+        .withSchema("dosleg")
+        .selectFrom("docatt")
+        .leftJoin("typatt", "docatt.typattcod", "typatt.typattcod")
+        .where("docatt.rapcod", "=", rapportId)
+        .select([
+        "docatt.docatturl as url",
+        "typatt.typattlib as type_document"
+    ]));
+}
 function rapports(lectureAssembleeId) {
     return jsonArrayFrom(dbSenat
         .withSchema("dosleg")
@@ -55,9 +66,12 @@ function rapports(lectureAssembleeId) {
             .end()
             .as("url"),
         rtrim(ref("denrap.libdenrap")).as("type"),
+        rtrim(ref("rap.raptil")).as("titre"),
+        rtrim(ref("rap.rapsoustit")).as("sous_titre"),
         toDateString(ref("rap.date_depot")).as("date"),
         "sesann as session",
         auteursRapport(ref("rap.rapcod")).as("auteurs"),
+        documentsAttaches(ref("rap.rapcod")).as("documents_annexes"),
     ]));
 }
 function auteursTexte(texteId) {
@@ -221,90 +235,6 @@ const findAllDossiersQuery = dbSenat
 export function findAllDossiers() {
     return findAllDossiersQuery.stream();
 }
-export function createActesLegislatifs(dossier) {
-    const actesLegislatifs = (dossier["lectures"] || []).flatMap((lecture) => {
-        const lecturesAssemblee = (lecture["lectures_assemblee"] || []).map((lectureAss) => {
-            const codeParent = getCodeActeLecture(dossier["code_nature_dossier"], lecture["type_lecture"], lectureAss["assemblee"]);
-            const textesWithCodeActe = (lectureAss["textes"] || []).map((texte) => ({
-                code_acte: getCodeActeTexte(codeParent, texte["origine"]),
-                ...texte,
-            }));
-            // Ajout étape -COM-FOND après chaque -DEPOT
-            let acteLegislatifsLecture = [];
-            for (let i = 0; i < textesWithCodeActe.length; i++) {
-                const t = textesWithCodeActe[i];
-                acteLegislatifsLecture.push(t);
-                if (t.code_acte?.endsWith("-DEPOT") && t.type === "texte de loi") {
-                    acteLegislatifsLecture.push({
-                        ...t,
-                        code_acte: t.code_acte.replace("-DEPOT", "-COM-FOND"),
-                    });
-                }
-            }
-            if (lectureAss["dates_seances"]?.length > 0) {
-                acteLegislatifsLecture.push({
-                    session: lectureAss["session"],
-                    type_lecture: lecture["type_lecture"],
-                    libelle_lecture: "Discussion en séance publique",
-                    code_acte: `${codeParent}-DEBATS-SEANCE`,
-                    date: lectureAss["dates_seances"][0]?.["date"],
-                    id: lectureAss["id"],
-                    numero: lectureAss["numero"],
-                });
-            }
-            const { textes, rapports, ...lectureAssWithoutTextes } = lectureAss;
-            return {
-                type_lecture: lecture["type_lecture"],
-                ordre_lecture: lecture["ordre_lecture"],
-                libelle_lecture: lecture["libelle"],
-                code_acte: codeParent,
-                actes_legislatifs: acteLegislatifsLecture,
-                ...lectureAssWithoutTextes,
-            };
-        });
-        return lecturesAssemblee;
-    });
-    if (dossier["date_decision_CoC"]) {
-        actesLegislatifs.push({
-            type_lecture: "Conseil constitutionnel",
-            ordre_lecture: null,
-            libelle_lecture: "Conseil constitutionnel",
-            code_acte: "CC",
-            actes_legislatifs: [
-                {
-                    code_acte: "CC-SAISIE",
-                    date: dossier["date_saisine_CoC"],
-                    libelle_decision_CoC: dossier["libelle_decision_CoC"],
-                    date_decision_CoC: dossier["date_decision_CoC"],
-                    num_decision_CoC: dossier["num_decision_CoC"],
-                    url_decision_CoC: dossier["url_decision_CoC"],
-                    url_dossier_CoC: dossier["url_dossier_CoC"],
-                    date_saisine_CoC: dossier["date_saisine_CoC"],
-                    condition_saisine_CoC: dossier["condition_saisine_CoC"],
-                },
-            ],
-        });
-    }
-    if (dossier["date_publication_JO"]) {
-        actesLegislatifs.push({
-            type_lecture: "Promulgation",
-            ordre_lecture: null,
-            libelle_lecture: "Promulgation",
-            code_acte: "PROM",
-            actes_legislatifs: [
-                {
-                    code_acte: "PROM-PUB",
-                    date: dossier["date_publication_JO"],
-                    titre_JO: dossier["titre_JO"],
-                    date_publication_JO: dossier["date_publication_JO"],
-                    numero_JO: dossier["numero_JO"],
-                    url_JO: dossier["url_JO"],
-                },
-            ],
-        });
-    }
-    return actesLegislatifs;
-}
 export function getCodeActeLecture(codeNatureDossier, typeLecture, assemblee) {
     const codeAssemblee = assemblee === "Sénat" ? "SN" : assemblee === "Assemblée nationale" ? "AN" : null;
     if (typeLecture === "Commission mixte paritaire") {
@@ -336,38 +266,177 @@ export function getCodeActeLecture(codeNatureDossier, typeLecture, assemblee) {
     }
     return null;
 }
-export function getCodeActeTexte(codeParent, texteOrigine) {
-    if (codeParent === "CMP") {
-        if (texteOrigine === "de la commission") {
-            return "CMP-DEBATS-AN";
-        }
-        else if (texteOrigine === "adopté par l'Assemblée Nationale" ||
-            texteOrigine === "adopté par l'Assemblée nationale") {
-            return "CMP-DEBATS-SN";
-        }
-    }
-    if (texteOrigine === "transmis au Sénat" ||
-        texteOrigine === "déposé au Sénat" ||
-        texteOrigine === "transmis à l'Assemblée nationale" ||
-        texteOrigine === "déposé à l'Assemblée nationale" ||
-        texteOrigine === "transmis à l'Assemblée Nationale" ||
-        texteOrigine === "déposé à l'Assemblée Nationale" ||
-        texteOrigine === "transmis en application de l'article 47-1, alinéa 2, de la Constitution") {
-        return `${codeParent}-DEPOT`;
+// Helper pour déterminer le code de phase (SN1, SN2, CMP...)
+function getPhasePrefix(lecture, assemblee) {
+    if (assemblee !== "Sénat")
+        return null;
+    const typeLibelle = (lecture.type_lecture || "").toLowerCase();
+    if (typeLibelle.includes("cmp") || typeLibelle.includes("mixte"))
+        return "CMP";
+    if (typeLibelle.includes("nouvelle lecture"))
+        return "SNNLEC";
+    if (typeLibelle.includes("d\u00e9finitive"))
+        return "SNLDEF";
+    if (typeLibelle.includes("unique"))
+        return "SNLUNI";
+    if (lecture.ordre_lecture) {
+        return `SN${lecture.ordre_lecture}`;
     }
-    if (texteOrigine === "de la commission" ||
-        texteOrigine === "de la commission (AN)" ||
-        texteOrigine === "résultat des travaux de la commission") {
-        return `${codeParent}-DEBATS-SEANCE`;
+    if (typeLibelle.includes("premi\u00e8re"))
+        return "SN1";
+    if (typeLibelle.includes("deuxi\u00e8me") || typeLibelle.includes("seconde"))
+        return "SN2";
+    return "SN1";
+}
+export function buildActesLegislatifs(dossier) {
+    const actes = [];
+    const loiSignet = dossier.signet;
+    const lectures = dossier.lectures || [];
+    for (const lecture of lectures) {
+        const lecturesAssemblee = lecture.lectures_assemblee || [];
+        for (const lecAss of lecturesAssemblee) {
+            // On ne traite que la partie SÉNAT
+            if (lecAss.assemblee !== "Sénat")
+                continue;
+            const phasePrefix = getPhasePrefix(lecture, lecAss.assemblee);
+            if (!phasePrefix)
+                continue;
+            // Préparation des textes (tri chronologique)
+            const textes = lecAss.textes || [];
+            const textesTries = [...textes].sort((a, b) => new Date(a.date).getTime() - new Date(b.date).getTime());
+            // =================================================================
+            // A. DÉPÔT
+            // =================================================================
+            const depotTexte = textesTries.find((t) => (t.origine || "").toLowerCase().includes("déposé") ||
+                (t.origine || "").toLowerCase().includes("transmis") ||
+                t.ordre_origine === "0");
+            if (depotTexte && depotTexte.date) {
+                actes.push({
+                    code_acte: `${phasePrefix}-DEPOT`,
+                    date: depotTexte.date,
+                    libelle: `Dépôt du texte n°${depotTexte.numero}`,
+                    id: depotTexte.id,
+                    numero: depotTexte.numero,
+                    uid: `${loiSignet}-${phasePrefix}-DEPOT`,
+                    session: lecAss.session,
+                    chambre: 'SN',
+                    signet_dossier: loiSignet,
+                    texte_url: depotTexte.url,
+                    code_organisme: null
+                });
+            }
+            // =================================================================
+            // B. COMMISSION (Rapports)
+            // =================================================================
+            const rapports = lecAss.rapports || [];
+            for (const rap of rapports) {
+                if (rap.date) {
+                    actes.push({
+                        code_acte: `${phasePrefix}-COM-FOND`,
+                        date: rap.date,
+                        libelle: `Rapport n°${rap.numero} de la commission`,
+                        id: rap.id,
+                        numero: rap.numero,
+                        code_organisme: rap.code_organisme,
+                        adoption: rap.adoption,
+                        uid: `${loiSignet}-${phasePrefix}-COM`,
+                        session: lecAss.session,
+                        chambre: 'SN',
+                        signet_dossier: loiSignet,
+                        texte_url: rap.url,
+                    });
+                }
+            }
+            // =================================================================
+            // C. SÉANCE PUBLIQUE
+            // =================================================================
+            const datesSeances = lecAss.dates_seances || [];
+            if (datesSeances.length > 0) {
+                // Tri des objets dates
+                datesSeances.sort((a, b) => new Date(a.date).getTime() - new Date(b.date).getTime());
+                const premiereSeance = datesSeances[0];
+                if (premiereSeance && premiereSeance.date) {
+                    actes.push({
+                        // Champs pour buildParlementActeLegislatif
+                        code_acte: `${phasePrefix}-DEBATS-SEANCE`,
+                        date: premiereSeance.date,
+                        libelle: `Discussion en séance publique`,
+                        uid: `${loiSignet}-${phasePrefix}-DEBATS-SEANCE`,
+                        session: lecAss.session,
+                        chambre: 'SN',
+                        signet_dossier: loiSignet,
+                        code_organisme: null
+                    });
+                }
+            }
+            // =================================================================
+            // D. DÉCISION / VOTE
+            // =================================================================
+            const texteFinal = [...textesTries].reverse().find((t) => {
+                const origine = (t.origine || "").toLowerCase();
+                return (origine.includes("adopté") ||
+                    origine.includes("rejeté") ||
+                    origine.includes("devenu résolution") ||
+                    t.code_adoption === "O");
+            });
+            if (texteFinal && texteFinal.date) {
+                const origine = (texteFinal.origine || "").toLowerCase();
+                let libelleStatut = "Adopté";
+                if (origine.includes("rejeté")) {
+                    libelleStatut = "Rejeté";
+                }
+                else if (origine.includes("devenue résolution")) {
+                    libelleStatut = "Adopté";
+                }
+                actes.push({
+                    code_acte: `${phasePrefix}-DEBATS-DEC`,
+                    date: texteFinal.date,
+                    libelle: `${libelleStatut === "Adopté" ? "Adoption" : "Rejet"} (Texte n°${texteFinal.numero})`,
+                    id: texteFinal.id,
+                    numero: texteFinal.numero,
+                    adoption: libelleStatut,
+                    uid: `${loiSignet}-DEC-${texteFinal.numero}`,
+                    session: lecAss.session,
+                    chambre: 'SN',
+                    signet_dossier: loiSignet,
+                    texte_url: texteFinal.url,
+                    code_organisme: null
+                });
+            }
+        }
     }
-    if (texteOrigine === "retiré par l'auteur") {
-        return `${codeParent}-RTRINI`;
+    // =================================================================
+    // E. HORS LECTURE (CC & PROMULGATION)
+    // =================================================================
+    if (dossier.date_decision_CoC) {
+        actes.push({
+            code_acte: 'CC',
+            date: dossier.date_decision_CoC,
+            libelle: `Décision du Conseil constitutionnel`,
+            id: dossier.url_decision_CoC,
+            uid: `${loiSignet}-CC`,
+            chambre: 'AN',
+            signet_dossier: loiSignet,
+            texte_url: dossier.url_decision_CoC || dossier.url_dossier_CoC,
+        });
     }
-    if (texteOrigine.includes("adopté") ||
-        texteOrigine.includes("rejeté") ||
-        texteOrigine.includes("modifié") ||
-        texteOrigine === "devenu résolution du Sénat") {
-        return `${codeParent}-DEBATS-DEC`;
+    if (dossier.date_promulgation) {
+        actes.push({
+            code_acte: 'PROM',
+            date: dossier.date_promulgation,
+            libelle: `Promulgation de la loi`,
+            date_publication_JO: dossier.date_publication_JO,
+            numero_JO: dossier.numero_JO,
+            url_legifrance: dossier.url_JO,
+            id: dossier.url_JO,
+            uid: `${loiSignet}-PROM`,
+            chambre: 'AN',
+            signet_dossier: loiSignet,
+        });
     }
-    return null;
+    return actes.sort((a, b) => {
+        const dateA = new Date(a.date).getTime();
+        const dateB = new Date(b.date).getTime();
+        return dateA - dateB;
+    });
 }

package/lib/scripts/convert_data.js

@@ -8,7 +8,7 @@ import { datasets, EnabledDatasets, getEnabledDatasets } from "../datasets";
 import { DATA_ORIGINAL_FOLDER, DATA_TRANSFORMED_FOLDER, DOCUMENT_METADATA_FILE, DOSLEG_DOSSIERS_FOLDER, SCRUTINS_FOLDER, RAPPORT_FOLDER, SENS_CIRCONSCRIPTIONS_FOLDER, SENS_ORGANISMES_FOLDER, SENS_SENATEURS_FOLDER, TEXTE_FOLDER, } from "../loaders";
 import { findAllAmendements, findAllCirconscriptions, findAllDebats, findAllDossiers, findAllScrutins, findAllOrganismes, findAllQuestions, findAllSens, findSenatRapportUrls, findSenatTexteUrls, } from "../model";
 import { processRapport, processTexte } from "./retrieve_documents";
-import { createActesLegislatifs } from "../model/dosleg";
+import { buildActesLegislatifs } from "../model/dosleg";
 import { UNDEFINED_SESSION } from "../types/sessions";
 import { getSessionFromDate, getSessionFromSignet } from "./datautil";
 import { commonOptions } from "./shared/cli_helpers";
@@ -151,21 +151,23 @@ async function convertDatasetDosLeg(dataDir, options) {
         ensureAndClearDir(doslegReorganizedRootDir);
         ensureAndClearDir(dossiersReorganizedDir);
     }
-    for await (const loi of findAllDossiers()) {
+    for await (const dossier of findAllDossiers()) {
         if (options["verbose"]) {
-            console.log(`Converting ${loi["signet"]} file…`);
+            console.log(`Converting ${dossier["signet"]} file…`);
         }
-        let loiReorganizedDir = path.join(dossiersReorganizedDir, String(UNDEFINED_SESSION));
-        const session = getSessionFromSignet(loi["signet"]) || UNDEFINED_SESSION;
+        let dossierReorganizedDir = path.join(dossiersReorganizedDir, String(UNDEFINED_SESSION));
+        const session = getSessionFromSignet(dossier["signet"]) || UNDEFINED_SESSION;
         if (options["fromSession"] && session < options["fromSession"]) {
             continue;
         }
-        loiReorganizedDir = path.join(dossiersReorganizedDir, String(session));
-        // Ajout des actes législatifs au dossier
-        const actesLegislatifs = createActesLegislatifs(loi);
-        const loiWithActes = { ...loi, actes_legislatifs: actesLegislatifs };
-        const dossierFile = `${loi["signet"]}.json`;
-        await fs.outputJSON(path.join(loiReorganizedDir, dossierFile), loiWithActes, { spaces: 2 });
+        dossierReorganizedDir = path.join(dossiersReorganizedDir, String(session));
+        const actesBrutsNormalises = buildActesLegislatifs(dossier);
+        const dossierWithActes = {
+            ...dossier,
+            actes_legislatifs: actesBrutsNormalises
+        };
+        const dossierFile = `${dossier["signet"]}.json`;
+        await fs.outputJSON(path.join(dossierReorganizedDir, dossierFile), dossierWithActes, { spaces: 2 });
     }
     await convertTexteUrls(dataDir, options);
     await convertRapportUrls(dataDir, options);

package/lib/scripts/test_iter_load.js

@@ -5,7 +5,7 @@ const optionsDefinitions = [dataDirDefaultOption];
 const options = commandLineArgs(optionsDefinitions);
 const session = 2024;
 const sinceCommit = undefined;
-for (const { item: amendement } of iterLoadSenatAmendements(options["dataDir"], session, {
+for (const { item: amendement, filePathFromDataset } of iterLoadSenatAmendements(options["dataDir"], session, {
     log: true,
     sinceCommit: sinceCommit,
 })) {

package/package.json

@@ -1,6 +1,6 @@
 {
   "name": "@tricoteuses/senat",
-  "version": "2.20.22",
+  "version": "2.20.24",
   "description": "Handle French Sénat's open data",
   "keywords": [
     "France",
@@ -64,17 +64,17 @@
     "cheerio": "^1.1.2",
     "command-line-args": "^6.0.1",
     "dotenv": "^17.2.3",
-    "fast-xml-parser": "^5.3.2",
-    "fs-extra": "^11.3.2",
+    "fast-xml-parser": "^5.3.3",
+    "fs-extra": "^11.3.3",
     "jsdom": "^27.2.0",
-    "kysely": "^0.28.8",
+    "kysely": "^0.28.9",
     "luxon": "^3.7.2",
     "node-stream-zip": "^1.8.2",
     "p-limit": "^7.2.0",
     "pg": "^8.13.1",
     "pg-cursor": "^2.12.1",
     "slug": "^11.0.0",
-    "tsx": "^4.20.6",
+    "tsx": "^4.21.0",
     "windows-1252": "^3.0.4"
   },
   "devDependencies": {
@@ -92,7 +92,6 @@
     "@typescript-eslint/parser": "^8.46.0",
     "cross-env": "^10.1.0",
     "eslint": "^8.57.1",
-    "iconv-lite": "^0.7.0",
     "kysely-codegen": "^0.19.0",
     "prettier": "^3.5.3",
     "tslib": "^2.1.0",