@tricoteuses/tisseuse 0.6.0 → 0.8.0

package/dist/lib/index.d.ts

@@ -3,10 +3,12 @@ export { assertNever } from './asserts.js';
 export { newAssembleeObjectCache, newLegifranceObjectCache, newObjectCache, type AssembleeObjectCache, type AssembleeObjectType, type LegifranceObjectCache, type ObjectCache, } from './cache.js';
 export { formatLongDate } from './dates.js';
 export { jsonReplacer } from './json.js';
+export { linkTypes, urlFromLegalId, type LinkType } from './links.js';
 export { getOrLoadDocument, getOrLoadDocumentsByDossierParlementaireUid, getOrLoadDossierParlementaire, } from './loaders/assemblee.js';
 export { extendLoadedArticle, getOrLoadArticle, getOrLoadJo, getOrLoadSectionTa, getOrLoadSectionsTa, getOrLoadTextelr, getOrLoadTexteslr, getOrLoadTextesVersions, getOrLoadTexteVersion, loadArticles, type ArticleExtension, type JorfArticleExtended, type LegiArticleExtended, } from './loaders/legifrance.js';
+export { walkTableOfContents, type TableOfContents, type TableOfContentsArticle, type TableOfContentsArticlePositioned, type TableOfContentsDivision, type TableOfContentsDivisionPositioned, type TableOfContentsPositioned, } from './table_of_contents.js';
 export { action } from './text_parsers/actions.js';
-export { article, articles, definitionArticle, designationArticle, listeArticles, nomArticle, nomSpecialArticle, } from './text_parsers/articles.js';
+export { article, articles, definitionArticleDansCitation, definitionArticleDansProjetOuPropositionLoi, designationArticle, listeArticles, nomArticle, nomSpecialArticle, } from './text_parsers/articles.js';
 export { compoundReferencesSeparators, divisionTypes, europeanLawNatures, frenchLawNatures, internationalLawNatures, isTextAstAtomicReference, isTextAstDivision, isTextAstPortion, lawNatures, localizationAdverbs, portionTypes, type CompoundReferencesSeparator, type DivisionType, type EuropeanLawNature, type FrenchLawNature, type InternationalLawNature, type LawNature, type LocalizationAdverb, type PortionType, type TextAst, type TextAstAction, type TextAstArticle, type TextAstAtomicReference, type TextAstBoundedInterval, type TextAstCitation, type TextAstCompoundReference, type TextAstConseilConstitutionnelDecision, type TextAstCountedInterval, type TextAstDivision, type TextAstEnumeration, type TextAstExclusion, type TextAstIncompleteHeader, type TextAstLocalization, type TextAstNumber, type TextAstParentChild, type TextAstPortion, type TextAstPosition, type TextAstReference, type TextAstReferenceAndAction, type TextAstText, type TextAstTextIdentification, type TextAstTextInfos, type TextInfosByWordsTree, type TextInfosByWordsTreeNode, } from './text_parsers/ast.js';
 export { citation, citationLigne, citationSimple, } from './text_parsers/citations.js';
 export { date, duDate } from './text_parsers/dates.js';
@@ -14,14 +16,14 @@ export { definitionDivision, designationDivision, division, divisions, natureDiv
 export type { FragmentPosition, FragmentReverseTransformation, } from './text_parsers/fragments.js';
 export { addChildLeftToLastChild, createEnumerationOrBoundedInterval, createParentChildTreeFromReferences, iterAtomicFirstParentReferences, iterAtomicReferences, iterIncludedReferences, } from './text_parsers/helpers.js';
 export { getParsedReferences, getParsedReferencesWithOriginalTransformations, parseCitationReferences, parseReferences, parseReferencesWithOriginalTransformations, } from './text_parsers/index.js';
-export { parseTextLinks, type ArticleDefinition, type ArticleExternalLink, type ArticleInternalLink, type ArticleLink, type DefinitionOrLink, type DivisionExternalLink, type DivisionLink, type ExtractedLinkDb, type TextExternalLink, type TextLink, type TextLinksParserState, } from './text_parsers/links.js';
+export { iterReferenceLinks, parseTextLinks, type ArticleDefinition, type ArticleExternalLink, type ArticleInternalLink, type ArticleLink, type DefinitionOrLink, type DivisionExternalLink, type DivisionLink, type ExtractedLinkDb, type TextExternalLink, type TextLink, type TextLinksParserState, } from './text_parsers/links.js';
 export { adjectifNumeralOrdinalCourt, adverbeMultiplicatifLatin, nombreAsTextAstNumber, nombreCardinal, nombreRomainCardinal, nombreRomainOrdinal, nombreRomainOu0iAsTextAstNumber, } from './text_parsers/numbers.js';
 export { alternatives, chain, convert, optional, parseText, regExp, repeat, TextParserContext, variable, wordsTree, } from './text_parsers/parsers.js';
 export { auPortion, auxPortions, numeroPortion, portions, unePortion, } from './text_parsers/portions.js';
 export { ditPluriel, ditSingulier, introPluriel, introSingulier, liaisonPluriel, liaisonSingulier, } from './text_parsers/prepositions.js';
-export { reference, uniteBasePreciseeSingulier, uniteBaseSingulier, } from './text_parsers/references.js';
+export { listeReferencesSeules, reference, referenceSeule, uniteBasePreciseeSingulier, uniteBaseSingulier, } from './text_parsers/references.js';
 export { adverbeRelatif, espaceAdverbeRelatif, relatifPlurielPrepose, relatifSingulierPrepose, } from './text_parsers/relative_locations.js';
-export { convertHtmlElementsToText, decodeNamedHtmlEntities, decodeNumericHtmlEntities, replacePattern, replacePatterns, simplifyHtml, simplifyText, simplifyUnicodeCharacters, } from './text_parsers/simplifiers.js';
+export { convertHtmlElementsToText, decodeNamedHtmlEntities, decodeNumericHtmlEntities, replaceHtmlPatterns, replacePattern, replaceTextPatterns, simplifyHtml, simplifyPlainText, simplifyText, simplifyUnicodeCharacters, } from './text_parsers/simplifiers.js';
 export { definitionTexteFrancais, identificationTexteEuropeen, natureTexteFrancais, numeroEtOuDateTexteFrancais, numeroTexteEuropeen, numeroTexteFrancais, optionalEspaceDuTerritoire, texte, texteEuropeen, texteFrancais, texteInternational, } from './text_parsers/texts.js';
 export { chainTransformers, newReverseTransformationsMergedFromPositionsIterator, reversePositionsSplitFromPositions, reverseTransformationsMergedFromPositions, reverseTransformationFromPosition, reverseTransformedInnerFragment, reverseTransformedReplacement, type SourceMapSegment, type Transformation, type TransformationLeaf, type TransformationNode, type Transformer, type TransformerLeaf, type TransformerNode, } from './text_parsers/transformers.js';
 export { espace, lettreAsciiMinuscule, nonLettre, numero, virguleOuEspace, } from './text_parsers/typography.js';

package/dist/lib/server/index.d.ts

@@ -0,0 +1 @@
+export { readTransformation, writeTransformation, } from './text_parsers/transformers.js';

package/dist/lib/table_of_contents.d.ts

@@ -0,0 +1,31 @@
+import { DivisionType } from './text_parsers/ast.js';
+import { FragmentPosition, FragmentReverseTransformation } from './text_parsers/fragments.js';
+export interface TableOfContents {
+    articles?: TableOfContentsArticle[];
+    divisions?: TableOfContentsDivision[];
+}
+export interface TableOfContentsArticle {
+    line: string;
+    type: "article";
+}
+export type TableOfContentsArticlePositioned = TableOfContentsArticle & {
+    originalTransformation: FragmentReverseTransformation;
+    position: FragmentPosition;
+};
+export interface TableOfContentsDivision {
+    articles?: TableOfContentsArticle[];
+    divisions?: TableOfContentsDivision[];
+    line: string;
+    type: DivisionType;
+}
+export type TableOfContentsDivisionPositioned = TableOfContentsDivision & {
+    articles?: TableOfContentsArticlePositioned[];
+    divisions?: TableOfContentsDivisionPositioned[];
+    originalTransformation: FragmentReverseTransformation;
+    position: FragmentPosition;
+};
+export interface TableOfContentsPositioned {
+    articles?: TableOfContentsArticlePositioned[];
+    divisions?: TableOfContentsDivisionPositioned[];
+}
+export declare function walkTableOfContents(tableOfContents: TableOfContents | TableOfContentsDivision): Generator<TableOfContentsArticle | TableOfContentsDivision, void, unknown>;

package/dist/lib/text_parsers/articles.d.ts

@@ -18,7 +18,7 @@ export declare const typeArticle: import('./parsers.js').TextParser;
  */
 export declare const nomArticle: import('./parsers.js').TextParser;
 /**
- * Numéro d’article, utilisé lors de sa definition,
+ * Numéro d’article, utilisé lors de sa définition,
  * par exemple « L.O 113-1 » ou « L328-1 A bis-0 » ou « préliminaire »
  * Attention cette règle est plus stricte que nomArticle, car, par exemple,
  * dans la ligne :
@@ -27,10 +27,25 @@ export declare const nomArticle: import('./parsers.js').TextParser;
  */
 export declare const nomArticleDefinition: import('./parsers.js').TextParser;
 /**
- * Déclaration d'un article
+ * Numéro d’article à l'intérieur d'un projet ou d'une proposition de loi
+ *
+ * Dans un projet (ou une proposition) de loi initial, un numéro d'article
+ * est un simple nombre ou un nom spécial.
+ * Dans les versions suivantes, le numéro d'article est un nombre éventuellement
+ * suivi d'un adverbe multiplicatif latin.
+ */
+export declare const nomArticleProjetOuPropositionLoi: import('./parsers.js').TextParser;
+/**
+ * Déclaration d'un article au sein d'une citation dans un projet
+ * ou une proposition de loi
  * Exemple : « Art. L. 322‑66. - blablabla… en début de ligne
  */
-export declare const definitionArticle: import('./parsers.js').TextParser;
+export declare const definitionArticleDansCitation: import('./parsers.js').TextParser;
+/**
+ * Déclaration d'un article dans un projet ou une proposition de loi
+ * Exemple : « Article 2 » en début de ligne
+ */
+export declare const definitionArticleDansProjetOuPropositionLoi: import('./parsers.js').TextParser;
 /**
  * Désignation d’un article, de façon absolue (avec son numero ou nom) ou relative (précédent, suivant, …)
  */

package/dist/lib/text_parsers/ast.d.ts

@@ -15,6 +15,7 @@ export interface TextAstAction {
 }
 export type TextAstArticle = {
     definition?: boolean;
+    definitionSuffix?: string;
     implicitText?: TextAstText | undefined;
     localizationAdverb?: LocalizationAdverb;
     ofTheSaid?: boolean;
@@ -43,6 +44,7 @@ export type TextAstCountedInterval = {
 } & TextAstPosition;
 export type TextAstDivision = {
     definition?: boolean;
+    definitionSuffix?: string;
     ofTheSaid?: boolean;
     type: DivisionType;
 } & TextAstLocalization & TextAstPosition;

package/dist/lib/text_parsers/links.d.ts

@@ -88,6 +88,22 @@ export interface TextLinksParserState {
     sectionTaId?: string;
     textId?: string;
 }
+export declare function iterReferenceLinks({ articleDefinitionByNumByTextId: articleDefinitionByNumByTextIdInput, context, date, legiDb, logIgnoredReferencesTypes, logPartialReferences, originalPositionsFromTransformedIterator, reference, state: inputState, }: {
+    articleDefinitionByNumByTextId?: Record<string, Record<string, ArticleDefinition>>;
+    context: TextParserContext;
+    date: string;
+    legiDb: Sql;
+    logIgnoredReferencesTypes?: boolean;
+    logPartialReferences?: boolean;
+    originalPositionsFromTransformedIterator?: Generator<FragmentReverseTransformation, void, FragmentPosition | undefined>;
+    reference: TextAstReference;
+    /**
+     * When given, state is modified by this generator, so that the callers
+     * always has the latest state version (and can reuse it for the next article,
+     * for example).
+     */
+    state?: TextLinksParserState;
+}): AsyncGenerator<DefinitionOrLink>;
 export declare function parseTextLinks({ context, date, legiDb, logIgnoredReferencesTypes, logPartialReferences, logReferences, state: inputState, transformation, }: {
     context: TextParserContext;
     date: string;

package/dist/lib/text_parsers/references.d.ts

@@ -11,3 +11,5 @@ export declare const referencePluriel1Internal: import('./parsers.js').TextParse
 export declare const referenceSingulier1Internal: import('./parsers.js').TextParser;
 export declare const reference1Internal: import('./parsers.js').TextParser;
 export declare const reference: import('./parsers.js').TextParser;
+export declare const referenceSeule: import('./parsers.js').TextParser;
+export declare const listeReferencesSeules: import('./parsers.js').TextParser;

package/dist/lib/text_parsers/simplifiers.d.ts

@@ -4,10 +4,12 @@ export declare function convertHtmlElementsToText({ removeAWithHref, }?: {
 }): TransformerLeaf;
 export declare function decodeNamedHtmlEntities(input: string): TransformationLeaf;
 export declare function decodeNumericHtmlEntities(input: string): TransformationLeaf;
+export declare function replaceHtmlPatterns(input: string): TransformationNode;
 export declare function replacePattern(pattern: RegExp | string, replacement: string): TransformerLeaf;
-export declare function replacePatterns(input: string): TransformationNode;
+export declare function replaceTextPatterns(input: string): TransformationNode;
 export declare function simplifyHtml({ removeAWithHref, }?: {
     removeAWithHref?: boolean;
 }): TransformerNode;
+export declare function simplifyPlainText(input: string): TransformationNode;
 export declare function simplifyText(input: string): TransformationNode;
 export declare function simplifyUnicodeCharacters(input: string): TransformationLeaf;

package/dist/lib/text_parsers/transformers.d.ts

@@ -44,7 +44,8 @@ export declare function chainTransformers(title: string, transformers: Array<Tra
 export declare function newReverseTransformationsMergedFromPositionsIterator(transformation: Transformation): Generator<FragmentReverseTransformation, void, FragmentPosition | undefined>;
 /**
  * Converts an array of transformed (e.g. simplified) positions to an array
- *  of original (e.g. HTML) positions
+ * of arrays of original (e.g. HTML) positions (one array of original positions
+ * for each transformed position)
  *
  * Each position is split to ensure that it doesn't contain any HTML element.
  *
@@ -52,7 +53,7 @@ export declare function newReverseTransformationsMergedFromPositionsIterator(tra
  *
  * Use this function for diffs.
  */
-export declare function reversePositionsSplitFromPositions(transformation: Transformation, positions: Array<FragmentPosition[]>): Array<FragmentPosition[]>;
+export declare function reversePositionsSplitFromPositions(transformation: Transformation, transformedPositions: FragmentPosition[]): Array<FragmentPosition[]>;
 /**
  * Converts an array of transformed (e.g. simplified) positions to an array
  *  of original (e.g. HTML) positions

package/dist/scripts/link_table_of_contents_to_simplified_html.d.ts

@@ -0,0 +1,30 @@
+/**
+ * TODO;
+ * Ce script devrait travailler sur Documents_enrichi, mais ce n'est pas le seul.
+ * Car il y a un script qui met les liens, etc.
+ * Documents_enrichi doit contenir tout ce que contient Documents (sauf éventuellement des formats inutiles).
+ * Il faut donc un script de syncronisation entre Documents et Documents_enrichi, qui (re)lance plusieurs scripts
+ * quand quelque chose a changé entre les fichiers d'un Documents et ceux d'un Documents_enrichi.
+ * Problème : le script de synchronisation devrait faire partie de @tricoteuses/assemblee.
+ * Mais les scripts qui mettent les liens et ce script qui détecte la structure doit faire partie de @tricoteuses/tisseuse.
+ * Quand le script de synchronisation détecte qu'une document (quelque soit son format a changé ou a été ajouté ou…) il devrait
+ * lancer tisseuse.
+ * Pas de problème car c'est tricoteuses-assemblee-update qui gère tout cela et tricoteuses-assemblee-update peut aussi bien
+ * lancer des scripts assemblee que des scripts tisseuse.
+ *
+ * Ce script parse_bill_structure travaille sur un seul document (dans Documents_enrichi) dont le chemin lui est fourni.
+ * Il suppose que le script simplify_assemblee_document, qui simplifie le document (et qui créé les fichiers intermédiaires
+ * dans le répertoire) est déjà passé.
+ *
+ * Il y a deux scripts (ou deux modes d'appel du même script) :
+ * * un qui extrait un JSON contenant l'arborescence des sections et des articles avec seulement le contenu de la ligne
+ *   Cela permet d'éditer ce fichier avec un éditeur et d'y ajouter manuellement les sections non détectées par ce script.
+ *   Attention, quand on repasse le script il ne faut pas modifier le fichier qui a été modifié manuellement
+ *   => 2 fichiers distincts !
+ * * un qui part de ce fichier, retrouve les lignes dans le fichier texte et mémorise dans un autre fichier json la
+ *   position de début et de fin dans texte et dans le HTML de chacune des sections et chacun des articles.
+ * * pour faire le diff entre ce document et un autre, il n'y a plus qu'à utiliser les fichiers json des 2 documents pour
+ *   trouver les positions (dans le texte) des articles à comparer, faire le diff pour chacun des articles et le montrer dans
+ *   le HTML en ajoutant les élements HTML adéquats.
+ */
+export {};

package/dist/scripts/simplified_html_bill_to_table_of_contents.d.ts

@@ -0,0 +1 @@
+export {};

package/dist/server.js

@@ -0,0 +1,76 @@
+import e from "fs-extra";
+import c from "node:path";
+function y(n, o) {
+  const t = "transformation_", r = ".json", i = {};
+  for (const f of e.readdirSync(o).toSorted())
+    if (f.startsWith(t) && f.endsWith(r)) {
+      const a = f.slice(
+        t.length,
+        -r.length
+      ), m = a.split(".").map((u) => parseInt(u) - 1);
+      let s = i;
+      for (const u of m.slice(1)) {
+        const l = s.transformations ??= [];
+        for (; u >= l.length; )
+          l.push({});
+        s = l[u];
+      }
+      s.output = e.readFileSync(
+        c.join(o, `${t}${a}.html`),
+        {
+          encoding: "utf-8"
+        }
+      );
+      const { sourceMap: d, title: h } = e.readJsonSync(
+        c.join(o, f),
+        {
+          encoding: "utf-8"
+        }
+      );
+      d !== void 0 && (s.sourceMap = d), s.title = h;
+    }
+  return p(i, n), i;
+}
+function p(n, o) {
+  if (n.input = o, n.transformations !== void 0)
+    for (const t of n.transformations)
+      p(t, o), o = t.output;
+  return o;
+}
+function j(n, o, t = "1") {
+  if (e.ensureDirSync(o), n.transformations === void 0)
+    e.writeJsonSync(
+      c.join(o, `transformation_${t}.json`),
+      {
+        sourceMap: n.sourceMap,
+        title: n.title
+      },
+      { encoding: "utf-8", spaces: 2 }
+    );
+  else {
+    e.writeJsonSync(
+      c.join(o, `transformation_${t}.json`),
+      {
+        title: n.title
+      },
+      { encoding: "utf-8", spaces: 2 }
+    );
+    for (const [r, i] of n.transformations.entries())
+      j(
+        i,
+        o,
+        `${t}.${r + 1}`
+      );
+  }
+  n.output !== void 0 && e.writeFileSync(
+    c.join(o, `transformation_${t}.html`),
+    n.output,
+    {
+      encoding: "utf-8"
+    }
+  );
+}
+export {
+  y as readTransformation,
+  j as writeTransformation
+};

package/package.json

@@ -1,7 +1,7 @@
 {
   "name": "@tricoteuses/tisseuse",
   "description": "Find links in/to French legislative documents",
-  "version": "0.6.0",
+  "version": "0.8.0",
   "keywords": [
     "Assemblée nationale",
     "France",
@@ -36,6 +36,11 @@
       "import": "./dist/index.js",
       "types": "./dist/lib/index.d.ts"
     },
+    "./server": {
+      "typedoc": "./src/server/index.ts",
+      "import": "./dist/server.js",
+      "types": "./dist/lib/server/index.d.ts"
+    },
     "./package.json": "./package.json"
   },
   "publishConfig": {
@@ -52,7 +57,7 @@
   },
   "devDependencies": {
     "@auditors/core": "^0.7.4",
-    "@tricoteuses/assemblee": "^2.4.3",
+    "@tricoteuses/assemblee": "^2.5.2",
     "@tricoteuses/legifrance": "^0.16.0",
     "@types/fs-extra": "^11.0.4",
     "@types/node": "^24.8.1",