chaffjs 0.10.0 → 0.11.0

package/src/structure/build.ts

@@ -44,6 +44,7 @@ type State = {
   readonly profile: DocumentProfile | undefined;
   /** 見出しだけの行（文書の種類の caption）の行番号と、その言葉。すぐ次の行の条が見出しに使う。 */
   readonly captions: Map<number, string>;
+  readonly plainText: boolean;
 };
 
 const draftOf = (kind: StructureKind, address: string, line: Line, attrs: Readonly<Record<string, string | number>>): Draft => ({
@@ -145,8 +146,8 @@ const LEAVES: readonly { readonly kind: StructureKind; readonly find: LeafFinder
 ];
 
 /** 言語を問わない通し番号。後ろが単位なら数量なので番号にしない。 */
-const universalNumber = (patterns: StructurePatterns, text: string, context: NumberingContext): NumberedLine | undefined => {
-  const dotted = dottedNumber(text, context);
+const universalNumber = (patterns: StructurePatterns, text: string, context: NumberingContext, plainText: boolean): NumberedLine | undefined => {
+  const dotted = dottedNumber(text, context, plainText);
   return dotted !== undefined && patterns.countedAfter?.(dotted.number, dotted.rest) === true ? undefined : dotted;
 };
 
@@ -231,6 +232,8 @@ export type StructureInput = {
   readonly source: string;
   readonly language: string;
   readonly outline: Outline;
+  /** Markdown か、テキストか。テキストの仕様書だけの書き方（「5.  Security Considerations」）がある。 */
+  readonly markdown: boolean;
   readonly profile?: DocumentProfile | undefined;
 };
 
@@ -271,7 +274,9 @@ const openUnits = (state: State): OpenUnit[] =>
 
 /** 言語の番号の読み方、文書の種類の番号を書かない単位、言語を問わない通し番号の順に読む。 */
 const numberedLine = (state: State, patterns: StructurePatterns, text: string, context: NumberingContext): NumberedLine | undefined =>
-  patterns.numbered(text, context) ?? unnumberedUnit(text, openUnits(state), state.profile?.unnumbered) ?? universalNumber(patterns, text, context);
+  patterns.numbered(text, context) ??
+  unnumberedUnit(text, openUnits(state), state.profile?.unnumbered) ??
+  universalNumber(patterns, text, context, state.plainText);
 
 /** 番号の後ろが見出しでなく本文か。前の行から見出しが付く前の、行そのもので決める。 */
 const carriesBody = (found: NumberedLine | undefined): boolean => found !== undefined && found.heading === "" && found.rest !== "";
@@ -321,6 +326,7 @@ export const buildTree = (input: StructureInput, patterns: StructurePatterns): S
     widerScopes: new Map(),
     profile: input.profile,
     captions: new Map(),
+    plainText: !input.markdown,
   };
   lines.forEach((line) => {
     if (line.text.trim() !== "") readLine(state, patterns, line, headings.get(line.number));

package/src/structure/issues.ts

@@ -30,7 +30,21 @@ const textOf = (node: StructureNode, key: string): string => {
  * 日本語の「第4条第1項」は、番号の無い第 1 項を持つ第4条を指しうる。
  */
 const resolves = (node: StructureNode, addresses: ReadonlySet<string>): boolean =>
-  addresses.has(textOf(node, "target")) || (node.attrs["fallback"] !== undefined && addresses.has(textOf(node, "fallback")));
+  addresses.has(textOf(node, "target")) || (node.attrs["fallback"] !== undefined && addresses.has(fallbackKey(node)));
+
+/**
+ * fallbackLabel があれば、fallback はその見出しの番号で書かれた節点だけに当たる。
+ * 「第3章」の fallback 3 は「## 3. 構成」には当たり、同じ番地の「第3条」には当たらない。
+ */
+const labelled = (address: string, label: string): string => `${address}\u0000${label}`;
+const fallbackKey = (node: StructureNode): string =>
+  node.attrs["fallbackLabel"] === undefined ? textOf(node, "fallback") : labelled(textOf(node, "fallback"), textOf(node, "fallbackLabel"));
+
+/** 見出しの下の章（h1/ch9）は、見出しの番地を除いた ch9 でも指せる。本文の「第9章」は見出しの番地を書かない。 */
+const addressesOf = (node: StructureNode): string[] =>
+  node.kind === "chapter" && node.address.includes("/") ? [node.address, node.address.slice(node.address.lastIndexOf("/") + 1)] : [node.address];
+
+const keysOf = (node: StructureNode): string[] => addressesOf(node).flatMap((address) => [address, labelled(address, textOf(node, "label"))]);
 
 /**
  * 参照の番地が木に無い。他の文書の名前が付いた参照（民法第709条、Section 9 of the Master Agreement）は引かない。
@@ -40,7 +54,7 @@ export const danglingReferences = (tree: StructureNode): StructureIssue[] => {
   const nodes = inDocumentOrder(tree);
   // 参照は条を指す。条を一つも持たない文書（契約書に付ける承諾書のひな形など）の「契約書第6条」は、別の文書の条。
   if (!nodes.some((node) => node.kind === "article")) return [];
-  const addresses = new Set(nodes.filter((node) => NUMBERED.includes(node.kind)).map((node) => node.address));
+  const addresses = new Set(nodes.filter((node) => NUMBERED.includes(node.kind)).flatMap(keysOf));
   // Section で組んだ法令が "Articles 13 to 21 of the UK GDPR" と別の文書の Article を名指ししていれば、名の無い "Article 6(3)" もそちら。
   // 名指しがあれば、名の無い "Article 9" が書き間違いか向こうの条かは区別できないので黙る。名指しが無い文書では報告する。
   const numbering = (node: StructureNode): unknown => node.attrs["numbering"];

package/src/structure/of.ts

@@ -1,6 +1,7 @@
 import { markdownOutline } from "../document.ts";
 import type { DocumentProfile, StructureNode, StructurePatterns } from "../plugin.ts";
-import { buildTree, NO_OUTLINE } from "./build.ts";
+import { buildTree } from "./build.ts";
+import { textOutline } from "../page-furniture.ts";
 
 export type SourceInput = {
   readonly path: string;
@@ -20,7 +21,8 @@ export const buildStructure = (input: SourceInput, patterns: StructurePatterns):
       path: input.path,
       source: input.source,
       language: input.language,
-      outline: input.markdown ? markdownOutline(input.source) : NO_OUTLINE,
+      outline: input.markdown ? markdownOutline(input.source) : textOutline(input.source),
+      markdown: input.markdown,
       profile: input.profile,
     },
     patterns,

package/src/structure/total.ts

@@ -1,14 +1,19 @@
 import type { StructureIssue } from "./issues.ts";
 import { runsOf, type Line } from "./runs.ts";
+import { bareNumbersIn, CELL_SEPARATOR, NO_UNIT } from "./bare-numbers.ts";
 
 /**
  * 合計の行と、その上に並べた金額の和。箇条書きの続いた項目か、表の続いた行で、合計の語（合計・小計・Total）で始まる行を読む。
  * 同じ単位で同じ列（箇条書きは一つの列）の金額を上から足し、合計の行の金額と合わなければ言う。
  * 小計と税のあとの総計のように、足し方が何通りかある。どの足し方でも合わないときだけ言う。
+ * 表の升に数だけを書いた列（単位は見出しにある）も足す。そのときは上の行の升がどれも数でなければ足さない。年や番号の列を足さないため。
  */
 export type Amount = { readonly offset: number; readonly end: number; readonly value: number; readonly unit: string };
 
 const CENTS = 100;
+
+/** 区切りのコンマを書かずに 4 桁以上続けた整数部（1205、1205.50）。 */
+const UNGROUPED = /(?<![\d.])\d{4}/u;
 const MIN_PARTS = 2;
 
 /** 金額の前に書いた負の印（-500、▲500、-$500）。行頭の箇条書きの - は印にしない。 */
@@ -22,9 +27,6 @@ type Cell = { readonly column: number; readonly unit: string };
 type Placed = Amount & Cell & { readonly cents: number | undefined };
 type Entry = { readonly label: boolean; readonly amounts: readonly Placed[] };
 
-/** 表の列の区切り。\| は列の中に書いた | なので数えない。 */
-const CELL_SEPARATOR = /(?<!\\)\|/u;
-
 const columnOf = (source: string, line: Line, offset: number): number => source.slice(line.start, offset).split(CELL_SEPARATOR).length - 1;
 
 const isNegative = (source: string, line: Line, amount: Amount): boolean => {
@@ -69,11 +71,14 @@ const sumOf = (values: readonly number[]): number => values.reduce((sum, value)
 
 type RowsAbove = { readonly parts: number[]; readonly totals: number[]; sinceLast: number[] };
 
-/** 行の中で、その列と単位の値。無ければ null、二つ以上あるか、列に別の単位しか無いか、符号が決まらなければ undefined。 */
+/**
+ * 行の中で、その列と単位の値。無ければ null、二つ以上あるか、列に別の単位しか無いか、符号が決まらなければ undefined。
+ * 数だけの列では、数の無い升（空、文字、括弧）も undefined。
+ */
 const valueIn = (entry: Entry, cell: Cell): number | null | undefined => {
   const inColumn = entry.amounts.filter((amount) => amount.column === cell.column);
   const matching = inColumn.filter((amount) => sameCell(amount, cell));
-  if (matching.length === 0) return inColumn.length === 0 ? null : undefined;
+  if (matching.length === 0) return inColumn.length === 0 && cell.unit !== NO_UNIT ? null : undefined;
   return matching.length === 1 ? matching[0]?.cents : undefined;
 };
 
@@ -115,43 +120,64 @@ const reportedSum = (above: RowsAbove): number => (above.parts.length === 0 ? su
 /** 和と呼べるだけの行があるか。項目が二つ以上か、項目が無く小計が二つ以上。 */
 const enoughRows = (above: RowsAbove): boolean => above.parts.length >= MIN_PARTS || (above.parts.length === 0 && above.totals.length >= MIN_PARTS);
 
-/** 和は、合計の行と同じ小数の桁で見せる（$10,160.00 なら $10,260.00）。端数があれば 2 桁。 */
+/** 和は、合計の行と同じ小数の桁と区切りで見せる（$10,160.00 なら $10,260.00、1205 なら 1305）。端数があれば 2 桁。 */
 const formatCents = (cents: number, written: string): string => {
   const digits = Math.max(/\.\d{2}/u.test(written) ? 2 : 0, cents % CENTS === 0 ? 0 : 2);
-  return (cents / CENTS).toLocaleString("en-US", { minimumFractionDigits: digits, maximumFractionDigits: digits });
+  const useGrouping = !UNGROUPED.test(written);
+  return (cents / CENTS).toLocaleString("en-US", { minimumFractionDigits: digits, maximumFractionDigits: digits, useGrouping });
 };
 
 /** 数の前に書いた単位（$1,200、$ 1,200）の始まり。木の数量は数から始まるので、見せるときは前の単位も入れる。 */
 const unitStartBefore = (source: string, amount: Amount): number | undefined => {
+  if (amount.unit === NO_UNIT) return undefined;
   const gap = /[ \t]/u.test(source[amount.offset - 1] ?? "") ? 1 : 0;
   const start = amount.offset - gap - amount.unit.length;
   return start >= 0 && source.slice(start, amount.offset - gap) === amount.unit ? start : undefined;
 };
 
-/** 合計の行に書いた金額と、上の和を、同じ書き方で見せる。 */
-const shownAmounts = (source: string, total: Amount, sumCents: number): Record<string, string> => {
+/** 負の金額の前に書いた印（-、▲）。見せる金額に入れる。 */
+const SIGN_BEFORE = /[-−▲△][ \t]?$/u;
+const SIGN_REACH = 2;
+
+const signBefore = (source: string, total: Placed, start: number): string =>
+  total.cents !== undefined && total.cents < 0 ? (SIGN_BEFORE.exec(source.slice(Math.max(0, start - SIGN_REACH), start))?.[0] ?? "") : "";
+
+/** 合計の行に書いた金額と、上の和を、同じ書き方で見せる。負の和には、合計に書いた印（無ければ -）を付ける。 */
+const shownAmounts = (source: string, total: Placed, sumCents: number): Record<string, string> => {
   const unitStart = unitStartBefore(source, total);
-  const written = source.slice(unitStart ?? total.offset, total.end);
-  const sum = formatCents(sumCents, written);
-  if (unitStart !== undefined) return { written, sum: `${source.slice(unitStart, total.offset)}${sum}` };
-  return { written, sum: written.endsWith(total.unit) ? `${sum}${total.unit}` : sum };
+  const start = unitStart ?? total.offset;
+  const sign = signBefore(source, total, start);
+  const written = source.slice(start - sign.length, total.end);
+  const sumSign = sumCents < 0 ? sign || "-" : "";
+  const sum = formatCents(Math.abs(sumCents), written);
+  if (unitStart !== undefined) return { written, sum: `${sumSign}${source.slice(unitStart, total.offset)}${sum}` };
+  return { written, sum: `${sumSign}${sum}${written.endsWith(total.unit) ? total.unit : ""}` };
 };
 
+/**
+ * 数だけの列で、合計の行の数が項目のどれかより大きくなければ、和ではなく平均や率や年の列と読んで足さない。
+ * 項目に負の数があれば、和が項目より小さいこともあるので足す。
+ */
+const readsAsSum = (cell: Cell, writtenCents: number, above: RowsAbove): boolean =>
+  cell.unit !== NO_UNIT || above.parts.some((part) => part < 0) || above.parts.every((part) => part < writtenCents);
+
 const mismatchesIn = (source: string, entries: readonly Entry[]): StructureIssue[] =>
   entries.flatMap((entry, index) => {
     if (!entry.label) return [];
     return entry.amounts.flatMap((total) => {
       const writtenCents = valueIn(entry, total);
       const above = windowAbove(entries.slice(0, index), total);
-      if (typeof writtenCents !== "number" || above === undefined || !enoughRows(above) || candidateSums(above).includes(writtenCents)) return [];
+      if (typeof writtenCents !== "number" || above === undefined || !enoughRows(above) || !readsAsSum(total, writtenCents, above)) return [];
+      if (candidateSums(above).includes(writtenCents)) return [];
       return [{ offset: total.offset, values: shownAmounts(source, total, reportedSum(above)) }];
     });
   });
 
 export const totalMismatches = (source: string, amounts: readonly Amount[], labels: readonly string[]): StructureIssue[] =>
-  runsOf(source).flatMap((run) =>
-    mismatchesIn(
+  runsOf(source).flatMap((run) => {
+    const inRun = [...amounts, ...bareNumbersIn(source, run)];
+    return mismatchesIn(
       source,
-      run.map((line) => entryOf(source, line, amounts, labels)),
-    ),
-  );
+      run.map((line) => entryOf(source, line, inRun, labels)),
+    );
+  });

package/src/structure/universal.ts

@@ -7,15 +7,26 @@ import type { NumberedLine, NumberingContext } from "../plugin.ts";
 const DOTTED = /^[ \t]{0,3}(?<number>\d{1,3}(?:\.\d{1,3}){0,5})\.?[ \t\u3000]+(?<rest>\S.*)$/u;
 
 /**
- * 本文の「1. 」は箇条書きで、見出しの「1. 」は章番号。点を含まない番号は、見出しの行でだけ読む。
+ * RFC のようなテキストの仕様書（Markdown でないもの）の章見出し「5.  Security Considerations」。Markdown では、行内のコードを伏せた空白が
+ * 同じ形に見えるので読まない。行頭から、点の後ろに空白が 2 つ以上あり、
+ * 見出しは文として終わらない（句点・ピリオド・読点で終わらない）短い語句。箇条書きの「1. 」は空白 1 つで、文で終わる。
+ */
+const TOP_SECTION = /^\d{1,3}\. {2,}\S/u;
+const SENTENCE_END = /[.。:;,、!?！？]$/u;
+const MAX_TITLE = 80;
+
+const isTopSection = (line: string, rest: string): boolean => TOP_SECTION.test(line) && rest.length <= MAX_TITLE && !SENTENCE_END.test(rest);
+
+/**
+ * 本文の「1. 」は箇条書きで、見出しの「1. 」は章番号。点を含まない番号は、見出しの行か、テキストの章見出しの形でだけ読む。
  * 「4.2 」のように点を含むものは、.txt の仕様書でも見出しとして書かれるので本文でも読む。
  */
-export const dottedNumber = (line: string, context: NumberingContext): NumberedLine | undefined => {
+export const dottedNumber = (line: string, context: NumberingContext, plainText = false): NumberedLine | undefined => {
   const groups = DOTTED.exec(line)?.groups;
   const number = groups?.["number"];
   if (number === undefined) return undefined;
   const depth = number.split(".").length;
-  if (depth < 2 && !context.isHeading) return undefined;
   const rest = groups?.["rest"]?.trim() ?? "";
+  if (depth < 2 && !context.isHeading && !(plainText && isTopSection(line, rest))) return undefined;
   return { kind: "article", depth, number, absolute: true, label: number, heading: rest, rest, ordinal: Number(number.split(".").at(-1)) };
 };

package/src/version.ts

@@ -8,7 +8,25 @@ import { dirname, join } from "node:path";
  */
 const MANIFEST = join(dirname(fileURLToPath(import.meta.url)), "..", "package.json");
 
-const versionOf = (raw: unknown): string =>
-  typeof raw === "object" && raw !== null && "version" in raw && typeof raw.version === "string" ? raw.version : "0.0.0";
+const isRecord = (value: unknown): value is Record<string, unknown> => typeof value === "object" && value !== null && !Array.isArray(value);
 
-export const VERSION = versionOf(JSON.parse(readFileSync(MANIFEST, "utf8")));
+const versionOf = (raw: unknown): string => (isRecord(raw) && typeof raw["version"] === "string" ? raw["version"] : "0.0.0");
+
+const BUNDLED = /^@chaffjs\/lang-/u;
+
+/**
+ * `chaff --version` の行。chaffjs と、同梱の言語パッケージ。chaffjs は言語パッケージをちょうどの版で依存に書くので、manifest がそのまま答え。
+ */
+export const versionLines = (raw: unknown): string[] => {
+  const dependencies = isRecord(raw) && isRecord(raw["dependencies"]) ? raw["dependencies"] : {};
+  const bundled = Object.entries(dependencies)
+    .filter((entry): entry is [string, string] => BUNDLED.test(entry[0]) && typeof entry[1] === "string")
+    .sort(([left], [right]) => left.localeCompare(right))
+    .map(([name, version]) => `${name} ${version}`);
+  return [`chaffjs ${versionOf(raw)}`, ...bundled];
+};
+
+const manifest: unknown = JSON.parse(readFileSync(MANIFEST, "utf8"));
+
+export const VERSION = versionOf(manifest);
+export const VERSION_LINES = versionLines(manifest);