chaffjs 0.9.0 → 0.10.0

package/src/structure/runs.ts

@@ -0,0 +1,71 @@
+/**
+ * 箇条書きと表の行の並び。続いた箇条書きの同じ深さの項目か、続いた表の行を一つの並びとして読む。
+ * 並びの中の値（日付、金額）を比べる rule が共通に使う。
+ */
+type Kind = "list" | "table";
+
+const LIST_ITEM = /^[ \t]{0,12}(?:[-*+]|\d{1,3}[.)])[ \t]/u;
+const TABLE_ROW = /^[ \t]{0,12}\|/u;
+
+const TABLE_RULE = /^[ \t]{0,12}\|?[ \t]{0,4}:?-{3,}/u;
+const INDENT = /^[ \t]*/u;
+
+export type Line = { readonly start: number; readonly end: number; readonly kind: Kind | undefined; readonly indent: number; readonly rule: boolean };
+
+const kindOf = (text: string): Kind | undefined => {
+  if (TABLE_ROW.test(text)) return "table";
+  return LIST_ITEM.test(text) ? "list" : undefined;
+};
+
+/** 先頭に | を書かない表（「Step | Date」「--- | ---」）の行。| のある見出しの下の区切り行から、| のある行が続くあいだ。 */
+const PIPELESS_RULE = /^[ \t]{0,12}:?-{3,}:?[ \t]{0,4}\|/u;
+
+const pipelessTableLines = (texts: readonly string[]): Set<number> => {
+  const inTable = new Set<number>();
+  texts.forEach((text, index) => {
+    if (!PIPELESS_RULE.test(text) || !(texts[index - 1] ?? "").includes("|")) return;
+    for (let row = index + 1; row < texts.length && (texts[row] ?? "").includes("|"); row += 1) inTable.add(row);
+  });
+  return inTable;
+};
+
+const linesOf = (source: string): Line[] => {
+  const texts = source.split("\n");
+  const pipeless = pipelessTableLines(texts);
+  const found: Line[] = [];
+  let start = 0;
+  texts.forEach((text, index) => {
+    const indent = INDENT.exec(text)?.[0].length ?? 0;
+    const kind = pipeless.has(index) ? "table" : kindOf(text);
+    found.push({ start, end: start + text.length, kind, indent, rule: TABLE_RULE.test(text) });
+    start += text.length + 1;
+  });
+  return found;
+};
+
+/**
+ * 続いた箇条書きや表の中で、同じ深さの行を一つの並びにする。
+ * 子の項目（深い字下げ）は親の並びを切らずに、親ごとに別の並びになる。浅い項目が来たら、それより深い並びは閉じる。
+ * 表の区切り行（|---|）のすぐ前の行は見出しなので、並びから外す。
+ */
+export const runsOf = (source: string): Line[][] => {
+  const runs: Line[][] = [];
+  const open = new Map<number, Line[]>();
+  const close = (deeperThan: number): void => [...open.keys()].filter((depth) => depth > deeperThan).forEach((depth) => open.delete(depth));
+  linesOf(source).forEach((line, index, all) => {
+    if (line.kind === undefined || all[index - 1]?.kind !== line.kind) close(-1);
+    if (line.kind === undefined) return;
+    if (line.rule) {
+      open.get(line.indent)?.pop();
+      return;
+    }
+    close(line.indent);
+    const run = open.get(line.indent) ?? [];
+    if (!open.has(line.indent)) {
+      open.set(line.indent, run);
+      runs.push(run);
+    }
+    run.push(line);
+  });
+  return runs;
+};

package/src/structure/total.ts

@@ -0,0 +1,157 @@
+import type { StructureIssue } from "./issues.ts";
+import { runsOf, type Line } from "./runs.ts";
+
+/**
+ * 合計の行と、その上に並べた金額の和。箇条書きの続いた項目か、表の続いた行で、合計の語（合計・小計・Total）で始まる行を読む。
+ * 同じ単位で同じ列（箇条書きは一つの列）の金額を上から足し、合計の行の金額と合わなければ言う。
+ * 小計と税のあとの総計のように、足し方が何通りかある。どの足し方でも合わないときだけ言う。
+ */
+export type Amount = { readonly offset: number; readonly end: number; readonly value: number; readonly unit: string };
+
+const CENTS = 100;
+const MIN_PARTS = 2;
+
+/** 金額の前に書いた負の印（-500、▲500、-$500）。行頭の箇条書きの - は印にしない。 */
+const NEGATIVE_BEFORE = /[-−▲△][ \t]?(?:[$€£¥￥][ \t]?)?$/u;
+
+/** 括弧に入れた金額（(1,200)）。会計では負の数だが、補足の金額とも読めて符号が決まらない。 */
+const OPEN_PAREN_BEFORE = /[(（][ \t]?(?:[$€£¥￥][ \t]?)?$/u;
+
+type Cell = { readonly column: number; readonly unit: string };
+/** cents が undefined の金額は、符号が決まらない。 */
+type Placed = Amount & Cell & { readonly cents: number | undefined };
+type Entry = { readonly label: boolean; readonly amounts: readonly Placed[] };
+
+/** 表の列の区切り。\| は列の中に書いた | なので数えない。 */
+const CELL_SEPARATOR = /(?<!\\)\|/u;
+
+const columnOf = (source: string, line: Line, offset: number): number => source.slice(line.start, offset).split(CELL_SEPARATOR).length - 1;
+
+const isNegative = (source: string, line: Line, amount: Amount): boolean => {
+  const before = source.slice(line.start, amount.offset);
+  const marker = NEGATIVE_BEFORE.exec(before);
+  return marker !== null && before.slice(0, marker.index).trim().length > 0;
+};
+
+/** 行の最初の文字列（表なら最初の列）から、強調の印と箇条書きの印を除いたもの。 */
+const leadingText = (text: string): string =>
+  text
+    .replace(/^[ \t]*(?:[-*+]|\d{1,3}[.)])?[ \t]*\|?[ \t]*/u, "")
+    .replace(/^[*_]+/u, "")
+    .trimStart();
+
+/**
+ * 合計の語のすぐ後ろ。行や列の終わり、区切り（: |）、括弧の注記（合計（税込））、金額。
+ * 「計画」や「Total conversion: 25%」のように語が続くものは合計の行ではない。
+ */
+const AFTER_LABEL = /^[*_]*[ \t\u3000]*(?:$|[:：|（(]|[-−▲△$€£¥￥\p{N}])/u;
+
+const isTotalLabel = (text: string, labels: readonly string[]): boolean => {
+  const lead = leadingText(text).toLowerCase();
+  return labels.some((label) => lead.startsWith(label.toLowerCase()) && AFTER_LABEL.test(lead.slice(label.length)));
+};
+
+const centsOf = (source: string, line: Line, amount: Amount): number | undefined => {
+  if (OPEN_PAREN_BEFORE.test(source.slice(line.start, amount.offset))) return undefined;
+  return Math.round(amount.value * CENTS) * (isNegative(source, line, amount) ? -1 : 1);
+};
+
+const entryOf = (source: string, line: Line, amounts: readonly Amount[], labels: readonly string[]): Entry => ({
+  label: isTotalLabel(source.slice(line.start, line.end), labels),
+  amounts: amounts
+    .filter((amount) => amount.offset >= line.start && amount.offset <= line.end)
+    .map((amount) => ({ ...amount, column: columnOf(source, line, amount.offset), cents: centsOf(source, line, amount) })),
+});
+
+const sameCell = (a: Cell, b: Cell): boolean => a.column === b.column && a.unit === b.unit;
+
+const sumOf = (values: readonly number[]): number => values.reduce((sum, value) => sum + value, 0);
+
+type RowsAbove = { readonly parts: number[]; readonly totals: number[]; sinceLast: number[] };
+
+/** 行の中で、その列と単位の値。無ければ null、二つ以上あるか、列に別の単位しか無いか、符号が決まらなければ undefined。 */
+const valueIn = (entry: Entry, cell: Cell): number | null | undefined => {
+  const inColumn = entry.amounts.filter((amount) => amount.column === cell.column);
+  const matching = inColumn.filter((amount) => sameCell(amount, cell));
+  if (matching.length === 0) return inColumn.length === 0 ? null : undefined;
+  return matching.length === 1 ? matching[0]?.cents : undefined;
+};
+
+const addTo = (above: RowsAbove, entry: Entry, value: number): void => {
+  if (entry.label) {
+    above.totals.push(value);
+    above.sinceLast = [];
+    return;
+  }
+  above.parts.push(value);
+  above.sinceLast.push(value);
+};
+
+/**
+ * 合計の行より上の、同じ列と単位の値。項目の行と合計の行に分け、最後の合計の行より後の項目も取る。
+ * 足し方が決まらない行（valueIn が undefined）が一つでもあれば undefined。1.2万円と円のように単位が割れた列もここで止まる。
+ */
+const windowAbove = (entries: readonly Entry[], cell: Cell): RowsAbove | undefined => {
+  const values = entries.map((entry) => valueIn(entry, cell));
+  if (values.includes(undefined)) return undefined;
+  const above: RowsAbove = { parts: [], totals: [], sinceLast: [] };
+  entries.forEach((entry, index) => {
+    const value = values[index];
+    if (typeof value === "number") addTo(above, entry, value);
+  });
+  return above;
+};
+
+/** 足し方の候補: 上の項目すべて（小計を並べた総計もこれ）、最後の合計より後の項目、最後の合計にその後の項目。項目が無ければ小計の和だけ。 */
+const candidateSums = (above: RowsAbove): number[] => {
+  if (above.parts.length === 0) return [sumOf(above.totals)];
+  const last = above.totals.at(-1);
+  return [sumOf(above.parts), sumOf(above.sinceLast), ...(last === undefined ? [] : [last + sumOf(above.sinceLast)])];
+};
+
+/** 項目が無く小計だけが並ぶ表は、小計の和。 */
+const reportedSum = (above: RowsAbove): number => (above.parts.length === 0 ? sumOf(above.totals) : (above.totals.at(-1) ?? 0) + sumOf(above.sinceLast));
+
+/** 和と呼べるだけの行があるか。項目が二つ以上か、項目が無く小計が二つ以上。 */
+const enoughRows = (above: RowsAbove): boolean => above.parts.length >= MIN_PARTS || (above.parts.length === 0 && above.totals.length >= MIN_PARTS);
+
+/** 和は、合計の行と同じ小数の桁で見せる（$10,160.00 なら $10,260.00）。端数があれば 2 桁。 */
+const formatCents = (cents: number, written: string): string => {
+  const digits = Math.max(/\.\d{2}/u.test(written) ? 2 : 0, cents % CENTS === 0 ? 0 : 2);
+  return (cents / CENTS).toLocaleString("en-US", { minimumFractionDigits: digits, maximumFractionDigits: digits });
+};
+
+/** 数の前に書いた単位（$1,200、$ 1,200）の始まり。木の数量は数から始まるので、見せるときは前の単位も入れる。 */
+const unitStartBefore = (source: string, amount: Amount): number | undefined => {
+  const gap = /[ \t]/u.test(source[amount.offset - 1] ?? "") ? 1 : 0;
+  const start = amount.offset - gap - amount.unit.length;
+  return start >= 0 && source.slice(start, amount.offset - gap) === amount.unit ? start : undefined;
+};
+
+/** 合計の行に書いた金額と、上の和を、同じ書き方で見せる。 */
+const shownAmounts = (source: string, total: Amount, sumCents: number): Record<string, string> => {
+  const unitStart = unitStartBefore(source, total);
+  const written = source.slice(unitStart ?? total.offset, total.end);
+  const sum = formatCents(sumCents, written);
+  if (unitStart !== undefined) return { written, sum: `${source.slice(unitStart, total.offset)}${sum}` };
+  return { written, sum: written.endsWith(total.unit) ? `${sum}${total.unit}` : sum };
+};
+
+const mismatchesIn = (source: string, entries: readonly Entry[]): StructureIssue[] =>
+  entries.flatMap((entry, index) => {
+    if (!entry.label) return [];
+    return entry.amounts.flatMap((total) => {
+      const writtenCents = valueIn(entry, total);
+      const above = windowAbove(entries.slice(0, index), total);
+      if (typeof writtenCents !== "number" || above === undefined || !enoughRows(above) || candidateSums(above).includes(writtenCents)) return [];
+      return [{ offset: total.offset, values: shownAmounts(source, total, reportedSum(above)) }];
+    });
+  });
+
+export const totalMismatches = (source: string, amounts: readonly Amount[], labels: readonly string[]): StructureIssue[] =>
+  runsOf(source).flatMap((run) =>
+    mismatchesIn(
+      source,
+      run.map((line) => entryOf(source, line, amounts, labels)),
+    ),
+  );

package/src/structure/unnumbered.ts

@@ -0,0 +1,33 @@
+import type { DocumentProfile, NumberedLine } from "../plugin.ts";
+
+/** 開いている単位と、その行の番号の後ろが本文だったか（見出しでなく）。見出しは前の行から付くことがあるので、行そのものを覚えておく。 */
+export type OpenUnit = { readonly numbered: NumberedLine; readonly bodyOnLine: boolean };
+
+type Rule = NonNullable<DocumentProfile["unnumbered"]>;
+
+const escape = (text: string): string => text.replace(/[.*+?^${}()|[\]\\]/gu, "\\$&");
+
+const compiled = new Map<string, RegExp>();
+
+const patternOf = (indent: string): RegExp => {
+  const found = compiled.get(indent) ?? new RegExp(`^${escape(indent)}(?<rest>\\S.*)$`, "u");
+  compiled.set(indent, found);
+  return found;
+};
+
+/**
+ * 番号を書かない単位（古い法令は第 2 項以降に番号を振らず、字下げした行を新しい項にする）。
+ * inside の種類の単位の行に本文が続くときだけ、その中で開いている depth の単位の次（無ければ 2 番目）として読む。
+ * 番号を書いた単位（「２」）がすでにあれば、字下げは番号の代わりではない。
+ */
+export const unnumberedUnit = (line: string, open: readonly OpenUnit[], rule: Rule | undefined): NumberedLine | undefined => {
+  if (rule === undefined) return undefined;
+  const rest = patternOf(rule.indent).exec(line)?.groups?.["rest"];
+  if (rest === undefined) return undefined;
+  const holder = [...open].reverse().find((unit) => unit.numbered.kind === rule.inside);
+  if (holder === undefined || !holder.bodyOnLine) return undefined;
+  const previous = [...open].reverse().find((unit) => unit.numbered.depth === rule.depth)?.numbered;
+  if (previous !== undefined && previous.label !== "") return undefined;
+  const number = String((previous === undefined ? 1 : Number(previous.number)) + 1);
+  return { kind: "item", depth: rule.depth, number, absolute: false, label: "", heading: "", rest: rest.trim(), ordinal: Number(number) };
+};

package/src/structure/weekday.ts

@@ -0,0 +1,25 @@
+import type { StructureNode } from "../plugin.ts";
+import type { StructureIssue } from "./issues.ts";
+import { inDocumentOrder } from "./issues.ts";
+
+// 日付と、その横に書いた曜日の食い違い。暦で決まるので、両方読めれば誤りは機械で言える。
+
+const FULL_DATE = /^(?<y>\d{4})-(?<m>\d{2})-(?<d>\d{2})$/u;
+
+/** 暦の曜日。日曜日が 0。存在しない日（2月30日）は undefined。 */
+export const weekdayOf = (value: string): number | undefined => {
+  const groups = FULL_DATE.exec(value)?.groups;
+  if (groups === undefined) return undefined;
+  const [year, month, day] = [Number(groups["y"]), Number(groups["m"]), Number(groups["d"])];
+  const date = new Date(Date.UTC(year, month - 1, day));
+  return date.getUTCFullYear() === year && date.getUTCMonth() === month - 1 && date.getUTCDate() === day ? date.getUTCDay() : undefined;
+};
+
+/** 年まで書いた日付で、書いた曜日が暦と違うもの。年の無い日付は曜日を決められないので見ない。 */
+export const weekdayMismatches = (tree: StructureNode): StructureIssue[] =>
+  inDocumentOrder(tree).flatMap((node) => {
+    const written = node.attrs["weekday"];
+    if (node.kind !== "date" || typeof written !== "number") return [];
+    const actual = weekdayOf(String(node.attrs["value"]));
+    return actual === undefined || actual === written ? [] : [{ offset: node.span.start, values: { date: String(node.attrs["value"]), written, actual } }];
+  });