chaffjs 0.1.0 → 0.3.0

package/src/detectors/signals.ts

@@ -0,0 +1,199 @@
+import { proseText } from "../measure.ts";
+import { wordsOf } from "./structure.ts";
+import type { Detector, Finding, ProseDocument, Sentence } from "../plugin.ts";
+
+const PER = 1000;
+
+/**
+ * これより短い文書では密度が暴れる。1 個で「1000 あたり 100」になる。
+ * 単位は言語で違うので、床も分ける。英語の 200 語と日本語の 200 文字では長さが桁で違う。
+ */
+const FLOOR = { word: 200, char: 500 };
+
+const bodyOf = (doc: ProseDocument): string => doc.sentences.map(proseText).join(" ");
+
+type Hit = { readonly sentence: Sentence; readonly offset: number };
+
+const findIn = (doc: ProseDocument, pattern: RegExp): Hit[] =>
+  doc.sentences.flatMap((sentence) => [...sentence.text.matchAll(pattern)].map((match) => ({ sentence, offset: sentence.span.start + (match.index ?? 0) })));
+
+const density = (doc: ProseDocument, count: number): number => {
+  const length = wordsOf(doc);
+  return length === 0 ? 0 : Math.round((count / length) * PER);
+};
+
+/**
+ * 絵文字と装飾記号。1 つなら親しみだが、並ぶと文字そのものが読めなくなる。
+ * 件数ではなく密度で見る。長い文書ほど当たるのを避けるため（bold-density と同じ）。
+ */
+const EMOJI = /\p{Extended_Pictographic}|[←-⇿☀-➿]/gu;
+
+export const emojiDensity: Detector = (doc, options): Finding[] => {
+  const hits = findIn(doc, EMOJI);
+  const first = hits[0];
+  const rate = density(doc, hits.length);
+  if (wordsOf(doc) < FLOOR[doc.lengthUnit] || first === undefined || rate <= options.limit) return [];
+  return [
+    {
+      rule: "emoji-density",
+      severity: "info",
+      line: 0,
+      column: 0,
+      quote: first.sentence.text.trim(),
+      values: { count: hits.length, density: rate, limit: options.limit, offset: first.offset },
+    },
+  ];
+};
+
+/**
+ * 同じ言い回しの繰り返し。character n-gram で見るので、語の区切りが要らない。
+ * spec §10 が n-gram を選んだのはこのためで、新しい言語でそのまま動く。
+ */
+const GRAM = 8;
+
+/** 短い n-gram は偶然一致する。8 文字は「〜することができます」のような言い回しの長さ。 */
+const countGrams = (text: string): Map<string, number> => {
+  const counts = new Map<string, number>();
+  Array.from({ length: Math.max(0, text.length - GRAM + 1) }).forEach((_, index) => {
+    const gram = text.slice(index, index + GRAM);
+    counts.set(gram, (counts.get(gram) ?? 0) + 1);
+  });
+  return counts;
+};
+
+/**
+ * 名前ではなく言い回しだけを数える。実文書で測ったら、上位は
+ * 「AGENTS.m」「シンギュラリティ」のような固有名詞と識別子だった。名前は繰り返して当たり前。
+ *
+ * 言い回しは、その言語の「つなぎの материал」を含む。日本語ならひらがな、英語なら語の切れ目。
+ * どちらを見るかは adapter が宣言する単位で決める。ひらがなを持たない char 単位の言語が
+ * 来たら、この見分けは効かなくなる（そのときは adapter 側に判定を移す）。
+ */
+const CONNECTIVE = { char: /[ぁ-ゖ]/u, word: / /u };
+
+const isPhrasing = (gram: string, unit: ProseDocument["lengthUnit"]): boolean => CONNECTIVE[unit].test(gram);
+
+/** 文をまたいで数えない。文の終わりと次の文の始まりが繋がると、固有名詞が言い回しに見える。 */
+const gramsOf = (doc: ProseDocument): Map<string, number> => {
+  const counts = new Map<string, number>();
+  doc.sentences.forEach((sentence) => {
+    const text = doc.lengthUnit === "char" ? proseText(sentence).replace(/\s+/gu, "") : proseText(sentence);
+    countGrams(text).forEach((count, gram) => counts.set(gram, (counts.get(gram) ?? 0) + count));
+  });
+  return counts;
+};
+
+export const ngramRepetition: Detector = (doc, options): Finding[] => {
+  if (wordsOf(doc) < FLOOR[doc.lengthUnit]) return [];
+  const worst = [...gramsOf(doc).entries()]
+    .filter(([gram]) => isPhrasing(gram, doc.lengthUnit))
+    .reduce<{ gram: string; count: number }>((best, [gram, count]) => (count > best.count ? { gram, count } : best), { gram: "", count: 0 });
+  if (worst.count <= options.limit) return [];
+  const at = doc.sentences.find((sentence) => sentence.text.includes(worst.gram));
+  return [
+    {
+      rule: "ngram-repetition",
+      severity: "info",
+      line: 0,
+      column: 0,
+      quote: at?.text.trim() ?? worst.gram,
+      values: { word: worst.gram, count: worst.count, limit: options.limit, offset: at?.span.start ?? 0 },
+    },
+  ];
+};
+
+/**
+ * 略語が初出で展開されているか。「CI」だけでは、読む人によって指すものが違う。
+ * 展開は「略語の直前か直後の括弧」か「括弧の中の略語」で書かれる。
+ */
+const ACRONYM = /\b[A-Z]{2,6}\b/gu;
+
+/** 読み手が説明なしで通じると見なしてよい語。展開すると逆に読みにくい。 */
+const COMMON = new Set([
+  "OK",
+  "NG",
+  "URL",
+  "API",
+  "CSS",
+  "HTML",
+  "JSON",
+  "YAML",
+  "HTTP",
+  "HTTPS",
+  "PDF",
+  "CPU",
+  "GPU",
+  "RAM",
+  "USB",
+  "AI",
+  "ID",
+  "FAQ",
+  "PR",
+  "OS",
+  "CLI",
+  "UI",
+  "UX",
+  "SQL",
+  "CSV",
+  "XML",
+  "TODO",
+  "NOTE",
+]);
+
+/**
+ * 展開は略語の**すぐ隣**にあるときだけ認める。
+ * 60 文字も見ると、同じ文のどこかに括弧があるだけで「説明済み」になり、1 件も出なくなる。
+ */
+const AFTER = /^\s*[(（]/u;
+const BEFORE = /[)）]\s*$/u;
+
+const isExpanded = (body: string, acronym: string): boolean => {
+  const at = body.indexOf(acronym);
+  if (at === -1) return false;
+  return AFTER.test(body.slice(at + acronym.length, at + acronym.length + 3)) || BEFORE.test(body.slice(Math.max(0, at - 3), at));
+};
+
+export const undefinedAcronym: Detector = (doc, options): Finding[] => {
+  const body = bodyOf(doc);
+  const seen = new Map<string, Hit>();
+  findIn(doc, ACRONYM).forEach((hit) => {
+    const text = /^[A-Z]{2,6}/u.exec(doc.source.slice(hit.offset, hit.offset + 6))?.[0] ?? "";
+    if (text.length > 0 && !COMMON.has(text) && !seen.has(text)) seen.set(text, hit);
+  });
+  const bare = [...seen.entries()].filter(([acronym]) => !isExpanded(body, acronym));
+  if (bare.length < options.limit) return [];
+  return bare.map(([acronym, hit]) => ({
+    rule: "undefined-acronym",
+    severity: "info",
+    line: 0,
+    column: 0,
+    quote: hit.sentence.text.trim(),
+    values: { word: acronym, count: bare.length, limit: options.limit, offset: hit.offset },
+  }));
+};
+
+/**
+ * 具体物の密度。数値・コード・リンク・引用が 1 つも無い節は、
+ * 読み終えても何も持ち帰れない。**少ないほうを指摘する**ので、他の密度 rule と向きが逆。
+ */
+const CONCRETE = /\d|`|https?:\/\//u;
+
+export const concreteEvidence: Detector = (doc, options): Finding[] => {
+  const sections = doc.sections.filter((section) => section.sentences.length >= 3);
+  const empty = sections.filter((section) => !CONCRETE.test(doc.source.slice(section.span.start, section.span.end)));
+  if (empty.length < options.limit) return [];
+  return empty.map((section) => ({
+    rule: "concrete-evidence-density",
+    severity: "info",
+    line: 0,
+    column: 0,
+    quote: section.heading.length > 0 ? section.heading : (section.sentences[0]?.text.trim() ?? ""),
+    values: {
+      word: section.heading.length > 0 ? section.heading : "この節",
+      count: empty.length,
+      total: sections.length,
+      limit: options.limit,
+      offset: section.span.start,
+    },
+  }));
+};

package/src/detectors/structure.ts

@@ -0,0 +1,119 @@
+import { charLength, lengthOf } from "../measure.ts";
+import type { BulletList, Detector, Finding, Paragraph, ProseDocument, Section } from "../plugin.ts";
+
+/**
+ * ばらつきは変動係数（標準偏差 ÷ 平均）で測る。
+ *
+ * 標準偏差そのものを見ると、長い文書ほど大きくなって閾値が効かない。
+ * 平均で割ると長さに依らなくなり、「揃いすぎ」と「ばらつきすぎ」を同じ尺度で言える。
+ */
+export const coefficientOfVariation = (values: readonly number[]): number | undefined => {
+  if (values.length < 2) return undefined;
+  const mean = values.reduce((sum, value) => sum + value, 0) / values.length;
+  if (mean === 0) return undefined;
+  const variance = values.reduce((sum, value) => sum + (value - mean) ** 2, 0) / values.length;
+  return Math.sqrt(variance) / mean;
+};
+
+/** 変動係数は 0..1 では読めないので、パーセントの整数にして閾値と突き合わせる。 */
+const PERCENT = 100;
+
+const asPercent = (value: number): number => Math.round(value * PERCENT);
+
+const uniformity = (doc: ProseDocument, values: readonly number[], span: { start: number }, limit: number, rule: string): Finding[] => {
+  const cv = coefficientOfVariation(values);
+  if (cv === undefined || asPercent(cv) >= limit) return [];
+  return [
+    {
+      rule,
+      severity: "info",
+      line: 0,
+      column: 0,
+      quote: doc.source.slice(span.start, span.start + 80).trim(),
+      values: { count: values.length, variance: asPercent(cv), limit, offset: span.start },
+    },
+  ];
+};
+
+/** 1 段落に文を詰めすぎると、読み手はどこで息継ぎしていいか分からなくなる。 */
+export const paragraphLength: Detector = (doc, options): Finding[] =>
+  doc.paragraphs
+    .filter((paragraph) => paragraph.sentences.length > options.limit)
+    .map((paragraph) => ({
+      rule: "max-paragraph-length",
+      severity: "warning",
+      line: 0,
+      column: 0,
+      quote: doc.source.slice(paragraph.span.start, paragraph.span.start + 80).trim(),
+      values: { count: paragraph.sentences.length, limit: options.limit, offset: paragraph.span.start },
+    }));
+
+const charsOf = (paragraph: Paragraph): number => paragraph.sentences.reduce((sum, sentence) => sum + charLength(sentence), 0);
+
+/** 段落の長さが揃いすぎている。人が書くと、言いたいことの重さで段落の長さは揺れる。 */
+export const paragraphVariance: Detector = (doc, options): Finding[] => {
+  const lengths = doc.paragraphs.map(charsOf).filter((length) => length > 0);
+  const first = doc.paragraphs[0];
+  return first === undefined ? [] : uniformity(doc, lengths, first.span, options.limit, "paragraph-length-variance");
+};
+
+const sectionChars = (section: Section): number => section.sentences.reduce((sum, sentence) => sum + charLength(sentence), 0);
+
+/** 節の長さが揃いすぎている。見出しごとに機械的に埋めた文書で起きる。 */
+export const sectionUniformity: Detector = (doc, options): Finding[] => {
+  const lengths = doc.sections.map(sectionChars).filter((length) => length > 0);
+  const first = doc.sections[0];
+  return first === undefined ? [] : uniformity(doc, lengths, first.span, options.limit, "section-length-uniformity");
+};
+
+/**
+ * 3 項目の箇条書きばかりになっている。
+ * 3 つ並べると収まりがよいので、言いたいことが 2 つでも 4 つでも 3 つにされる。
+ */
+const isThree = (list: BulletList): boolean => list.items.length === 3;
+
+export const ruleOfThree: Detector = (doc, options): Finding[] => {
+  const lists = doc.lists;
+  const threes = lists.filter(isThree);
+  const share = lists.length === 0 ? 0 : Math.round((threes.length / lists.length) * PERCENT);
+  const first = threes[0];
+  if (lists.length < 3 || first === undefined || share <= options.limit) return [];
+  return [
+    {
+      rule: "rule-of-three",
+      severity: "info",
+      line: 0,
+      column: 0,
+      quote: doc.source.slice(first.span.start, first.span.start + 80).trim(),
+      values: { count: threes.length, total: lists.length, share, limit: options.limit, offset: first.span.start },
+    },
+  ];
+};
+
+/**
+ * 本題に入るまでが長い。業務文書では、読み手は結論を探しに来ている。
+ *
+ * 「本題」は最初の中見出し（深さ 2 以上）とする。表題（深さ 1）の直後から数えると、
+ * 表題しか無い文書で全文が前置きになる。中見出しが無い文書では何も言わない。
+ */
+export const preambleLength: Detector = (doc, options): Finding[] => {
+  const body = doc.sections.find((section) => section.depth >= 2);
+  if (body === undefined) return [];
+  const before = doc.paragraphs.filter((paragraph) => paragraph.span.start < body.span.start);
+  if (before.length <= options.limit) return [];
+  const first = before[0];
+  return first === undefined
+    ? []
+    : [
+        {
+          rule: "preamble-length",
+          severity: "info",
+          line: 0,
+          column: 0,
+          quote: doc.source.slice(first.span.start, first.span.start + 80).trim(),
+          values: { count: before.length, limit: options.limit, offset: first.span.start },
+        },
+      ];
+};
+
+export const wordsOf = (doc: ProseDocument): number => doc.sentences.reduce((sum, sentence) => sum + lengthOf(sentence, doc.lengthUnit), 0);

package/src/detectors/token-shape.ts

@@ -0,0 +1,81 @@
+import { hasParticle, isClosed, lastContent } from "../sentence-shape.ts";
+import type { Detector, Finding, Span, Token } from "../plugin.ts";
+
+/**
+ * 文末が名詞で終わる（体言止め）。箇条書きでは普通だが、本文では文が途中で切れて読める。
+ * 実文書で測ったら、指摘の 9 割が箇条書きの項目だった。箇条書きは除く。
+ */
+const NOMINAL = new Set(["NOUN", "PROPN"]);
+
+/** 非自立名詞は単独では何も指さない。「回るのか。」の「の」を体言止めと読まない。 */
+const isDependent = (token: Token): boolean => token.features?.["NounType"] === "Dependent";
+
+const inside = (span: Span, spans: readonly Span[]): boolean => spans.some((other) => span.start >= other.start && span.start < other.end);
+
+export const nounEnding: Detector = (doc, options): Finding[] => {
+  const ended = doc.sentences.filter((sentence) => {
+    if (inside(sentence.span, doc.listSpans) || !isClosed(sentence) || !hasParticle(sentence)) return false;
+    const last = lastContent(sentence);
+    return last !== undefined && NOMINAL.has(last.pos) && !isDependent(last);
+  });
+  const first = ended[0];
+  // 文書全体の数についての指摘なので、1 文ずつ出さない。13 件並べても直す順番が分からない。
+  if (first === undefined || ended.length <= options.limit) return [];
+  return [
+    {
+      rule: "taigen-dome-in-prose",
+      severity: "info",
+      line: 0,
+      column: 0,
+      quote: first.text.trim(),
+      values: { count: ended.length, limit: options.limit, offset: first.span.start },
+    },
+  ];
+};
+
+/**
+ * 名詞を名詞に繋ぐ助詞が続けて出る。「弊社の新製品の販売の計画」は係りかたが読めなくなる典型。
+ *
+ * 見るのは語彙表にある助詞だけ。助詞一般を数えると、「A も B も C も」の並列と
+ * 「コピーして持っていって」の連用が当たる。どちらも何重に続いても読めるので rule が合わない。
+ *
+ * 数えるのは**節の中**だけ。読点で切らないと「サービスの運営や、ドキュメントの作成」のような
+ * 並列まで 1 つの連なりとして数える。並列は必ず読点で区切られる。
+ */
+type Run = { readonly surface: string; readonly tokens: readonly Token[] };
+
+const extend = (runs: readonly Run[], token: Token): Run[] => {
+  const last = runs.at(-1);
+  if (last !== undefined && last.surface === token.surface) return [...runs.slice(0, -1), { surface: last.surface, tokens: [...last.tokens, token] }];
+  return [...runs, { surface: token.surface, tokens: [token] }];
+};
+
+const PARTICLE = new Set(["ADP", "SCONJ", "PART", "CCONJ"]);
+
+const BREAK: Run = { surface: "", tokens: [] };
+
+/**
+ * 名詞は連なりの中身なので飛ばす。読点と、語彙表に無い助詞は連なりを切る。
+ * 「弊社のAはBの」を 2 回続いたと数えないため。「は」でいちど句が閉じている。
+ */
+const runsOf = (tokens: readonly Token[], nesting: readonly string[]): Run[] =>
+  tokens.reduce<Run[]>((acc, token) => {
+    if (nesting.includes(token.surface)) return extend(acc, token);
+    return token.pos === "PUNCT" || PARTICLE.has(token.pos) ? [...acc, BREAK] : acc;
+  }, []);
+
+export const doubledParticle: Detector = (doc, options): Finding[] => {
+  const nesting = (options.lexicon ?? []).map((entry) => entry.pattern);
+  return doc.sentences.flatMap((sentence) =>
+    runsOf(sentence.tokens ?? [], nesting)
+      .filter((run) => run.tokens.length > options.limit)
+      .map((run) => ({
+        rule: "no-doubled-joshi",
+        severity: "warning" as const,
+        line: 0,
+        column: 0,
+        quote: sentence.text.trim(),
+        values: { word: run.surface, count: run.tokens.length, limit: options.limit, offset: run.tokens[0]?.span.start ?? sentence.span.start },
+      })),
+  );
+};

package/src/document.ts

@@ -4,7 +4,7 @@ import { gfmTableFromMarkdown } from "mdast-util-gfm-table";
 import { frontmatter } from "micromark-extension-frontmatter";
 import { frontmatterFromMarkdown } from "mdast-util-frontmatter";
 import { maskSpans } from "./mask.ts";
-import type { LanguageAdapter, ProseDocument, Section, Sentence, Span } from "./plugin.ts";
+import type { BulletList, LanguageAdapter, Paragraph, ProseDocument, Section, Sentence, Span } from "./plugin.ts";
 
 type Place = { readonly offset?: number | undefined };
 type Node = {
@@ -13,8 +13,14 @@ type Node = {
   readonly children?: readonly Node[] | undefined;
 };
 
-/** 本文として数えないもの。コードは文章ではなく、表は文章の形をしていない。 */
-const NOT_PROSE = new Set(["code", "inlineCode", "html", "yaml", "toml", "table", "thematicBreak", "definition", "image", "imageReference"]);
+/**
+ * 本文として数えないもの。
+ *
+ * コードは文章ではなく、表は文章の形をしていない。
+ * **引用は自分の文章ではない。** chaff が言えるのは「2 文に割ってください」までで、
+ * 引用文にそれはできない。直せないものを指摘しても、書いた人は動けない。
+ */
+const NOT_PROSE = new Set(["code", "inlineCode", "html", "yaml", "toml", "table", "blockquote", "thematicBreak", "definition", "image", "imageReference"]);
 
 const spanOf = (node: Node): Span | undefined => {
   const start = node.position?.start.offset;
@@ -43,8 +49,37 @@ const linkChrome = (node: Node): Span[] => {
   ];
 };
 
-const collectMasks = (root: Node): Span[] => {
-  const spans: Span[] = [];
+/**
+ * 強調の記号（`**` `*` `_` `~~`）だけを覆う。囲まれた文字は本文なので残す。
+ *
+ * 残すと解析器が `**。` を 1 語の名詞として拾い、文の終わりが消える。
+ * 実文書で「文末が名詞」の誤検知を追って見つけた。文長にも同じだけ効いている。
+ */
+const MARKER = /^[*_~]+/u;
+
+const emphasisChrome = (node: Node, source: string): Span[] => {
+  const whole = spanOf(node);
+  if (whole === undefined) return [];
+  const width = MARKER.exec(source.slice(whole.start, whole.end))?.[0].length ?? 0;
+  if (width === 0) return [];
+  return [
+    { start: whole.start, end: whole.start + width },
+    { start: whole.end - width, end: whole.end },
+  ];
+};
+
+const EMPHASIS = new Set(["strong", "emphasis", "delete"]);
+
+/**
+ * `:::note` `:::` のようなディレクティブ。Zenn・Docusaurus・VitePress が使う記法で、
+ * 標準の Markdown には無いため段落として解析される。囲みの指定であって文章ではない。
+ */
+const DIRECTIVE = /^:::[^\n]*/gmu;
+
+const directiveSpans = (source: string): Span[] => [...source.matchAll(DIRECTIVE)].map((match) => ({ start: match.index, end: match.index + match[0].length }));
+
+const collectMasks = (root: Node, source: string): Span[] => {
+  const spans: Span[] = [...directiveSpans(source)];
   walk(root, (node) => {
     if (node.type === "link" || node.type === "linkReference") {
       spans.push(...linkChrome(node));
@@ -57,6 +92,14 @@ const collectMasks = (root: Node): Span[] => {
   return spans;
 };
 
+const emphasisSpans = (root: Node, source: string): Span[] => {
+  const spans: Span[] = [];
+  walk(root, (node) => {
+    if (EMPHASIS.has(node.type)) spans.push(...emphasisChrome(node, source));
+  });
+  return spans;
+};
+
 const textOf = (node: Node, source: string): string => {
   const parts: string[] = [];
   walk(node, (child) => {
@@ -80,22 +123,31 @@ const headingsOf = (root: Node, source: string): Heading[] => {
   return found;
 };
 
-const strongSpans = (root: Node): Span[] => {
+const startsInside = (span: Span, regions: readonly Span[]): boolean => regions.some((region) => span.start >= region.start && span.start < region.end);
+
+/**
+ * 本文の強調だけを数える。
+ *
+ * 表のセルや見出しの中の太字はラベルであって強調ではない。
+ * 「太字は読者の目を止める道具」という bold-density の理屈が当てはまらない。
+ * 「本文でないもの」の定義は覆う範囲（collectMasks）に 1 つだけ置き、ここはそれを使う。
+ */
+const strongSpans = (root: Node, masked: readonly Span[]): Span[] => {
   const found: Span[] = [];
   walk(root, (node) => {
     if (node.type !== "strong") return;
     const span = spanOf(node);
-    if (span !== undefined) found.push(span);
+    if (span !== undefined && !startsInside(span, masked)) found.push(span);
   });
   return found;
 };
 
 const within = (span: Span, from: number, to: number): boolean => span.start >= from && span.start < to;
 
-const paragraphSpans = (root: Node): Span[] => {
+const spansOfType = (root: Node, type: string): Span[] => {
   const found: Span[] = [];
   walk(root, (node) => {
-    if (node.type !== "paragraph") return;
+    if (node.type !== type) return;
     const span = spanOf(node);
     if (span !== undefined) found.push(span);
   });
@@ -109,14 +161,17 @@ const paragraphSpans = (root: Node): Span[] => {
  * 覆った表やコードブロックを越えて次の句点まで飲み込む。段落は文が跨がない境界なので、
  * ここで切れば構造的に起きない。
  */
+const shift = (span: Span, by: number): Span => ({ start: by + span.start, end: by + span.end });
+
 const sentencesOf = (prose: string, paragraphs: readonly Span[], adapter: LanguageAdapter): Sentence[] =>
   paragraphs.flatMap((paragraph) =>
     adapter
       .segment(prose.slice(paragraph.start, paragraph.end))
       .sentences.filter((sentence) => sentence.text.trim().length > 0)
       .map((sentence) => ({
-        span: { start: paragraph.start + sentence.span.start, end: paragraph.start + sentence.span.end },
+        span: shift(sentence.span, paragraph.start),
         text: sentence.text,
+        ...(sentence.tokens === undefined ? {} : { tokens: sentence.tokens.map((token) => ({ ...token, span: shift(token.span, paragraph.start) })) }),
       })),
   );
 
@@ -138,17 +193,50 @@ const sectionsOf = (headings: readonly Heading[], sentences: readonly Sentence[]
     });
 };
 
+const paragraphsOf = (spans: readonly Span[], sentences: readonly Sentence[], listSpans: readonly Span[]): Paragraph[] =>
+  spans
+    // 箇条書きの中の段落は「段落」として数えない。項目 1 つを 1 段落と読むと、
+    // 段落あたりの文数も長さのばらつきも、箇条書きの多い文書で壊れる。
+    .filter((span) => !listSpans.some((list) => span.start >= list.start && span.start < list.end))
+    .map((span) => ({ span, sentences: sentences.filter((sentence) => within(sentence.span, span.start, span.end)) }));
+
+/** 箇条書きは list ノードの直下の項目を数える。入れ子の項目は内側の list のものとして数える。 */
+const listsOf = (root: Node, source: string): BulletList[] => {
+  const found: BulletList[] = [];
+  walk(root, (node) => {
+    if (node.type !== "list") return;
+    const span = spanOf(node);
+    if (span === undefined) return;
+    const items = (node.children ?? []).flatMap((child) => {
+      const item = spanOf(child);
+      return child.type === "listItem" && item !== undefined ? [source.slice(item.start, item.end).replace(/\s+/gu, "").length] : [];
+    });
+    if (items.length > 0) found.push({ span, items });
+  });
+  return found;
+};
+
 export const buildDocument = (path: string, source: string, adapter: LanguageAdapter): ProseDocument => {
   const root = parse(source);
-  const prose = maskSpans(source, collectMasks(root));
-  const sentences = sentencesOf(prose, paragraphSpans(root), adapter);
+  // 強調の記号は「本文でないもの」だが、太字の数を数えるときの「覆われた場所」ではない。
+  // 同じ集合にすると、太字が自分の記号のせいで覆われた場所にあることになり、1 つも数えられなくなる。
+  const blocks = collectMasks(root, source);
+  const masked = [...blocks, ...emphasisSpans(root, source)];
+  const prose = maskSpans(source, masked);
+  const paragraphSpans = spansOfType(root, "paragraph");
+  const listItems = spansOfType(root, "listItem");
+  const sentences = sentencesOf(prose, paragraphSpans, adapter);
   return {
     path,
     source,
     language: adapter.id,
     lengthUnit: adapter.capabilities.lengthUnit,
-    sections: sectionsOf(headingsOf(root, source), sentences, strongSpans(root), source.length),
+    capabilities: adapter.capabilities,
+    sections: sectionsOf(headingsOf(root, source), sentences, strongSpans(root, blocks), source.length),
     sentences,
+    listSpans: listItems,
+    paragraphs: paragraphsOf(paragraphSpans, sentences, listItems),
+    lists: listsOf(root, source),
     lexicons: adapter.lexicons,
   };
 };

package/src/env.ts

@@ -0,0 +1,20 @@
+import { existsSync } from "node:fs";
+import { join } from "node:path";
+
+export const ENV_FILE = ".env";
+
+/**
+ * 作業ディレクトリの .env を読む。依存は足さない（Node が持っている）。
+ *
+ * **すでに設定されている環境変数は上書きしない。** シェルで渡したほうが勝つ。
+ * 逆にすると、一時的に別の key で試したいときに .env が黙って勝ってしまう。
+ *
+ * 読んだかどうかを返すのは、鍵がどこから来たのかを人に見せるため。
+ * 「設定したのに効かない」を、鍵の置き場所で起こさせない。
+ */
+export const loadEnvFile = (dir: string): string | undefined => {
+  const path = join(dir, ENV_FILE);
+  if (!existsSync(path)) return undefined;
+  process.loadEnvFile(path);
+  return path;
+};