chaffjs 0.18.0 → 0.19.0

package/src/subheading-line.ts

@@ -25,9 +25,12 @@ const SENTENCE_END_INSIDE = /(?:[。！？!?])|(?:[.．]$)/u;
 /** 行が文で終わっている。句点の後に閉じ括弧・引用符が続いてよい。 */
 const ENDS_SENTENCE = /[。．！？.!?][」』"'”’)）\]］】〕]*$/u;
 
+/** 行が、次の行を導く印（「関連記事：」）で終わっている。その次の行は前の行の続きではない。 */
+const LEADS_IN = /[:：]$/u;
+
 const NEWLINE = /\r?\n/gu;
 
-type Line = { readonly start: number; readonly end: number; readonly next: number };
+export type Line = { readonly start: number; readonly end: number; readonly next: number };
 
 const linesOf = (text: string): Line[] => {
   const breaks = [...text.matchAll(NEWLINE)];
@@ -50,19 +53,54 @@ export const isSubheadingLine = (line: string): boolean => {
 
 const hasText = (text: string, line: Line | undefined): boolean => line !== undefined && text.slice(line.start, line.end).trim().length > 0;
 
-/** 前の行が無いか、文で終わっているか、それも小見出し。 */
-const startsFresh = (text: string, previous: Line | undefined): boolean => {
-  if (previous === undefined) return true;
-  const line = text.slice(previous.start, previous.end);
-  return ENDS_SENTENCE.test(line.trimEnd()) || isSubheadingLine(line);
+/** 行の範囲（text の中の位置）。その行だけで一つの項目として立つか。 */
+export type StandsAlone = (start: number, end: number) => boolean;
+
+/**
+ * 一つで立つ行: 小見出しの行か standsAlone が言う行（リンクだけの行など）で、前の行が無いか、文で終わっているか、
+ * 次を導く「：」で終わっているか、それも一つで立つ行。前の行が文の途中で終わるなら、その行は折り返した文の中にある。
+ */
+export const standaloneLines = (text: string, standsAlone: StandsAlone = () => false): Line[] => {
+  const lines = linesOf(text);
+  const alone = (line: Line): boolean => isSubheadingLine(text.slice(line.start, line.end)) || standsAlone(line.start, line.end);
+  const startsFresh = (previous: Line | undefined): boolean => {
+    if (previous === undefined || alone(previous)) return true;
+    const written = text.slice(previous.start, previous.end).trimEnd();
+    return ENDS_SENTENCE.test(written) || LEADS_IN.test(written);
+  };
+  return lines.filter((line, index) => alone(line) && startsFresh(lines[index - 1]));
+};
+
+/**
+ * lines のうち、段落の終わり（end）まで切れ目なく続く後ろの並び。lines は text の順で、行は次の行の頭（next）で隣の行に続く。
+ * 段落の途中の 1 行は本文の文の一つで、終わりまで続く並びだけが本文の後に置いた一覧。
+ */
+export const closingRun = (lines: readonly Line[], end: number): readonly Line[] =>
+  lines.reduceRight<{ readonly run: readonly Line[]; readonly until: number }>(
+    (acc, line) => (line.next === acc.until ? { run: [line, ...acc.run], until: line.start } : acc),
+    { run: [], until: end },
+  ).run;
+
+/** 片の切れ目。前の片は end で終わり、次の片は next から始まる。 */
+type Cut = { readonly end: number; readonly next: number };
+
+/**
+ * 一つで立つ行（lines[index]）の切れ目。後ろに続く行があれば後ろで切る。前の行が「：」で終わる導きなら前でも切る。
+ * 文で終わる前の行は文の分割器が切るので、前では切らない。
+ */
+const cutsAround = (text: string, lines: readonly Line[], index: number): Cut[] => {
+  const [previous, line, following] = [lines[index - 1], lines[index], lines[index + 1]];
+  if (line === undefined) return [];
+  const leadsIn = previous !== undefined && LEADS_IN.test(text.slice(previous.start, previous.end).trimEnd());
+  return [...(leadsIn ? [{ end: previous.end, next: line.start }] : []), ...(hasText(text, following) ? [{ end: line.end, next: line.next }] : [])];
 };
 
-/** 段落 text を、小見出しの行の後ろで切った片。切る所が無ければ text 全体の 1 片。片は改行を含まない端で終わる。 */
-export const subheadingPieces = (text: string): Span[] => {
+/** 段落 text を、一つで立つ行の後ろ（と、導きの行に続くときは前）で切った片。切る所が無ければ text 全体の 1 片。片は改行を含まない端で終わる。 */
+export const subheadingPieces = (text: string, standsAlone: StandsAlone = () => false): Span[] => {
   const lines = linesOf(text);
-  const cuts = lines.filter(
-    (line, index) => isSubheadingLine(text.slice(line.start, line.end)) && startsFresh(text, lines[index - 1]) && hasText(text, lines[index + 1]),
-  );
-  const starts = [0, ...cuts.map((line) => line.next)];
-  return starts.map((start, index) => ({ start, end: cuts[index]?.end ?? text.length }));
+  const indexOf = new Map(lines.map((line, index) => [line.start, index]));
+  const cuts = standaloneLines(text, standsAlone).flatMap((line) => cutsAround(text, lines, indexOf.get(line.start) ?? 0));
+  const ordered = [...new Map(cuts.map((cut) => [cut.next, cut])).values()].toSorted((left, right) => left.next - right.next);
+  const starts = [0, ...ordered.map((cut) => cut.next)];
+  return starts.map((start, index) => ({ start, end: ordered[index]?.end ?? text.length }));
 };

package/src/tag-coverage.ts

@@ -0,0 +1,13 @@
+import type { Sentence } from "./plugin.ts";
+
+/**
+ * How many of the sentences came back with tokens. A prepared adapter tags every sentence, so "some" means it could not
+ * read part of the document (lang-ja returns no tokens for a paragraph its analyser threw on), and "none" that it tagged nothing.
+ */
+export type TagCoverage = "all" | "some" | "none";
+
+export const tagCoverage = (sentences: readonly Pick<Sentence, "tokens">[]): TagCoverage => {
+  const tagged = sentences.filter((sentence) => sentence.tokens !== undefined).length;
+  if (tagged === sentences.length) return "all";
+  return tagged === 0 ? "none" : "some";
+};

package/styles/ieice.yaml

@@ -1,8 +1,9 @@
 # 電子情報通信学会（IEICE）の和文論文誌の書き方。chaff.yaml に style: ieice と書くと使える。
 # ここに置くのは、案内が言っていることだけ。案内に無いことは足さない。
 #
-# 投稿のしおり 2.4 (b) は、用語を文部省「学術用語集 電気工学編」などによるとする。学術用語集のカタカナ語は、
-# 3 音以上の語の語末の「ー」を省く（コンピュータ、レーザ、プリンタ）。2 音以下の語（カー）は付ける。
+# 投稿のしおり 2.4 (b) は、用語を文部省「学術用語集 電気工学編」などによるとする。学術用語集は、英語の語末の -er、-or、-ar
+# など（ア列の長音）の「ー」を省く書き方をとる（JIS Z 8301:2011 G.6.2.2 の注記）。省くのは、語末の「ー」を除いて 3 音以上の語
+# （コンピュータ、レーザ、プリンタ）。2 音以下の語（カー、カバー）は付ける。ュー・エー・イーで終わる語（メニュー、グレー）は見ない。
 # 2.4 (d) は、句読点を全角の「．」「，」とする。句読点を見る rule が chaff にまだ無いので、ここでは決めない。
 id: ieice
 
@@ -11,8 +12,8 @@ name:
   en: IEICE Transactions (papers in Japanese)
 
 summary:
-  ja: 3 音以上のカタカナ語は語末の「ー」を省きます（コンピュータ、プリンタ）。2 音以下の語（カー）は付けます。
-  en: Drops the final ー of katakana words of three morae or more (コンピュータ, プリンタ) and keeps it on shorter words (カー).
+  ja: 英語の -er、-or、-ar に当たる語末の「ー」を、「ー」を除いて 3 音以上の語では省きます（コンピュータ、プリンタ）。2 音以下の語（カー、カバー）と、ュー・エー・イーで終わる語（メニュー、グレー）は付けたままです。
+  en: Drops the final ー that stands for English -er, -or, -ar on words of three morae or more before it (コンピュータ, プリンタ); shorter words (カー, カバー) and words ending in ュー, エー or イー (メニュー, グレー) keep it.
 
 source:
   title:

package/styles/jis-z8301-2011.yaml

@@ -1,4 +1,7 @@
 # JIS Z 8301:2011「規格票の様式及び作成方法」の外来語の書き方。chaff.yaml に style: jis-z8301-2011 と書くと使える。
+# G.6.2.2 は英語の語末の -er、-or、-ar など（ア列の長音）の扱いを定め、表 G.3 がその「ー」を省く原則を置く。
+# a) 3 音以上の語は付けない（エレベータ）、b) 2 音以下は付ける（カー、カバー）、d) 長音・撥音・促音は 1 音、拗音は 1 音と認めない
+# （シャワー）。カバーが 2 音なので、語末の「ー」は数えない。chaff の min_morae も同じ数え方。
 # 2019 年版はこの原則を外し、「外来語の表記」（平成 3 年内閣告示第 2 号）によるとした。2019 年版に合わせるなら style: bunkacho。
 id: jis-z8301-2011
 
@@ -7,8 +10,8 @@ name:
   en: JIS Z 8301:2011, rules for the structure and drafting of standards
 
 summary:
-  ja: 3 音以上の外来語は語末の「ー」を省き（コンピュータ）、2 音以下は付けます（カー）。2019 年版はこの原則を外しました。
-  en: Drops the final ー of loanwords of three morae or more (コンピュータ) and keeps it on shorter ones (カー). The 2019 edition dropped this principle.
+  ja: 英語の -er、-or、-ar に当たる語末の「ー」を、「ー」を除いて 3 音以上の語では省き（コンピュータ）、2 音以下は付けます（カー、カバー、シャワー）。2019 年版はこの原則を外しました。
+  en: Drops the final ー that stands for English -er, -or, -ar on words of three morae or more before it (コンピュータ) and keeps it on shorter ones (カー, カバー, シャワー). The 2019 edition dropped this principle.
 
 source:
   title:

package/styles/jis-z8301-2019.yaml

@@ -0,0 +1,31 @@
+# JIS Z 8301:2019「規格票の様式及び作成方法」の書き方。chaff.yaml に style: jis-z8301-2019 と書くと使える。
+# ここに置くのは、規格が決めていて、機械で確かめられることだけ。
+#
+# 7.3（推奨事項）: 文末の「…すべきである」「…すべきでない」は用いない。
+# 7.4（許容事項）・7.5（可能性・能力事項）: 文末の「…できる」「…できない」は用いない（能力を示す文の途中は除く）。
+#   どちらも requirement-modal の standard: jis-z8301-2019。
+# 外来語の語末の「ー」は、2019 年版は外来語の表記によるとしつつ、慣用で省くかは各業界に任せている（手引 Q&A 6-14）ので、決めない。
+# 10.6（「上記の図」「以下の箇条」のような引用をしない）: vague-figure-reference。番号を付けた図・表・箇条を置き場所で指す所。
+id: jis-z8301-2019
+
+name:
+  ja: JIS Z 8301:2019 規格票の様式及び作成方法
+  en: JIS Z 8301:2019, rules for the structure and drafting of standards
+
+summary:
+  ja: 規定の文末に「すべきである」「すべきでない」と、文末の「できる」「できない」を使いません。推奨は「することが望ましい」、許容は「してもよい」、可能性は「可能である」と書きます。番号を付けた図、表、箇条は「上記の図」「以下の箇条」ではなく番号で指します。
+  en: "Does not end a provision with すべきである, すべきでない, できる or できない: a recommendation is することが望ましい, a permission してもよい, a possibility 可能である. A numbered figure, table or clause is named by its number, not as 上記の図 or 以下の箇条."
+
+source:
+  title:
+    ja: JIS Z 8301:2019 7.3〜7.5、10.6。日本規格協会「JIS 原案作成のための手引 第 24 版」資料 7「JIS Z 8301:2019 の主な改正点」による
+    en: JIS Z 8301:2019, 7.3 to 7.5 and 10.6, as summarised in the Japanese Standards Association's drafting guide (24th edition), material 7
+  url: https://webdesk.jsa.or.jp/pdf/dev/md_6650.pdf
+
+rules:
+  requirement-modal: normal
+  vague-figure-reference: normal
+
+options:
+  requirement-modal:
+    standard: jis-z8301-2019

package/styles/koyobun.yaml

@@ -0,0 +1,35 @@
+# 文化審議会「公用文作成の考え方」（令和 4 年 1 月 7 日 建議）の書き方。chaff.yaml に style: koyobun と書くと使える。
+# ここに置くのは、建議が言っていて、機械で確かめられることだけ。建議に無いことは足さない。
+#
+# Ⅲ－3 ア「一文を短くする」: 「適当な長さは一概に決められないが、50～60 字ほどになってきたら読みにくくなっていないか
+#   意識するとよい」。chaff の上限は「ここを超えたら見直す」所なので、その上の端の 60 字を和文の上限にする。英文には言っていないので、英文の上限は変えない。
+# Ⅲ－1 イ「一つの文書内では、常体と敬体のどちらかで統一する」: no-mixed-desumasu。どちらにするかは文書の相手で決まる（Ⅲ－1 ア）ので、決めない。
+# Ⅰ－3 エ「長音は、原則として長音符号を使って書く」: 英語の語末の -er、-or、-ar などは長音符号を付ける（コンピューター）。katakana-long-vowel の keep。
+id: koyobun
+
+name:
+  ja: 文化審議会「公用文作成の考え方」
+  en: 公用文作成の考え方 (Council for Cultural Affairs, 2022)
+
+summary:
+  ja: 一文が 60 字を超えたら見直します。一つの文書の中で「です・ます」と「である」を混ぜません。カタカナ語の語末の「ー」は付けます（コンピューター）。
+  en: Flags a Japanese sentence over 60 characters, a document that mixes です・ます with である, and a katakana word that drops its final ー (コンピューター).
+
+source:
+  title:
+    ja: 文化審議会「公用文作成の考え方」（令和 4 年 1 月 7 日 建議）Ⅲ－3 ア、Ⅲ－1 イ、Ⅰ－3 エ
+    en: 公用文作成の考え方 (recommendation of the Council for Cultural Affairs, 7 January 2022), III-3 a, III-1 b and I-3 d
+  url: https://www.bunka.go.jp/seisaku/bunkashingikai/kokugo/hokoku/pdf/93651301_01.pdf
+
+rules:
+  max-sentence-length: normal
+  no-mixed-desumasu: normal
+  katakana-long-vowel: normal
+
+limits:
+  max-sentence-length:
+    ja: 60
+
+options:
+  katakana-long-vowel:
+    ending: keep

package/dist/legal-address.d.ts

@@ -1,2 +0,0 @@
-export declare const maskLegalAddresses: (text: string) => string;
-//# sourceMappingURL=legal-address.d.ts.map

package/dist/legal-address.d.ts.map

@@ -1 +0,0 @@
-{"version":3,"file":"legal-address.d.ts","sourceRoot":"","sources":["../src/legal-address.ts"],"names":[],"mappings":"AAiBA,eAAO,MAAM,kBAAkB,GAAI,MAAM,MAAM,KAAG,MAAsF,CAAC"}

package/dist/legal-address.js

@@ -1,16 +0,0 @@
-/**
- * 「第二十二条第二項」は法令の番地の書き方で、漢数字で書く決まりだから割りようがない。「第」と「条」「項」「号」が
- * 語の切れ目を示しているので、読み手が区切りを探すこともない。番地は漢字の連なりに数えず、前後を切る区切りとして扱う。
- */
-const KANJI_NUMERAL = "[〇一二三四五六七八九十百千]+";
-const ADDRESS_UNIT = "[条項号章節款目編]";
-const ADDRESS = `第${KANJI_NUMERAL}${ADDRESS_UNIT}(?:の${KANJI_NUMERAL})*`;
-/**
- * 番地は、法令が番地に付ける語（各号・及び・本文・後段 …）を挟んで続き、全体が漢字以外で終わる。
- * 「第一条件」「第五条中央銀行」「第五条第五項中央銀行」は番地の後ろに普通の語が続くので、番地として扱わない。
- */
-const CONNECTIVE = `(?:各号|各項|及|又|若|並|中|本文|前段|後段|但書|同条|乃至)*`;
-const ADDRESS_CHAIN = new RegExp(`${ADDRESS}(?:${CONNECTIVE}${ADDRESS})*${CONNECTIVE}(?=[^\\p{Script=Han}]|$)`, "gu");
-const ADDRESS_IN_CHAIN = new RegExp(ADDRESS, "gu");
-export const maskLegalAddresses = (text) => text.replace(ADDRESS_CHAIN, (chain) => chain.replace(ADDRESS_IN_CHAIN, " "));
-//# sourceMappingURL=legal-address.js.map

package/dist/legal-address.js.map

@@ -1 +0,0 @@
-{"version":3,"file":"legal-address.js","sourceRoot":"","sources":["../src/legal-address.ts"],"names":[],"mappings":"AAAA;;;GAGG;AACH,MAAM,aAAa,GAAG,kBAAkB,CAAC;AACzC,MAAM,YAAY,GAAG,YAAY,CAAC;AAElC,MAAM,OAAO,GAAG,IAAI,aAAa,GAAG,YAAY,OAAO,aAAa,IAAI,CAAC;AAEzE;;;GAGG;AACH,MAAM,UAAU,GAAG,wCAAwC,CAAC;AAC5D,MAAM,aAAa,GAAG,IAAI,MAAM,CAAC,GAAG,OAAO,MAAM,UAAU,GAAG,OAAO,KAAK,UAAU,0BAA0B,EAAE,IAAI,CAAC,CAAC;AACtH,MAAM,gBAAgB,GAAG,IAAI,MAAM,CAAC,OAAO,EAAE,IAAI,CAAC,CAAC;AAEnD,MAAM,CAAC,MAAM,kBAAkB,GAAG,CAAC,IAAY,EAAU,EAAE,CAAC,IAAI,CAAC,OAAO,CAAC,aAAa,EAAE,CAAC,KAAK,EAAE,EAAE,CAAC,KAAK,CAAC,OAAO,CAAC,gBAAgB,EAAE,GAAG,CAAC,CAAC,CAAC"}