@chaffjs/lang-ja 0.2.0 → 0.3.0

package/dist/index.d.ts.map

@@ -1 +1 @@
-{"version":3,"file":"index.d.ts","sourceRoot":"","sources":["../src/index.ts"],"names":[],"mappings":"AAEA,OAAO,KAAK,EAAE,eAAe,EAAgC,MAAM,gBAAgB,CAAC;AA6CpF,eAAO,MAAM,OAAO,EAAE,eAmBrB,CAAC"}
+{"version":3,"file":"index.d.ts","sourceRoot":"","sources":["../src/index.ts"],"names":[],"mappings":"AAGA,OAAO,KAAK,EAAgB,eAAe,EAAgC,MAAM,gBAAgB,CAAC;AA2DlG,eAAO,MAAM,OAAO,EAAE,eAyBrB,CAAC"}

package/dist/index.js

@@ -1,5 +1,6 @@
 import { split, SentenceSplitterSyntax } from "sentence-splitter";
 import { loadLexicons } from "./lexicons.js";
+import { isReady, predicateOnly, prepare, tokenize } from "./pos.js";
 // chaff からは型だけを取る。実行時の値依存を作らない。アダプタは単体で動く。
 /**
  * 日本語の文末は「。！？」に限られる。
@@ -35,18 +36,36 @@ const merge = (source, spans) => spans
     return [...acc, span];
 }, [])
     .map((span) => ({ span, text: source.slice(span.start, span.end) }));
+/**
+ * token の span は文ではなく、segment に渡した文字列を基準にする。文の span と同じ座標系。
+ * 文ごとに解析して足し戻すのではなく、一度解析して文へ配る。同じ文字列を二度読まない。
+ */
+const withTokens = (source, sentences) => {
+    const tokens = tokenize(source);
+    if (tokens === undefined)
+        return [...sentences];
+    return sentences.map((sentence) => ({
+        ...sentence,
+        // 述語かどうかは文の中でしか決まらないので、文へ配ってから印を落とす。
+        tokens: predicateOnly(tokens.filter((token) => token.span.start >= sentence.span.start && token.span.end <= sentence.span.end)),
+    }));
+};
 export const adapter = {
     kind: "language",
     id: "ja",
     apiVersion: 1,
     capabilities: {
         sentenceSplit: true,
-        // budoux も形態素解析も、まだ繋いでいない。spec §16 の Tier 0。
-        wordSplit: false,
-        pos: false,
-        lemma: false,
+        // 「払えばできる」の宣言。実際に払うのは prepare。辞書の初期化に 1.5 秒かかる。
+        wordSplit: true,
+        pos: true,
+        lemma: true,
         lengthUnit: "char",
     },
+    prepare: async (need) => {
+        if (need.pos)
+            await prepare();
+    },
     detect: (source) => {
         const total = [...source.matchAll(COUNTABLE)].length;
         if (total === 0)
@@ -54,6 +73,9 @@ export const adapter = {
         return [...source.matchAll(JAPANESE)].length / total;
     },
     lexicons: loadLexicons(),
-    segment: (text) => ({ sentences: merge(text, rawSpans(text)) }),
+    segment: (text) => {
+        const sentences = merge(text, rawSpans(text));
+        return { sentences: isReady() ? withTokens(text, sentences) : sentences };
+    },
 };
 //# sourceMappingURL=index.js.map

package/dist/index.js.map

@@ -1 +1 @@
-{"version":3,"file":"index.js","sourceRoot":"","sources":["../src/index.ts"],"names":[],"mappings":"AAAA,OAAO,EAAE,KAAK,EAAE,sBAAsB,EAAE,MAAM,mBAAmB,CAAC;AAClE,OAAO,EAAE,YAAY,EAAE,MAAM,eAAe,CAAC;AAG7C,2CAA2C;AAE3C;;;;;;;;;GASG;AACH,MAAM,MAAM,GAAG,sBAAsB,CAAC;AAEtC,MAAM,QAAQ,GAAG,eAAe,CAAC;AACjC,MAAM,SAAS,GAAG,MAAM,CAAC;AAEzB,MAAM,MAAM,GAAG,CAAC,IAAY,EAAW,EAAE,CAAC,IAAI,CAAC,IAAI,EAAE,CAAC,MAAM,GAAG,CAAC,IAAI,CAAC,MAAM,CAAC,IAAI,CAAC,IAAI,CAAC,CAAC;AAEvF,MAAM,QAAQ,GAAG,CAAC,IAAY,EAAU,EAAE,CACxC,KAAK,CAAC,IAAI,CAAC;KACR,MAAM,CAAC,CAAC,IAAI,EAAE,EAAE,CAAC,IAAI,CAAC,IAAI,KAAK,sBAAsB,CAAC,QAAQ,CAAC;KAC/D,GAAG,CAAC,CAAC,IAAI,EAAE,EAAE,CAAC,CAAC,EAAE,KAAK,EAAE,IAAI,CAAC,KAAK,CAAC,CAAC,CAAC,EAAE,GAAG,EAAE,IAAI,CAAC,KAAK,CAAC,CAAC,CAAC,EAAE,CAAC,CAAC,CAAC;AAEnE;;;GAGG;AACH,MAAM,KAAK,GAAG,CAAC,MAAc,EAAE,KAAsB,EAAc,EAAE,CACnE,KAAK;KACF,MAAM,CAAS,CAAC,GAAG,EAAE,IAAI,EAAE,EAAE;IAC5B,MAAM,IAAI,GAAG,GAAG,CAAC,EAAE,CAAC,CAAC,CAAC,CAAC,CAAC;IACxB,yCAAyC;IACzC,uCAAuC;IACvC,6BAA6B;IAC7B,MAAM,WAAW,GAAG,IAAI,KAAK,SAAS,IAAI,MAAM,CAAC,KAAK,CAAC,IAAI,CAAC,GAAG,EAAE,IAAI,CAAC,KAAK,CAAC,CAAC,QAAQ,CAAC,IAAI,CAAC,CAAC;IAC5F,IAAI,IAAI,KAAK,SAAS,IAAI,CAAC,WAAW,IAAI,MAAM,CAAC,MAAM,CAAC,KAAK,CAAC,IAAI,CAAC,KAAK,EAAE,IAAI,CAAC,GAAG,CAAC,CAAC,EAAE,CAAC;QACrF,OAAO,CAAC,GAAG,GAAG,CAAC,KAAK,CAAC,CAAC,EAAE,CAAC,CAAC,CAAC,EAAE,EAAE,KAAK,EAAE,IAAI,CAAC,KAAK,EAAE,GAAG,EAAE,IAAI,CAAC,GAAG,EAAE,CAAC,CAAC;IACrE,CAAC;IACD,OAAO,CAAC,GAAG,GAAG,EAAE,IAAI,CAAC,CAAC;AACxB,CAAC,EAAE,EAAE,CAAC;KACL,GAAG,CAAC,CAAC,IAAI,EAAE,EAAE,CAAC,CAAC,EAAE,IAAI,EAAE,IAAI,EAAE,MAAM,CAAC,KAAK,CAAC,IAAI,CAAC,KAAK,EAAE,IAAI,CAAC,GAAG,CAAC,EAAE,CAAC,CAAC,CAAC;AAEzE,MAAM,CAAC,MAAM,OAAO,GAAoB;IACtC,IAAI,EAAE,UAAU;IAChB,EAAE,EAAE,IAAI;IACR,UAAU,EAAE,CAAC;IACb,YAAY,EAAE;QACZ,aAAa,EAAE,IAAI;QACnB,6CAA6C;QAC7C,SAAS,EAAE,KAAK;QAChB,GAAG,EAAE,KAAK;QACV,KAAK,EAAE,KAAK;QACZ,UAAU,EAAE,MAAM;KACnB;IACD,MAAM,EAAE,CAAC,MAAc,EAAU,EAAE;QACjC,MAAM,KAAK,GAAG,CAAC,GAAG,MAAM,CAAC,QAAQ,CAAC,SAAS,CAAC,CAAC,CAAC,MAAM,CAAC;QACrD,IAAI,KAAK,KAAK,CAAC;YAAE,OAAO,CAAC,CAAC;QAC1B,OAAO,CAAC,GAAG,MAAM,CAAC,QAAQ,CAAC,QAAQ,CAAC,CAAC,CAAC,MAAM,GAAG,KAAK,CAAC;IACvD,CAAC;IACD,QAAQ,EAAE,YAAY,EAAE;IACxB,OAAO,EAAE,CAAC,IAAY,EAAgB,EAAE,CAAC,CAAC,EAAE,SAAS,EAAE,KAAK,CAAC,IAAI,EAAE,QAAQ,CAAC,IAAI,CAAC,CAAC,EAAE,CAAC;CACtF,CAAC"}
+{"version":3,"file":"index.js","sourceRoot":"","sources":["../src/index.ts"],"names":[],"mappings":"AAAA,OAAO,EAAE,KAAK,EAAE,sBAAsB,EAAE,MAAM,mBAAmB,CAAC;AAClE,OAAO,EAAE,YAAY,EAAE,MAAM,eAAe,CAAC;AAC7C,OAAO,EAAE,OAAO,EAAE,aAAa,EAAE,OAAO,EAAE,QAAQ,EAAE,MAAM,UAAU,CAAC;AAGrE,2CAA2C;AAE3C;;;;;;;;;GASG;AACH,MAAM,MAAM,GAAG,sBAAsB,CAAC;AAEtC,MAAM,QAAQ,GAAG,eAAe,CAAC;AACjC,MAAM,SAAS,GAAG,MAAM,CAAC;AAEzB,MAAM,MAAM,GAAG,CAAC,IAAY,EAAW,EAAE,CAAC,IAAI,CAAC,IAAI,EAAE,CAAC,MAAM,GAAG,CAAC,IAAI,CAAC,MAAM,CAAC,IAAI,CAAC,IAAI,CAAC,CAAC;AAEvF,MAAM,QAAQ,GAAG,CAAC,IAAY,EAAU,EAAE,CACxC,KAAK,CAAC,IAAI,CAAC;KACR,MAAM,CAAC,CAAC,IAAI,EAAE,EAAE,CAAC,IAAI,CAAC,IAAI,KAAK,sBAAsB,CAAC,QAAQ,CAAC;KAC/D,GAAG,CAAC,CAAC,IAAI,EAAE,EAAE,CAAC,CAAC,EAAE,KAAK,EAAE,IAAI,CAAC,KAAK,CAAC,CAAC,CAAC,EAAE,GAAG,EAAE,IAAI,CAAC,KAAK,CAAC,CAAC,CAAC,EAAE,CAAC,CAAC,CAAC;AAEnE;;;GAGG;AACH,MAAM,KAAK,GAAG,CAAC,MAAc,EAAE,KAAsB,EAAc,EAAE,CACnE,KAAK;KACF,MAAM,CAAS,CAAC,GAAG,EAAE,IAAI,EAAE,EAAE;IAC5B,MAAM,IAAI,GAAG,GAAG,CAAC,EAAE,CAAC,CAAC,CAAC,CAAC,CAAC;IACxB,yCAAyC;IACzC,uCAAuC;IACvC,6BAA6B;IAC7B,MAAM,WAAW,GAAG,IAAI,KAAK,SAAS,IAAI,MAAM,CAAC,KAAK,CAAC,IAAI,CAAC,GAAG,EAAE,IAAI,CAAC,KAAK,CAAC,CAAC,QAAQ,CAAC,IAAI,CAAC,CAAC;IAC5F,IAAI,IAAI,KAAK,SAAS,IAAI,CAAC,WAAW,IAAI,MAAM,CAAC,MAAM,CAAC,KAAK,CAAC,IAAI,CAAC,KAAK,EAAE,IAAI,CAAC,GAAG,CAAC,CAAC,EAAE,CAAC;QACrF,OAAO,CAAC,GAAG,GAAG,CAAC,KAAK,CAAC,CAAC,EAAE,CAAC,CAAC,CAAC,EAAE,EAAE,KAAK,EAAE,IAAI,CAAC,KAAK,EAAE,GAAG,EAAE,IAAI,CAAC,GAAG,EAAE,CAAC,CAAC;IACrE,CAAC;IACD,OAAO,CAAC,GAAG,GAAG,EAAE,IAAI,CAAC,CAAC;AACxB,CAAC,EAAE,EAAE,CAAC;KACL,GAAG,CAAC,CAAC,IAAI,EAAE,EAAE,CAAC,CAAC,EAAE,IAAI,EAAE,IAAI,EAAE,MAAM,CAAC,KAAK,CAAC,IAAI,CAAC,KAAK,EAAE,IAAI,CAAC,GAAG,CAAC,EAAE,CAAC,CAAC,CAAC;AAEzE;;;GAGG;AACH,MAAM,UAAU,GAAG,CAAC,MAAc,EAAE,SAA8B,EAAc,EAAE;IAChF,MAAM,MAAM,GAAG,QAAQ,CAAC,MAAM,CAAC,CAAC;IAChC,IAAI,MAAM,KAAK,SAAS;QAAE,OAAO,CAAC,GAAG,SAAS,CAAC,CAAC;IAChD,OAAO,SAAS,CAAC,GAAG,CAAC,CAAC,QAAQ,EAAE,EAAE,CAAC,CAAC;QAClC,GAAG,QAAQ;QACX,qCAAqC;QACrC,MAAM,EAAE,aAAa,CAAC,MAAM,CAAC,MAAM,CAAC,CAAC,KAAK,EAAE,EAAE,CAAC,KAAK,CAAC,IAAI,CAAC,KAAK,IAAI,QAAQ,CAAC,IAAI,CAAC,KAAK,IAAI,KAAK,CAAC,IAAI,CAAC,GAAG,IAAI,QAAQ,CAAC,IAAI,CAAC,GAAG,CAAC,CAAC;KAChI,CAAC,CAAC,CAAC;AACN,CAAC,CAAC;AAEF,MAAM,CAAC,MAAM,OAAO,GAAoB;IACtC,IAAI,EAAE,UAAU;IAChB,EAAE,EAAE,IAAI;IACR,UAAU,EAAE,CAAC;IACb,YAAY,EAAE;QACZ,aAAa,EAAE,IAAI;QACnB,gDAAgD;QAChD,SAAS,EAAE,IAAI;QACf,GAAG,EAAE,IAAI;QACT,KAAK,EAAE,IAAI;QACX,UAAU,EAAE,MAAM;KACnB;IACD,OAAO,EAAE,KAAK,EAAE,IAAkB,EAAiB,EAAE;QACnD,IAAI,IAAI,CAAC,GAAG;YAAE,MAAM,OAAO,EAAE,CAAC;IAChC,CAAC;IACD,MAAM,EAAE,CAAC,MAAc,EAAU,EAAE;QACjC,MAAM,KAAK,GAAG,CAAC,GAAG,MAAM,CAAC,QAAQ,CAAC,SAAS,CAAC,CAAC,CAAC,MAAM,CAAC;QACrD,IAAI,KAAK,KAAK,CAAC;YAAE,OAAO,CAAC,CAAC;QAC1B,OAAO,CAAC,GAAG,MAAM,CAAC,QAAQ,CAAC,QAAQ,CAAC,CAAC,CAAC,MAAM,GAAG,KAAK,CAAC;IACvD,CAAC;IACD,QAAQ,EAAE,YAAY,EAAE;IACxB,OAAO,EAAE,CAAC,IAAY,EAAgB,EAAE;QACtC,MAAM,SAAS,GAAG,KAAK,CAAC,IAAI,EAAE,QAAQ,CAAC,IAAI,CAAC,CAAC,CAAC;QAC9C,OAAO,EAAE,SAAS,EAAE,OAAO,EAAE,CAAC,CAAC,CAAC,UAAU,CAAC,IAAI,EAAE,SAAS,CAAC,CAAC,CAAC,CAAC,SAAS,EAAE,CAAC;IAC5E,CAAC;CACF,CAAC"}

package/dist/pos.d.ts

@@ -0,0 +1,8 @@
+import type { Token } from "chaffjs/plugin";
+export declare const upos: (pos: string, detail: string) => string;
+/** 二度目以降は同じ約束を待つ。並行して呼ばれても辞書を二度読まない。 */
+export declare const prepare: () => Promise<void>;
+export declare const isReady: () => boolean;
+export declare const predicateOnly: (tokens: readonly Token[]) => Token[];
+export declare const tokenize: (text: string) => Token[] | undefined;
+//# sourceMappingURL=pos.d.ts.map

package/dist/pos.d.ts.map

@@ -0,0 +1 @@
+{"version":3,"file":"pos.d.ts","sourceRoot":"","sources":["../src/pos.ts"],"names":[],"mappings":"AAEA,OAAO,KAAK,EAAE,KAAK,EAAE,MAAM,gBAAgB,CAAC;AAoF5C,eAAO,MAAM,IAAI,GAAI,KAAK,MAAM,EAAE,QAAQ,MAAM,KAAG,MAAiD,CAAC;AA8BrG,wCAAwC;AACxC,eAAO,MAAM,OAAO,QAAa,OAAO,CAAC,IAAI,CAG5C,CAAC;AAEF,eAAO,MAAM,OAAO,QAAO,OAAoC,CAAC;AA+BhE,eAAO,MAAM,aAAa,GAAI,QAAQ,SAAS,KAAK,EAAE,KAAG,KAAK,EAM1D,CAAC;AAEL,eAAO,MAAM,QAAQ,GAAI,MAAM,MAAM,KAAG,KAAK,EAAE,GAAG,SAMjD,CAAC"}

package/dist/pos.js

@@ -0,0 +1,136 @@
+import { createRequire } from "node:module";
+import { dirname, join } from "node:path";
+const require = createRequire(import.meta.url);
+const isRecord = (value) => typeof value === "object" && value !== null;
+const toArray = (value) => (Array.isArray(value) ? value : []);
+const isCallable = (value) => typeof value === "function";
+const isTokenizer = (value) => isRecord(value) && isCallable(value["tokenize"]);
+const isMorpheme = (value) => isRecord(value) &&
+    typeof value["word_position"] === "number" &&
+    typeof value["surface_form"] === "string" &&
+    typeof value["pos"] === "string" &&
+    typeof value["pos_detail_1"] === "string" &&
+    typeof value["basic_form"] === "string";
+const dictionaryPath = () => join(dirname(require.resolve("@sglkc/kuromoji/package.json")), "dict");
+/** 取り出した関数をそのまま呼ぶと receiver が外れる。kuromoji の build は this.dic_path を読む。 */
+const callMethod = (owner, name, args) => {
+    const method = owner[name];
+    if (!isCallable(method))
+        throw new Error(`@sglkc/kuromoji が ${name} を持っていません`);
+    return Reflect.apply(method, owner, args);
+};
+const buildWith = (done) => {
+    const module = require("@sglkc/kuromoji");
+    if (!isRecord(module))
+        throw new Error("@sglkc/kuromoji が object を export していません");
+    const builder = callMethod(module, "builder", [{ dicPath: dictionaryPath() }]);
+    if (!isRecord(builder))
+        throw new Error("@sglkc/kuromoji の builder が object を返しませんでした");
+    callMethod(builder, "build", [done]);
+};
+/**
+ * IPADIC の品詞を UPOS に寄せる。detector にアダプタ固有の体系を見せない。spec §6。
+ * 引けなかったものは X。誤った品詞を当てるより、分からないと言うほうがまし。
+ */
+const BY_DETAIL = {
+    代名詞: "PRON",
+    固有名詞: "PROPN",
+    格助詞: "ADP",
+    係助詞: "ADP",
+    副助詞: "ADP",
+    連体化: "ADP",
+    接続助詞: "SCONJ",
+    終助詞: "PART",
+    並立助詞: "CCONJ",
+};
+const BY_POS = {
+    名詞: "NOUN",
+    動詞: "VERB",
+    形容詞: "ADJ",
+    副詞: "ADV",
+    助動詞: "AUX",
+    助詞: "PART",
+    接続詞: "CCONJ",
+    連体詞: "DET",
+    感動詞: "INTJ",
+    記号: "PUNCT",
+    接頭詞: "ADJ",
+    フィラー: "INTJ",
+};
+export const upos = (pos, detail) => BY_DETAIL[detail] ?? BY_POS[pos] ?? "X";
+/**
+ * 受動の「れる/られる」。IPADIC では動詞の接尾として出る。
+ * ただしこの語は可能・尊敬・自発も表す。区別は文脈が要るのでここではしない。
+ * 受動と言い切らず「受動の形」として印を付け、どう扱うかは rule 側に委ねる。
+ */
+const PASSIVE_LEMMA = new Set(["れる", "られる"]);
+const isPassive = (morpheme) => morpheme.pos === "動詞" && morpheme.pos_detail_1 === "接尾" && PASSIVE_LEMMA.has(morpheme.basic_form);
+/**
+ * 非自立名詞（の・こと・もの・ため・はず）。品詞は名詞だが、単独では何も指さない。
+ * 「回るのか。」の「の」を体言止めと読むと、疑問文が全部ひっかかる。
+ *
+ * UD の FEATS は言語ごとの拡張を認めているので、そこに畳む。UPOS は NOUN のまま。
+ */
+const isDependentNoun = (morpheme) => morpheme.pos === "名詞" && morpheme.pos_detail_1 === "非自立";
+const state = { pending: undefined, ready: undefined };
+const build = async () => new Promise((resolve, reject) => {
+    buildWith((error, tokenizer) => {
+        if (error !== null)
+            reject(new Error(`日本語辞書を読めませんでした: ${error.message}`));
+        else if (!isTokenizer(tokenizer))
+            reject(new Error("日本語辞書が tokenizer を返しませんでした"));
+        else
+            resolve(tokenizer);
+    });
+});
+/** 二度目以降は同じ約束を待つ。並行して呼ばれても辞書を二度読まない。 */
+export const prepare = async () => {
+    state.pending ??= build();
+    state.ready = await state.pending;
+};
+export const isReady = () => state.ready !== undefined;
+/**
+ * span は渡した文字列の先頭を 0 とする。kuromoji の word_position は 1 始まりなので 1 引く。
+ * 形の違うものが混ざったら、その 1 つを落とす。位置が NaN の token を下流に流さない。
+ */
+const toToken = (morpheme) => ({
+    span: { start: morpheme.word_position - 1, end: morpheme.word_position - 1 + morpheme.surface_form.length },
+    surface: morpheme.surface_form,
+    // UD の日本語では「れる/られる」は AUX。IPADIC の「動詞,接尾」をそこへ寄せる。
+    pos: isPassive(morpheme) ? "AUX" : upos(morpheme.pos, morpheme.pos_detail_1),
+    ...(morpheme.basic_form === "*" ? {} : { lemma: morpheme.basic_form }),
+    ...featuresOf(morpheme),
+});
+const featuresOf = (morpheme) => {
+    if (isPassive(morpheme))
+        return { features: { Voice: "Pass" } };
+    if (isDependentNoun(morpheme))
+        return { features: { NounType: "Dependent" } };
+    return {};
+};
+/**
+ * 名詞を修飾しているだけの受動から印を外す。「使用されるフレームワーク」
+ * 「開催される BootCamp」は動作主を隠しているのではなく、名前の付けかたで、
+ * 書き手に直す余地がない。実文書で測ったら、この形が指摘の 7 割を占めていた。
+ *
+ * 日本語は修飾が名詞の前に来るので「後ろに名詞が無い」で述語だと言える。
+ * 英語は語順が逆なので、この判断は英語のアダプタには持ち込めない。
+ */
+const NOMINAL = new Set(["NOUN", "PROPN", "PRON"]);
+export const predicateOnly = (tokens) => tokens.map((token) => {
+    if (token.features?.["Voice"] !== "Pass")
+        return token;
+    const modifiesNoun = tokens.some((other) => other.span.start >= token.span.end && NOMINAL.has(other.pos));
+    if (!modifiesNoun)
+        return token;
+    return { span: token.span, surface: token.surface, pos: token.pos, ...(token.lemma === undefined ? {} : { lemma: token.lemma }) };
+});
+export const tokenize = (text) => {
+    const tokenizer = state.ready;
+    if (tokenizer === undefined)
+        return undefined;
+    return toArray(callMethod(tokenizer, "tokenize", [text]))
+        .filter(isMorpheme)
+        .map(toToken);
+};
+//# sourceMappingURL=pos.js.map

package/dist/pos.js.map

@@ -0,0 +1 @@
+{"version":3,"file":"pos.js","sourceRoot":"","sources":["../src/pos.ts"],"names":[],"mappings":"AAAA,OAAO,EAAE,aAAa,EAAE,MAAM,aAAa,CAAC;AAC5C,OAAO,EAAE,OAAO,EAAE,IAAI,EAAE,MAAM,WAAW,CAAC;AAG1C,MAAM,OAAO,GAAG,aAAa,CAAC,MAAM,CAAC,IAAI,CAAC,GAAG,CAAC,CAAC;AAkB/C,MAAM,QAAQ,GAAG,CAAC,KAAc,EAAoC,EAAE,CAAC,OAAO,KAAK,KAAK,QAAQ,IAAI,KAAK,KAAK,IAAI,CAAC;AAEnH,MAAM,OAAO,GAAG,CAAC,KAAc,EAAsB,EAAE,CAAC,CAAC,KAAK,CAAC,OAAO,CAAC,KAAK,CAAC,CAAC,CAAC,CAAC,KAAK,CAAC,CAAC,CAAC,EAAE,CAAC,CAAC;AAE5F,MAAM,UAAU,GAAG,CAAC,KAAc,EAAqD,EAAE,CAAC,OAAO,KAAK,KAAK,UAAU,CAAC;AAEtH,MAAM,WAAW,GAAG,CAAC,KAAc,EAAsB,EAAE,CAAC,QAAQ,CAAC,KAAK,CAAC,IAAI,UAAU,CAAC,KAAK,CAAC,UAAU,CAAC,CAAC,CAAC;AAE7G,MAAM,UAAU,GAAG,CAAC,KAAc,EAAqB,EAAE,CACvD,QAAQ,CAAC,KAAK,CAAC;IACf,OAAO,KAAK,CAAC,eAAe,CAAC,KAAK,QAAQ;IAC1C,OAAO,KAAK,CAAC,cAAc,CAAC,KAAK,QAAQ;IACzC,OAAO,KAAK,CAAC,KAAK,CAAC,KAAK,QAAQ;IAChC,OAAO,KAAK,CAAC,cAAc,CAAC,KAAK,QAAQ;IACzC,OAAO,KAAK,CAAC,YAAY,CAAC,KAAK,QAAQ,CAAC;AAE1C,MAAM,cAAc,GAAG,GAAW,EAAE,CAAC,IAAI,CAAC,OAAO,CAAC,OAAO,CAAC,OAAO,CAAC,8BAA8B,CAAC,CAAC,EAAE,MAAM,CAAC,CAAC;AAE5G,0EAA0E;AAC1E,MAAM,UAAU,GAAG,CAAC,KAA8B,EAAE,IAAY,EAAE,IAAwB,EAAW,EAAE;IACrG,MAAM,MAAM,GAAY,KAAK,CAAC,IAAI,CAAC,CAAC;IACpC,IAAI,CAAC,UAAU,CAAC,MAAM,CAAC;QAAE,MAAM,IAAI,KAAK,CAAC,qBAAqB,IAAI,WAAW,CAAC,CAAC;IAC/E,OAAO,OAAO,CAAC,KAAK,CAAC,MAAM,EAAE,KAAK,EAAE,IAAI,CAAC,CAAC;AAC5C,CAAC,CAAC;AAEF,MAAM,SAAS,GAAG,CAAC,IAAe,EAAQ,EAAE;IAC1C,MAAM,MAAM,GAAY,OAAO,CAAC,iBAAiB,CAAC,CAAC;IACnD,IAAI,CAAC,QAAQ,CAAC,MAAM,CAAC;QAAE,MAAM,IAAI,KAAK,CAAC,0CAA0C,CAAC,CAAC;IACnF,MAAM,OAAO,GAAY,UAAU,CAAC,MAAM,EAAE,SAAS,EAAE,CAAC,EAAE,OAAO,EAAE,cAAc,EAAE,EAAE,CAAC,CAAC,CAAC;IACxF,IAAI,CAAC,QAAQ,CAAC,OAAO,CAAC;QAAE,MAAM,IAAI,KAAK,CAAC,8CAA8C,CAAC,CAAC;IACxF,UAAU,CAAC,OAAO,EAAE,OAAO,EAAE,CAAC,IAAI,CAAC,CAAC,CAAC;AACvC,CAAC,CAAC;AAEF;;;GAGG;AACH,MAAM,SAAS,GAAqC;IAClD,GAAG,EAAE,MAAM;IACX,IAAI,EAAE,OAAO;IACb,GAAG,EAAE,KAAK;IACV,GAAG,EAAE,KAAK;IACV,GAAG,EAAE,KAAK;IACV,GAAG,EAAE,KAAK;IACV,IAAI,EAAE,OAAO;IACb,GAAG,EAAE,MAAM;IACX,IAAI,EAAE,OAAO;CACd,CAAC;AAEF,MAAM,MAAM,GAAqC;IAC/C,EAAE,EAAE,MAAM;IACV,EAAE,EAAE,MAAM;IACV,GAAG,EAAE,KAAK;IACV,EAAE,EAAE,KAAK;IACT,GAAG,EAAE,KAAK;IACV,EAAE,EAAE,MAAM;IACV,GAAG,EAAE,OAAO;IACZ,GAAG,EAAE,KAAK;IACV,GAAG,EAAE,MAAM;IACX,EAAE,EAAE,OAAO;IACX,GAAG,EAAE,KAAK;IACV,IAAI,EAAE,MAAM;CACb,CAAC;AAEF,MAAM,CAAC,MAAM,IAAI,GAAG,CAAC,GAAW,EAAE,MAAc,EAAU,EAAE,CAAC,SAAS,CAAC,MAAM,CAAC,IAAI,MAAM,CAAC,GAAG,CAAC,IAAI,GAAG,CAAC;AAErG;;;;GAIG;AACH,MAAM,aAAa,GAAG,IAAI,GAAG,CAAC,CAAC,IAAI,EAAE,KAAK,CAAC,CAAC,CAAC;AAE7C,MAAM,SAAS,GAAG,CAAC,QAAkB,EAAW,EAAE,CAAC,QAAQ,CAAC,GAAG,KAAK,IAAI,IAAI,QAAQ,CAAC,YAAY,KAAK,IAAI,IAAI,aAAa,CAAC,GAAG,CAAC,QAAQ,CAAC,UAAU,CAAC,CAAC;AAErJ;;;;;GAKG;AACH,MAAM,eAAe,GAAG,CAAC,QAAkB,EAAW,EAAE,CAAC,QAAQ,CAAC,GAAG,KAAK,IAAI,IAAI,QAAQ,CAAC,YAAY,KAAK,KAAK,CAAC;AAElH,MAAM,KAAK,GAA8E,EAAE,OAAO,EAAE,SAAS,EAAE,KAAK,EAAE,SAAS,EAAE,CAAC;AAElI,MAAM,KAAK,GAAG,KAAK,IAAwB,EAAE,CAC3C,IAAI,OAAO,CAAC,CAAC,OAAO,EAAE,MAAM,EAAE,EAAE;IAC9B,SAAS,CAAC,CAAC,KAAK,EAAE,SAAS,EAAE,EAAE;QAC7B,IAAI,KAAK,KAAK,IAAI;YAAE,MAAM,CAAC,IAAI,KAAK,CAAC,mBAAmB,KAAK,CAAC,OAAO,EAAE,CAAC,CAAC,CAAC;aACrE,IAAI,CAAC,WAAW,CAAC,SAAS,CAAC;YAAE,MAAM,CAAC,IAAI,KAAK,CAAC,4BAA4B,CAAC,CAAC,CAAC;;YAC7E,OAAO,CAAC,SAAS,CAAC,CAAC;IAC1B,CAAC,CAAC,CAAC;AACL,CAAC,CAAC,CAAC;AAEL,wCAAwC;AACxC,MAAM,CAAC,MAAM,OAAO,GAAG,KAAK,IAAmB,EAAE;IAC/C,KAAK,CAAC,OAAO,KAAK,KAAK,EAAE,CAAC;IAC1B,KAAK,CAAC,KAAK,GAAG,MAAM,KAAK,CAAC,OAAO,CAAC;AACpC,CAAC,CAAC;AAEF,MAAM,CAAC,MAAM,OAAO,GAAG,GAAY,EAAE,CAAC,KAAK,CAAC,KAAK,KAAK,SAAS,CAAC;AAEhE;;;GAGG;AACH,MAAM,OAAO,GAAG,CAAC,QAAkB,EAAS,EAAE,CAAC,CAAC;IAC9C,IAAI,EAAE,EAAE,KAAK,EAAE,QAAQ,CAAC,aAAa,GAAG,CAAC,EAAE,GAAG,EAAE,QAAQ,CAAC,aAAa,GAAG,CAAC,GAAG,QAAQ,CAAC,YAAY,CAAC,MAAM,EAAE;IAC3G,OAAO,EAAE,QAAQ,CAAC,YAAY;IAC9B,iDAAiD;IACjD,GAAG,EAAE,SAAS,CAAC,QAAQ,CAAC,CAAC,CAAC,CAAC,KAAK,CAAC,CAAC,CAAC,IAAI,CAAC,QAAQ,CAAC,GAAG,EAAE,QAAQ,CAAC,YAAY,CAAC;IAC5E,GAAG,CAAC,QAAQ,CAAC,UAAU,KAAK,GAAG,CAAC,CAAC,CAAC,EAAE,CAAC,CAAC,CAAC,EAAE,KAAK,EAAE,QAAQ,CAAC,UAAU,EAAE,CAAC;IACtE,GAAG,UAAU,CAAC,QAAQ,CAAC;CACxB,CAAC,CAAC;AAEH,MAAM,UAAU,GAAG,CAAC,QAAkB,EAAmD,EAAE;IACzF,IAAI,SAAS,CAAC,QAAQ,CAAC;QAAE,OAAO,EAAE,QAAQ,EAAE,EAAE,KAAK,EAAE,MAAM,EAAE,EAAE,CAAC;IAChE,IAAI,eAAe,CAAC,QAAQ,CAAC;QAAE,OAAO,EAAE,QAAQ,EAAE,EAAE,QAAQ,EAAE,WAAW,EAAE,EAAE,CAAC;IAC9E,OAAO,EAAE,CAAC;AACZ,CAAC,CAAC;AAEF;;;;;;;GAOG;AACH,MAAM,OAAO,GAAG,IAAI,GAAG,CAAC,CAAC,MAAM,EAAE,OAAO,EAAE,MAAM,CAAC,CAAC,CAAC;AAEnD,MAAM,CAAC,MAAM,aAAa,GAAG,CAAC,MAAwB,EAAW,EAAE,CACjE,MAAM,CAAC,GAAG,CAAC,CAAC,KAAK,EAAE,EAAE;IACnB,IAAI,KAAK,CAAC,QAAQ,EAAE,CAAC,OAAO,CAAC,KAAK,MAAM;QAAE,OAAO,KAAK,CAAC;IACvD,MAAM,YAAY,GAAG,MAAM,CAAC,IAAI,CAAC,CAAC,KAAK,EAAE,EAAE,CAAC,KAAK,CAAC,IAAI,CAAC,KAAK,IAAI,KAAK,CAAC,IAAI,CAAC,GAAG,IAAI,OAAO,CAAC,GAAG,CAAC,KAAK,CAAC,GAAG,CAAC,CAAC,CAAC;IAC1G,IAAI,CAAC,YAAY;QAAE,OAAO,KAAK,CAAC;IAChC,OAAO,EAAE,IAAI,EAAE,KAAK,CAAC,IAAI,EAAE,OAAO,EAAE,KAAK,CAAC,OAAO,EAAE,GAAG,EAAE,KAAK,CAAC,GAAG,EAAE,GAAG,CAAC,KAAK,CAAC,KAAK,KAAK,SAAS,CAAC,CAAC,CAAC,EAAE,CAAC,CAAC,CAAC,EAAE,KAAK,EAAE,KAAK,CAAC,KAAK,EAAE,CAAC,EAAE,CAAC;AACpI,CAAC,CAAC,CAAC;AAEL,MAAM,CAAC,MAAM,QAAQ,GAAG,CAAC,IAAY,EAAuB,EAAE;IAC5D,MAAM,SAAS,GAAG,KAAK,CAAC,KAAK,CAAC;IAC9B,IAAI,SAAS,KAAK,SAAS;QAAE,OAAO,SAAS,CAAC;IAC9C,OAAO,OAAO,CAAC,UAAU,CAAC,SAAS,EAAE,UAAU,EAAE,CAAC,IAAI,CAAC,CAAC,CAAC;SACtD,MAAM,CAAC,UAAU,CAAC;SAClB,GAAG,CAAC,OAAO,CAAC,CAAC;AAClB,CAAC,CAAC"}

package/lexicons/agent-marker.yaml

@@ -0,0 +1,8 @@
+# 動作主を示す語。受動文にこれがあれば、誰がしたのかは書かれている。
+id: agent-marker
+language: ja
+entries:
+  - pattern: によって
+  - pattern: により
+  - pattern: による
+  - pattern: から

package/lexicons/ai-tell.yaml

@@ -0,0 +1,21 @@
+# AI 生成の signal。1 つでは何も言えないので重みを足し合わせる。
+# 単独で「AI が書いた」とは言わない。spec §20.2。
+id: ai-tell
+language: ja
+entries:
+  - pattern: 現代社会において
+    weight: 0.9
+  - pattern: 急速に変化する
+    weight: 0.7
+  - pattern: 重要な役割を果たし
+    weight: 0.8
+  - pattern: と言えるでしょう
+    weight: 0.6
+  - pattern: 様々な要因が
+    weight: 0.6
+  - pattern: 大きな可能性を秘め
+    weight: 0.8
+  - pattern: 深く掘り下げ
+    weight: 0.7
+  - pattern: ぜひ参考にしてみてください
+    weight: 0.7

package/lexicons/cushion-phrase.yaml

@@ -0,0 +1,12 @@
+# クッション言葉。1 つなら礼儀だが、重なると本題が遠ざかる。
+id: cushion-phrase
+language: ja
+entries:
+  - pattern: お忙しいところ
+  - pattern: 恐れ入りますが
+  - pattern: 差し支えなければ
+  - pattern: もしよろしければ
+  - pattern: ご多忙のところ
+  - pattern: 大変恐縮ですが
+  - pattern: 念のため
+  - pattern: 取り急ぎ

package/lexicons/double-keigo.yaml

@@ -0,0 +1,17 @@
+# 二重敬語。1 つの動詞に同じ種類の敬語を二重にかけた形。
+#
+# 「ご説明させていただきます」のように議論の分かれるものは入れない。
+# 割れる形を入れると、rule ごと無視される。
+id: double-keigo
+language: ja
+entries:
+  - pattern: おっしゃられ
+  - pattern: ご覧になられ
+  - pattern: お読みになられ
+  - pattern: お聞きになられ
+  - pattern: お見えになられ
+  - pattern: お帰りになられ
+  - pattern: お召し上がりになら
+  - pattern: 拝見させていただ
+  - pattern: お伺いさせていただ
+  - pattern: 拝読させていただ

package/lexicons/excessive-hedging.yaml

@@ -0,0 +1,12 @@
+# 逃げの表現。断言を避けるほど、読み手は何が決まったのか分からなくなる。
+id: excessive-hedging
+language: ja
+entries:
+  - pattern: かもしれません
+  - pattern: と思われます
+  - pattern: のような気がします
+  - pattern: 可能性があります
+  - pattern: 場合があります
+  - pattern: 一概には言えません
+  - pattern: と考えられます
+  - pattern: ではないでしょうか

package/lexicons/hiragana-fukushi.yaml

@@ -0,0 +1,17 @@
+# ひらがなで書く副詞。漢字が表外、または公用文でかな書きと決まっているもの。
+#
+# 「既に」「全く」のように漢字でも公用文で認められるものは入れない。
+# どちらが正しいかで割れる語を入れると、rule ごと無視される。
+id: hiragana-fukushi
+language: ja
+entries:
+  - pattern: 殆ど
+  - pattern: 尤も
+  - pattern: 勿論
+  - pattern: 丁度
+  - pattern: 沢山
+  - pattern: 何故
+  - pattern: 予め
+  - pattern: 暫く
+  - pattern: 些か
+  - pattern: 頗る

package/lexicons/nesting-particle.yaml

@@ -0,0 +1,8 @@
+# 名詞を名詞に繋いで入れ子を作る助詞。「弊社の新製品の販売の計画」の「の」。
+#
+# 「も」の並列（A も B も C も）と「て」の連用（コピーして持っていって）は
+# 何重に続いても読める。入れ子になるものだけを入れる。
+id: nesting-particle
+language: ja
+entries:
+  - pattern: の

package/lexicons/paragraph-opener.yaml

@@ -0,0 +1,12 @@
+# 段落の先頭に立つ接続詞。続くと、どの段落も前の付け足しに見える。
+id: paragraph-opener
+language: ja
+entries:
+  - pattern: また
+  - pattern: さらに
+  - pattern: そして
+  - pattern: しかし
+  - pattern: ただし
+  - pattern: なお
+  - pattern: 一方
+  - pattern: つまり

package/lexicons/polite-ending.yaml

@@ -0,0 +1,10 @@
+# ですます調の文末。これを含む文を「ですます」と見る。
+id: polite-ending
+language: ja
+entries:
+  - pattern: です
+  - pattern: ます
+  - pattern: ません
+  - pattern: でしょう
+  - pattern: ください
+  - pattern: ございます

package/lexicons/sasete-itadaku.yaml

@@ -0,0 +1,7 @@
+# 「させていただく」。1 度なら丁寧だが、重なると誰の判断なのかが消える。
+id: sasete-itadaku
+language: ja
+entries:
+  - pattern: させていただ
+  - pattern: させて頂
+  - pattern: させて戴

package/lexicons/superlative.yaml

@@ -0,0 +1,12 @@
+# 最上級。何と比べて最上なのかが要る。
+id: superlative
+language: ja
+entries:
+  - pattern: 最も
+  - pattern: 最高
+  - pattern: 最速
+  - pattern: 最大
+  - pattern: 世界初
+  - pattern: 業界初
+  - pattern: 唯一の
+  - pattern: 圧倒的

package/package.json

@@ -1,6 +1,6 @@
 {
   "name": "@chaffjs/lang-ja",
-  "version": "0.2.0",
+  "version": "0.3.0",
   "description": "Japanese language adapter for chaff",
   "license": "MIT",
   "author": "isamu",
@@ -26,6 +26,7 @@
     "prepack": "yarn build"
   },
   "dependencies": {
+    "@sglkc/kuromoji": "^1.1.0",
     "sentence-splitter": "^5.0.1",
     "yaml": "^2.9.0"
   },

package/src/index.ts

@@ -1,6 +1,7 @@
 import { split, SentenceSplitterSyntax } from "sentence-splitter";
 import { loadLexicons } from "./lexicons.ts";
-import type { LanguageAdapter, Segmentation, Sentence, Span } from "chaffjs/plugin";
+import { isReady, predicateOnly, prepare, tokenize } from "./pos.ts";
+import type { AdapterNeeds, LanguageAdapter, Segmentation, Sentence, Span } from "chaffjs/plugin";
 
 // chaff からは型だけを取る。実行時の値依存を作らない。アダプタは単体で動く。
 
@@ -45,23 +46,43 @@ const merge = (source: string, spans: readonly Span[]): Sentence[] =>
     }, [])
     .map((span) => ({ span, text: source.slice(span.start, span.end) }));
 
+/**
+ * token の span は文ではなく、segment に渡した文字列を基準にする。文の span と同じ座標系。
+ * 文ごとに解析して足し戻すのではなく、一度解析して文へ配る。同じ文字列を二度読まない。
+ */
+const withTokens = (source: string, sentences: readonly Sentence[]): Sentence[] => {
+  const tokens = tokenize(source);
+  if (tokens === undefined) return [...sentences];
+  return sentences.map((sentence) => ({
+    ...sentence,
+    // 述語かどうかは文の中でしか決まらないので、文へ配ってから印を落とす。
+    tokens: predicateOnly(tokens.filter((token) => token.span.start >= sentence.span.start && token.span.end <= sentence.span.end)),
+  }));
+};
+
 export const adapter: LanguageAdapter = {
   kind: "language",
   id: "ja",
   apiVersion: 1,
   capabilities: {
     sentenceSplit: true,
-    // budoux も形態素解析も、まだ繋いでいない。spec §16 の Tier 0。
-    wordSplit: false,
-    pos: false,
-    lemma: false,
+    // 「払えばできる」の宣言。実際に払うのは prepare。辞書の初期化に 1.5 秒かかる。
+    wordSplit: true,
+    pos: true,
+    lemma: true,
     lengthUnit: "char",
   },
+  prepare: async (need: AdapterNeeds): Promise<void> => {
+    if (need.pos) await prepare();
+  },
   detect: (source: string): number => {
     const total = [...source.matchAll(COUNTABLE)].length;
     if (total === 0) return 0;
     return [...source.matchAll(JAPANESE)].length / total;
   },
   lexicons: loadLexicons(),
-  segment: (text: string): Segmentation => ({ sentences: merge(text, rawSpans(text)) }),
+  segment: (text: string): Segmentation => {
+    const sentences = merge(text, rawSpans(text));
+    return { sentences: isReady() ? withTokens(text, sentences) : sentences };
+  },
 };

package/src/pos.ts

@@ -0,0 +1,168 @@
+import { createRequire } from "node:module";
+import { dirname, join } from "node:path";
+import type { Token } from "chaffjs/plugin";
+
+const require = createRequire(import.meta.url);
+
+/**
+ * kuromoji は CommonJS で、辞書を非同期に読む。ESM からは createRequire で取る。
+ * 辞書の初期化に 1.5 秒かかるので、prepare が呼ばれるまで触らない。
+ */
+type Morpheme = {
+  readonly word_position: number;
+  readonly surface_form: string;
+  readonly pos: string;
+  readonly pos_detail_1: string;
+  readonly basic_form: string;
+};
+
+type Tokenizer = Record<string, unknown>;
+
+type BuildDone = (error: Error | null, tokenizer: unknown) => void;
+
+const isRecord = (value: unknown): value is Record<string, unknown> => typeof value === "object" && value !== null;
+
+const toArray = (value: unknown): readonly unknown[] => (Array.isArray(value) ? value : []);
+
+const isCallable = (value: unknown): value is (...args: readonly unknown[]) => unknown => typeof value === "function";
+
+const isTokenizer = (value: unknown): value is Tokenizer => isRecord(value) && isCallable(value["tokenize"]);
+
+const isMorpheme = (value: unknown): value is Morpheme =>
+  isRecord(value) &&
+  typeof value["word_position"] === "number" &&
+  typeof value["surface_form"] === "string" &&
+  typeof value["pos"] === "string" &&
+  typeof value["pos_detail_1"] === "string" &&
+  typeof value["basic_form"] === "string";
+
+const dictionaryPath = (): string => join(dirname(require.resolve("@sglkc/kuromoji/package.json")), "dict");
+
+/** 取り出した関数をそのまま呼ぶと receiver が外れる。kuromoji の build は this.dic_path を読む。 */
+const callMethod = (owner: Record<string, unknown>, name: string, args: readonly unknown[]): unknown => {
+  const method: unknown = owner[name];
+  if (!isCallable(method)) throw new Error(`@sglkc/kuromoji が ${name} を持っていません`);
+  return Reflect.apply(method, owner, args);
+};
+
+const buildWith = (done: BuildDone): void => {
+  const module: unknown = require("@sglkc/kuromoji");
+  if (!isRecord(module)) throw new Error("@sglkc/kuromoji が object を export していません");
+  const builder: unknown = callMethod(module, "builder", [{ dicPath: dictionaryPath() }]);
+  if (!isRecord(builder)) throw new Error("@sglkc/kuromoji の builder が object を返しませんでした");
+  callMethod(builder, "build", [done]);
+};
+
+/**
+ * IPADIC の品詞を UPOS に寄せる。detector にアダプタ固有の体系を見せない。spec §6。
+ * 引けなかったものは X。誤った品詞を当てるより、分からないと言うほうがまし。
+ */
+const BY_DETAIL: Readonly<Record<string, string>> = {
+  代名詞: "PRON",
+  固有名詞: "PROPN",
+  格助詞: "ADP",
+  係助詞: "ADP",
+  副助詞: "ADP",
+  連体化: "ADP",
+  接続助詞: "SCONJ",
+  終助詞: "PART",
+  並立助詞: "CCONJ",
+};
+
+const BY_POS: Readonly<Record<string, string>> = {
+  名詞: "NOUN",
+  動詞: "VERB",
+  形容詞: "ADJ",
+  副詞: "ADV",
+  助動詞: "AUX",
+  助詞: "PART",
+  接続詞: "CCONJ",
+  連体詞: "DET",
+  感動詞: "INTJ",
+  記号: "PUNCT",
+  接頭詞: "ADJ",
+  フィラー: "INTJ",
+};
+
+export const upos = (pos: string, detail: string): string => BY_DETAIL[detail] ?? BY_POS[pos] ?? "X";
+
+/**
+ * 受動の「れる/られる」。IPADIC では動詞の接尾として出る。
+ * ただしこの語は可能・尊敬・自発も表す。区別は文脈が要るのでここではしない。
+ * 受動と言い切らず「受動の形」として印を付け、どう扱うかは rule 側に委ねる。
+ */
+const PASSIVE_LEMMA = new Set(["れる", "られる"]);
+
+const isPassive = (morpheme: Morpheme): boolean => morpheme.pos === "動詞" && morpheme.pos_detail_1 === "接尾" && PASSIVE_LEMMA.has(morpheme.basic_form);
+
+/**
+ * 非自立名詞（の・こと・もの・ため・はず）。品詞は名詞だが、単独では何も指さない。
+ * 「回るのか。」の「の」を体言止めと読むと、疑問文が全部ひっかかる。
+ *
+ * UD の FEATS は言語ごとの拡張を認めているので、そこに畳む。UPOS は NOUN のまま。
+ */
+const isDependentNoun = (morpheme: Morpheme): boolean => morpheme.pos === "名詞" && morpheme.pos_detail_1 === "非自立";
+
+const state: { pending: Promise<Tokenizer> | undefined; ready: Tokenizer | undefined } = { pending: undefined, ready: undefined };
+
+const build = async (): Promise<Tokenizer> =>
+  new Promise((resolve, reject) => {
+    buildWith((error, tokenizer) => {
+      if (error !== null) reject(new Error(`日本語辞書を読めませんでした: ${error.message}`));
+      else if (!isTokenizer(tokenizer)) reject(new Error("日本語辞書が tokenizer を返しませんでした"));
+      else resolve(tokenizer);
+    });
+  });
+
+/** 二度目以降は同じ約束を待つ。並行して呼ばれても辞書を二度読まない。 */
+export const prepare = async (): Promise<void> => {
+  state.pending ??= build();
+  state.ready = await state.pending;
+};
+
+export const isReady = (): boolean => state.ready !== undefined;
+
+/**
+ * span は渡した文字列の先頭を 0 とする。kuromoji の word_position は 1 始まりなので 1 引く。
+ * 形の違うものが混ざったら、その 1 つを落とす。位置が NaN の token を下流に流さない。
+ */
+const toToken = (morpheme: Morpheme): Token => ({
+  span: { start: morpheme.word_position - 1, end: morpheme.word_position - 1 + morpheme.surface_form.length },
+  surface: morpheme.surface_form,
+  // UD の日本語では「れる/られる」は AUX。IPADIC の「動詞,接尾」をそこへ寄せる。
+  pos: isPassive(morpheme) ? "AUX" : upos(morpheme.pos, morpheme.pos_detail_1),
+  ...(morpheme.basic_form === "*" ? {} : { lemma: morpheme.basic_form }),
+  ...featuresOf(morpheme),
+});
+
+const featuresOf = (morpheme: Morpheme): { features?: Readonly<Record<string, string>> } => {
+  if (isPassive(morpheme)) return { features: { Voice: "Pass" } };
+  if (isDependentNoun(morpheme)) return { features: { NounType: "Dependent" } };
+  return {};
+};
+
+/**
+ * 名詞を修飾しているだけの受動から印を外す。「使用されるフレームワーク」
+ * 「開催される BootCamp」は動作主を隠しているのではなく、名前の付けかたで、
+ * 書き手に直す余地がない。実文書で測ったら、この形が指摘の 7 割を占めていた。
+ *
+ * 日本語は修飾が名詞の前に来るので「後ろに名詞が無い」で述語だと言える。
+ * 英語は語順が逆なので、この判断は英語のアダプタには持ち込めない。
+ */
+const NOMINAL = new Set(["NOUN", "PROPN", "PRON"]);
+
+export const predicateOnly = (tokens: readonly Token[]): Token[] =>
+  tokens.map((token) => {
+    if (token.features?.["Voice"] !== "Pass") return token;
+    const modifiesNoun = tokens.some((other) => other.span.start >= token.span.end && NOMINAL.has(other.pos));
+    if (!modifiesNoun) return token;
+    return { span: token.span, surface: token.surface, pos: token.pos, ...(token.lemma === undefined ? {} : { lemma: token.lemma }) };
+  });
+
+export const tokenize = (text: string): Token[] | undefined => {
+  const tokenizer = state.ready;
+  if (tokenizer === undefined) return undefined;
+  return toArray(callMethod(tokenizer, "tokenize", [text]))
+    .filter(isMorpheme)
+    .map(toToken);
+};