@chaffjs/lang-ja 0.12.0 → 0.14.0

This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
Files changed (70) hide show
  1. package/dist/analyser-pieces.d.ts +6 -0
  2. package/dist/analyser-pieces.d.ts.map +1 -0
  3. package/dist/analyser-pieces.js +37 -0
  4. package/dist/analyser-pieces.js.map +1 -0
  5. package/dist/counter-tsu.d.ts +18 -0
  6. package/dist/counter-tsu.d.ts.map +1 -0
  7. package/dist/counter-tsu.js +29 -0
  8. package/dist/counter-tsu.js.map +1 -0
  9. package/dist/index.d.ts.map +1 -1
  10. package/dist/index.js +3 -2
  11. package/dist/index.js.map +1 -1
  12. package/dist/particle-after.d.ts +7 -0
  13. package/dist/particle-after.d.ts.map +1 -0
  14. package/dist/particle-after.js +9 -0
  15. package/dist/particle-after.js.map +1 -0
  16. package/dist/passive-reading.d.ts +24 -0
  17. package/dist/passive-reading.d.ts.map +1 -0
  18. package/dist/passive-reading.js +90 -0
  19. package/dist/passive-reading.js.map +1 -0
  20. package/dist/pos.d.ts +2 -0
  21. package/dist/pos.d.ts.map +1 -1
  22. package/dist/pos.js +75 -29
  23. package/dist/pos.js.map +1 -1
  24. package/dist/quantities.d.ts +7 -1
  25. package/dist/quantities.d.ts.map +1 -1
  26. package/dist/quantities.js +47 -9
  27. package/dist/quantities.js.map +1 -1
  28. package/dist/reduplication.d.ts +3 -1
  29. package/dist/reduplication.d.ts.map +1 -1
  30. package/dist/reduplication.js +16 -1
  31. package/dist/reduplication.js.map +1 -1
  32. package/dist/structure.d.ts.map +1 -1
  33. package/dist/structure.js +9 -2
  34. package/dist/structure.js.map +1 -1
  35. package/dist/tokens-within.d.ts +7 -0
  36. package/dist/tokens-within.d.ts.map +1 -0
  37. package/dist/tokens-within.js +29 -0
  38. package/dist/tokens-within.js.map +1 -0
  39. package/dist/well-formed.d.ts +3 -0
  40. package/dist/well-formed.d.ts.map +1 -0
  41. package/dist/well-formed.js +3 -0
  42. package/dist/well-formed.js.map +1 -0
  43. package/lexicons/common-acronym.yaml +4 -0
  44. package/lexicons/date-time-unit.yaml +11 -0
  45. package/lexicons/definition-verb.yaml +5 -1
  46. package/lexicons/distributive-noun.yaml +2 -1
  47. package/lexicons/doubled-word.yaml +5 -0
  48. package/lexicons/emphasis-word.yaml +1 -0
  49. package/lexicons/honorific-formula.yaml +10 -0
  50. package/lexicons/honorific.yaml +15 -0
  51. package/lexicons/http-method.yaml +14 -0
  52. package/lexicons/intransitive-verb.yaml +18 -0
  53. package/lexicons/naming-verb.yaml +9 -0
  54. package/lexicons/not-magnitude.yaml +12 -0
  55. package/lexicons/numbered-division.yaml +24 -0
  56. package/lexicons/quantity-noun.yaml +42 -0
  57. package/lexicons/spontaneous-verb.yaml +18 -0
  58. package/lexicons/stative-passive-verb.yaml +8 -0
  59. package/package.json +1 -1
  60. package/src/analyser-pieces.ts +38 -0
  61. package/src/counter-tsu.ts +60 -0
  62. package/src/index.ts +3 -5
  63. package/src/particle-after.ts +11 -0
  64. package/src/passive-reading.ts +125 -0
  65. package/src/pos.ts +77 -39
  66. package/src/quantities.ts +62 -10
  67. package/src/reduplication.ts +24 -4
  68. package/src/structure.ts +11 -2
  69. package/src/tokens-within.ts +27 -0
  70. package/src/well-formed.ts +2 -0
@@ -0,0 +1,42 @@
1
+ # 測る量を言う名詞(形態素 1 つ)。最上級がそのまま付いた名詞の連なりがこれで終われば(最大風速・最高気温・最大値・
2
+ # 最大駐車台数)、その語は量の名前で、何かが一番だという主張ではない。ここに無い語で終わるもの(最高品質・最高精度・
3
+ # 最高満足度)は主張として読む。度・率のように主張にも付く語は載せない。
4
+ id: quantity-noun
5
+ language: ja
6
+ entries:
7
+ - pattern: 値
8
+ - pattern: 数
9
+ - pattern: 量
10
+ - pattern: 額
11
+ - pattern: 風速
12
+ - pattern: 速度
13
+ - pattern: 時速
14
+ - pattern: 流速
15
+ - pattern: 気温
16
+ - pattern: 温度
17
+ - pattern: 水温
18
+ - pattern: 震度
19
+ - pattern: 湿度
20
+ - pattern: 濃度
21
+ - pattern: 高度
22
+ - pattern: 深度
23
+ - pattern: 角度
24
+ - pattern: 容量
25
+ - pattern: 雨量
26
+ - pattern: 台数
27
+ - pattern: 人数
28
+ - pattern: 回数
29
+ - pattern: 日数
30
+ - pattern: 件数
31
+ - pattern: 料金
32
+ - pattern: 金額
33
+ - pattern: 出力
34
+ - pattern: 気圧
35
+ - pattern: 圧力
36
+ - pattern: 荷重
37
+ - pattern: 重量
38
+ - pattern: 時間
39
+ - pattern: 距離
40
+ - pattern: 振幅
41
+ - pattern: 直径
42
+ - pattern: 半径
@@ -0,0 +1,18 @@
1
+ # 「れる/られる」を付けると自発(ひとりでにそう思える)に読む動詞。「〜と考えられる」「〜と思われる」は、
2
+ # 書き手の判断をやわらげて言うもので、誰かのした動作を隠していない。agentless-passive はこれを受動に数えない。
3
+ # 形態素解析の原形(基本形)で照らす。「解す」は法令・判決の「〜と解される」(解釈として自然にそう読める)。
4
+ # 過去の「考えられた」「解された」は誰かの考えた動作なので、語がここにあっても受動に数える(passive-reading.ts)。
5
+ # 現在形で考え出す意味の受動(「新しい案が考えられる」)は自発と形で分けられないので、数えない側に倒れる。
6
+ # 受動にも自発にも同じくらい読む動詞は入れない: 見る(「違いが見られる」は自発、「採用の際によく見られる」は受動)、
7
+ # 言う(「〜と言われる」は誰が言ったかを隠す)、求める(「協力が求められる」は誰が求めるのかを隠す)、
8
+ # 見込む(「増加が見込まれる」は自発、「予算に見込まれていない」は受動)。
9
+ id: spontaneous-verb
10
+ language: ja
11
+ entries:
12
+ - pattern: 思う
13
+ - pattern: 考える
14
+ - pattern: 感じる
15
+ - pattern: 案じる
16
+ - pattern: 偲ぶ
17
+ - pattern: 思い出す
18
+ - pattern: 解す
@@ -0,0 +1,8 @@
1
+ # 「れる/られる」を付けると、誰かの動作ではなく物と物との関係を表す動詞。「外国人も含まれる」「対症療法に限られる」には
2
+ # 名指すべき動作主がいない(誰かが含める動作は「含める」の受動「含められる」で、こちらは残る)。agentless-passive はこれを受動に数えない。
3
+ # 形態素解析の原形(基本形)で照らす。
4
+ id: stative-passive-verb
5
+ language: ja
6
+ entries:
7
+ - pattern: 含む
8
+ - pattern: 限る
package/package.json CHANGED
@@ -1,6 +1,6 @@
1
1
  {
2
2
  "name": "@chaffjs/lang-ja",
3
- "version": "0.12.0",
3
+ "version": "0.14.0",
4
4
  "description": "Japanese language adapter for chaff",
5
5
  "license": "MIT",
6
6
  "author": "isamu",
@@ -0,0 +1,38 @@
1
+ /** kuromoji が自分で文を区切る記号。区切りの間が長いほど、その長さの二乗で時間がかかる。 */
2
+ const STOPS: ReadonlySet<string> = new Set(["、", "。"]);
3
+
4
+ const WHITESPACE = /\s/u;
5
+
6
+ /** 絵文字のようなサロゲートの対を割らない。 */
7
+ const keepPair = (text: string, at: number): number => {
8
+ const low = text.charCodeAt(at);
9
+ const high = text.charCodeAt(at - 1);
10
+ return low >= 0xdc00 && low <= 0xdfff && high >= 0xd800 && high <= 0xdbff ? at - 1 : at;
11
+ };
12
+
13
+ const slices = (text: string, cuts: readonly number[]): string[] => [0, ...cuts].map((start, index) => text.slice(start, cuts[index] ?? text.length));
14
+
15
+ /**
16
+ * 解析器に渡すかたまり。句読点の無いまま limit 文字を超える所だけを切り、それ以外は本文を 1 つのまま返す。
17
+ * 切るのは、その範囲の最後の空白の後ろ。空白が無ければ limit 文字目。
18
+ */
19
+ export const analyserPieces = (text: string, limit: number): string[] => {
20
+ const cuts: number[] = [];
21
+ const stretch = { start: 0, afterSpace: -1 };
22
+ for (let at = 0; at < text.length; at += 1) {
23
+ const char = text[at] ?? "";
24
+ if (STOPS.has(char)) {
25
+ stretch.start = at + 1;
26
+ stretch.afterSpace = -1;
27
+ } else {
28
+ if (at + 1 - stretch.start > limit) {
29
+ const cut = stretch.afterSpace > stretch.start ? stretch.afterSpace : keepPair(text, at);
30
+ cuts.push(cut);
31
+ stretch.start = cut;
32
+ stretch.afterSpace = -1;
33
+ }
34
+ if (WHITESPACE.test(char)) stretch.afterSpace = at + 1;
35
+ }
36
+ }
37
+ return slices(text, cuts);
38
+ };
@@ -0,0 +1,60 @@
1
+ /**
2
+ * 物を数える「つ」(3つ、三つ、2つ)。IPADIC は算用数字の後ろの「つ」を完了の助動詞(行きつ戻りつの「つ」)と読み、
3
+ * 「三つ」「2つ」は一語の普通の名詞と読む。どちらも「三人」「3人」と同じ、数と助数詞の二語に直す。
4
+ * 完了の「つ」は動詞の後ろにしか付かないので、数の直後の「つ」は助数詞と決まる。
5
+ * 仮名で書いた「ひとつ」「ふたつ」は副詞のようにも使う(ひとつ試す)ので、そのまま。
6
+ */
7
+ export type Morpheme = {
8
+ readonly surface_form: string;
9
+ readonly pos: string;
10
+ readonly pos_detail_1: string;
11
+ readonly pos_detail_2: string;
12
+ readonly pos_detail_3?: string;
13
+ readonly basic_form: string;
14
+ readonly reading?: string;
15
+ };
16
+
17
+ const TSU = "つ";
18
+
19
+ /** 算用数字で終わる数(3、10、2)。漢数字の後ろの「つ」は一語の「三つ」として出るので、ここでは見ない。 */
20
+ const ENDS_WITH_DIGIT = /[0-90-9]$/u;
21
+
22
+ /** 一語で出る「三つ」「2つ」。「三つ巴」「一つ目」の目は別の語なので、「つ」で終わる語だけ。 */
23
+ const COUNT_WORD = /^(?<number>[一二三四五六七八九]|[0-90-9]+)つ$/u;
24
+
25
+ /** IPADIC が一語の名詞(爪)と読む「つめ」。数の後ろでは「3つめ」「三つめ」の順番。 */
26
+ const TSUME = "つめ";
27
+
28
+ /** 「つめ」の前の数。漢数字も入る。「三つめ」は 三 と つめ に分かれて出る。 */
29
+ const ENDS_WITH_NUMERAL = /[0-90-9一二三四五六七八九]$/u;
30
+
31
+ const counter = (): Morpheme => ({ surface_form: TSU, pos: "名詞", pos_detail_1: "接尾", pos_detail_2: "助数詞", basic_form: TSU });
32
+
33
+ const numeral = (number: string): Morpheme => ({ surface_form: number, pos: "名詞", pos_detail_1: "数", pos_detail_2: "*", basic_form: number });
34
+
35
+ const ordinalMe = (): Morpheme => ({ surface_form: "め", pos: "名詞", pos_detail_1: "接尾", pos_detail_2: "一般", basic_form: "め" });
36
+
37
+ const isTsuAuxiliary = (morpheme: Morpheme): boolean => morpheme.pos === "助動詞" && morpheme.surface_form === TSU;
38
+
39
+ const isDigitNumeral = (morpheme: Morpheme | undefined): boolean =>
40
+ morpheme !== undefined && morpheme.pos === "名詞" && morpheme.pos_detail_1 === "数" && ENDS_WITH_DIGIT.test(morpheme.surface_form);
41
+
42
+ const isNumeralBeforeTsume = (morpheme: Morpheme | undefined): boolean =>
43
+ morpheme !== undefined && morpheme.pos === "名詞" && morpheme.pos_detail_1 === "数" && ENDS_WITH_NUMERAL.test(morpheme.surface_form);
44
+
45
+ const isTsume = (morpheme: Morpheme): boolean => morpheme.pos === "名詞" && morpheme.pos_detail_1 === "一般" && morpheme.surface_form === TSUME;
46
+
47
+ /** 一語で出た「三つ」の数の部分。そう読めなければ undefined。 */
48
+ const numberOfCountWord = (morpheme: Morpheme): string | undefined =>
49
+ morpheme.pos === "名詞" && morpheme.pos_detail_1 === "一般" ? COUNT_WORD.exec(morpheme.surface_form)?.groups?.["number"] : undefined;
50
+
51
+ /** 形態素の並びを受け取り、数と「つ」を数と助数詞の二語に、数の後ろの「つめ」を助数詞と順番の「め」にした並びを返す。ほかの語はそのまま。 */
52
+ export const readCounterTsu = (morphemes: readonly Morpheme[]): Morpheme[] =>
53
+ morphemes.flatMap((morpheme, index) => {
54
+ // 読み(ツ)は助動詞のときと同じなので残す。
55
+ if (isTsuAuxiliary(morpheme) && isDigitNumeral(morphemes[index - 1]))
56
+ return [{ ...counter(), ...(morpheme.reading === undefined ? {} : { reading: morpheme.reading }) }];
57
+ if (isTsume(morpheme) && isNumeralBeforeTsume(morphemes[index - 1])) return [counter(), ordinalMe()];
58
+ const number = numberOfCountWord(morpheme);
59
+ return number === undefined ? [morpheme] : [numeral(number), counter()];
60
+ });
package/src/index.ts CHANGED
@@ -1,8 +1,9 @@
1
1
  import { loadLexicons } from "./lexicons.ts";
2
2
  import { sentenceSpans } from "./sentence-split.ts";
3
3
  import { structure } from "./structure.ts";
4
- import { isReady, predicateOnly, prepare, readsAsCounter, tokenize } from "./pos.ts";
4
+ import { isReady, predicateOnly, prepare, readsAsCounter, readsAsOneAdverb, tokenize } from "./pos.ts";
5
5
  import { markSpacedCounters } from "./spaced-counter.ts";
6
+ import { tokensWithin } from "./tokens-within.ts";
6
7
  import { distributiveVocabulary, markReduplication } from "./reduplication.ts";
7
8
  import type { AdapterNeeds, LanguageAdapter, Segmentation, Sentence, Span } from "chaffjs/plugin";
8
9
 
@@ -57,10 +58,7 @@ const withTokens = (source: string, sentences: readonly Sentence[]): Sentence[]
57
58
  return sentences.map((sentence) => ({
58
59
  ...sentence,
59
60
  // 述語かどうかは文の中でしか決まらないので、文へ配ってから印を落とす。
60
- tokens: markReduplication(
61
- predicateOnly(tokens.filter((token) => token.span.start >= sentence.span.start && token.span.end <= sentence.span.end)),
62
- DISTRIBUTIVE,
63
- ),
61
+ tokens: markReduplication(predicateOnly(tokensWithin(tokens, sentence.span)), DISTRIBUTIVE, readsAsOneAdverb),
64
62
  }));
65
63
  };
66
64
 
@@ -0,0 +1,11 @@
1
+ import { morphemes } from "./pos.ts";
2
+
3
+ const PARTICLE = "助詞";
4
+
5
+ /**
6
+ * 行頭の番号の後ろが助詞で始まる(「3.11.0 を公開しました。」「4.2 は廃止した。」)なら、番号は文の中の語。
7
+ * 節の題(「4.2 設定」)は名詞で始まる。助詞は前の語が無いと接続詞と読まれる(「が」「で」)ので、番号に続けて読む。
8
+ * 解析器を読み込んでいなければ決めない。
9
+ */
10
+ export const startsWithParticle = (number: string, rest: string): boolean =>
11
+ morphemes(`${number}${rest}`)?.find((morph) => morph.start >= number.length)?.pos === PARTICLE;
@@ -0,0 +1,125 @@
1
+ import type { Lexicon } from "chaffjs/plugin";
2
+ import type { Morpheme } from "./counter-tsu.ts";
3
+
4
+ /**
5
+ * 「れる/られる」は受動・自発・尊敬・可能のどれにもなる。IPADIC はその区別を付けないので、
6
+ * 形のうえで受動でないと言えるものだけを外す。どれにも当たらなければ受動の形として残す。
7
+ */
8
+ export type PassiveVocabulary = {
9
+ /** 自発に読む動詞の原形(考える・思う)。 */
10
+ readonly spontaneous: ReadonlySet<string>;
11
+ /** 関係を表す動詞の原形(含む・限る)。 */
12
+ readonly stative: ReadonlySet<string>;
13
+ /** 尊敬の決まり文句(におかれましては)。 */
14
+ readonly formulas: readonly string[];
15
+ /** 受動を作らない自動詞の原形(来る・取り組む)と、「する」を付けて自動詞になるサ変名詞(参加・辞任)。 */
16
+ readonly intransitive: ReadonlySet<string>;
17
+ /** 「と」を受けて名前を言う動詞の原形(呼ぶ)。 */
18
+ readonly naming: ReadonlySet<string>;
19
+ };
20
+
21
+ const patternsOf = (lexicon: Lexicon | undefined): string[] => (lexicon ?? []).map((entry) => entry.pattern).filter((pattern) => pattern !== "");
22
+
23
+ export const passiveVocabulary = (lexicons: Readonly<Record<string, Lexicon>>): PassiveVocabulary => ({
24
+ spontaneous: new Set(patternsOf(lexicons["spontaneous-verb"])),
25
+ stative: new Set(patternsOf(lexicons["stative-passive-verb"])),
26
+ formulas: patternsOf(lexicons["honorific-formula"]),
27
+ intransitive: new Set(patternsOf(lexicons["intransitive-verb"])),
28
+ naming: new Set(patternsOf(lexicons["naming-verb"])),
29
+ });
30
+
31
+ const PASSIVE_LEMMA = new Set(["れる", "られる"]);
32
+
33
+ /** IPADIC では「れる/られる」は動詞の接尾として出る。 */
34
+ export const isPassiveForm = (morpheme: Morpheme): boolean =>
35
+ morpheme.pos === "動詞" && morpheme.pos_detail_1 === "接尾" && PASSIVE_LEMMA.has(morpheme.basic_form);
36
+
37
+ /** 述語の続き(ます・ている・ておる・てはいない・た)。ここに「た」があれば過去。 */
38
+ const LINKING_TE = new Set(["て", "で"]);
39
+
40
+ /** IPADIC は「てもいた」の「い」を自立の動詞と読む。 */
41
+ const ASPECT_VERB = new Set(["いる", "おる"]);
42
+
43
+ /** 「られ・て・おり・まし・た」のように続く語の数の上限。文書全体の残りを毎回切り出さない。 */
44
+ const PREDICATE_REACH = 8;
45
+
46
+ const continuesPredicate = (morpheme: Morpheme): boolean =>
47
+ morpheme.pos === "助動詞" ||
48
+ (morpheme.pos === "動詞" && (morpheme.pos_detail_1 === "非自立" || ASPECT_VERB.has(morpheme.basic_form))) ||
49
+ (morpheme.pos_detail_1 === "接続助詞" && LINKING_TE.has(morpheme.surface_form)) ||
50
+ morpheme.pos_detail_1 === "係助詞";
51
+
52
+ const isPast = (morpheme: Morpheme): boolean => morpheme.pos === "助動詞" && morpheme.basic_form === "た";
53
+
54
+ const pastFollows = (morphemes: readonly Morpheme[], at: number): boolean => {
55
+ const rest = morphemes.slice(at + 1, at + 1 + PREDICATE_REACH);
56
+ const end = rest.findIndex((morpheme) => !continuesPredicate(morpheme));
57
+ return rest.slice(0, end === -1 ? rest.length : end).some(isPast);
58
+ };
59
+
60
+ /**
61
+ * 自発は書き手がいま思うことを言う。過去の「考えられた」「解された」は、会議や裁判所など誰かの考えた動作の受動になる。
62
+ * 補助動詞(動詞,非自立)の後ろは見ない。「務めてこられた」は尊敬でも、「連れてこられた」「持っていかれた」は受動で、形では分けられない。
63
+ */
64
+ const verbReadsOtherwise = (morphemes: readonly Morpheme[], at: number, verb: Morpheme, vocabulary: PassiveVocabulary): boolean =>
65
+ (vocabulary.spontaneous.has(verb.basic_form) && !pastFollows(morphemes, at)) ||
66
+ vocabulary.stative.has(verb.basic_form) ||
67
+ namesSomething(morphemes, at, verb, vocabulary);
68
+
69
+ /** 「〜と呼ばれる」「〜とも呼ばれています」は名前を言うもので、呼んだ誰かを隠していない。「と」の無い「会議に呼ばれた」は受動。 */
70
+ const namesSomething = (morphemes: readonly Morpheme[], at: number, verb: Morpheme, vocabulary: PassiveVocabulary): boolean => {
71
+ if (!vocabulary.naming.has(verb.basic_form)) return false;
72
+ const before = morphemes[at - 2]?.pos_detail_1 === "係助詞" ? morphemes[at - 3] : morphemes[at - 2];
73
+ return before?.pos === "助詞" && before.surface_form === "と";
74
+ };
75
+
76
+ const isSuru = (morpheme: Morpheme | undefined): boolean => morpheme?.pos === "動詞" && morpheme.basic_form === "する";
77
+
78
+ /**
79
+ * 自動詞には、動作を受ける側を主語にする受動が無い。「来られ」「取り組まれ」「辞任され」は尊敬か可能。
80
+ * 本動詞(動詞,自立)だけを見る。補助動詞の「連れてこられた」は「連れてくる」全体の受動。
81
+ */
82
+ const intransitiveVerb = (morphemes: readonly Morpheme[], at: number, vocabulary: PassiveVocabulary): boolean => {
83
+ const verb = morphemes[at - 1];
84
+ if (verb?.pos !== "動詞" || verb.pos_detail_1 !== "自立") return false;
85
+ if (vocabulary.intransitive.has(verb.basic_form)) return true;
86
+ const noun = morphemes[at - 2];
87
+ return isSuru(verb) && noun?.pos_detail_1 === "サ変接続" && vocabulary.intransitive.has(noun.basic_form);
88
+ };
89
+
90
+ /** 「おる」は受動を作らないので、「しておられる」の「れる」は尊敬。 */
91
+ const HONORIFIC_BASE = "おる";
92
+
93
+ /**
94
+ * 形のうえで尊敬と言える「れる/られる」。主語が動作をする人なので、隠れた動作主はいない。
95
+ * 「ご用意された」「お会いされた」の お・ご は見ない。謙譲の「ご用意する」の受動(「資料がご用意されました」)と形が同じ。
96
+ */
97
+ const honoursTheDoer = (morphemes: readonly Morpheme[], at: number, vocabulary: PassiveVocabulary): boolean =>
98
+ (morphemes[at - 1]?.pos === "動詞" && morphemes[at - 1]?.basic_form === HONORIFIC_BASE) || intransitiveVerb(morphemes, at, vocabulary);
99
+
100
+ const textOf = (morphemes: readonly Morpheme[]): string => morphemes.map((morpheme) => morpheme.surface_form).join("");
101
+
102
+ /**
103
+ * at の語を覆う決まり文句が、語の区切りから始まっているか。語は 1 文字以上あるので、
104
+ * 決まり文句の文字数だけ前の語までさかのぼれば足りる。文書全体を毎回つなげない。
105
+ */
106
+ const insideFormula = (morphemes: readonly Morpheme[], at: number, formulas: readonly string[]): boolean => {
107
+ const reach = Math.max(0, ...formulas.map((formula) => formula.length));
108
+ const from = Math.max(0, at - reach + 1);
109
+ return morphemes.slice(from, at + 1).some((_, offset) => {
110
+ const start = from + offset;
111
+ const lead = textOf(morphemes.slice(start, at)).length;
112
+ const text = textOf(morphemes.slice(start, start + reach));
113
+ return formulas.some((formula) => lead < formula.length && text.startsWith(formula));
114
+ });
115
+ };
116
+
117
+ /** morphemes[at] が受動と読める「れる/られる」か。直前の動詞、尊敬の形、囲む決まり文句を見る。 */
118
+ export const readsAsPassive = (morphemes: readonly Morpheme[], at: number, vocabulary: PassiveVocabulary): boolean => {
119
+ const morpheme = morphemes[at];
120
+ if (morpheme === undefined || !isPassiveForm(morpheme)) return false;
121
+ const verb = morphemes[at - 1];
122
+ if (verb?.pos === "動詞" && verbReadsOtherwise(morphemes, at, verb, vocabulary)) return false;
123
+ if (honoursTheDoer(morphemes, at, vocabulary)) return false;
124
+ return !insideFormula(morphemes, at, vocabulary.formulas);
125
+ };
package/src/pos.ts CHANGED
@@ -1,4 +1,9 @@
1
1
  import { surfaceStarts } from "./surface-starts.ts";
2
+ import { wellFormed } from "./well-formed.ts";
3
+ import { analyserPieces } from "./analyser-pieces.ts";
4
+ import { readCounterTsu, type Morpheme } from "./counter-tsu.ts";
5
+ import { isPassiveForm, passiveVocabulary, readsAsPassive } from "./passive-reading.ts";
6
+ import { loadLexicons } from "./lexicons.ts";
2
7
  import { createRequire } from "node:module";
3
8
  import { dirname, join } from "node:path";
4
9
  import type { Token } from "chaffjs/plugin";
@@ -9,14 +14,6 @@ const require = createRequire(import.meta.url);
9
14
  * kuromoji は CommonJS で、辞書を非同期に読む。ESM からは createRequire で取る。
10
15
  * 辞書の初期化に 1.5 秒かかるので、prepare が呼ばれるまで触らない。
11
16
  */
12
- type Morpheme = {
13
- readonly word_position: number;
14
- readonly surface_form: string;
15
- readonly pos: string;
16
- readonly pos_detail_1: string;
17
- readonly basic_form: string;
18
- };
19
-
20
17
  type Tokenizer = Record<string, unknown>;
21
18
 
22
19
  type BuildDone = (error: Error | null, tokenizer: unknown) => void;
@@ -29,13 +26,32 @@ const isCallable = (value: unknown): value is (...args: readonly unknown[]) => u
29
26
 
30
27
  const isTokenizer = (value: unknown): value is Tokenizer => isRecord(value) && isCallable(value["tokenize"]);
31
28
 
32
- const isMorpheme = (value: unknown): value is Morpheme =>
33
- isRecord(value) &&
34
- typeof value["word_position"] === "number" &&
35
- typeof value["surface_form"] === "string" &&
36
- typeof value["pos"] === "string" &&
37
- typeof value["pos_detail_1"] === "string" &&
38
- typeof value["basic_form"] === "string";
29
+ /** kuromoji の形態素。形の違うものは落とす。二段目の細分類(助数詞・地域)は無ければ *。三段目(人名の姓・名)は無ければ持たない。 */
30
+ const toMorpheme = (value: unknown): Morpheme[] => {
31
+ if (!isRecord(value)) return [];
32
+ const [surface, pos, detail1, detail2, detail3, basic, reading] = [
33
+ value["surface_form"],
34
+ value["pos"],
35
+ value["pos_detail_1"],
36
+ value["pos_detail_2"],
37
+ value["pos_detail_3"],
38
+ value["basic_form"],
39
+ value["reading"],
40
+ ];
41
+ if (typeof surface !== "string" || typeof pos !== "string" || typeof detail1 !== "string" || typeof basic !== "string") return [];
42
+ const detail = typeof detail2 === "string" ? detail2 : "*";
43
+ return [
44
+ {
45
+ surface_form: surface,
46
+ pos,
47
+ pos_detail_1: detail1,
48
+ pos_detail_2: detail,
49
+ ...(typeof detail3 === "string" ? { pos_detail_3: detail3 } : {}),
50
+ basic_form: basic,
51
+ ...(typeof reading === "string" ? { reading } : {}),
52
+ },
53
+ ];
54
+ };
39
55
 
40
56
  const dictionaryPath = (): string => join(dirname(require.resolve("@sglkc/kuromoji/package.json")), "dict");
41
57
 
@@ -88,13 +104,10 @@ const BY_POS: Readonly<Record<string, string>> = {
88
104
  export const upos = (pos: string, detail: string): string => BY_DETAIL[detail] ?? BY_POS[pos] ?? "X";
89
105
 
90
106
  /**
91
- * 受動の「れる/られる」。IPADIC では動詞の接尾として出る。
92
- * ただしこの語は可能・尊敬・自発も表す。区別は文脈が要るのでここではしない。
93
- * 受動と言い切らず「受動の形」として印を付け、どう扱うかは rule 側に委ねる。
107
+ * 受動の「れる/られる」。この語は可能・尊敬・自発も表す。形のうえで受動でないと言えるもの
108
+ * (自発や関係を表す動詞、名付けの「と呼ばれる」、尊敬の形と決まり文句)は passive-reading.ts が外す。残りは「受動の形」として印を付ける。
94
109
  */
95
- const PASSIVE_LEMMA = new Set(["れる", "られる"]);
96
-
97
- const isPassive = (morpheme: Morpheme): boolean => morpheme.pos === "動詞" && morpheme.pos_detail_1 === "接尾" && PASSIVE_LEMMA.has(morpheme.basic_form);
110
+ const PASSIVE_VOCABULARY = passiveVocabulary(loadLexicons());
98
111
 
99
112
  /**
100
113
  * 非自立名詞(の・こと・もの・ため・はず)。品詞は名詞だが、単独では何も指さない。
@@ -127,13 +140,14 @@ export const isReady = (): boolean => state.ready !== undefined;
127
140
  * span は渡した文字列の先頭を 0 とする。位置は kuromoji の word_position ではなく、語の文字を本文と照らして決める(surface-starts.ts)。
128
141
  * 形の違うものが混ざったら、その 1 つを落とす。位置が NaN の token を下流に流さない。
129
142
  */
130
- const toToken = (morpheme: Morpheme, start: number): Token => ({
143
+ const toToken = (morpheme: Morpheme, start: number, passive: boolean): Token => ({
131
144
  span: { start, end: start + morpheme.surface_form.length },
132
145
  surface: morpheme.surface_form,
133
146
  // UD の日本語では「れる/られる」は AUX。IPADIC の「動詞,接尾」をそこへ寄せる。
134
- pos: isPassive(morpheme) ? "AUX" : upos(morpheme.pos, morpheme.pos_detail_1),
147
+ pos: isPassiveForm(morpheme) ? "AUX" : upos(morpheme.pos, morpheme.pos_detail_1),
135
148
  ...(morpheme.basic_form === "*" ? {} : { lemma: morpheme.basic_form }),
136
- ...featuresOf(morpheme),
149
+ ...(typeof morpheme.reading !== "string" || morpheme.reading === "*" ? {} : { reading: morpheme.reading }),
150
+ ...featuresOf(morpheme, passive),
137
151
  });
138
152
 
139
153
  /**
@@ -150,20 +164,30 @@ const isNumeral = (morpheme: Morpheme): boolean => morpheme.pos === "名詞" &&
150
164
  * 住所は地名と単位が交互に続く。地名が単位を挟まずに続けば(東京大阪名古屋)、地名の並び。
151
165
  */
152
166
  const placeType = (morpheme: Morpheme): string | undefined => {
153
- if (morpheme.pos !== "名詞" || detail2Of(morpheme) !== "地域") return undefined;
167
+ if (morpheme.pos !== "名詞" || morpheme.pos_detail_2 !== "地域") return undefined;
154
168
  if (morpheme.pos_detail_1 === "固有名詞") return "Geo";
155
169
  return morpheme.pos_detail_1 === "接尾" ? "GeoUnit" : undefined;
156
170
  };
157
171
 
172
+ /** 人名(IPADIC の「固有名詞,人名」)の三段目。姓は Sur、名は Giv、どちらとも言えない人名は Prs(UD の NameType)。 */
173
+ const PERSON: Readonly<Record<string, string>> = { 姓: "Sur", 名: "Giv", 一般: "Prs" };
174
+
175
+ /** 人名と組織名(「固有名詞,組織」は UD の NameType=Com)。地名は placeType が見る。 */
176
+ const personOrOrganisation = (morpheme: Morpheme): string | undefined => {
177
+ if (morpheme.pos !== "名詞" || morpheme.pos_detail_1 !== "固有名詞") return undefined;
178
+ if (morpheme.pos_detail_2 === "人名") return PERSON[morpheme.pos_detail_3 ?? ""];
179
+ return morpheme.pos_detail_2 === "組織" ? "Com" : undefined;
180
+ };
181
+
158
182
  /** 数を数える単位(IPADIC の「接尾,助数詞」: 丁目・件・人)。UD では NounType=Class。 */
159
- const isCounter = (morpheme: Morpheme): boolean => morpheme.pos === "名詞" && morpheme.pos_detail_1 === "接尾" && detail2Of(morpheme) === "助数詞";
183
+ const isCounter = (morpheme: Morpheme): boolean => morpheme.pos === "名詞" && morpheme.pos_detail_1 === "接尾" && morpheme.pos_detail_2 === "助数詞";
160
184
 
161
- const featuresOf = (morpheme: Morpheme): { features?: Readonly<Record<string, string>> } => {
162
- if (isPassive(morpheme)) return { features: { Voice: "Pass" } };
185
+ const featuresOf = (morpheme: Morpheme, passive: boolean): { features?: Readonly<Record<string, string>> } => {
186
+ if (passive) return { features: { Voice: "Pass" } };
163
187
  if (isDependentNoun(morpheme)) return { features: { NounType: "Dependent" } };
164
188
  if (isNumeral(morpheme)) return { features: { NumType: "Card" } };
165
- const place = placeType(morpheme);
166
- if (place !== undefined) return { features: { NameType: place } };
189
+ const name = placeType(morpheme) ?? personOrOrganisation(morpheme);
190
+ if (name !== undefined) return { features: { NameType: name } };
167
191
  if (isCounter(morpheme)) return { features: { NounType: "Class" } };
168
192
  return {};
169
193
  };
@@ -199,7 +223,21 @@ export const predicateOnly = (tokens: readonly Token[]): Token[] =>
199
223
  export const tokenize = (text: string): Token[] | undefined => {
200
224
  const tokenizer = state.ready;
201
225
  if (tokenizer === undefined) return undefined;
202
- return placed(text, toArray(callMethod(tokenizer, "tokenize", [text])).filter(isMorpheme)).map(({ morpheme, start }) => toToken(morpheme, start));
226
+ const read = readAll(tokenizer, text);
227
+ const sequence = read.map(({ morpheme }) => morpheme);
228
+ return read.map(({ morpheme, start }, index) => toToken(morpheme, start, readsAsPassive(sequence, index, PASSIVE_VOCABULARY)));
229
+ };
230
+
231
+ /** 句読点の無い並びをこれより長く渡さない。解析器は並びの長さの二乗で遅くなり、20 万字の 1 行では何分も返らない。 */
232
+ const PIECE_LIMIT = 1000;
233
+
234
+ const analyse = (tokenizer: Tokenizer, text: string): Morpheme[] =>
235
+ readCounterTsu(analyserPieces(text, PIECE_LIMIT).flatMap((piece) => toArray(callMethod(tokenizer, "tokenize", [piece])).flatMap(toMorpheme)));
236
+
237
+ /** 解析器は片割れのサロゲートで例外を投げる。数量の後ろを数文字だけ読み直すと、絵文字を半分に切ることがある。 */
238
+ const readAll = (tokenizer: Tokenizer, text: string): { readonly morpheme: Morpheme; readonly start: number }[] => {
239
+ const readable = wellFormed(text);
240
+ return placed(readable, analyse(tokenizer, readable));
203
241
  };
204
242
 
205
243
  /** 形態素と、本文の中での始まり。本文に見つからないものは落とす。 */
@@ -227,23 +265,17 @@ export type Morph = {
227
265
  readonly detail2: string;
228
266
  };
229
267
 
230
- const detail2Of = (value: unknown): string => {
231
- const record: Record<string, unknown> = isRecord(value) ? { ...value } : {};
232
- const detail = record["pos_detail_2"];
233
- return typeof detail === "string" ? detail : "*";
234
- };
235
-
236
268
  /** 解析器を読み込んでいなければ undefined。呼ぶ側は、形態素なしの読み方に戻る。 */
237
269
  export const morphemes = (text: string): Morph[] | undefined => {
238
270
  const tokenizer = state.ready;
239
271
  if (tokenizer === undefined) return undefined;
240
- return placed(text, toArray(callMethod(tokenizer, "tokenize", [text])).filter(isMorpheme)).map(({ morpheme: raw, start }) => ({
272
+ return readAll(tokenizer, text).map(({ morpheme: raw, start }) => ({
241
273
  start,
242
274
  end: start + raw.surface_form.length,
243
275
  surface: raw.surface_form,
244
276
  pos: raw.pos,
245
277
  detail1: raw.pos_detail_1,
246
- detail2: detail2Of(raw),
278
+ detail2: raw.pos_detail_2,
247
279
  }));
248
280
  };
249
281
 
@@ -252,6 +284,12 @@ const isCounterMorph = (morph: Morph): boolean => morph.pos === "名詞" && morp
252
284
  /** 桁の語(万・億)。「26.7 万行」の「万行」は、詰めれば 26.7万 と 行 に分かれる。 */
253
285
  const isNumeralMorph = (morph: Morph): boolean => morph.pos === "名詞" && morph.detail1 === "数";
254
286
 
287
+ /** 一語の副詞と読むか(がんがん)。前後の語に引かれない、その文字列だけの読み。 */
288
+ export const readsAsOneAdverb = (text: string): boolean => {
289
+ const read = tokenize(text);
290
+ return read?.length === 1 && read[0]?.pos === "ADV";
291
+ };
292
+
255
293
  /**
256
294
  * 数のすぐ後ろに詰めて書いたとき、word が数につく語として読まれるか(spaced-counter.ts が使う)。
257
295
  * word がそのまま一語の助数詞になるか、桁の語で始まるとき。「件名」は詰めると 件 と 名 に割れるので、助数詞とは読まない。