@chaffjs/lang-ja 0.17.0 → 0.18.0

This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
Files changed (64) hide show
  1. package/dist/citation.d.ts +6 -3
  2. package/dist/citation.d.ts.map +1 -1
  3. package/dist/citation.js +31 -9
  4. package/dist/citation.js.map +1 -1
  5. package/dist/lexicons.d.ts.map +1 -1
  6. package/dist/lexicons.js +4 -0
  7. package/dist/lexicons.js.map +1 -1
  8. package/dist/pos.d.ts +17 -1
  9. package/dist/pos.d.ts.map +1 -1
  10. package/dist/pos.js +69 -36
  11. package/dist/pos.js.map +1 -1
  12. package/dist/predicate-frame.d.ts +14 -0
  13. package/dist/predicate-frame.d.ts.map +1 -0
  14. package/dist/predicate-frame.js +22 -0
  15. package/dist/predicate-frame.js.map +1 -0
  16. package/dist/ra-dropped.d.ts +12 -0
  17. package/dist/ra-dropped.d.ts.map +1 -0
  18. package/dist/ra-dropped.js +18 -0
  19. package/dist/ra-dropped.js.map +1 -0
  20. package/dist/reduplication.d.ts +17 -5
  21. package/dist/reduplication.d.ts.map +1 -1
  22. package/dist/reduplication.js +85 -6
  23. package/dist/reduplication.js.map +1 -1
  24. package/dist/structure.d.ts.map +1 -1
  25. package/dist/structure.js +41 -21
  26. package/dist/structure.js.map +1 -1
  27. package/dist/well-formed.d.ts +4 -1
  28. package/dist/well-formed.d.ts.map +1 -1
  29. package/dist/well-formed.js +5 -2
  30. package/dist/well-formed.js.map +1 -1
  31. package/lexicons/ai-tell.yaml +36 -0
  32. package/lexicons/comparison-marker.yaml +7 -0
  33. package/lexicons/distributive-noun.yaml +14 -2
  34. package/lexicons/double-negative.yaml +32 -0
  35. package/lexicons/doubled-word.yaml +12 -0
  36. package/lexicons/enumeration-frame.yaml +32 -0
  37. package/lexicons/enumeration-joiner.yaml +15 -0
  38. package/lexicons/enumeration-negation.yaml +10 -0
  39. package/lexicons/item-number.yaml +38 -0
  40. package/lexicons/long-vowel-distinct.yaml +25 -0
  41. package/lexicons/long-vowel-drop-after.yaml +25 -0
  42. package/lexicons/name-note.yaml +5 -1
  43. package/lexicons/nominalization-event-noun.yaml +13 -0
  44. package/lexicons/nominalization-light-verb.yaml +10 -0
  45. package/lexicons/passive-predicate-frame.yaml +13 -0
  46. package/lexicons/ra-dropped-verb.yaml +7 -0
  47. package/lexicons/requirement-either.yaml +13 -0
  48. package/lexicons/requirement-loophole.yaml +13 -0
  49. package/lexicons/requirement-marker.yaml +15 -0
  50. package/lexicons/requirement-modal-jis-z8301-2019.yaml +14 -0
  51. package/lexicons/requirement-not-marker.yaml +8 -0
  52. package/lexicons/requirement-open-end.yaml +6 -0
  53. package/lexicons/sasete-itadaku.yaml +11 -0
  54. package/lexicons/vague-clause-pointer.yaml +14 -0
  55. package/lexicons/vague-figure-pointer.yaml +23 -0
  56. package/package.json +1 -1
  57. package/src/citation.ts +35 -10
  58. package/src/lexicons.ts +4 -0
  59. package/src/pos.ts +78 -29
  60. package/src/predicate-frame.ts +28 -0
  61. package/src/ra-dropped.ts +29 -0
  62. package/src/reduplication.ts +119 -8
  63. package/src/structure.ts +42 -19
  64. package/src/well-formed.ts +5 -2
@@ -0,0 +1,32 @@
1
+ # 名前の組を言う語(製品が動く OS、対応する環境)。outside-announced-list は、語のすぐ後ろ(position: before)か
2
+ # すぐ前(position: after)の名前を読み、同じ組(group)の後の文を、最初に二つ以上の名前を挙げた一覧と比べる。
3
+ id: enumeration-frame
4
+ language: ja
5
+ entries:
6
+ - pattern: 対応OSは
7
+ position: before
8
+ group: platform
9
+ - pattern: 対応環境は
10
+ position: before
11
+ group: platform
12
+ - pattern: 動作環境は
13
+ position: before
14
+ group: platform
15
+ - pattern: に対応
16
+ position: after
17
+ group: platform
18
+ - pattern: にも対応
19
+ position: after
20
+ group: platform
21
+ - pattern: で動作
22
+ position: after
23
+ group: platform
24
+ - pattern: でも動作
25
+ position: after
26
+ group: platform
27
+ - pattern: 版
28
+ position: after
29
+ group: platform
30
+ - pattern: 向け
31
+ position: after
32
+ group: platform
@@ -0,0 +1,15 @@
1
+ # 一つの一覧の名前をつなぐ語と記号(Windows と macOS、Windows・macOS・Linux)。一つの語ずつ。
2
+ id: enumeration-joiner
3
+ language: ja
4
+ entries:
5
+ - pattern: と
6
+ - pattern: 、
7
+ - pattern: ,
8
+ - pattern: ・
9
+ - pattern: や
10
+ - pattern: 及び
11
+ - pattern: および
12
+ - pattern: 又は
13
+ - pattern: または
14
+ - pattern: /
15
+ - pattern: /
@@ -0,0 +1,10 @@
1
+ # 文を打ち消す語。打ち消した一覧の文(Linux には対応していません)は一覧から外す名前を言うので、outside-announced-list は読まない。
2
+ # 一つの語ずつ。原形でも書いた形でも当たる。
3
+ id: enumeration-negation
4
+ language: ja
5
+ entries:
6
+ - pattern: ない
7
+ - pattern: ん
8
+ - pattern: ず
9
+ - pattern: 非
10
+ - pattern: 未
@@ -0,0 +1,38 @@
1
+ # 行の頭に番号だけを置き、空白で本文と区切る項目の番号。規約・法令の号(「一 JIS X 0201として…」)と、その下の細目(「イ」)。
2
+ # 番号の後ろの空白は項目の区切りで、日本語と英数字のあいだの空け方(latin-spacing)の票にはしない。
3
+ # 並びの順に置く。前か次の番号も行の頭にあるときだけ番号と読む(「十 GBまで」の十は、九も十一も無ければ数量)。
4
+ id: item-number
5
+ language: ja
6
+ entries:
7
+ - pattern: 一
8
+ - pattern: 二
9
+ - pattern: 三
10
+ - pattern: 四
11
+ - pattern: 五
12
+ - pattern: 六
13
+ - pattern: 七
14
+ - pattern: 八
15
+ - pattern: 九
16
+ - pattern: 十
17
+ - pattern: 十一
18
+ - pattern: 十二
19
+ - pattern: 十三
20
+ - pattern: 十四
21
+ - pattern: 十五
22
+ - pattern: 十六
23
+ - pattern: 十七
24
+ - pattern: 十八
25
+ - pattern: 十九
26
+ - pattern: 二十
27
+ - pattern: イ
28
+ - pattern: ロ
29
+ - pattern: ハ
30
+ - pattern: ニ
31
+ - pattern: ホ
32
+ - pattern: ヘ
33
+ - pattern: ト
34
+ - pattern: チ
35
+ - pattern: リ
36
+ - pattern: ヌ
37
+ - pattern: ル
38
+ - pattern: ヲ
@@ -0,0 +1,25 @@
1
+ # 語末の「ー」を付けると別の語になるカタカナ語の、「ー」の無い形(フリ = 振り、フリー = free)。
2
+ # 品詞はどちらも名詞で、辞書(IPADIC)は両方を別の見出しとして持つだけで、同じ語の書き分けか別の語かを言わない。
3
+ # katakana-long-vowel は、ここに並べた語を同じ語の書き分けとして比べず、keep でも「ー」を足させない。
4
+ # タブ以下は、style: bunkacho(keep)でコーパスに出たもの(タブ → タブー、ベタ → ベター)と、同じ形の言い換えの組。
5
+ id: long-vowel-distinct
6
+ language: ja
7
+ entries:
8
+ - pattern: フリ
9
+ - pattern: スキ
10
+ # tab / taboo
11
+ - pattern: タブ
12
+ # 塗りつぶし、ありきたり / better
13
+ - pattern: ベタ
14
+ # eco / echo
15
+ - pattern: エコ
16
+ # 蛇 / heavy
17
+ - pattern: ヘビ
18
+ # drama / drummer
19
+ - pattern: ドラマ
20
+ # café / カフェー(大正・昭和の飲食店)
21
+ - pattern: カフェ
22
+ # career / carrier
23
+ - pattern: キャリア
24
+ # 河馬 / cover
25
+ - pattern: カバ
@@ -0,0 +1,25 @@
1
+ # katakana-long-vowel の ending: drop が語末の「ー」を省く、その「ー」の前の字(ア段。小さい字はその字で終わる拗音・外来音)。
2
+ # JIS Z 8301:2011 G.6.2.2 は、語末の長音符号の扱いを英語の語末の -er、-or、-ar など、ア列の長音に当たるものについて定め、
3
+ # 表 G.3 がそれを省く原則を置く。学術用語集についての注記も同じ語尾を挙げる。ュー(レビュー、メニュー)、エー(グレー)、
4
+ # イー(コピー)は、これらの案内が省くとは言っていないので、drop でも見ない。
5
+ id: long-vowel-drop-after
6
+ language: ja
7
+ entries:
8
+ - pattern: ア
9
+ - pattern: カ
10
+ - pattern: ガ
11
+ - pattern: サ
12
+ - pattern: ザ
13
+ - pattern: タ
14
+ - pattern: ダ
15
+ - pattern: ナ
16
+ - pattern: ハ
17
+ - pattern: バ
18
+ - pattern: パ
19
+ - pattern: マ
20
+ - pattern: ヤ
21
+ - pattern: ラ
22
+ - pattern: ワ
23
+ - pattern: ャ
24
+ - pattern: ァ
25
+ - pattern: ヮ
@@ -1,7 +1,11 @@
1
1
  # 名前と番地のあいだに挟まる括弧書き(正規表現)。飛ばして、その前の名前を読む。
2
2
  # 法令の題名に添える公布の番号と、略称(「国家行政組織法(昭和二十三年法律第百二十号)第三条」
3
3
  # 「(平成十三年法律第百四十号。以下この章において「独立行政法人等情報公開法」という。)」)。
4
+ # 括弧は半角でもよい(厚生労働省法令等データベースの「保険医療養担当規則(昭和三十二年厚生省令第十五号)」)。
5
+ # 題名の後ろに略称の括弧を置いてから公布の番号を添える書き方(「使用薬剤の薬価(薬価基準)(平成二十年厚生労働省告示第六十号)」)も一つの括弧書き。長いほうを先に当てる。
6
+ # どの行も公布の番号を含む。番号を添えた名前は、種類の語が無くても文書の名前として読む(lang-ja/src/citation.ts)。
4
7
  id: name-note
5
8
  language: ja
6
9
  entries:
7
- - pattern: "((?:明治|大正|昭和|平成|令和)[^()]{1,24}号(?:。以下[^()]{1,60}という。)?)"
10
+ - pattern: "[((][^()()]{1,20}[))][((](?:明治|大正|昭和|平成|令和)[^()()]{1,24}号(?:。以下[^()()]{1,60}という。)?[))]"
11
+ - pattern: "[((](?:明治|大正|昭和|平成|令和)[^()()]{1,24}号(?:。以下[^()()]{1,60}という。)?[))]"
@@ -0,0 +1,13 @@
1
+ # サ変名詞のうち、「〜を実施する」「〜を行う」が「催す・開く」の意味になる語。nominalization はこれを数えない。
2
+ # 「研修を実施する」(研修を開く)と「研修する」(研修を受ける)、「試験を実施する」(試験を課す)と「試験する」(試してみる)は、
3
+ # 言っていることが違う。名詞に「する」を付けても同じことにならないので、回りくどい言い方ではない。
4
+ id: nominalization-event-noun
5
+ language: ja
6
+ entries:
7
+ - pattern: 研修
8
+ - pattern: 試験
9
+ - pattern: 会議
10
+ - pattern: 選挙
11
+ - pattern: 講習
12
+ - pattern: 演習
13
+ - pattern: 検定
@@ -0,0 +1,10 @@
1
+ # 動詞にできる名詞(サ変名詞: 調査、確認)の後ろに付けて、動詞の代わりをさせる言い方。nominalization が読む。
2
+ # 「調査を実施した」は「調査した」で足りる(在留支援のためのやさしい日本語ガイドライン)。前の語がサ変名詞のときだけ当たる。
3
+ # instead_of は、名詞の後ろに付けて動詞にする語(調査 + する)。「〜をする」(勉強をする)は普通の言い方なので入れない。
4
+ id: nominalization-light-verb
5
+ language: ja
6
+ entries:
7
+ - { pattern: を行う, instead_of: する }
8
+ - { pattern: を実施する, instead_of: する }
9
+ - { pattern: を実行する, instead_of: する }
10
+ - { pattern: を執り行う, instead_of: する }
@@ -0,0 +1,13 @@
1
+ # 受動のすぐ後ろに続いて、文の述語になる型。「検討されることとなった」「実施されることになりました」の「こと」は
2
+ # 修飾される名詞ではなく述語の一部なので、受動を名詞の修飾として外さない。語の原形をつないだ形で書く。
3
+ # 「も」「は」を挟んだ形(ことにもなる・こととはならない)と、漢字の「事」も同じ型。
4
+ id: passive-predicate-frame
5
+ language: ja
6
+ entries:
7
+ - pattern: ことになる
8
+ - pattern: こととなる
9
+ - pattern: ことにもなる
10
+ - pattern: ことにはなる
11
+ - pattern: こととはなる
12
+ - pattern: 事になる
13
+ - pattern: 事となる
@@ -0,0 +1,7 @@
1
+ # ら抜き言葉のうち、解析器(IPADIC)が一語の動詞として持つもの。ほかのら抜き(食べれる・これる)は、一段・カ変動詞の未然形に付いた「れる」で読む。
2
+ # 「見られる」「来られる」が書き言葉の形。
3
+ id: ra-dropped-verb
4
+ language: ja
5
+ entries:
6
+ - pattern: 見れる
7
+ - pattern: 来れる
@@ -0,0 +1,13 @@
1
+ # 「及び」と「又は」を重ねた書き方(Berry ほか 2003 の and/or)。両方なのか、片方でよいのかを読み手が決められない。
2
+ id: requirement-either
3
+ language: ja
4
+ entries:
5
+ - pattern: 及び/又は
6
+ - pattern: 及び/又は
7
+ - pattern: 及び又は
8
+ - pattern: および/または
9
+ - pattern: および/または
10
+ - pattern: およびまたは
11
+ - pattern: かつ/または
12
+ - pattern: かつ/または
13
+ - pattern: かつまたは
@@ -0,0 +1,13 @@
1
+ # 要求に抜け道を開ける言い方(Femmer ほか 2017 の loophole、ISO/IEC/IEEE 29148 の避ける語)。
2
+ # どこまでしたら満たしたことになるのかを、読み手が決められない。
3
+ id: requirement-loophole
4
+ language: ja
5
+ entries:
6
+ - pattern: 可能な限り
7
+ - pattern: できる限り
8
+ - pattern: 可能なかぎり
9
+ - pattern: できるかぎり
10
+ - pattern: できるだけ
11
+ - pattern: なるべく
12
+ - pattern: 必要に応じて
13
+ - pattern: 場合によっては
@@ -0,0 +1,15 @@
1
+ # 要求の文の目印。requirement-smell は、これで終わる文だけを要求として見る。
2
+ # 日本語の文は述語が終わりに来るので、目印はどれも文の終わりにあるときだけ当たる(position: after)。
3
+ # 文の途中の「回避されてはならないものとされる諸手段をいいます」は語の定義で、要求ではない。
4
+ id: requirement-marker
5
+ language: ja
6
+ entries:
7
+ - { pattern: なければならない, position: after }
8
+ - { pattern: なければなりません, position: after }
9
+ - { pattern: てはならない, position: after }
10
+ - { pattern: てはなりません, position: after }
11
+ - { pattern: ものとする, position: after }
12
+ - { pattern: ものとします, position: after }
13
+ - { pattern: 必要がある, position: after }
14
+ - { pattern: 必要があります, position: after }
15
+ - { pattern: こと, position: after }
@@ -0,0 +1,14 @@
1
+ # JIS Z 8301:2019 が規定の文末に使わない形と、代わりに使う形(instead_of)。requirement-modal の standard: jis-z8301-2019 が読む。
2
+ # 7.3(推奨事項): 文末の「…すべきである」「…すべきでない」は用いない。推奨は「…することが望ましい」、推奨しないは「…しないほうがよい」。
3
+ # 「べきではない」は「べきでない」に「は」を入れた同じ形。
4
+ # 7.4(許容事項)・7.5(可能性・能力事項): 文末の「…できる」「…できない」は用いない。許容は「…してもよい」、可能性は「…可能である」。
5
+ # 7.5 は、能力を示す「できる」を文の途中で使うのは認めるので、文の終わりだけを見る(position: after)。
6
+ # 出典は日本規格協会「JIS 原案作成のための手引」資料 7「JIS Z 8301:2019 の主な改正点」と、同書 Q&A 6-15 の修正例。
7
+ id: requirement-modal-jis-z8301-2019
8
+ language: ja
9
+ entries:
10
+ - { pattern: べきである, position: after, instead_of: することが望ましい }
11
+ - { pattern: べきでない, position: after, instead_of: しないほうがよい }
12
+ - { pattern: べきではない, position: after, instead_of: しないほうがよい }
13
+ - { pattern: できる, position: after, instead_of: してもよい(許容)、可能である(可能性) }
14
+ - { pattern: できない, position: after, instead_of: しなくてもよい(許容)、可能性がない(可能性) }
@@ -0,0 +1,8 @@
1
+ # 要求の目印(requirement-marker)に見えて、要求ではない文の終わり。
2
+ # 「〜のこと。」は語の説明(「サーバに保存すること。」は要求、「…を防ぐファイアウォールのこと。」は用語集の説明)。
3
+ # position: after は、文の終わりにあるときだけ当たる。
4
+ id: requirement-not-marker
5
+ language: ja
6
+ entries:
7
+ - pattern: のこと
8
+ position: after
@@ -0,0 +1,6 @@
1
+ # 列挙を閉じない語(Femmer ほか 2017 の open-ended terms)。要求の文にあると、ほかに何が含まれるのかを読み手が決められない。
2
+ id: requirement-open-end
3
+ language: ja
4
+ entries:
5
+ - pattern: 等
6
+ - pattern: など
@@ -1,7 +1,18 @@
1
1
  # 「させていただく」。1 度なら丁寧だが、重なると誰の判断なのかが消える。
2
+ # 「いただける」は可能の形(させていただけますか・させていただけない)で、別の語に解析されるので別に書く。
3
+ # 「せていただく」は五段動詞の形(読ませていただく・休ませていただく)。「させていただく」と重なっても終わる位置で一回に数える。
2
4
  id: sasete-itadaku
3
5
  language: ja
4
6
  entries:
5
7
  - pattern: させていただく
6
8
  - pattern: させて頂く
7
9
  - pattern: させて戴く
10
+ - pattern: させていただける
11
+ - pattern: させて頂ける
12
+ - pattern: させて戴ける
13
+ - pattern: せていただく
14
+ - pattern: せて頂く
15
+ - pattern: せて戴く
16
+ - pattern: せていただける
17
+ - pattern: せて頂ける
18
+ - pattern: せて戴ける
@@ -0,0 +1,14 @@
1
+ # 箇条を、番号ではなく置き場所で指す言い方(JIS Z 8301:2019 10.6 が避ける「以下の箇条」)。
2
+ # instead_of は、メッセージで言う種類。文書が条か章に番号を付けているとき(構造の木に番号付きの条か章があるとき)だけ見る。
3
+ id: vague-clause-pointer
4
+ language: ja
5
+ entries:
6
+ - { pattern: 以下の箇条, instead_of: 箇条 }
7
+ - { pattern: 以上の箇条, instead_of: 箇条 }
8
+ - { pattern: 上記の箇条, instead_of: 箇条 }
9
+ - { pattern: 下記の箇条, instead_of: 箇条 }
10
+ - { pattern: 上の箇条, instead_of: 箇条 }
11
+ - { pattern: 下の箇条, instead_of: 箇条 }
12
+ - { pattern: 前記の箇条, instead_of: 箇条 }
13
+ - { pattern: 前述の箇条, instead_of: 箇条 }
14
+ - { pattern: 後述の箇条, instead_of: 箇条 }
@@ -0,0 +1,23 @@
1
+ # 図や表を、番号ではなく置き場所で指す言い方(JIS Z 8301:2019 10.6 が避ける「上記の図」)。
2
+ # instead_of は、指している種類。figure-label の種類(図、表)と同じ名前で書く。文書がその種類に番号を付けているときだけ見る。
3
+ id: vague-figure-pointer
4
+ language: ja
5
+ entries:
6
+ - { pattern: 上記の図, instead_of: 図 }
7
+ - { pattern: 下記の図, instead_of: 図 }
8
+ - { pattern: 上の図, instead_of: 図 }
9
+ - { pattern: 下の図, instead_of: 図 }
10
+ - { pattern: 以下の図, instead_of: 図 }
11
+ - { pattern: 以上の図, instead_of: 図 }
12
+ - { pattern: 前記の図, instead_of: 図 }
13
+ - { pattern: 前述の図, instead_of: 図 }
14
+ - { pattern: 後述の図, instead_of: 図 }
15
+ - { pattern: 上記の表, instead_of: 表 }
16
+ - { pattern: 下記の表, instead_of: 表 }
17
+ - { pattern: 上の表, instead_of: 表 }
18
+ - { pattern: 下の表, instead_of: 表 }
19
+ - { pattern: 以下の表, instead_of: 表 }
20
+ - { pattern: 以上の表, instead_of: 表 }
21
+ - { pattern: 前記の表, instead_of: 表 }
22
+ - { pattern: 前述の表, instead_of: 表 }
23
+ - { pattern: 後述の表, instead_of: 表 }
package/package.json CHANGED
@@ -1,6 +1,6 @@
1
1
  {
2
2
  "name": "@chaffjs/lang-ja",
3
- "version": "0.17.0",
3
+ "version": "0.18.0",
4
4
  "description": "Japanese language adapter for chaff",
5
5
  "license": "MIT",
6
6
  "author": "isamu",
package/src/citation.ts CHANGED
@@ -1,4 +1,4 @@
1
- import type { Lexicon } from "chaffjs/plugin";
1
+ import type { Lexicon, NamedDocument } from "chaffjs/plugin";
2
2
 
3
3
  // 他の文書を指す参照。「民法第709条」の第709条はこの文書の条ではない。どの語が文書の名前を作るかは語彙表が持つ。
4
4
 
@@ -31,8 +31,8 @@ const TITLE_CHAR = /[\p{Script=Han}\p{Script=Katakana}\p{Script=Hiragana}ー・A
31
31
  /** 名前は長くても数十字。後ろ向きに読む長さを抑え、長い行で遅くならないようにする。 */
32
32
  const MAX_NAME_LENGTH = 30;
33
33
 
34
- /** 名前の後ろの括弧書きが収まる長さ。後ろ向きに読む長さを抑える。 */
35
- const MAX_NOTE_LENGTH = 100;
34
+ /** 名前の後ろの括弧書きが収まる長さ。name-note の最も長い形(略称・公布の番号・「以下…という。」)が収まり、後ろ向きに読む長さを抑える。 */
35
+ const MAX_NOTE_LENGTH = 130;
36
36
 
37
37
  const nameBefore = (text: string, at: number, char: RegExp): string => {
38
38
  let start = at;
@@ -51,15 +51,40 @@ const beforeJoiner = (text: string, at: number, joiners: readonly string[]): num
51
51
  return joiner === undefined ? at : at - joiner.length;
52
52
  };
53
53
 
54
+ /** 名前が種類の語で終わり、種類の語より長い(「民法」。「契約」だけではどの文書か決まらない)。 */
55
+ const endsWithKind = (name: string, kinds: readonly string[]): boolean => {
56
+ const kind = kinds.find((candidate) => name.endsWith(candidate));
57
+ return kind !== undefined && name.length > kind.length;
58
+ };
59
+
54
60
  /**
55
- * reference の直前に書かれた文書名。「民法第709条」「民法の第709条」なら「民法」。この文書の条を指すなら undefined。
56
- * 名前が種類の語だけ(「契約第3条」)のときも、どの文書か決まらないので undefined にする。
61
+ * reference の直前に書かれた文書名。「民法第709条」「民法の第709条」なら「民法」、「この規則の別表」「本規約第3条」ならこの文書(self)。
62
+ * 名前が種類の語だけ(「契約第3条」)のときは、どの文書か決まらないので undefined にする。
63
+ * 公布の番号を添えた名前(「…に関する基準(昭和五十八年厚生省告示第十四号)第二条」)は、種類の語が無くても文書の名前。
57
64
  */
58
- export const citedDocument = (text: string, reference: number, vocabulary: CitationVocabulary): string | undefined => {
59
- const at = beforeNote(text, beforeJoiner(text, reference, vocabulary.joiners), vocabulary.notes);
65
+ export const namedDocument = (text: string, reference: number, vocabulary: CitationVocabulary): NamedDocument | undefined => {
66
+ const afterName = beforeJoiner(text, reference, vocabulary.joiners);
67
+ const at = beforeNote(text, afterName, vocabulary.notes);
60
68
  const plain = nameBefore(text, at, NAME_CHAR);
61
69
  const name = vocabulary.kanaTitleKinds.includes(plain) ? nameBefore(text, at, TITLE_CHAR) : plain;
62
- const kind = vocabulary.kinds.find((candidate) => name.endsWith(candidate));
63
- if (kind === undefined || name.length === kind.length) return undefined;
64
- return vocabulary.selfPrefixes.some((prefix) => name.startsWith(prefix)) ? undefined : name;
70
+ const self = namesThisDocument(text, at - name.length, name, vocabulary.selfPrefixes);
71
+ if (self && vocabulary.kinds.some((kind) => name.endsWith(kind))) return { name, self };
72
+ const numbered = at !== afterName && name !== "";
73
+ if (!numbered && !endsWithKind(name, vocabulary.kinds)) return undefined;
74
+ return { name, self };
75
+ };
76
+
77
+ /** reference の直前に書かれた他の文書の名前。この文書を指すか、名前が無ければ undefined。 */
78
+ export const citedDocument = (text: string, reference: number, vocabulary: CitationVocabulary): string | undefined => {
79
+ const named = namedDocument(text, reference, vocabulary);
80
+ return named === undefined || named.self ? undefined : named.name;
81
+ };
82
+
83
+ /** 自分を指す頭の語の長さの上限(この・本・当)。後ろ向きに読む長さを抑える。 */
84
+ const MAX_PREFIX_LENGTH = 4;
85
+
86
+ /** 名前が自分を指す頭の語で始まるか、そのすぐ前に仮名の頭の語がある(「この基準(…号)第9条」の「この」)。 */
87
+ const namesThisDocument = (text: string, nameStart: number, name: string, selfPrefixes: readonly string[]): boolean => {
88
+ const lead = text.slice(Math.max(0, nameStart - MAX_PREFIX_LENGTH), nameStart);
89
+ return selfPrefixes.some((prefix) => name.startsWith(prefix) || lead.endsWith(prefix));
65
90
  };
package/src/lexicons.ts CHANGED
@@ -14,11 +14,15 @@ const toEntry = (raw: unknown): LexiconEntry | undefined => {
14
14
  if (!isRecord(raw) || typeof raw["pattern"] !== "string") return undefined;
15
15
  const weight = raw["weight"];
16
16
  const instead = raw["instead_of"];
17
+ const rewrite = raw["rewrite"];
18
+ const group = raw["group"];
17
19
  return {
18
20
  pattern: raw["pattern"],
19
21
  weight: typeof weight === "number" ? weight : undefined,
20
22
  instead_of: typeof instead === "string" ? instead : undefined,
21
23
  position: POSITIONS.find((position) => position === raw["position"]),
24
+ rewrite: typeof rewrite === "string" ? rewrite : undefined,
25
+ ...(typeof group === "string" ? { group } : {}),
22
26
  };
23
27
  };
24
28
 
package/src/pos.ts CHANGED
@@ -4,7 +4,9 @@ import { analyserPieces } from "./analyser-pieces.ts";
4
4
  import { readCounterTsu, type Morpheme } from "./counter-tsu.ts";
5
5
  import { outsideTheReport, isPassiveForm, passiveVocabulary, readsAsPassive } from "./passive-reading.ts";
6
6
  import { loadLexicons } from "./lexicons.ts";
7
- import { isEchoAt, type Inflection } from "./reduplication.ts";
7
+ import { predicateFrameAfter } from "./predicate-frame.ts";
8
+ import { distributiveVocabulary, isEchoAt, type Inflection } from "./reduplication.ts";
9
+ import { isRaDroppedAt, raDroppedVocabulary } from "./ra-dropped.ts";
8
10
  import { createRequire } from "node:module";
9
11
  import { dirname, join } from "node:path";
10
12
  import type { Token } from "chaffjs/plugin";
@@ -113,7 +115,15 @@ export const upos = (pos: string, detail: string): string => BY_DETAIL[detail] ?
113
115
  * (自発や状態を言う動詞、名付けの「と呼ばれる」、尊敬の形と決まり文句、ら抜きと可能)と、文が報告する動作の外にあるもの
114
116
  * (仮定の節、「〜されやすい」)は passive-reading.ts が外す。残りは「受動の形」として印を付ける。
115
117
  */
116
- const PASSIVE_VOCABULARY = passiveVocabulary(loadLexicons());
118
+ const LEXICONS = loadLexicons();
119
+
120
+ const PASSIVE_VOCABULARY = passiveVocabulary(LEXICONS);
121
+
122
+ const RA_DROPPED_VOCABULARY = raDroppedVocabulary(LEXICONS);
123
+
124
+ const PREDICATE_FRAMES = (LEXICONS["passive-predicate-frame"] ?? []).map((entry) => entry.pattern);
125
+
126
+ const REDUPLICATING_NOUNS = distributiveVocabulary(LEXICONS).nouns;
117
127
 
118
128
  /**
119
129
  * 非自立名詞(の・こと・もの・ため・はず)。品詞は名詞だが、単独では何も指さない。
@@ -146,14 +156,17 @@ export const isReady = (): boolean => state.ready !== undefined;
146
156
  * span は渡した文字列の先頭を 0 とする。位置は kuromoji の word_position ではなく、語の文字を本文と照らして決める(surface-starts.ts)。
147
157
  * 形の違うものが混ざったら、その 1 つを落とす。位置が NaN の token を下流に流さない。
148
158
  */
149
- const toToken = (morpheme: Morpheme, start: number, passive: boolean, echo: boolean, light: boolean): Token => ({
159
+ /** 形態素を語にするときに、前後の形態素から決まる印。 */
160
+ type Marks = { readonly passive: boolean; readonly echo: boolean; readonly light: boolean; readonly raDropped: boolean };
161
+
162
+ const toToken = (morpheme: Morpheme, start: number, { passive, echo, light, raDropped }: Marks): Token => ({
150
163
  span: { start, end: start + morpheme.surface_form.length },
151
164
  surface: morpheme.surface_form,
152
165
  // UD の日本語では「れる/られる」は AUX。IPADIC の「動詞,接尾」をそこへ寄せる。
153
166
  pos: isPassiveForm(morpheme) ? "AUX" : upos(morpheme.pos, morpheme.pos_detail_1),
154
167
  ...(morpheme.basic_form === "*" ? {} : { lemma: morpheme.basic_form }),
155
168
  ...(typeof morpheme.reading !== "string" || morpheme.reading === "*" ? {} : { reading: morpheme.reading }),
156
- ...withEcho(withWordStatus(featuresOf(morpheme, passive), isBound(morpheme), light), echo),
169
+ ...withRaDropped(withEcho(withWordStatus(featuresOf(morpheme, passive), isBound(morpheme), light), echo), raDropped),
157
170
  });
158
171
 
159
172
  /**
@@ -183,6 +196,10 @@ const withWordStatus = (
183
196
  const withEcho = (found: { features?: Readonly<Record<string, string>> }, echo: boolean): { features?: Readonly<Record<string, string>> } =>
184
197
  echo ? { features: { ...found.features, Echo: "Rdp" } } : found;
185
198
 
199
+ /** ら抜き言葉の一部(「食べれる」の 食べ と れる、「見れる」)。日本語に固有の印で、UD の FEATS の言語別拡張。 */
200
+ const withRaDropped = (found: { features?: Readonly<Record<string, string>> }, raDropped: boolean): { features?: Readonly<Record<string, string>> } =>
201
+ raDropped ? { features: { ...found.features, PotentialRa: "Dropped" } } : found;
202
+
186
203
  /**
187
204
  * 数(名詞,数)。UPOS では名詞に寄せるので、数であることは UD の NumType=Card で渡す。
188
205
  * 決まった言い回し(二人三脚、三日坊主、一人ひとり、十分)は辞書が一語として持つので、数にはならない。
@@ -222,9 +239,17 @@ const featuresOf = (morpheme: Morpheme, passive: boolean): { features?: Readonly
222
239
  const name = placeType(morpheme) ?? personOrOrganisation(morpheme);
223
240
  if (name !== undefined) return { features: { NameType: name } };
224
241
  if (isCounter(morpheme)) return { features: { NounType: "Class" } };
242
+ if (isVerbalNoun(morpheme)) return { features: { VerbForm: "Vnoun" } };
225
243
  return {};
226
244
  };
227
245
 
246
+ /**
247
+ * サ変名詞(調査・確認)。「する」を付ければ動詞になる名詞。UD の VerbForm=Vnoun。
248
+ * 辞書は知らない記号(「(VM)を」の「)」)もサ変接続に入れるので、字(漢字・かな・英字)を含む語だけ。
249
+ */
250
+ const LETTER = /\p{L}/u;
251
+ const isVerbalNoun = (morpheme: Morpheme): boolean => morpheme.pos === "名詞" && morpheme.pos_detail_1 === "サ変接続" && LETTER.test(morpheme.surface_form);
252
+
228
253
  /**
229
254
  * 名詞を修飾しているだけの受動から印を外す。「使用されるフレームワーク」
230
255
  * 「開催される BootCamp」は動作主を隠しているのではなく、名前の付けかたで、
@@ -244,13 +269,27 @@ const BREAK = new Set(["、", ",", ",", "。", ".", "."]);
244
269
  const clauseEnd = (tokens: readonly Token[], from: number): number =>
245
270
  tokens.find((token) => token.span.start >= from && BREAK.has(token.surface))?.span.start ?? Number.MAX_SAFE_INTEGER;
246
271
 
272
+ const unmarked = (token: Token): Token => ({
273
+ span: token.span,
274
+ surface: token.surface,
275
+ pos: token.pos,
276
+ ...(token.lemma === undefined ? {} : { lemma: token.lemma }),
277
+ });
278
+
279
+ const isDependentToken = (token: Token): boolean => token.features?.["NounType"] === "Dependent";
280
+
281
+ /** 受動の後ろ(from から節の終わりまで)に、受動が修飾する名詞があるか。型があれば、型の「こと」と後ろの「ため」のような非自立名詞は数えない。 */
282
+ const nounModifiedAfter = (tokens: readonly Token[], from: number, framed: boolean): boolean => {
283
+ const end = clauseEnd(tokens, from);
284
+ return tokens.some((other) => other.span.start >= from && other.span.end <= end && NOMINAL.has(other.pos) && !(framed && isDependentToken(other)));
285
+ };
286
+
247
287
  export const predicateOnly = (tokens: readonly Token[]): Token[] =>
248
- tokens.map((token) => {
288
+ tokens.map((token, index) => {
249
289
  if (token.features?.["Voice"] !== "Pass") return token;
250
- const end = clauseEnd(tokens, token.span.end);
251
- const modifiesNoun = tokens.some((other) => other.span.start >= token.span.end && other.span.end <= end && NOMINAL.has(other.pos));
252
- if (!modifiesNoun) return token;
253
- return { span: token.span, surface: token.surface, pos: token.pos, ...(token.lemma === undefined ? {} : { lemma: token.lemma }) };
290
+ const frame = predicateFrameAfter(tokens, index + 1, PREDICATE_FRAMES);
291
+ if (frame === undefined) return nounModifiedAfter(tokens, token.span.end, false) ? unmarked(token) : token;
292
+ return frame.conditional || nounModifiedAfter(tokens, token.span.end, true) ? unmarked(token) : token;
254
293
  });
255
294
 
256
295
  const inflectionOf = (morpheme: Morpheme, start: number): Inflection => ({
@@ -262,20 +301,24 @@ const inflectionOf = (morpheme: Morpheme, start: number): Inflection => ({
262
301
  start,
263
302
  });
264
303
 
304
+ /** 解析器を読み込んでいないか、読めなかったら undefined。 */
305
+ const readReady = (text: string): Placed[] | undefined => (state.ready === undefined ? undefined : readWith(state.ready, text));
306
+
265
307
  export const tokenize = (text: string): Token[] | undefined => {
266
- const tokenizer = state.ready;
267
- if (tokenizer === undefined) return undefined;
268
- const read = readAll(tokenizer, text);
308
+ const read = readReady(text);
309
+ return read === undefined ? undefined : tokensOf(read);
310
+ };
311
+
312
+ const tokensOf = (read: readonly Placed[]): Token[] => {
269
313
  const sequence = read.map(({ morpheme }) => morpheme);
270
314
  const inflections = read.map(({ morpheme, start }) => inflectionOf(morpheme, start));
271
315
  return read.map(({ morpheme, start }, index) =>
272
- toToken(
273
- morpheme,
274
- start,
275
- readsAsPassive(sequence, index, PASSIVE_VOCABULARY) && !outsideTheReport(sequence, index),
276
- isEchoAt(inflections, index),
277
- isLightVerbAt(sequence, index),
278
- ),
316
+ toToken(morpheme, start, {
317
+ passive: readsAsPassive(sequence, index, PASSIVE_VOCABULARY) && !outsideTheReport(sequence, index),
318
+ echo: isEchoAt(inflections, index, REDUPLICATING_NOUNS),
319
+ light: isLightVerbAt(sequence, index),
320
+ raDropped: isRaDroppedAt(sequence, index, RA_DROPPED_VOCABULARY),
321
+ }),
279
322
  );
280
323
  };
281
324
 
@@ -285,14 +328,23 @@ const PIECE_LIMIT = 1000;
285
328
  const analyse = (tokenizer: Tokenizer, text: string): Morpheme[] =>
286
329
  readCounterTsu(analyserPieces(text, PIECE_LIMIT).flatMap((piece) => toArray(callMethod(tokenizer, "tokenize", [piece])).flatMap(toMorpheme)));
287
330
 
288
- /** 解析器は片割れのサロゲートで例外を投げる。数量の後ろを数文字だけ読み直すと、絵文字を半分に切ることがある。 */
289
- const readAll = (tokenizer: Tokenizer, text: string): { readonly morpheme: Morpheme; readonly start: number }[] => {
331
+ type Placed = { readonly morpheme: Morpheme; readonly start: number };
332
+
333
+ /**
334
+ * 読めない文字は先に置き換える(wellFormed)。それでも解析器が投げたら undefined を返し、品詞の無い文として渡す。
335
+ * 一つの文書のために run 全体を止めない。品詞が要る rule は、core が「読めなかった」として動かさない。
336
+ */
337
+ export const readWith = (tokenizer: Tokenizer, text: string): Placed[] | undefined => {
290
338
  const readable = wellFormed(text);
291
- return placed(readable, analyse(tokenizer, readable));
339
+ try {
340
+ return placed(readable, analyse(tokenizer, readable));
341
+ } catch {
342
+ return undefined;
343
+ }
292
344
  };
293
345
 
294
346
  /** 形態素と、本文の中での始まり。本文に見つからないものは落とす。 */
295
- const placed = (text: string, raws: readonly Morpheme[]): { readonly morpheme: Morpheme; readonly start: number }[] => {
347
+ const placed = (text: string, raws: readonly Morpheme[]): Placed[] => {
296
348
  const starts = surfaceStarts(
297
349
  text,
298
350
  raws.map((raw) => raw.surface_form),
@@ -316,11 +368,9 @@ export type Morph = {
316
368
  readonly detail2: string;
317
369
  };
318
370
 
319
- /** 解析器を読み込んでいなければ undefined。呼ぶ側は、形態素なしの読み方に戻る。 */
320
- export const morphemes = (text: string): Morph[] | undefined => {
321
- const tokenizer = state.ready;
322
- if (tokenizer === undefined) return undefined;
323
- return readAll(tokenizer, text).map(({ morpheme: raw, start }) => ({
371
+ /** 解析器を読み込んでいないか、読めなければ undefined。呼ぶ側は、形態素なしの読み方に戻る。 */
372
+ export const morphemes = (text: string): Morph[] | undefined =>
373
+ readReady(text)?.map(({ morpheme: raw, start }) => ({
324
374
  start,
325
375
  end: start + raw.surface_form.length,
326
376
  surface: raw.surface_form,
@@ -328,7 +378,6 @@ export const morphemes = (text: string): Morph[] | undefined => {
328
378
  detail1: raw.pos_detail_1,
329
379
  detail2: raw.pos_detail_2,
330
380
  }));
331
- };
332
381
 
333
382
  const isCounterMorph = (morph: Morph): boolean => morph.pos === "名詞" && morph.detail1 === "接尾" && morph.detail2 === "助数詞";
334
383