@chaffjs/lang-ja 0.15.0 → 0.17.0
This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
- package/README.md +1 -1
- package/dist/closing-quote.d.ts +6 -0
- package/dist/closing-quote.d.ts.map +1 -0
- package/dist/closing-quote.js +50 -0
- package/dist/closing-quote.js.map +1 -0
- package/dist/english-run.d.ts +8 -0
- package/dist/english-run.d.ts.map +1 -0
- package/dist/english-run.js +24 -0
- package/dist/english-run.js.map +1 -0
- package/dist/index.d.ts.map +1 -1
- package/dist/index.js +56 -21
- package/dist/index.js.map +1 -1
- package/dist/inside-brackets.d.ts +5 -0
- package/dist/inside-brackets.d.ts.map +1 -0
- package/dist/inside-brackets.js +44 -0
- package/dist/inside-brackets.js.map +1 -0
- package/dist/label-stop.d.ts +13 -0
- package/dist/label-stop.d.ts.map +1 -0
- package/dist/label-stop.js +14 -0
- package/dist/label-stop.js.map +1 -0
- package/dist/long-vowel-form.d.ts +12 -0
- package/dist/long-vowel-form.d.ts.map +1 -0
- package/dist/long-vowel-form.js +28 -0
- package/dist/long-vowel-form.js.map +1 -0
- package/dist/number-stop.d.ts +3 -0
- package/dist/number-stop.d.ts.map +1 -0
- package/dist/number-stop.js +25 -0
- package/dist/number-stop.js.map +1 -0
- package/dist/pos.d.ts.map +1 -1
- package/dist/pos.js +19 -3
- package/dist/pos.js.map +1 -1
- package/dist/quantities.d.ts.map +1 -1
- package/dist/quantities.js +11 -1
- package/dist/quantities.js.map +1 -1
- package/dist/quoted-stop.d.ts +13 -0
- package/dist/quoted-stop.d.ts.map +1 -0
- package/dist/quoted-stop.js +45 -0
- package/dist/quoted-stop.js.map +1 -0
- package/dist/regexp.d.ts +3 -0
- package/dist/regexp.d.ts.map +1 -0
- package/dist/regexp.js +4 -0
- package/dist/regexp.js.map +1 -0
- package/dist/sentence-close.d.ts +2 -0
- package/dist/sentence-close.d.ts.map +1 -0
- package/dist/sentence-close.js +10 -0
- package/dist/sentence-close.js.map +1 -0
- package/dist/sentence-split.d.ts +2 -0
- package/dist/sentence-split.d.ts.map +1 -1
- package/dist/sentence-split.js +3 -1
- package/dist/sentence-split.js.map +1 -1
- package/dist/spaced-counter.d.ts.map +1 -1
- package/dist/spaced-counter.js +2 -1
- package/dist/spaced-counter.js.map +1 -1
- package/dist/structure.d.ts.map +1 -1
- package/dist/structure.js +26 -5
- package/dist/structure.js.map +1 -1
- package/lexicons/abbreviated-label.yaml +16 -0
- package/lexicons/ai-tell.yaml +69 -0
- package/lexicons/announcing-opener.yaml +11 -0
- package/lexicons/assistant-residue.yaml +37 -0
- package/lexicons/calendar-era.yaml +10 -0
- package/lexicons/closing-cliche.yaml +2 -0
- package/lexicons/contrast-frame.yaml +9 -0
- package/lexicons/contrast-lead.yaml +10 -0
- package/lexicons/contrast-turn.yaml +9 -0
- package/lexicons/count-anchor.yaml +10 -0
- package/lexicons/count-counter.yaml +17 -0
- package/lexicons/count-hedge.yaml +61 -0
- package/lexicons/count-number.yaml +16 -0
- package/lexicons/document-kind.yaml +1 -0
- package/lexicons/email-attachment-note.yaml +8 -0
- package/lexicons/email-attribution.yaml +10 -0
- package/lexicons/email-header-field.yaml +37 -0
- package/lexicons/email-written-field.yaml +11 -0
- package/lexicons/emphasis-word.yaml +2 -1
- package/lexicons/figure-label.yaml +11 -0
- package/lexicons/measure-unit.yaml +78 -0
- package/lexicons/name-title.yaml +20 -0
- package/lexicons/neutral-ending.yaml +10 -0
- package/lexicons/numbered-label.yaml +50 -0
- package/lexicons/percent-unit.yaml +7 -0
- package/lexicons/placeholder-word.yaml +21 -0
- package/lexicons/range-closer.yaml +5 -0
- package/lexicons/range-connector.yaml +11 -0
- package/lexicons/range-opener.yaml +7 -0
- package/lexicons/share-exception.yaml +7 -0
- package/lexicons/share-label.yaml +11 -0
- package/lexicons/stock-transition.yaml +11 -0
- package/package.json +1 -1
- package/src/closing-quote.ts +53 -0
- package/src/english-run.ts +25 -0
- package/src/index.ts +54 -13
- package/src/inside-brackets.ts +45 -0
- package/src/label-stop.ts +26 -0
- package/src/long-vowel-form.ts +38 -0
- package/src/number-stop.ts +30 -0
- package/src/pos.ts +32 -3
- package/src/quantities.ts +12 -1
- package/src/quoted-stop.ts +53 -0
- package/src/regexp.ts +3 -0
- package/src/sentence-close.ts +10 -0
- package/src/sentence-split.ts +3 -1
- package/src/spaced-counter.ts +2 -1
- package/src/structure.ts +27 -5
|
@@ -0,0 +1,10 @@
|
|
|
1
|
+
# 返しの語(contrast-turn)が同じ文の後ろか次の文の頭に来たときだけ対比の枠になる打ち消し。
|
|
2
|
+
# 「単なる X ではなく」「〜ではありません。むしろ〜です。」。「単なる設定ミスです」は枠ではない。
|
|
3
|
+
# 「ではありません」と書くと、解析器が語彙表の側の「では」を接続詞に読んで当たらないので、「はありません」で書く。
|
|
4
|
+
id: contrast-lead
|
|
5
|
+
language: ja
|
|
6
|
+
entries:
|
|
7
|
+
- pattern: 単なる
|
|
8
|
+
- pattern: はありません
|
|
9
|
+
- pattern: ではない
|
|
10
|
+
- pattern: ではなく
|
|
@@ -0,0 +1,17 @@
|
|
|
1
|
+
# 数のすぐ後ろに付けて、並べるものを数える語(3点、2つ、4項目)。これが付いた数だけを、並べる数の予告として読む。
|
|
2
|
+
id: count-counter
|
|
3
|
+
language: ja
|
|
4
|
+
entries:
|
|
5
|
+
- pattern: つ
|
|
6
|
+
- pattern: 点
|
|
7
|
+
- pattern: 項目
|
|
8
|
+
- pattern: 件
|
|
9
|
+
- pattern: 個
|
|
10
|
+
- pattern: 種類
|
|
11
|
+
- pattern: 段階
|
|
12
|
+
- pattern: 条件
|
|
13
|
+
- pattern: 通り
|
|
14
|
+
- pattern: ステップ
|
|
15
|
+
- pattern: 原則
|
|
16
|
+
- pattern: 要素
|
|
17
|
+
- pattern: 枚
|
|
@@ -0,0 +1,61 @@
|
|
|
1
|
+
# 数のすぐ前(before)かすぐ後ろ(after)にあると、その数は下の箇条書きの数ではない語。
|
|
2
|
+
# 目安(約3点、3つ以上)、順番(第3、3つ目)、選ぶ数(以下から1つ選ぶ、3つまで)、範囲(2〜3点)。
|
|
3
|
+
id: count-hedge
|
|
4
|
+
language: ja
|
|
5
|
+
entries:
|
|
6
|
+
- pattern: 約
|
|
7
|
+
position: before
|
|
8
|
+
- pattern: およそ
|
|
9
|
+
position: before
|
|
10
|
+
- pattern: 最大
|
|
11
|
+
position: before
|
|
12
|
+
- pattern: 最低
|
|
13
|
+
position: before
|
|
14
|
+
- pattern: 少なくとも
|
|
15
|
+
position: before
|
|
16
|
+
- pattern: 第
|
|
17
|
+
position: before
|
|
18
|
+
- pattern: から
|
|
19
|
+
position: before
|
|
20
|
+
- pattern: うち
|
|
21
|
+
position: before
|
|
22
|
+
- pattern: 中
|
|
23
|
+
position: before
|
|
24
|
+
- pattern: 〜
|
|
25
|
+
position: before
|
|
26
|
+
- pattern: ~
|
|
27
|
+
position: before
|
|
28
|
+
- pattern: 目
|
|
29
|
+
position: after
|
|
30
|
+
- pattern: 以上
|
|
31
|
+
position: after
|
|
32
|
+
- pattern: 以下
|
|
33
|
+
position: after
|
|
34
|
+
- pattern: 未満
|
|
35
|
+
position: after
|
|
36
|
+
- pattern: 程度
|
|
37
|
+
position: after
|
|
38
|
+
- pattern: ほど
|
|
39
|
+
position: after
|
|
40
|
+
- pattern: 前後
|
|
41
|
+
position: after
|
|
42
|
+
- pattern: 余り
|
|
43
|
+
position: after
|
|
44
|
+
- pattern: あまり
|
|
45
|
+
position: after
|
|
46
|
+
- pattern: など
|
|
47
|
+
position: after
|
|
48
|
+
- pattern: ずつ
|
|
49
|
+
position: after
|
|
50
|
+
- pattern: まで
|
|
51
|
+
position: after
|
|
52
|
+
- pattern: 選
|
|
53
|
+
position: after
|
|
54
|
+
- pattern: を選
|
|
55
|
+
position: after
|
|
56
|
+
- pattern: のうち
|
|
57
|
+
position: after
|
|
58
|
+
- pattern: 〜
|
|
59
|
+
position: after
|
|
60
|
+
- pattern: ~
|
|
61
|
+
position: after
|
|
@@ -0,0 +1,16 @@
|
|
|
1
|
+
# 漢数字で書いた数。一から順に並べる(並びの位置が数)。算用数字は語彙表なしで読む。
|
|
2
|
+
id: count-number
|
|
3
|
+
language: ja
|
|
4
|
+
entries:
|
|
5
|
+
- pattern: 一
|
|
6
|
+
- pattern: 二
|
|
7
|
+
- pattern: 三
|
|
8
|
+
- pattern: 四
|
|
9
|
+
- pattern: 五
|
|
10
|
+
- pattern: 六
|
|
11
|
+
- pattern: 七
|
|
12
|
+
- pattern: 八
|
|
13
|
+
- pattern: 九
|
|
14
|
+
- pattern: 十
|
|
15
|
+
- pattern: 十一
|
|
16
|
+
- pattern: 十二
|
|
@@ -0,0 +1,8 @@
|
|
|
1
|
+
# メーリングリストの過去ログが、取り除いた添付ファイルの代わりに置く注記の終わり(Mailman 2.1 の日本語の表示「HTMLの添付ファイルを保管しました...」)。
|
|
2
|
+
# 区切りの行のすぐ後にこの注記があり、そのあとが「項目: 値」の行だけで最後が URL の行なら、書き手の文ではなく過去ログのもの。
|
|
3
|
+
# 英語の表示のままの過去ログもあるので、英語の語も入れる。
|
|
4
|
+
id: email-attachment-note
|
|
5
|
+
language: ja
|
|
6
|
+
entries:
|
|
7
|
+
- pattern: を保管しました...
|
|
8
|
+
- pattern: was scrubbed...
|
|
@@ -0,0 +1,37 @@
|
|
|
1
|
+
# メールのヘッダーの項目名。メッセージの頭か区切りの行の後で、これを名乗る「項目: 値」の行の塊は、書いた人の文章ではなくヘッダー。
|
|
2
|
+
# 日本語の画面でも英語の項目名が出るので、英語の名前も入れる。大文字小文字は区別しない。
|
|
3
|
+
id: email-header-field
|
|
4
|
+
language: ja
|
|
5
|
+
entries:
|
|
6
|
+
- pattern: 件名
|
|
7
|
+
- pattern: 差出人
|
|
8
|
+
- pattern: 送信者
|
|
9
|
+
- pattern: 宛先
|
|
10
|
+
- pattern: 宛て先
|
|
11
|
+
- pattern: 送信日時
|
|
12
|
+
- pattern: 受信日時
|
|
13
|
+
- pattern: 日付
|
|
14
|
+
- pattern: 返信先
|
|
15
|
+
- pattern: From
|
|
16
|
+
- pattern: To
|
|
17
|
+
- pattern: Cc
|
|
18
|
+
- pattern: Bcc
|
|
19
|
+
- pattern: Subject
|
|
20
|
+
- pattern: Date
|
|
21
|
+
- pattern: Sent
|
|
22
|
+
- pattern: Reply-To
|
|
23
|
+
- pattern: Message-ID
|
|
24
|
+
- pattern: In-Reply-To
|
|
25
|
+
- pattern: References
|
|
26
|
+
- pattern: Received
|
|
27
|
+
- pattern: Return-Path
|
|
28
|
+
- pattern: Delivered-To
|
|
29
|
+
- pattern: Sender
|
|
30
|
+
- pattern: Organization
|
|
31
|
+
- pattern: Importance
|
|
32
|
+
- pattern: MIME-Version
|
|
33
|
+
- pattern: Content-Type
|
|
34
|
+
- pattern: Content-Transfer-Encoding
|
|
35
|
+
- pattern: User-Agent
|
|
36
|
+
- pattern: X-Mailer
|
|
37
|
+
- pattern: List-Id
|
|
@@ -1,4 +1,4 @@
|
|
|
1
|
-
#
|
|
1
|
+
# 大文字で書いて強調する英語の語(should NOT change、the NEW formula)。略語としての読みが無く、展開するものが無い。
|
|
2
2
|
# OR(Oregon、operating room)や IS(International Standard)のように略語でもある語は入れない。字面どおりに照らす。
|
|
3
3
|
id: emphasis-word
|
|
4
4
|
language: ja
|
|
@@ -6,3 +6,4 @@ entries:
|
|
|
6
6
|
- pattern: "NOT"
|
|
7
7
|
- pattern: "AND"
|
|
8
8
|
- pattern: "ONLY"
|
|
9
|
+
- pattern: "NEW"
|
|
@@ -0,0 +1,78 @@
|
|
|
1
|
+
# 測った数の後ろに書く単位の記号(1.5 mM、37 ℃、2.5 mg/kg)。行頭の小数の後ろがこれなら数量で、節の番号ではない。
|
|
2
|
+
# 助数詞(倍・本・日)は解析器が読むので、ここには解析器が助数詞と読まない記号を置く。書かれたとおりに当て、すぐ後ろに
|
|
3
|
+
# ラテン文字・数字・ハイフンが続くときは当てない(「2.1 mmap の使い方」は節の題)。大文字で始まる記号(Da・Pa・GB)は、
|
|
4
|
+
# 英語の表と同じく入れない。
|
|
5
|
+
id: measure-unit
|
|
6
|
+
language: ja
|
|
7
|
+
entries:
|
|
8
|
+
- pattern: "mM"
|
|
9
|
+
- pattern: "µM"
|
|
10
|
+
- pattern: "μM"
|
|
11
|
+
- pattern: "nM"
|
|
12
|
+
- pattern: "pM"
|
|
13
|
+
- pattern: "mol"
|
|
14
|
+
- pattern: "mmol"
|
|
15
|
+
- pattern: "µmol"
|
|
16
|
+
- pattern: "μmol"
|
|
17
|
+
- pattern: "nmol"
|
|
18
|
+
- pattern: "pmol"
|
|
19
|
+
- pattern: "kg"
|
|
20
|
+
- pattern: "mg"
|
|
21
|
+
- pattern: "µg"
|
|
22
|
+
- pattern: "μg"
|
|
23
|
+
- pattern: "ng"
|
|
24
|
+
- pattern: "pg"
|
|
25
|
+
- pattern: "kDa"
|
|
26
|
+
- pattern: "mL"
|
|
27
|
+
- pattern: "ml"
|
|
28
|
+
- pattern: "µL"
|
|
29
|
+
- pattern: "μL"
|
|
30
|
+
- pattern: "µl"
|
|
31
|
+
- pattern: "μl"
|
|
32
|
+
- pattern: "dL"
|
|
33
|
+
- pattern: "nL"
|
|
34
|
+
- pattern: "km"
|
|
35
|
+
- pattern: "cm"
|
|
36
|
+
- pattern: "mm"
|
|
37
|
+
- pattern: "µm"
|
|
38
|
+
- pattern: "μm"
|
|
39
|
+
- pattern: "nm"
|
|
40
|
+
- pattern: "ms"
|
|
41
|
+
- pattern: "µs"
|
|
42
|
+
- pattern: "μs"
|
|
43
|
+
- pattern: "ns"
|
|
44
|
+
- pattern: "min"
|
|
45
|
+
- pattern: "sec"
|
|
46
|
+
- pattern: "hr"
|
|
47
|
+
- pattern: "hrs"
|
|
48
|
+
- pattern: "kHz"
|
|
49
|
+
- pattern: "mA"
|
|
50
|
+
- pattern: "mV"
|
|
51
|
+
- pattern: "kV"
|
|
52
|
+
- pattern: "kW"
|
|
53
|
+
- pattern: "kWh"
|
|
54
|
+
- pattern: "mAh"
|
|
55
|
+
- pattern: "kPa"
|
|
56
|
+
- pattern: "mmHg"
|
|
57
|
+
- pattern: "atm"
|
|
58
|
+
- pattern: "psi"
|
|
59
|
+
- pattern: "kB"
|
|
60
|
+
- pattern: "bp"
|
|
61
|
+
- pattern: "kb"
|
|
62
|
+
- pattern: "kbp"
|
|
63
|
+
- pattern: "ppm"
|
|
64
|
+
- pattern: "ppb"
|
|
65
|
+
- pattern: "rpm"
|
|
66
|
+
- pattern: "dB"
|
|
67
|
+
- pattern: "mCi"
|
|
68
|
+
- pattern: "µCi"
|
|
69
|
+
- pattern: "μCi"
|
|
70
|
+
- pattern: "mGy"
|
|
71
|
+
- pattern: "mSv"
|
|
72
|
+
- pattern: "°C"
|
|
73
|
+
- pattern: "°F"
|
|
74
|
+
- pattern: "℃"
|
|
75
|
+
- pattern: "℉"
|
|
76
|
+
- pattern: "°"
|
|
77
|
+
- pattern: "%"
|
|
78
|
+
- pattern: "‰"
|
|
@@ -0,0 +1,20 @@
|
|
|
1
|
+
# 大文字で書く姓の前に置く肩書き。英語の速記録の発言者(Senator HAWLEY.、Secretary BLINKEN.)と、日本政府の英文が
|
|
2
|
+
# 「姓 名」の順に書くローマ字の名前(Prime Minister ABE Shinzo)。すぐ後ろの大文字の語は名前で、略語ではない。
|
|
3
|
+
# 日本語の文書も英語の記録を引くので、英語と同じ語を置く。Minister は Prime Minister も、President は Vice President も覆う。
|
|
4
|
+
# 後ろに略語が来やすい肩書き(Chair、General、Justice)は入れない。字面どおりに照らす。
|
|
5
|
+
id: name-title
|
|
6
|
+
language: ja
|
|
7
|
+
entries:
|
|
8
|
+
- pattern: "President"
|
|
9
|
+
- pattern: "Minister"
|
|
10
|
+
- pattern: "Secretary"
|
|
11
|
+
- pattern: "Secretary-General"
|
|
12
|
+
- pattern: "Chief Justice"
|
|
13
|
+
- pattern: "Governor"
|
|
14
|
+
- pattern: "Senator"
|
|
15
|
+
- pattern: "Ambassador"
|
|
16
|
+
- pattern: "Mayor"
|
|
17
|
+
- pattern: "Chancellor"
|
|
18
|
+
- pattern: "Commissioner"
|
|
19
|
+
- pattern: "Chairman"
|
|
20
|
+
- pattern: "Chairwoman"
|
|
@@ -0,0 +1,50 @@
|
|
|
1
|
+
# 番号と組んで、題や設問に名前を付ける語。position は番号のどちら側に書くか。
|
|
2
|
+
# before は番号のすぐ前(問3、図2、例 3:)。見出しの頭にあれば札で、見出しと文の重なり(heading-echo)には数えない。語として照らす(「質問3」の「問」は照らさない)。後ろの語が助数詞や助詞なら数量として数える(図3枚、問3の)。
|
|
3
|
+
# after は「第」と番号の後ろ(第1節、第2章)。その後ろの空白は題との区切りで、空け方の好みではない。字面どおりに照らす。
|
|
4
|
+
id: numbered-label
|
|
5
|
+
language: ja
|
|
6
|
+
entries:
|
|
7
|
+
- pattern: 問
|
|
8
|
+
position: before
|
|
9
|
+
- pattern: 設問
|
|
10
|
+
position: before
|
|
11
|
+
- pattern: 項目
|
|
12
|
+
position: before
|
|
13
|
+
- pattern: 図
|
|
14
|
+
position: before
|
|
15
|
+
- pattern: 表
|
|
16
|
+
position: before
|
|
17
|
+
- pattern: 別表
|
|
18
|
+
position: before
|
|
19
|
+
- pattern: 別紙
|
|
20
|
+
position: before
|
|
21
|
+
- pattern: 様式
|
|
22
|
+
position: before
|
|
23
|
+
- pattern: 例
|
|
24
|
+
position: before
|
|
25
|
+
- pattern: 手順
|
|
26
|
+
position: before
|
|
27
|
+
- pattern: ステップ
|
|
28
|
+
position: before
|
|
29
|
+
- pattern: Step
|
|
30
|
+
position: before
|
|
31
|
+
- pattern: 編
|
|
32
|
+
position: after
|
|
33
|
+
- pattern: 部
|
|
34
|
+
position: after
|
|
35
|
+
- pattern: 章
|
|
36
|
+
position: after
|
|
37
|
+
- pattern: 節
|
|
38
|
+
position: after
|
|
39
|
+
- pattern: 款
|
|
40
|
+
position: after
|
|
41
|
+
- pattern: 目
|
|
42
|
+
position: after
|
|
43
|
+
- pattern: 条
|
|
44
|
+
position: after
|
|
45
|
+
- pattern: 項
|
|
46
|
+
position: after
|
|
47
|
+
- pattern: 号
|
|
48
|
+
position: after
|
|
49
|
+
- pattern: 問
|
|
50
|
+
position: after
|
|
@@ -0,0 +1,21 @@
|
|
|
1
|
+
# 雛形の空欄の括弧に書く語。【会社名】【氏名】。括弧の中がこの語そのものか、この語で始まって空白が続くときに数える。
|
|
2
|
+
# 例として置く「○○」は正しい書き方なので入れない(官公庁の文書は記入例に使う)。
|
|
3
|
+
id: placeholder-word
|
|
4
|
+
language: ja
|
|
5
|
+
entries:
|
|
6
|
+
- pattern: 氏名
|
|
7
|
+
- pattern: 名前
|
|
8
|
+
- pattern: 会社名
|
|
9
|
+
- pattern: 企業名
|
|
10
|
+
- pattern: 貴社名
|
|
11
|
+
- pattern: 担当者名
|
|
12
|
+
- pattern: 部署名
|
|
13
|
+
- pattern: 商品名
|
|
14
|
+
- pattern: 製品名
|
|
15
|
+
- pattern: サービス名
|
|
16
|
+
- pattern: 日付
|
|
17
|
+
- pattern: 金額
|
|
18
|
+
- pattern: 住所
|
|
19
|
+
- pattern: 電話番号
|
|
20
|
+
- pattern: メールアドレス
|
|
21
|
+
- pattern: ここに
|
|
@@ -0,0 +1,11 @@
|
|
|
1
|
+
# 一つの全体を分けた割合(足すと 100% になるもの)を示す語。表の見出しか、箇条書きや表のすぐ上の文・見出しにこの語があれば、その百分率を足して 100% と比べる。
|
|
2
|
+
# 「割合」「比率」は行ごとの率(利用率の割合)にも使うので入れない。
|
|
3
|
+
id: share-label
|
|
4
|
+
language: ja
|
|
5
|
+
entries:
|
|
6
|
+
- pattern: 構成比
|
|
7
|
+
- pattern: 構成割合
|
|
8
|
+
- pattern: 内訳
|
|
9
|
+
- pattern: シェア
|
|
10
|
+
- pattern: 占有率
|
|
11
|
+
- pattern: 配分
|
package/package.json
CHANGED
|
@@ -0,0 +1,53 @@
|
|
|
1
|
+
// lang-en/src/closing-quote.ts の写し。アダプタは互いに依存しないので、和文の中の英文に同じ手当てをするために置く。元とのずれは test_mixed_language_stops.ts で比べる。
|
|
2
|
+
import type { Span } from "chaffjs/plugin";
|
|
3
|
+
import { NEXT_SENTENCE_HEAD } from "./quoted-stop.ts";
|
|
4
|
+
|
|
5
|
+
/**
|
|
6
|
+
* sentence-splitter は疑問符・感嘆符の後の曲がった閉じ引用符(“Is it done?” Nobody …)と直線の一重引用符の手前で文を切る。
|
|
7
|
+
* 次の文が「”」で始まり、前の文は引用符が開いたまま終わる。
|
|
8
|
+
*
|
|
9
|
+
* 前の文が句点で終わり、次の文がそこから間を置かずに閉じ引用符(閉じ括弧も)で始まるとき、それを前の文の末尾へ戻す。
|
|
10
|
+
* 戻した後に空白と大文字が続けば文は二つのまま、何も続かなければ前の文だけ、
|
|
11
|
+
* 小文字・数字・句読点が続けば引用は文の途中にあるので一つの文につなぐ(直線の二重引用符で分割器がそうするのと同じ)。
|
|
12
|
+
* 開き引用符(“ ‘)は閉じの分類に入らない。語頭のアポストロフィ(’Tis ’90s)は後ろに字が続くので閉じと読まない。
|
|
13
|
+
*/
|
|
14
|
+
const CLOSING_RUN = /^[\p{Pf}\p{Pe}"']+/u;
|
|
15
|
+
const WORD_CHARACTER = /^[\p{L}\p{N}]/u;
|
|
16
|
+
const STOP_AT_END = /[.?!]$/u;
|
|
17
|
+
// 語頭のアポストロフィの後の大文字(’Tis)も次の文の頭。
|
|
18
|
+
const NEXT_SENTENCE = new RegExp(String.raw`^(?:${NEXT_SENTENCE_HEAD}|\s+’\p{Lu})`, "u");
|
|
19
|
+
const LEADING_SPACE = /^\s*/u;
|
|
20
|
+
|
|
21
|
+
/** 文頭の閉じ引用符の並びの長さ。後ろに字が続けば開き引用符かアポストロフィなので 0。 */
|
|
22
|
+
export const closingRunLength = (sentence: string): number => {
|
|
23
|
+
const run = CLOSING_RUN.exec(sentence)?.[0].length ?? 0;
|
|
24
|
+
return run > 0 && !WORD_CHARACTER.test(sentence.slice(run)) ? run : 0;
|
|
25
|
+
};
|
|
26
|
+
|
|
27
|
+
const follows = (text: string, previous: Span, span: Span): boolean =>
|
|
28
|
+
previous.end === span.start && STOP_AT_END.test(text.slice(previous.start, previous.end));
|
|
29
|
+
|
|
30
|
+
/** previous と span を置き換える文。閉じ引用符が戻らなければ undefined。 */
|
|
31
|
+
const reattached = (text: string, previous: Span, span: Span): Span[] | undefined => {
|
|
32
|
+
const run = follows(text, previous, span) ? closingRunLength(text.slice(span.start, span.end)) : 0;
|
|
33
|
+
if (run === 0) return undefined;
|
|
34
|
+
const quoteEnd = span.start + run;
|
|
35
|
+
const rest = text.slice(quoteEnd, span.end);
|
|
36
|
+
if (rest.trim() === "") return [{ start: previous.start, end: quoteEnd }];
|
|
37
|
+
if (!NEXT_SENTENCE.test(rest)) return [{ start: previous.start, end: span.end }];
|
|
38
|
+
const next = quoteEnd + (LEADING_SPACE.exec(rest)?.[0].length ?? 0);
|
|
39
|
+
return [
|
|
40
|
+
{ start: previous.start, end: quoteEnd },
|
|
41
|
+
{ start: next, end: span.end },
|
|
42
|
+
];
|
|
43
|
+
};
|
|
44
|
+
|
|
45
|
+
/** 文の span の並び(text 上の位置)で、文頭に取り残された閉じ引用符を前の文へ戻したもの。 */
|
|
46
|
+
export const reattachClosingQuotes = (text: string, spans: readonly Span[]): Span[] =>
|
|
47
|
+
spans.reduce<Span[]>((sentences, span) => {
|
|
48
|
+
const previous = sentences.at(-1);
|
|
49
|
+
const replaced = previous === undefined ? undefined : reattached(text, previous, span);
|
|
50
|
+
if (replaced === undefined) sentences.push(span);
|
|
51
|
+
else sentences.splice(-1, 1, ...replaced);
|
|
52
|
+
return sentences;
|
|
53
|
+
}, []);
|
|
@@ -0,0 +1,25 @@
|
|
|
1
|
+
/**
|
|
2
|
+
* 和文の中の英文(英語の要旨、英語の文献)。仮名を含まず、文字(数字と記号は数えない)の半分以上が英字。
|
|
3
|
+
* 数字を数えると「In 1997.」のような年の入った短い英文が英文でなくなる。
|
|
4
|
+
* 漢字だけなら含んでよい(英文の中の「東京」)。仮名があれば和文の一部と読む。
|
|
5
|
+
*/
|
|
6
|
+
const KANA = /[\p{Script=Hiragana}\p{Script=Katakana}]/u;
|
|
7
|
+
const LATIN = /\p{Script=Latin}/gu;
|
|
8
|
+
const LETTER = /\p{L}/gu;
|
|
9
|
+
// 英文の文末。閉じ括弧・引用符が続いてよい。断片の末尾だけを見る。
|
|
10
|
+
const ENGLISH_STOP_AT_END = /[.?!][)\]"'”’]{0,3}$/u;
|
|
11
|
+
const TAIL_LENGTH = 4;
|
|
12
|
+
|
|
13
|
+
export const isEnglishRun = (text: string): boolean => {
|
|
14
|
+
if (KANA.test(text)) return false;
|
|
15
|
+
const latin = [...text.matchAll(LATIN)].length;
|
|
16
|
+
return latin > 0 && latin * 2 >= [...text.matchAll(LETTER)].length;
|
|
17
|
+
};
|
|
18
|
+
|
|
19
|
+
/**
|
|
20
|
+
* 分割器が切った二つの断片の間が、英文と英文の切れ目か。
|
|
21
|
+
* 後ろが和文なら切れ目と読まない。「Version 2.0. を使う」「See Fig. 1. これは図」の英字の後のピリオドと見分けられないため。
|
|
22
|
+
* before は前の断片をつないだもので長くなりうるので、短い after を先に見る。
|
|
23
|
+
*/
|
|
24
|
+
export const isEnglishBoundary = (before: string, after: string): boolean =>
|
|
25
|
+
ENGLISH_STOP_AT_END.test(before.trimEnd().slice(-TAIL_LENGTH)) && isEnglishRun(after) && isEnglishRun(before);
|