scylla 0.7.5 → 0.8.0

data/test/fixtures/lms/japanese.lm

@@ -6,10 +6,10 @@
 �	4811
 �	4488
 �	3670
-_	3230
 �	2935
 �	2486
 �	2486
+_	2244
 �	2136
 �	2083
 �	2033
@@ -20,8 +20,8 @@ _	3230
 �	1647
 ��	1544
 、	1537
-��	1523
 の	1523
+��	1523
 �	1496
 �	1410
 �	1400
@@ -49,26 +49,25 @@ _	3230
 る	966
 ��	966
 �	958
-��	944
+��	943
 �	901
-__	890
 �	836
 �	823
 �	813
 �	804
 �	799
 �	795
-��	791
-��	784
+��	783
 �	780
 �	772
 �	767
 が	763
 ��	763
-��	757
+��	756
 �	743
+��	729
 �	716
-��	712
+��	711
 �	710
 �	708
 と	704
@@ -77,8 +76,8 @@ __	890
 �	696
 �	695
 �	695
-。	681
 ��	681
+。	681
 �	669
 国	659
 ��	659
@@ -89,66 +88,66 @@ __	890
 ��	637
 を	637
 ��	634
-��	627
 し	627
+��	627
 �	622
-�	619
 �	619
+�	619
 た	616
 ��	616
 ��	613
 て	613
 �	611
-��	604
 い	604
-��	604
+��	604
 し�	600
 ���	600
 �	596
-��	592
+��	591
+��	589
 �	584
-る�	582
 ���	582
-日	580
+る�	582
 ��	580
-な	579
+日	580
 ��	579
+な	579
 �	576
 ��	563
 �	559
-��	554
+��	553
 は	552
 �	547
-��	535
-��	532
-い�	529
-���	529
+��	534
+���	528
+い�	528
 ��	519
+��	518
 �	515
-で	513
 ��	513
-��	513
+で	513
 本	513
+��	513
 �	510
-���	509
 と�	509
+���	509
 ��	507
 ��	504
 �	492
-れ	490
 ��	490
+れ	490
 �	484
-���	483
 し�	483
+���	483
 ���	480
 日�	480
 ��	471
 �	470
-���	469
 日�	469
-�本	466
+���	469
 ��本	466
 �	466
+�本	466
 れ�	465
 ���	465
 ��	461
@@ -161,19 +160,20 @@ __	890
 ��	439
 �	436
 ��	434
-���	420
 な�	420
-��	419
+���	420
 ���	419
+��	419
 と�	419
-��	417
-���	407
+��	416
 の�	407
+���	407
 に�	402
 ���	402
 ��	395
 ���	392
 て�	392
+_�	386
 ��	383
 ���	382
 �	379
@@ -189,135 +189,136 @@ __	890
 ��	366
 ��	365
 �	364
-���	360
 る�	360
-��	359
+���	360
 ��	358
-��	358
+��	358
 ��	356
 ��	355
-��	354
-���	349
 な�	349
-��	347
+���	349
+��	347
 �	347
-�。	342
+��	345
 ��。	342
+�。	342
 ��	338
 ��	336
-、�	335
 ��	335
+、�	335
 ���	335
 �	334
+��	333
 ��	333
-��	331
+��	330
 ��	330
-（	329
-��	329
 ���	329
+��	329
 は�	329
+（	329
 ）	328
 ��	327
 ��	324
 ら	323
-���	323
 ��	323
+���	323
 ��	321
 あ	320
 あ�	320
-��	316
-て�	316
 ���	316
-も	316
 ��	316
+て�	316
+も	316
 ��	315
-、�	313
 ���	313
-「	311
-��	311
+、�	313
+��	313
 」	311
-��	309
+��	311
+「	311
 ��	309
+��	309
 �	308
-��	308
+��	307
 国�	306
 ���	306
-��	306
 ���	305
 の�	305
+��	305
 �、	302
-_�	301
 ��、	300
 �	298
-で�	297
 ���	297
+で�	297
 あ�	284
 ���	284
 ��	281
-��	279
+��	278
 ��	277
 ��	276
 れ�	274
 ���	274
-��	273
 か	273
+��	273
 ��	272
 す	272
-��	270
 年	270
+��	270
 ���	269
 か�	268
-���	266
-」�	263
 �	263
 ��	262
 �	262
-���	261
 す�	261
-���	258
-��	257
-）�	256
+���	261
 ���	255
-��	254
+��	254
+��	253
+���	252
 ��	251
 ���	250
-���	250
+�_	250
 本�	250
-��	246
-�て	246
-��て	246
+���	250
+」�	249
 す�	246
+��	246
 ��	246
+��て	246
 ���	246
+_�	246
+�て	246
+�本�	245
 �	245
 �	245
-�本�	245
+��_	245
+。_	245
+���	244
+）�	242
 �る	242
 ��る	242
 ��	241
-い�	240
-���	240
+���	239
+い�	239
+��	238
 っ	238
 �	238
-��	238
-��	237
 っ�	237
-ア	237
-��	237
+��	237
 っ�	237
 ��	237
+ア	237
 ��	236
-・	235
-��	235
+��	236
 ��	235
-�	233
+_�	235
+��	235
+・	235
 �	233
+�	233
 �い	232
 �い�	231
-_�	231
 _年	231
-。�	230
-���	230
 �	230
 �	230
 ��	229
@@ -326,19 +327,18 @@ _年	231
 ��い	228
 ��	225
 ���	224
-��	223
-��	223
-��	223
 ��	223
+��	223
+��	223
 ��	222
-��	220
 に�	220
+��	220
 ��	219
 ���	218
 さ	217
-���	215
-国�	215
 さ�	215
+国�	215
+���	215
 �	215
 �る	214
 ��る	213
@@ -349,52 +349,52 @@ _年	231
 い�	208
 ���	208
 ��	207
-�	205
 �	205
+�	205
 ���	202
-���	201
 に�	201
+���	201
 ��	199
 ��	199
-��	198
 ��	197
 り	197
 ��	196
+��	195
 本�	194
 ���	194
-�	193
-���	193
-��る	193
-��	193
 さ�	193
+��る	193
+�	193
 �る	193
+��	193
 �	193
-��	192
+���	193
 ��	192
-が�	191
+��	192
+���	191
+���	191
 人	191
+が�	191
 ��	191
 ア�	191
-���	191
-���	191
-中	190
 ��	190
-��	188
+中	190
 ��	188
+��	188
 ���	187
 か�	187
-��	185
+�れ	185
 ��	185
-��れ	185
 ��	185
-�れ	185
-��	184
-��	182
-�れ�	182
+��れ	185
+��	185
+��	182
 ��	182
+�れ�	182
+��	182
+��あ	181
 �	181
 �あ�	181
-��あ	181
-��	181
 �あ	181
 ど	180
+��	180