language_detector 0.1.0

data/lib/textcat_ngrams/welsh.lm

@@ -0,0 +1,400 @@
+_	 78614
+a	 18113
+d	 17890
+y	 16837
+e	 14108
+n	 13902
+r	 13869
+i	 12928
+o	 9972
+l	 9188
+h	 7454
+g	 7165
+w	 7010
+t	 6296
+f	 6080
+u	 5400
+n_	 5159
+_y	 5051
+dd	 4946
+s	 4884
+r_	 4547
+m	 4364
+d_	 4223
+yn	 4082
+_a	 4020
+c	 3707
+th	 3301
+u_	 2900
+yd	 2900
+ae	 2649
+l_	 2588
+_g	 2547
+.	 2460
+'	 2458
+._	 2408
+wy	 2334
+yn_	 2331
+_d	 2307
+b	 2267
+ym	 2262
+ra	 2261
+an	 2235
+ar	 2228
+ol	 2218
+ia	 2212
+i_	 2199
+ed	 2191
+_yn	 2038
+_i	 2020
+y_	 1983
+_c	 1934
+_yn_	 1861
+ei	 1815
+it	 1796
+g_	 1787
+ith	 1779
+dd_	 1745
+h_	 1741
+ydd	 1731
+ai	 1709
+au	 1708
+'r_	 1655
+'r	 1655
+_y_	 1621
+di	 1615
+,	 1613
+,_	 1608
+da	 1585
+od	 1546
+_o	 1535
+ad	 1532
+th_	 1510
+ll	 1494
+au_	 1492
+_s	 1415
+er	 1359
+o_	 1350
+io	 1311
+a_	 1299
+ol_	 1294
+_e	 1273
+_h	 1249
+cy	 1246
+yr	 1243
+en	 1228
+p	 1217
+_f	 1212
+_cy	 1203
+mr	 1200
+gy	 1193
+ymr	 1185
+ha	 1172
+hy	 1164
+eg	 1159
+do	 1151
+edd	 1147
+G	 1134
+we	 1107
+C	 1089
+_ar	 1078
+_m	 1075
+yf	 1057
+de	 1048
+fe	 1047
+_G	 1045
+ch	 1043
+rae	 1023
+el	 1016
+no	 1010
+ni	 1010
+_b	 1009
+ne	 1001
+ef	 992
+ri	 983
+et	 978
+_C	 957
+_gy	 952
+_a_	 943
+eth	 943
+_.	 940
+_._	 939
+eit	 930
+eith	 927
+ys	 921
+wyd	 912
+ga	 901
+_i_	 893
+s_	 887
+mrae	 878
+mraeg	 878
+raeg	 878
+ymrae	 878
+aeg	 878
+ymra	 878
+mra	 878
+_p	 856
+aet	 850
+aeth	 850
+_n	 844
+un	 838
+on	 836
+ait	 833
+aith	 833
+nn	 830
+at	 827
+oe	 823
+li	 805
+_r	 801
+ddi	 795
+gw	 789
+ma	 783
+le	 777
+nt	 772
+ho	 769
+ff	 766
+yr_	 764
+na	 753
+la	 748
+rh	 747
+eg_	 734
+si	 733
+ng	 732
+dol	 732
+ro	 718
+al	 712
+_dd	 706
+wn	 705
+oed	 705
+Gy	 704
+dy	 701
+Cy	 696
+o'	 692
+ar_	 691
+ny	 690
+Gym	 678
+wr	 677
+id	 676
+_Gy	 672
+_o_	 668
+Gymr	 667
+if	 662
+ith_	 662
+_ar_	 660
+iad	 657
+_w	 657
+fo	 656
+eu	 655
+aeg_	 650
+raeg_	 650
+aith_	 648
+or	 648
+_Gym	 646
+fa	 642
+re	 638
+_Cy	 638
+_Gymr	 635
+_gw	 633
+fy	 633
+oedd	 633
+edd_	 629
+rd	 627
+od_	 622
+ac	 619
+ddo	 612
+an_	 607
+Gymra	 606
+er_	 605
+A	 604
+eth_	 601
+hw	 596
+ydd_	 591
+o'r	 586
+o'r_	 586
+es	 583
+ir	 579
+dw	 573
+go	 559
+yl	 548
+rw	 545
+aeth_	 545
+wydd	 543
+aw	 539
+_rh	 539
+dr	 537
+ly	 537
+fn	 534
+dau	 533
+_hy	 531
+t_	 531
+sg	 529
+'n	 529
+*	 528
+'n_	 523
+_*	 522
+nyd	 521
+nydd	 521
+M	 519
+st	 518
+Y	 516
+sy	 515
+yd_	 513
+lw	 512
+_ga	 508
+iai	 503
+il	 502
+_l	 499
+rt	 494
+ad_	 493
+_yr	 493
+_yr_	 492
+as	 492
+dol_	 492
+f_	 491
+dda	 491
+ig	 490
+og	 484
+wa	 479
+he	 478
+iaith	 477
+iait	 477
+oedd_	 475
+_ma	 473
+c_	 472
+Cym	 470
+te	 469
+_ym	 467
+am	 467
+_M	 465
+_ia	 462
+efn	 462
+i'	 460
+ie	 458
+_Cym	 458
+_ac	 457
+dau_	 456
+yw	 455
+ew	 453
+fr	 441
+fod	 441
+_A	 441
+du	 437
+_sy	 434
+e_	 432
+wi	 426
+Cymr	 426
+se	 425
+B	 424
+D	 424
+_Cymr	 423
+bl	 423
+lu	 420
+in	 417
+_t	 417
+tr	 414
+ac_	 413
+wed	 410
+os	 410
+_iai	 407
+_iait	 407
+el_	 405
+_ac_	 405
+rha	 404
+m_	 404
+is	 403
+on_	 401
+eu_	 393
+hi	 393
+rdd	 393
+id_	 389
+_Y	 388
+ry	 387
+odd	 387
+rwy	 387
+rf	 386
+io_	 380
+ynn	 380
+cyf	 380
+hr	 380
+_cyf	 379
+yddi	 379
+cyn	 372
+_de	 372
+rth	 371
+ru	 368
+S	 363
+wei	 363
+ysg	 362
+_B	 362
+u'	 361
+yddo	 360
+wn_	 360
+so	 359
+dio	 359
+_ei	 358
+N	 356
+dwy	 355
+_da	 353
+me	 353
+gan	 353
+gyf	 353
+w_	 352
+_o'	 351
+fer	 349
+nol	 347
+hyn	 346
+ddy	 346
+af	 346
+ta	 343
+ddol	 343
+_fe	 340
+nd	 340
+mae	 338
+_cyn	 338
+efnyd	 337
+fnydd	 337
+fny	 337
+efny	 337
+fnyd	 337
+iad_	 335
+_mae	 333
+ion	 333
+_ll	 330
+def	 330
+_gyf	 327
+nt_	 326
+i'r_	 326
+-	 326
+i'r	 326
+weith	 325
+weit	 325
+defn	 325
+defny	 325
+bo	 324
+hyd	 323
+by	 322
+_si	 321
+ir_	 321
+hau	 318
+nod	 318
+edi	 315
+I	 314
+fyd	 313
+wyr	 313
+ada	 311
+ddio	 310
+rif	 309
+sia	 307
+sa	 306
+fel	 305
+tha	 305
+_S	 302
+_ne	 302
+_u	 301
+fod_	 300
+_o'r	 300
+yg	 300
+_o'r_	 300
+_i'	 299
+ge	 299
+dia	 299

data/lib/textcat_ngrams/yiddish-utf.lm

@@ -0,0 +1,400 @@
+�	 29767
+_	 13552
+_�	 6516
+�	 4273
+�	 3670
+א	 3670
+ע	 3261
+�	 3261
+��	 2826
+ע�	 2826
+א�	 2785
+��	 2785
+י	 2565
+�	 2565
+�	 2082
+ר	 2082
+��	 2062
+י�	 2062
+�	 1857
+ט	 1857
+�	 1828
+ַ	 1828
+�	 1793
+ן	 1793
+_א	 1537
+�_	 1532
+ן_	 1532
+��	 1527
+ַ�	 1527
+אַ	 1517
+�ַ	 1517
+ר�	 1355
+��	 1355
+�	 1270
+ל	 1270
+�	 1268
+אָ	 1268
+ָ	 1268
+�ָ	 1268
+�ַ�	 1240
+אַ�	 1240
+נ	 1232
+�	 1232
+אָ�	 1229
+�ָ�	 1229
+��	 1229
+ָ�	 1229
+נ�	 1181
+��	 1181
+ו	 1116
+�	 1116
+�	 1031
+ד	 1031
+ט�	 1012
+��	 1012
+ל�	 1007
+��	 1007
+ו�	 975
+��	 975
+ד�	 965
+��	 965
+פ�	 929
+�	 929
+פ	 929
+��	 929
+�ר	 873
+ער	 873
+א�	 870
+��	 870
+ז	 868
+�	 868
+�	 832
+ס	 832
+�	 797
+ק	 797
+_א�	 784
+מ	 766
+�	 766
+_א�	 752
+��	 747
+מ�	 747
+�	 742
+ג	 742
+�	 725
+ש	 725
+ט_	 699
+�_	 699
+װ	 691
+�	 691
+װ�	 674
+��	 674
+�	 667
+ײ	 667
+��	 664
+ג�	 664
+�	 661
+ֿ	 661
+ק�	 654
+��	 654
+��	 652
+ֿ�	 652
+ש�	 651
+��	 651
+��	 643
+ז�	 643
+פֿ	 641
+�ֿ	 641
+פֿ�	 638
+�ֿ�	 638
+_אַ	 638
+ר_	 592
+�_	 592
+_ד	 560
+_ד�	 554
+,	 551
+,_	 534
+ב	 517
+�	 517
+_פ�	 502
+_פ	 502
+ב�	 472
+��	 472
+ס�	 436
+��	 436
+צ	 436
+�	 436
+צ�	 433
+��	 433
+_װ	 430
+_װ�	 429
+�	 410
+ה	 410
+�ר_	 404
+_פֿ	 404
+ער_	 404
+_מ	 400
+_מ�	 396
+גע	 390
+�ע	 390
+_ז	 390
+_ז�	 386
+�ע�	 384
+ען	 384
+גע�	 384
+�ן	 384
+ער�	 382
+�ר�	 382
+.	 374
+אי	 372
+�י	 372
+ּ	 366
+�	 366
+��	 363
+ה�	 363
+�י�	 362
+אי�	 362
+_ג	 359
+ױ	 357
+�	 357
+_ג�	 356
+ון	 349
+�ן	 349
+י_	 346
+�_	 346
+ע_	 343
+�_	 343
+�ן_	 337
+ון_	 337
+�ע	 334
+דע	 334
+_אי	 331
+ך	 330
+�	 330
+�ע�	 323
+��	 323
+דע�	 323
+ּ�	 323
+��	 322
+ײ�	 322
+ען_	 321
+�ן_	 321
+��	 320
+ױ�	 320
+�י	 317
+די	 317
+�ַ	 311
+�ַר	 311
+ײ�	 311
+�ר	 311
+ַר	 311
+ײַ	 311
+��	 311
+לע	 310
+�ע	 310
+._	 307
+-	 305
+�_	 297
+ַ_	 297
+�	 294
+כ	 294
+�ע	 290
+נע	 290
+ס_	 289
+�_	 289
+פּ	 288
+�ּ	 288
+ײַ�	 287
+�ַ�	 287
+ך_	 283
+�_	 283
+�ַ_	 274
+אַ_	 274
+ַר�	 272
+�ר�	 272
+לע�	 261
+�ע�	 261
+_ה�	 260
+_ה	 260
+_צ	 259
+�ש	 257
+יש	 257
+_צ�	 256
+זי	 254
+�י	 254
+פּ�	 252
+�ּ�	 252
+מע	 248
+�ע	 248
+_ק	 247
+נע�	 247
+�ע�	 247
+טע	 245
+�ע	 245
+_ק�	 245
+או	 244
+�ו�	 244
+�ו	 244
+או�	 244
+�ל	 238
+על	 238
+�א	 235
+הא	 235
+הא�	 235
+שט	 235
+�ט	 235
+�א�	 235
+כ�	 234
+��	 234
+_ב�	 231
+�ער	 231
+_ב	 231
+ַנ	 229
+�נ	 229
+�נ�	 228
+ַנ�	 228
+_או	 227
+_גע	 226
+�	 219
+ם	 219
+"	 218
+�ע�	 217
+מע�	 217
+�ע	 217
+װע	 217
+�ל	 216
+ַל	 216
+_זי	 215
+_נ	 215
+על�	 212
+�ל�	 212
+�א	 211
+רא	 211
+_נ�	 211
+טע�	 211
+�ע�	 211
+װא	 210
+�א	 210
+_דע	 210
+�א�	 209
+װע�	 209
+װא�	 209
+�ע�	 209
+�ש�	 208
+יש�	 208
+�ק	 207
+יק	 207
+רא�	 206
+�א�	 206
+�_	 205
+ז_	 205
+�י	 196
+מי	 196
+_ש	 195
+מי�	 195
+�י�	 195
+�ַל	 193
+_ש�	 191
+ֿא	 189
+�א	 189
+�ֿא	 189
+ֿא�	 188
+�ו	 188
+ֿו�	 188
+ֿו	 188
+�ו�	 188
+�א�	 188
+�ון	 187
+�אָ	 186
+_הא	 185
+�ֿו	 184
+_ע	 179
+_די	 178
+�א	 176
+טא	 176
+טא�	 175
+�א�	 175
+ָס	 174
+�ָס	 174
+יט	 174
+�ט	 174
+�ס	 174
+ל_	 173
+�_	 173
+�י_	 173
+די_	 173
+ם_	 171
+�ל�	 171
+�_	 171
+ַל�	 171
+_ע�	 171
+�ָט	 169
+�ט	 169
+ָט	 169
+יך	 168
+�ך	 168
+�ָר	 166
+�י�	 166
+ָר	 166
+�ר	 166
+זי�	 166
+ני	 164
+ענ	 164
+�י	 164
+�נ	 164
+�י	 163
+רי	 163
+יך_	 163
+�ך_	 163
+�אָ	 162
+ענ�	 162
+�נ�	 162
+�אַ	 160
+�ט	 160
+עט	 160
+_י	 158
+�י�	 157
+�ר	 157
+רי�	 157
+יר	 157
+-�	 156
+ָס_	 155
+�ס_	 155
+�י	 154
+_מי	 154
+לי	 154
+קע	 153
+ונ	 153
+�ע	 153
+�נ	 153
+_װא	 152
+�י�	 152
+ני�	 152
+�ן	 151
+ין	 151
+אױ	 151
+�ױ	 151
+י�	 150
+�ט	 150
+�	 150
+��	 150
+יִ	 150
+�ִ	 150
+ִ	 150
+ַט	 150
+ִ�	 149
+�ִ�	 149
+��	 149
+יִ�	 149
+�י�	 148
+_י�	 148
+לי�	 148
+�ױ�	 146
+אױ�	 146
+�ַנ	 146
+_אױ	 145
+�ון	 145
+יז	 143
+�ז	 143
+�י�	 142
+די�	 142