language_detector 0.1.0

data/lib/textcat_ngrams/french.lm

@@ -0,0 +1,400 @@
+_	 20800
+e	 7258
+i	 4051
+s	 4003
+a	 3972
+n	 3903
+r	 3650
+t	 3590
+u	 2968
+o	 2823
+l	 2723
+e_	 2632
+d	 2241
+s_	 1721
+_d	 1693
+c	 1663
+p	 1528
+�	 1320
+m	 1297
+es	 1164
+t_	 1106
+_l	 1079
+de	 1048
+on	 959
+_de	 940
+en	 939
+_p	 852
+nt	 825
+le	 808
+es_	 791
+re	 777
+,	 721
+,_	 720
+n_	 703
+de_	 685
+'	 670
+an	 667
+_de_	 645
+v	 641
+_s	 610
+r_	 596
+_c	 594
+er	 585
+ai	 575
+_a	 558
+_e	 554
+ou	 554
+q	 549
+qu	 538
+is	 530
+te	 528
+ti	 525
+ur	 519
+it	 514
+g	 498
+a_	 490
+f	 480
+la	 476
+in	 475
+_le	 441
+me	 436
+nt_	 432
+.	 427
+b	 427
+ra	 423
+io	 416
+ent	 415
+._	 404
+ne	 395
+ns	 392
+ion	 383
+h	 381
+ue	 376
+se	 371
+le_	 370
+ar	 370
+ie	 362
+co	 361
+at	 359
+tr	 359
+et	 349
+pr	 342
+ce	 336
+au	 328
+u_	 321
+il	 314
+_r	 313
+_la	 304
+un	 303
+eu	 303
+st	 300
+re_	 296
+ro	 290
+la_	 288
+on_	 287
+_m	 286
+_la_	 283
+que	 281
+_qu	 280
+_q	 280
+po	 275
+tio	 273
+tion	 273
+pa	 273
+li	 271
+_t	 269
+nc	 268
+si	 266
+_pr	 265
+ri	 264
+al	 263
+ui	 262
+_co	 259
+i_	 255
+ta	 255
+�_	 251
+x	 247
+em	 244
+l_	 243
+et_	 238
+_l'	 236
+l'	 236
+les	 233
+ns_	 233
+ir	 232
+_le_	 228
+ent_	 227
+or	 226
+r�	 224
+_f	 224
+ne_	 222
+�	 221
+ve	 220
+ch	 220
+it_	 219
+di	 219
+oi	 217
+-	 216
+ni	 215
+�_	 215
+les_	 215
+d'	 214
+el	 212
+ss	 212
+_n	 212
+ut	 211
+our	 210
+des	 210
+"	 208
+ur_	 207
+nd	 207
+er_	 206
+ait	 206
+ion_	 204
+rs	 202
+_en	 201
+_et	 200
+j	 200
+_d'	 200
+ll	 199
+_des	 198
+des_	 197
+_pa	 197
+t�	 196
+_et_	 195
+_�	 195
+_�_	 195
+om	 193
+ma	 192
+ati	 190
+_des_	 189
+L	 188
+so	 187
+_u	 185
+�	 184
+_"	 183
+sa	 182
+_po	 181
+tre	 181
+d�	 181
+ue_	 180
+pe	 179
+en_	 179
+ont	 178
+_un	 178
+_L	 178
+us	 176
+_les	 176
+_les_	 176
+rt	 176
+is_	 173
+_i	 173
+du	 172
+e,_	 171
+e,	 171
+na	 171
+s,	 170
+s,_	 170
+as	 169
+men	 169
+M	 167
+ait_	 167
+'a	 166
+vi	 162
+ci	 159
+ant	 158
+_au	 158
+da	 157
+_M	 157
+ation	 155
+atio	 155
+con	 154
+que_	 153
+ons	 153
+eur	 151
+est	 149
+me_	 149
+mi	 149
+par	 148
+tion_	 148
+_so	 147
+te_	 147
+res	 144
+lo	 144
+ment	 144
+�s	 144
+ans	 143
+_du	 142
+du_	 141
+ux	 141
+un_	 140
+y	 138
+pro	 138
+_du_	 136
+_d�	 136
+ce_	 135
+_se	 134
+_re	 134
+pl	 133
+A	 132
+ge	 131
+ic	 131
+su	 130
+x_	 129
+ien	 129
+nce	 129
+"_	 129
+ac	 128
+il_	 128
+qui	 128
+_pro	 127
+no	 127
+av	 126
+_v	 125
+_o	 125
+rs_	 125
+ans_	 124
+eme	 124
+bl	 123
+emen	 122
+_en_	 122
+iqu	 122
+ct	 122
+iq	 122
+lle	 122
+nn	 121
+ts	 121
+ement	 121
+�t	 120
+_"_	 120
+�r	 119
+t�_	 119
+_ce	 119
+mp	 119
+ire	 119
+ui_	 119
+to	 118
+he	 117
+_�	 117
+ca	 117
+_j	 116
+ec	 116
+va	 116
+_par	 116
+�e	 115
+_con	 115
+se_	 114
+tre_	 113
+ique	 112
+dan	 111
+�c	 111
+ha	 110
+une	 110
+P	 110
+lu	 110
+ux_	 109
+_b	 108
+s.	 108
+pou	 108
+_pou	 108
+ier	 107
+C	 107
+ais	 106
+s._	 105
+ain	 104
+_un_	 104
+nte	 103
+'e	 103
+mo	 103
+mm	 103
+ment_	 102
+une_	 102
+com	 101
+_P	 101
+'i	 101
+_ma	 100
+do	 99
+ant_	 98
+anc	 98
+che	 97
+ap	 97
+ont_	 97
+_que	 97
+os	 97
+urs	 96
+_di	 96
+fi	 96
+im	 96
+pour	 96
+_pour	 96
+�	 95
+ts_	 95
+_g	 95
+our_	 94
+_sa	 94
+ntr	 94
+_da	 94
+_r�	 93
+rai	 93
+rm	 93
+_qui	 93
+e.	 92
+am	 92
+_com	 91
+uv	 91
+_C	 91
+D	 91
+qui_	 90
+e._	 90
+pu	 89
+_qui_	 88
+ia	 87
+_dan	 87
+_dans	 87
+dans	 87
+ter	 87
+fo	 87
+son	 87
+dans_	 87
+id	 86
+ag	 86
+ine	 86
+tu	 85
+ran	 85
+au_	 85
+ol	 85
+oc	 84
+est_	 84
+st_	 84
+enc	 84
+F	 82
+_tr	 81
+'u	 81
+tai	 81
+ell	 80
+R	 79
+_su	 79
+S	 79
+ions	 79
+pr�	 79
+s�	 78
+ab	 78
+n�	 77
+_que_	 77
+_in	 77
+_av	 76
+pour_	 76
+fa	 76
+rr	 76
+air	 75
+_ch	 75
+_a_	 75
+ba	 74
+_pl	 74
+gr	 74
+tt	 74
+ssi	 74
+rd	 73
+pas	 73
+bi	 73

data/lib/textcat_ngrams/frisian.lm

@@ -0,0 +1,400 @@
+_	 46446
+e	 15767
+n	 9616
+i	 7837
+a	 7830
+t	 7562
+r	 7297
+s	 6307
+o	 4784
+n_	 4595
+d	 4564
+e_	 4213
+l	 4032
+k	 3951
+t_	 3079
+en	 2863
+m	 2605
+er	 2492
+y	 2462
+f	 2371
+_d	 2253
+de	 2124
+h	 1943
+in	 1899
+w	 1898
+en_	 1857
+_i	 1815
+u	 1769
+g	 1738
+an	 1690
+j	 1678
+p	 1651
+r_	 1619
+_f	 1602
+.	 1601
+ar	 1561
+te	 1545
+b	 1488
+s_	 1476
+._	 1435
+_s	 1370
+de_	 1235
+_de	 1224
+_w	 1181
+it	 1172
+ie	 1140
+,	 1078
+_o	 1056
+,_	 1056
+oa	 1045
+_e	 1040
+st	 1038
+an_	 1010
+_b	 972
+_de_	 965
+ke	 949
+_m	 947
+_t	 933
+ne	 920
+er_	 895
+at	 863
+sk	 856
+c	 850
+it_	 848
+_h	 838
+ei	 832
+k_	 817
+yn	 790
+ch	 784
+le	 772
+is	 769
+je	 765
+el	 761
+me	 758
+ea	 754
+_k	 740
+fa	 736
+in_	 735
+'	 733
+_it	 733
+_it_	 727
+ge	 727
+re	 725
+al	 724
+_fa	 684
+yn_	 640
+aa	 628
+fan	 626
+_y	 618
+ar_	 617
+et	 616
+ri	 615
+_fan	 613
+_n	 612
+li	 611
+_yn	 610
+_en	 598
+fan_	 594
+oe	 589
+_fan_	 584
+_en_	 583
+at_	 581
+_in	 570
+oar	 565
+_in_	 560
+y_	 555
+F	 549
+es	 540
+_a	 536
+ng	 523
+be	 514
+sj	 512
+nt	 510
+l_	 510
+_F	 506
+ns	 506
+D	 499
+te_	 499
+der	 497
+_yn_	 497
+ti	 493
+ek	 490
+ro	 476
+rs	 474
+rd	 473
+se	 470
+fo	 470
+ys	 462
+op	 461
+�	 461
+we	 456
+ry	 451
+da	 445
+d_	 443
+is_	 442
+_D	 440
+ur	 433
+i_	 432
+ha	 426
+_me	 425
+ear	 422
+_l	 417
+ed	 410
+as	 409
+om	 407
+ei_	 406
+Fr	 405
+nd	 404
+_fo	 394
+_p	 393
+oc	 390
+rys	 389
+ol	 386
+_Fr	 386
+och	 383
+fe	 381
+ik	 379
+ma	 379
+ra	 377
+nn	 374
+_g	 368
+_da	 367
+di	 363
+ts	 362
+ta	 361
+a_	 360
+ko	 359
+et_	 358
+ysk	 356
+Fry	 354
+Frys	 354
+z	 354
+ll	 350
+_be	 349
+ke_	 348
+I	 347
+ing	 346
+_'	 345
+m_	 343
+h_	 340
+ske	 339
+_ha	 338
+sje	 336
+_Fry	 336
+_Frys	 336
+wi	 335
+_op	 334
+p_	 334
+_is	 333
+ch_	 333
+tr	 330
+ten	 328
+ers	 327
+wa	 325
+ter	 322
+ji	 322
+rysk	 319
+_ne	 319
+je_	 312
+foa	 311
+�	 309
+jo	 307
+_is_	 307
+ste	 307
+_te	 306
+�	 301
+n.	 301
+nne	 300
+rt	 300
+foar	 299
+S	 299
+mei	 299
+_r	 298
+_oa	 297
+wu	 293
+ak	 291
+si	 290
+wur	 290
+ni	 290
+pe	 288
+Frysk	 287
+oan	 286
+n._	 285
+_mei	 284
+der_	 281
+_foar	 281
+_foa	 281
+ht	 278
+cht	 277
+-	 275
+�	 275
+_j	 274
+ne_	 273
+ken	 273
+fer	 271
+�n	 270
+am	 270
+on	 268
+nde	 264
+_S	 264
+B	 262
+ki	 261
+id	 261
+le_	 261
+dat	 260
+v	 259
+_I	 256
+oar_	 255
+op_	 254
+lle	 252
+la	 244
+tt	 243
+dat_	 242
+_fe	 242
+mm	 240
+inn	 239
+_wi	 239
+_dat	 237
+g_	 236
+mei_	 236
+al_	 235
+_B	 234
+e.	 234
+ld	 231
+_al	 230
+_wur	 230
+urd	 230
+_wu	 230
+_op_	 230
+De	 229
+inne	 228
+ng_	 227
+_mei_	 227
+'t	 226
+ks	 226
+'t_	 224
+_dat_	 224
+_ko	 223
+_st	 220
+�n	 219
+rk	 219
+sa	 219
+e._	 219
+tte	 218
+en.	 218
+n,	 217
+ier	 216
+ten_	 216
+_fer	 215
+mi	 215
+hi	 215
+ien	 214
+_wa	 213
+n,_	 213
+no	 213
+_te_	 212
+ig	 212
+_De	 212
+ske_	 212
+_der	 212
+W	 211
+H	 211
+_oan	 210
+ee	 209
+dy	 208
+ek_	 207
+en._	 207
+ic	 207
+mme	 206
+yk	 204
+pr	 204
+net	 203
+foar_	 203
+he	 203
+wurd	 201
+_der_	 199
+jen	 199
+_dy	 199
+kr	 198
+ka	 197
+im	 196
+_H	 196
+il	 196
+ze	 196
+_ma	 195
+by	 194
+oer	 194
+kt	 193
+us	 193
+M	 193
+sk_	 192
+wo	 192
+_hi	 191
+or	 190
+ing_	 190
+_W	 190
+ich	 189
+De_	 187
+rr	 186
+int	 185
+_�	 184
+:	 184
+ij	 184
+_ek	 183
+eg	 182
+:_	 180
+gen	 180
+as_	 180
+_se	 179
+e,	 178
+_net	 177
+e,_	 177
+ins	 177
+N	 177
+ls	 176
+st_	 176
+_wurd	 176
+ie_	 175
+E	 175
+nne_	 175
+_De_	 175
+sy	 175
+wer	 174
+gr	 174
+f_	 173
+nk	 172
+och_	 172
+net_	 169
+ad	 169
+_we	 169
+rde	 168
+sl	 168
+bi	 168
+of	 168
+so	 168
+_no	 167
+_ta	 167
+re_	 167
+to	 167
+den	 167
+J	 167
+t.	 166
+It	 165
+�t	 165
+inne_	 165
+ysk_	 165
+lik	 164
+sp	 163
+_ek_	 162
+ou	 162
+tsj	 162
+It_	 161
+_sa	 160
+A	 160
+wol	 160
+l�	 159
+_wo	 159
+ge_	 159
+l�n	 159
+ige	 158