language_detector 0.1.0

data/lib/textcat_ngrams/russian-windows1251.lm

@@ -0,0 +1,400 @@
+_	 21836
+�	 5818
+�	 4506
+�	 4258
+�	 3769
+�	 3394
+�	 3254
+�	 2594
+�	 2470
+�	 2346
+�	 2227
+�	 1798
+�	 1709
+�	 1673
+�	 1638
+�	 1377
+,	 1187
+,_	 1172
+�_	 1160
+�	 1059
+�	 1024
+�	 1006
+�_	 966
+�	 945
+_�	 937
+�	 910
+_�	 907
+�_	 896
+��	 878
+�	 856
+_�	 828
+_�	 818
+�_	 801
+�	 795
+.	 789
+._	 761
+��	 655
+��	 617
+_�	 616
+��	 575
+�	 568
+�	 565
+��	 549
+��	 526
+��	 524
+�_	 522
+_�	 521
+_�	 497
+_�	 496
+�	 484
+_��	 477
+_�	 477
+��	 472
+��	 470
+�_	 461
+��	 456
+��	 454
+��	 452
+��	 432
+��	 431
+��	 425
+�	 413
+��	 403
+��	 402
+_�	 396
+_�	 396
+��	 395
+��	 388
+��_	 384
+�_	 383
+_��	 378
+_�_	 375
+��	 369
+��	 367
+_��	 365
+�_	 364
+��	 363
+��	 357
+�_	 357
+��	 353
+��	 352
+��	 350
+��	 344
+��	 344
+�_	 343
+��	 338
+��	 337
+��	 334
+��	 330
+��	 328
+��	 326
+��	 326
+��	 323
+-	 322
+��	 320
+��	 317
+�	 312
+��	 308
+��	 308
+�_	 302
+_�	 299
+�_	 296
+��	 292
+��_	 292
+��	 291
+��	 291
+_�	 291
+��	 286
+��	 283
+��	 283
+_��	 274
+��	 264
+��	 263
+�_	 260
+��	 253
+_-	 245
+_�	 245
+�_	 244
+��	 240
+��_	 238
+��	 235
+_��_	 235
+��	 233
+��	 229
+-_	 225
+��	 219
+_�_	 217
+��	 217
+��	 215
+��	 215
+��	 211
+��	 211
+��	 211
+��	 209
+��_	 209
+��	 208
+_�	 206
+�	 206
+��	 205
+�	 205
+���	 203
+��	 203
+��	 202
+_-_	 202
+_��	 199
+_���	 199
+��	 197
+��	 197
+��_	 197
+_�	 195
+��	 192
+_�	 191
+��	 190
+��	 190
+��	 188
+��	 188
+��	 185
+_��	 184
+_�	 183
+��	 182
+_��	 181
+��	 175
+�	 174
+_��	 172
+��	 170
+_�	 169
+��_	 168
+!	 168
+���_	 165
+��	 165
+��_	 164
+��	 164
+�_	 164
+��	 163
+���	 163
+�	 162
+_���_	 162
+_��	 159
+��	 158
+��	 157
+��	 156
+��	 154
+��	 154
+���	 153
+��	 153
+��	 153
+��	 153
+��	 152
+��	 150
+_��_	 149
+�_	 148
+��	 148
+_��	 146
+��_	 146
+��_	 146
+_�	 144
+���	 143
+��	 141
+�_	 141
+��_	 141
+!_	 139
+��	 139
+��	 139
+��	 137
+���	 136
+���	 136
+���_	 135
+_��	 134
+_��	 131
+��	 131
+���	 130
+��_	 129
+�,	 128
+_��	 128
+�,_	 127
+��	 127
+��	 126
+��	 126
+_��	 126
+��	 125
+��	 125
+�	 124
+��	 123
+��	 122
+_��	 122
+_��	 121
+_��	 120
+���	 120
+��	 120
+��	 120
+_�	 119
+���	 119
+���	 119
+��	 118
+�	 117
+_���	 117
+�,	 115
+��	 115
+_��	 115
+��_	 114
+_�	 114
+�,_	 114
+_�	 113
+_�	 113
+��	 112
+���	 112
+���	 110
+��	 110
+_��	 110
+��	 109
+��	 109
+���	 109
+_���	 109
+_��	 108
+���	 108
+��	 107
+��	 107
+��	 107
+��	 106
+�,	 106
+�	 106
+��	 105
+���	 105
+��	 105
+_��	 105
+_���	 104
+��	 104
+��_	 104
+��	 104
+��	 104
+�	 103
+�,_	 103
+��	 103
+��	 102
+���	 102
+_��	 102
+_�	 101
+���	 101
+��	 101
+���	 101
+�_	 101
+���	 100
+_�_	 100
+�,	 100
+��_	 100
+���	 100
+��	 100
+��	 100
+��	 100
+_�	 100
+_�	 99
+�,	 99
+��	 99
+���	 99
+��_	 99
+_��	 99
+��	 98
+��	 98
+_��	 98
+���_	 98
+�	 97
+���	 97
+��	 97
+_�	 97
+�,_	 97
+��	 96
+_��	 96
+�,_	 96
+��	 96
+��	 96
+��_	 95
+��	 95
+��	 94
+��_	 94
+_��	 94
+��	 94
+���	 93
+��	 93
+��_	 92
+_���	 91
+��	 91
+��	 90
+��	 90
+_��	 90
+?	 90
+���	 89
+���	 89
+_�_	 89
+��	 89
+�,	 89
+��	 88
+�	 88
+_���	 88
+��	 88
+��	 88
+��_	 87
+���	 87
+�,_	 87
+��_	 86
+�,	 86
+�,_	 86
+���	 86
+���	 86
+���	 86
+��	 86
+�	 86
+��	 85
+��_	 85
+���	 85
+��	 84
+_��_	 84
+_���	 84
+��	 84
+_���	 84
+_�	 84
+�_	 83
+��	 83
+��	 83
+�	 83
+���	 82
+��_	 82
+"	 82
+���	 82
+���_	 81
+���	 81
+���	 81
+��	 81
+��	 81
+���	 81
+���	 81
+���	 80
+��_	 79
+���	 79
+���	 79
+����	 79
+���	 79
+���	 79
+���	 79
+_��	 78
+���	 78
+_��	 78
+�.	 77
+_��	 77
+�._	 76
+�.	 76
+_��	 76
+��	 76
+��	 76
+��	 76
+���	 76
+�,	 75
+�	 75
+��_	 75
+�,_	 75
+��_	 75
+��	 74
+_��	 74
+���	 74
+��	 74
+��	 74

data/lib/textcat_ngrams/sanskrit.lm

@@ -0,0 +1,400 @@
+a	 15017
+_	 14975
+h	 5028
+i	 3820
+t	 2976
+s	 2788
+r	 2599
+|	 2437
+n	 2432
+aa	 2276
+ha	 2007
+m	 1982
+a_	 1802
+v	 1799
+d	 1768
+u	 1629
+y	 1599
+_|	 1470
+|_	 1470
+e	 1403
+k	 1371
+sh	 1330
+ra	 1243
+p	 1213
+va	 1152
+A	 1134
+ya	 1120
+ma	 1097
+na	 1091
+ar	 1080
+ta	 1054
+M	 1050
+.	 1047
+am	 1037
+an	 1006
+||	 967
+||_	 965
+_||	 965
+_||_	 963
+at	 962
+M_	 946
+as	 910
+_s	 882
+o	 848
+b	 844
+i_	 827
+aM	 764
+aM_	 685
+c	 630
+ch	 629
+sa	 623
+N	 616
+ad	 612
+H	 601
+pa	 595
+H_	 584
+g	 580
+_n	 579
+l	 554
+bh	 552
+hi	 547
+ka	 542
+it	 536
+ii	 535
+ama	 519
+_|_	 505
+e_	 477
+_p	 475
+dh	 475
+av	 469
+ak	 445
+aH	 444
+da	 440
+aH_	 439
+ay	 437
+j	 437
+_na	 432
+ana	 430
+hh	 428
+ti	 426
+ara	 425
+aa_	 410
+_k	 394
+shh	 389
+_v	 388
+_sa	 381
+.h	 379
+ah	 369
+_b	 368
+h_	 363
+.h_	 363
+cha	 362
+haa	 361
+_t	 358
+ri	 352
+sha	 345
+ap	 333
+vi	 330
+is	 329
+^	 321
+o_	 321
+_m	 320
+ai	 311
+_d	 311
+la	 302
+na_	 301
+.n	 298
+ava	 295
+al	 294
+_sh	 291
+ja	 288
+a.	 280
+aan	 277
+ish	 274
+aN	 273
+aya	 273
+ash	 266
+ha_	 265
+ga	 264
+st	 255
+ni	 255
+ii_	 254
+hu	 253
+Na	 253
+R	 248
+R^	 248
+^i	 247
+R^i	 247
+a.n	 243
+th	 241
+_c	 240
+_ch	 239
+maa	 238
+bha	 237
+vaa	 233
+ab	 228
+ir	 226
+\	 226
+ita	 223
+uu	 222
+dha	 220
+har	 218
+_a	 216
+_bh	 216
+nam	 212
+u_	 212
+he	 212
+m.h_	 211
+m.	 211
+m.h	 211
+ur	 210
+es	 209
+ata	 208
+te	 206
+yaa	 205
+_ma	 204
+esh	 202
+aka	 200
+id	 199
+pr	 199
+aha	 198
+hy	 198
+T	 197
+aat	 197
+_OM_	 196
+OM	 196
+_O	 196
+_OM	 196
+OM_	 196
+O	 196
+ti_	 195
+ari	 194
+raa	 193
+ag	 192
+_y	 192
+aas	 190
+_ta	 190
+_j	 189
+I	 189
+_na_	 187
+am.h_	 185
+am.h	 185
+am.	 185
+_pa	 183
+iv	 182
+de	 182
+ada	 178
+nd	 178
+_cha	 177
+_h	 176
+ati	 175
+taa	 173
+ev	 172
+nt	 171
+rii	 171
+ishh	 170
+ya_	 168
+_vi	 166
+ast	 165
+tr	 164
+abh	 164
+kh	 162
+ala	 160
+tha	 160
+apa	 160
+asa	 158
+naa	 158
+_nam	 156
+ru	 156
+A_	 155
+_ka	 154
+aar	 153
+_pr	 152
+_g	 151
+pra	 150
+ham	 150
+hha	 149
+aana	 149
+di	 149
+ra_	 147
+ik	 146
+.a	 144
+yat	 143
+ks	 143
+hA	 143
+hya	 143
+ksh	 143
+ut	 142
+sy	 141
+nama	 140
+_va	 140
+.\	 140
+paa	 140
+han	 139
+eva	 138
+U	 138
+mi	 138
+_r	 136
+_ja	 136
+asy	 135
+hr	 135
+sya	 134
+cha_	 132
+rv	 132
+tv	 130
+asya	 130
+kar	 130
+ho	 129
+yo	 129
+in	 128
+adh	 127
+yA	 127
+va_	 126
+su	 125
+_ya	 125
+shha	 124
+pu	 124
+R^it	 123
+sta	 123
+mu	 123
+^it	 123
+ty	 123
+_nama	 121
+ac	 120
+rii_	 120
+ach	 120
+aNa	 119
+tas	 119
+shi	 119
+iva	 119
+hav	 119
+tra	 118
+var	 118
+par	 118
+haM	 117
+aad	 117
+kaa	 117
+hch	 117
+mas	 117
+ai_	 117
+hc	 117
+sar	 116
+aam	 116
+_bha	 115
+_pra	 114
+et	 114
+haM_	 113
+aay	 113
+aj	 113
+ye	 113
+o.	 113
+An	 111
+arii	 111
+t.h	 110
+t.	 110
+ath	 110
+t.h_	 109
+man	 109
+te_	 108
+o.a	 108
+hara	 108
+rA	 108
+rva	 108
+tva	 108
+asta	 108
+up	 108
+shr	 107
+daa	 104
+me	 104
+dr	 104
+ram	 104
+arii_	 102
+_ni	 102
+arv	 102
+iH	 102
+hit	 101
+ras	 101
+aga	 101
+Am	 101
+mA	 101
+ba	 101
+amas	 100
+tu	 100
+yaM	 100
+ant	 99
+ud	 99
+uk	 98
+iH_	 98
+yaM_	 98
+kha	 98
+au	 98
+ira	 97
+shhT	 97
+rah	 97
+hT	 97
+hhT	 97
+D	 96
+_sar	 96
+re	 96
+eshh	 95
+sarv	 94
+amaa	 94
+and	 94
+arva	 94
+_ra	 93
+_dh	 93
+tt	 92
+tad	 92
+hm	 92
+raM_	 91
+dev	 91
+raM	 91
+C	 91
+ani	 91
+_sarv	 90
+atha	 89
+Ad	 89
+chi	 89
+tA	 88
+sarva	 88
+avi	 88
+taM	 87
+hava	 87
+anaa	 86
+vA	 86
+dd	 86
+nA	 85
+Ar	 85
+hv	 85
+taM_	 85
+dhi	 84
+ksha	 84
+ip	 84
+ma_	 84
+_sha	 84
+ati_	 83
+yai	 83
+vat	 83
+At	 83
+kR	 82
+kR^	 82
+bhi	 82
+_shr	 82
+to	 82
+ta_	 82
+br	 82
+ek	 82
+kR^i	 82
+tat	 81
+nta	 81
+hma	 81
+aaya	 80
+tam	 80
+en	 80
+us	 79
+bra	 79
+ke	 79
+kt	 79
+ddh	 79
+mo	 79