scylla 0.9.3 → 1.0.0

Sign up to get free protection for your applications and to get access to all the features.
Files changed (79) hide show
  1. data/lib/scylla/lms/arabic.lm +399 -399
  2. data/lib/scylla/lms/bulgarian.lm +400 -400
  3. data/lib/scylla/lms/catalan.lm +323 -323
  4. data/lib/scylla/lms/chinese.lm +389 -389
  5. data/lib/scylla/lms/czech.lm +377 -377
  6. data/lib/scylla/lms/danish.lm +383 -383
  7. data/lib/scylla/lms/dutch.lm +398 -398
  8. data/lib/scylla/lms/english.lm +355 -355
  9. data/lib/scylla/lms/finnish.lm +381 -381
  10. data/lib/scylla/lms/french.lm +379 -379
  11. data/lib/scylla/lms/german.lm +382 -382
  12. data/lib/scylla/lms/greek.lm +400 -400
  13. data/lib/scylla/lms/hebrew.lm +400 -400
  14. data/lib/scylla/lms/hindi.lm +400 -400
  15. data/lib/scylla/lms/icelandic.lm +219 -219
  16. data/lib/scylla/lms/indonesian.lm +364 -364
  17. data/lib/scylla/lms/italian.lm +381 -381
  18. data/lib/scylla/lms/japanese.lm +400 -400
  19. data/lib/scylla/lms/kannada.lm +392 -392
  20. data/lib/scylla/lms/korean.lm +389 -389
  21. data/lib/scylla/lms/marathi.lm +364 -364
  22. data/lib/scylla/lms/norwegian.lm +325 -325
  23. data/lib/scylla/lms/persian.lm +397 -397
  24. data/lib/scylla/lms/polish.lm +380 -380
  25. data/lib/scylla/lms/portuguese.lm +375 -375
  26. data/lib/scylla/lms/romanian.lm +318 -318
  27. data/lib/scylla/lms/russian.lm +398 -398
  28. data/lib/scylla/lms/slovak.lm +358 -358
  29. data/lib/scylla/lms/slovenian.lm +256 -256
  30. data/lib/scylla/lms/spanish.lm +353 -353
  31. data/lib/scylla/lms/swedish.lm +400 -400
  32. data/lib/scylla/lms/tagalog.lm +245 -245
  33. data/lib/scylla/lms/thai.lm +400 -400
  34. data/lib/scylla/lms/turkish.lm +379 -379
  35. data/lib/scylla/lms/vietnamese.lm +373 -373
  36. data/lib/scylla/lms/welsh.lm +293 -293
  37. data/test/classifier_test.rb +5 -3
  38. data/test/fixtures/lms/arabic.lm +400 -0
  39. data/test/fixtures/lms/bulgarian.lm +400 -0
  40. data/test/fixtures/lms/catalan.lm +400 -0
  41. data/test/fixtures/lms/chinese.lm +400 -0
  42. data/test/fixtures/lms/czech.lm +400 -0
  43. data/test/fixtures/lms/danish.lm +399 -399
  44. data/test/fixtures/lms/dutch.lm +400 -0
  45. data/test/fixtures/lms/english.lm +400 -400
  46. data/test/fixtures/lms/finnish.lm +400 -0
  47. data/test/fixtures/lms/french.lm +397 -397
  48. data/test/fixtures/lms/german.lm +400 -400
  49. data/test/fixtures/lms/greek.lm +400 -0
  50. data/test/fixtures/lms/hebrew.lm +400 -0
  51. data/test/fixtures/lms/hindi.lm +400 -400
  52. data/test/fixtures/lms/icelandic.lm +400 -0
  53. data/test/fixtures/lms/indonesian.lm +400 -0
  54. data/test/fixtures/lms/italian.lm +400 -400
  55. data/test/fixtures/lms/japanese.lm +400 -400
  56. data/test/fixtures/lms/kannada.lm +400 -0
  57. data/test/fixtures/lms/korean.lm +400 -0
  58. data/test/fixtures/lms/marathi.lm +400 -0
  59. data/test/fixtures/lms/norwegian.lm +399 -399
  60. data/test/fixtures/lms/persian.lm +400 -0
  61. data/test/fixtures/lms/polish.lm +400 -0
  62. data/test/fixtures/lms/portuguese.lm +400 -0
  63. data/test/fixtures/lms/romanian.lm +400 -0
  64. data/test/fixtures/lms/russian.lm +400 -0
  65. data/test/fixtures/lms/slovak.lm +400 -0
  66. data/test/fixtures/lms/slovenian.lm +400 -0
  67. data/test/fixtures/lms/spanish.lm +400 -400
  68. data/test/fixtures/lms/swedish.lm +400 -0
  69. data/test/fixtures/lms/tagalog.lm +400 -0
  70. data/test/fixtures/lms/thai.lm +400 -0
  71. data/test/fixtures/lms/turkish.lm +400 -0
  72. data/test/fixtures/lms/vietnamese.lm +400 -0
  73. data/test/fixtures/lms/welsh.lm +400 -0
  74. data/test/fixtures/test_languages/japanese +149 -67
  75. data/test/generator_test.rb +1 -43
  76. data/test/language_test.rb +5 -1
  77. data/test/loader_test.rb +1 -1
  78. data/test/scylla_test.rb +4 -4
  79. metadata +105 -63
@@ -1,400 +1,400 @@
1
- 35647
2
- _ 15908
3
- _� 7940
4
- י 4056
5
- 4056
6
- ו 3894
7
- 3894
8
- �� 3515
9
- י� 3515
10
- ו� 3440
11
- �� 3440
12
- 3213
13
- ה 3213
14
- ל 2379
15
- 2379
16
- 2333
17
- ת 2333
18
- 2141
19
- ב 2141
20
- ר 2085
21
- 2085
22
- מ 2075
23
- 2075
24
- �� 2055
25
- ה� 2055
26
- �� 2036
27
- מ� 2036
28
- 1847
29
- ש 1846
30
- ב� 1827
31
- �� 1827
32
- �� 1732
33
- ש� 1732
34
- �� 1671
35
- ר� 1671
36
- 1641
37
- 1598
38
- א 1598
39
- �� 1516
40
- ל� 1516
41
- ת_ 1506
42
- �_ 1506
43
- �� 1411
44
- א� 1411
45
- נ 1193
46
- 1193
47
- נ� 1192
48
- �� 1192
49
- ה_ 1158
50
- _ 1158
51
- 1112
52
- 1109
53
- ע 1109
54
- 1016
55
- �_ 1016
56
- ם_ 1016
57
- ם 1016
58
- �� 1009
59
- ע� 1009
60
- 902
61
- ד 892
62
- ח 888
63
- 888
64
- �_ 862
65
- ל_ 862
66
- ת� 826
67
- �� 826
68
- �ת 821
69
- ח� 815
70
- �� 815
71
- 787
72
- כ 785
73
- 785
74
- כ� 739
75
- �� 739
76
- ד� 708
77
- �� 708
78
- 692
79
- פ 692
80
- פ� 688
81
- �� 688
82
- 631
83
- ק 629
84
- �ם 618
85
- 604
86
- 594
87
- _ו 572
88
- �_ 541
89
- י_ 541
90
- �� 537
91
- ק� 537
92
- 533
93
- ג 533
94
- �� 497
95
- ג� 497
96
- 491
97
- ס 491
98
- 461
99
- �� 459
100
- צ 459
101
- צ� 459
102
- ו_ 453
103
- �� 453
104
- ס� 453
105
- �_ 453
106
- _א 415
107
- ר_ 412
108
- �_ 412
109
- �א 403
110
- ן_ 391
111
- ן 391
112
- �ש 391
113
- �_ 391
114
- 391
115
- �י 388
116
- _י 386
117
- �ר 377
118
- 369
119
- ט 369
120
- �ל 367
121
- 356
122
- �ו 329
123
- �� 328
124
- ט� 328
125
- �ת 317
126
- ב_ 311
127
- �_ 311
128
- �י 306
129
- �י 303
130
- �ל 297
131
- 297
132
- 280
133
- ז 280
134
- �י 276
135
- �נ 275
136
- �ו 272
137
- �מ 261
138
- �י 257
139
- �ו 256
140
- �י 248
141
- �י 246
142
- �ד 242
143
- �ו 241
144
- �ל 240
145
- ז� 236
146
- �� 236
147
- �ר 230
148
- �י 225
149
- �ו 218
150
- �ה 217
151
- �נ 217
152
- �ו 211
153
- �ל 200
154
- �ב 196
155
- �_ 193
156
- 184
157
- �ו 183
158
- �_ 183
159
- ד_ 183
160
- א_ 183
161
- �מ 178
162
- �ה 176
163
- �ה 175
164
- �ר 170
165
- �ע 167
166
- �י 167
167
- �ו 166
168
- �ו 166
169
- �ו 165
170
- �ש 153
171
- �ב 153
172
- �י 150
173
- �י 148
174
- �ד 145
175
- �ן 144
176
- 144
177
- �נ 143
178
- �ת 140
179
- �מ 136
180
- �ה 135
181
- 132
182
- �ת 132
183
- _ 132
184
- ך_ 132
185
- �י 132
186
- ך 132
187
- �ו 131
188
- _ח 130
189
- �ל 129
190
- �ו 127
191
- �י 125
192
- �ו 125
193
- �ר 125
194
- �ה 124
195
- �ת 123
196
- �ו 119
197
- �ת 119
198
- �ש 118
199
- 118
200
- �ש 118
201
- �ח 117
202
- �א 117
203
- _ 115
204
- ש_ 114
205
- _ג 114
206
- �ר 113
207
- �ע 112
208
- 108
209
- �י 108
210
- �א 108
211
- �ו 107
212
- �ח 106
213
- �ר 106
214
- �ר 106
215
- �א 105
216
- �ב 104
217
- �ו 102
218
- �ל 101
219
- �מ 99
220
- �ע 99
221
- ע_ 97
222
- �_ 97
223
- �ו 96
224
- 96
225
- �י 95
226
- �א 95
227
- �א 94
228
- ף 93
229
- �_ 93
230
- ף_ 93
231
- �ר 93
232
- �ה 93
233
- 93
234
- ק_ 92
235
- �_ 92
236
- �ה 91
237
- �ן 91
238
- �ש 91
239
- �ה 91
240
- �א 90
241
- �מ 88
242
- �ר 88
243
- �י 85
244
- �ם 85
245
- �ת 85
246
- �ד 84
247
- �מ 84
248
- �י 83
249
- �מ 82
250
- �ר 82
251
- �ג 81
252
- �ל 81
253
- �ש 81
254
- �ע 80
255
- �ב 79
256
- �י 79
257
- �י 79
258
- �צ 78
259
- �פ 78
260
- 77
261
- �ס 76
262
- �ס 76
263
- �ר 75
264
- �ו 75
265
- ץ_ 75
266
- �ר 75
267
- �פ 75
268
- �כ 75
269
- _ז 75
270
- �ם 75
271
- ץ 75
272
- �ק 75
273
- �_ 75
274
- �_ 73
275
- �ח 73
276
- ח_ 73
277
- �י 71
278
- �ל 70
279
- �צ 70
280
- �צ 68
281
- �ת 68
282
- �כ 68
283
- �נ 67
284
- �ת 67
285
- �ב 67
286
- �ע 67
287
- �י 67
288
- �ג 66
289
- �ח 65
290
- �פ 65
291
- 65
292
- �כ 65
293
- �ו 64
294
- �ד 63
295
- �ח 62
296
- �ק 62
297
- �ח 61
298
- �ו 61
299
- �ט 61
300
- �ו 60
301
- �ק 60
302
- �ק 60
303
- �פ 57
304
- �כ 56
305
- �ה 56
306
- �ב 55
307
- �ר 55
308
- _ס 54
309
- �ר 54
310
- �ח 54
311
- �ג 54
312
- �ת 53
313
- �ב 53
314
- 52
315
- �ע 51
316
- �ס 50
317
- �מ 50
318
- �ז 50
319
- �פ 49
320
- �ל 49
321
- �ק 48
322
- �ל 48
323
- �א 48
324
- �ה 48
325
- �ו 47
326
- �ה 47
327
- �ב 47
328
- �פ 47
329
- כ_ 46
330
- �_ 46
331
- �ב 46
332
- �נ 46
333
- �ח 45
334
- �צ 45
335
- �ת 45
336
- �נ 45
337
- �ם 45
338
- �ר 45
339
- �ח 45
340
- �ל 44
341
- �ה 44
342
- �א 44
343
- �ש 44
344
- ז_ 44
345
- �ת 44
346
- �ה 44
347
- �_ 44
348
- �ד 44
349
- �ם 44
350
- �ד 43
351
- �ה 43
352
- �ח 42
353
- �ב 42
354
- �ש 42
355
- �מ 41
356
- �ט 41
357
- �ת 41
358
- �_ 41
359
- ט_ 41
360
- �כ 40
361
- �ן 40
362
- �ק 40
363
- �ב 40
364
- �ט 39
365
- �נ 39
366
- �נ 39
367
- _ 39
368
- מ_ 39
369
- �צ 38
370
- �פ 38
371
- �מ 38
372
- �ן 38
373
- �ש 38
374
- �ג 38
375
- �ת 38
376
- �ת 38
377
- �ם 38
378
- �ב 37
379
- �ס 37
380
- �כ 37
381
- �ס 37
382
- �ט 37
383
- �ת 36
384
- �ס 36
385
- _ 36
386
- �ש 36
387
- _ 36
388
- �ף 36
389
- ס_ 36
390
- �ה 36
391
- �ל 36
392
- ג_ 36
393
- �ח 35
394
- �ע 35
395
- �ק 34
396
- �פ 34
397
- �מ 34
398
- �מ 34
399
- �מ 33
400
- �ס 33
1
+ _ 18062
2
+ י 4677
3
+ ו 4444
4
+ ה 3588
5
+ ל 2678
6
+ ת 2626
7
+ ר 2409
8
+ ב 2408
9
+ מ 2267
10
+ ש 2066
11
+ 1876
12
+ א 1819
13
+ ת_ 1690
14
+ נ 1361
15
+ ה_ 1277
16
+ ם 1246
17
+ ם_ 1246
18
+ ע 1245
19
+ _ב 1242
20
+ ח 1008
21
+ ל_ 996
22
+ ד 986
23
+ ות 935
24
+ כ 894
25
+ 875
26
+ ים 784
27
+ ים_ 784
28
+ פ 776
29
+ ות_ 761
30
+ ק 688
31
+ 674
32
+ 674
33
+ 638
34
+ י_ 616
35
+ ג 615
36
+ ס 562
37
+ ו_ 529
38
+ צ 515
39
+ 480
40
+ ר_ 475
41
+ רא 459
42
+ יש 457
43
+ 454
44
+ ן 450
45
+ ן_ 450
46
+ בי 449
47
+ שר 434
48
+ אל 423
49
+ ט 406
50
+ _ע 401
51
+ ני 368
52
+ שרא 364
53
+ ישר 363
54
+ ראל 361
55
+ יו 357
56
+ ית 348
57
+ ב_ 345
58
+ של 342
59
+ 340
60
+ די 331
61
+ אל_ 323
62
+ רו 318
63
+ ינ 317
64
+ לי 316
65
+ ז 309
66
+ המ 300
67
+ רי 294
68
+ נו 286
69
+ הי 282
70
+ _המ 280
71
+ ול 279
72
+ מי 272
73
+ ור 270
74
+ ית_ 269
75
+ יי 269
76
+ או 268
77
+ _יש 265
78
+ מו 263
79
+ מד 257
80
+ _של 249
81
+ ונ 241
82
+ של_ 236
83
+ יה 232
84
+ על 224
85
+ וב 220
86
+ הו 219
87
+ _נ 219
88
+ בו 218
89
+ _בי 213
90
+ _הי 211
91
+ ד_ 207
92
+ ומ 205
93
+ בר 202
94
+ לו 198
95
+ א_ 196
96
+ בע 192
97
+ עו 192
98
+ נה 189
99
+ לה 188
100
+ שי 186
101
+ חו 185
102
+ _ב_ 185
103
+ מדי 180
104
+ תי 178
105
+ רב 172
106
+ על_ 171
107
+ _ר 171
108
+ דינ 171
109
+ יות 169
110
+ שנ 169
111
+ אי 167
112
+ ון 163
113
+ מש 163
114
+ ון_ 163
115
+ נה_ 161
116
+ _על 159
117
+ 158
118
+ יה_ 156
119
+ נת 153
120
+ וד 150
121
+ וה 149
122
+ את 148
123
+ שו 148
124
+ כל 148
125
+ ך_ 147
126
+ ך 147
127
+ דו 145
128
+ חי 144
129
+ מה 143
130
+ _בע 139
131
+ יר 139
132
+ הת 137
133
+ תו 137
134
+ _ה_ 136
135
+ את_ 136
136
+ הש 135
137
+ קו 135
138
+ 134
139
+ במ 133
140
+ חר 132
141
+ סי 132
142
+ פי 131
143
+ 130
144
+ לא 128
145
+ אח 128
146
+ מת 128
147
+ בש 128
148
+ 127
149
+ וע 127
150
+ פר 125
151
+ לה_ 125
152
+ _ו_ 124
153
+ הח 124
154
+ פו 124
155
+ בא 124
156
+ יל 123
157
+ אר 122
158
+ נות 122
159
+ ער 121
160
+ _במ 120
161
+ עי 120
162
+ _וה 119
163
+ וא 118
164
+ ש_ 117
165
+ גו 116
166
+ יא 115
167
+ נים 115
168
+ נת_ 113
169
+ _בש 112
170
+ בה 112
171
+ _את 112
172
+ שב 112
173
+ כו 111
174
+ וני 110
175
+ _הח 109
176
+ הע 108
177
+ _הש 107
178
+ יים 104
179
+ הא 104
180
+ ין 103
181
+ צי 103
182
+ 103
183
+ ין_ 103
184
+ רות 102
185
+ למ 102
186
+ מא 101
187
+ תר 101
188
+ _הו 100
189
+ גי 100
190
+ יד 99
191
+ וש 99
192
+ ממ 99
193
+ ור_ 99
194
+ ף 98
195
+ מס 98
196
+ תה 98
197
+ ף_ 98
198
+ שה 97
199
+ ופ 97
200
+ ני_ 97
201
+ ק_ 97
202
+ וס 96
203
+ _הע 95
204
+ וי 95
205
+ ע_ 95
206
+ _הת 94
207
+ אחר 94
208
+ בת 94
209
+ ץ_ 93
210
+ יב 93
211
+ _הא 93
212
+ ץ 93
213
+ _מד 93
214
+ תה_ 92
215
+ רכ 91
216
+ חל 91
217
+ הג 91
218
+ שמ 91
219
+ הר 91
220
+ רים 90
221
+ ום 89
222
+ כי 89
223
+ ום_ 89
224
+ ספ 88
225
+ אש 87
226
+ צו 86
227
+ מע 86
228
+ _וב 84
229
+ מר 84
230
+ מצ 84
231
+ יק 84
232
+ בות 83
233
+ קר 83
234
+ _ז 83
235
+ ביש 82
236
+ _או 82
237
+ עם_ 82
238
+ טי 82
239
+ עם 82
240
+ ימ 81
241
+ תח 81
242
+ וכ 80
243
+ הצ 80
244
+ לת 80
245
+ ינה 80
246
+ וח 79
247
+ הב 78
248
+ _לא 78
249
+ בים 78
250
+ ח_ 78
251
+ _בא 77
252
+ _ומ 76
253
+ יע 76
254
+ ינו 76
255
+ רת 76
256
+ גד 76
257
+ וצ 75
258
+ קי 75
259
+ _למ 75
260
+ ברי 75
261
+ וג 74
262
+ יני 74
263
+ עול 74
264
+ _הג 74
265
+ _ד 74
266
+ וו 73
267
+ רבי 73
268
+ המד 73
269
+ _ל_ 72
270
+ פל 72
271
+ _שנ 71
272
+ לכ 71
273
+ הפ 71
274
+ כנ 69
275
+ לות 69
276
+ ירו 69
277
+ טו 69
278
+ _הב 68
279
+ _שה 68
280
+ מפ 68
281
+ _מו 68
282
+ אלי 67
283
+ סו 67
284
+ יט 67
285
+ _עם 67
286
+ _מי 67
287
+ הם_ 67
288
+ יח 67
289
+ וק 67
290
+ הם 67
291
+ יכ 67
292
+ לים 66
293
+ תר_ 66
294
+ יא_ 66
295
+ ערב 65
296
+ מה_ 65
297
+ הק 65
298
+ _מס 64
299
+ קב 63
300
+ ומי 63
301
+ עת 63
302
+ תק 63
303
+ פע 63
304
+ _לה 63
305
+ טח 62
306
+ רה 62
307
+ _הצ 62
308
+ רה_ 61
309
+ _הר 61
310
+ וא_ 61
311
+ 61
312
+ _אח 60
313
+ הוד 60
314
+ ראש 60
315
+ או_ 59
316
+ _בה 59
317
+ 59
318
+ ותר 58
319
+ בין 58
320
+ יהו 58
321
+ חב 58
322
+ אות 58
323
+ בח 58
324
+ דר 58
325
+ ינת 58
326
+ צב 58
327
+ היא 57
328
+ _מא 57
329
+ כמ 57
330
+ ודי 57
331
+ הוא 57
332
+ זר 56
333
+ בשנ 56
334
+ _בת 56
335
+ ולו 56
336
+ _מה 56
337
+ לי_ 56
338
+ לג 55
339
+ מו_ 55
340
+ רת_ 55
341
+ הנ 55
342
+ וב_ 54
343
+ בל 54
344
+ זו 54
345
+ מת_ 53
346
+ _מש 53
347
+ עד 53
348
+ רח 53
349
+ _רב 53
350
+ ספר 53
351
+ פה 52
352
+ פת 52
353
+ מח 52
354
+ הס 52
355
+ שפ 52
356
+ פה_ 52
357
+ גב 52
358
+ שני 52
359
+ טר 52
360
+ צא 52
361
+ כ_ 51
362
+ _ממ 51
363
+ דה 51
364
+ כת 51
365
+ אז 51
366
+ _הפ 51
367
+ _שב 51
368
+ דה_ 51
369
+ רית 50
370
+ לם_ 50
371
+ כן 50
372
+ כן_ 50
373
+ לם 50
374
+ מק 50
375
+ תנ 50
376
+ יצ 50
377
+ _כל 50
378
+ נית 49
379
+ פי_ 49
380
+ ולם 49
381
+ מל 49
382
+ די_ 49
383
+ _כ_ 49
384
+ _הק 48
385
+ בה_ 48
386
+ כה 48
387
+ פר_ 48
388
+ עב 48
389
+ _אי 48
390
+ משל 48
391
+ _בר 48
392
+ הן_ 47
393
+ הה 47
394
+ ותי 47
395
+ ורי 47
396
+ דול 47
397
+ שא 47
398
+ הל 47
399
+ עה_ 47
400
+ עה 47