scylla 0.9.3 → 1.0.0

This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
Files changed (79) hide show
  1. data/lib/scylla/lms/arabic.lm +399 -399
  2. data/lib/scylla/lms/bulgarian.lm +400 -400
  3. data/lib/scylla/lms/catalan.lm +323 -323
  4. data/lib/scylla/lms/chinese.lm +389 -389
  5. data/lib/scylla/lms/czech.lm +377 -377
  6. data/lib/scylla/lms/danish.lm +383 -383
  7. data/lib/scylla/lms/dutch.lm +398 -398
  8. data/lib/scylla/lms/english.lm +355 -355
  9. data/lib/scylla/lms/finnish.lm +381 -381
  10. data/lib/scylla/lms/french.lm +379 -379
  11. data/lib/scylla/lms/german.lm +382 -382
  12. data/lib/scylla/lms/greek.lm +400 -400
  13. data/lib/scylla/lms/hebrew.lm +400 -400
  14. data/lib/scylla/lms/hindi.lm +400 -400
  15. data/lib/scylla/lms/icelandic.lm +219 -219
  16. data/lib/scylla/lms/indonesian.lm +364 -364
  17. data/lib/scylla/lms/italian.lm +381 -381
  18. data/lib/scylla/lms/japanese.lm +400 -400
  19. data/lib/scylla/lms/kannada.lm +392 -392
  20. data/lib/scylla/lms/korean.lm +389 -389
  21. data/lib/scylla/lms/marathi.lm +364 -364
  22. data/lib/scylla/lms/norwegian.lm +325 -325
  23. data/lib/scylla/lms/persian.lm +397 -397
  24. data/lib/scylla/lms/polish.lm +380 -380
  25. data/lib/scylla/lms/portuguese.lm +375 -375
  26. data/lib/scylla/lms/romanian.lm +318 -318
  27. data/lib/scylla/lms/russian.lm +398 -398
  28. data/lib/scylla/lms/slovak.lm +358 -358
  29. data/lib/scylla/lms/slovenian.lm +256 -256
  30. data/lib/scylla/lms/spanish.lm +353 -353
  31. data/lib/scylla/lms/swedish.lm +400 -400
  32. data/lib/scylla/lms/tagalog.lm +245 -245
  33. data/lib/scylla/lms/thai.lm +400 -400
  34. data/lib/scylla/lms/turkish.lm +379 -379
  35. data/lib/scylla/lms/vietnamese.lm +373 -373
  36. data/lib/scylla/lms/welsh.lm +293 -293
  37. data/test/classifier_test.rb +5 -3
  38. data/test/fixtures/lms/arabic.lm +400 -0
  39. data/test/fixtures/lms/bulgarian.lm +400 -0
  40. data/test/fixtures/lms/catalan.lm +400 -0
  41. data/test/fixtures/lms/chinese.lm +400 -0
  42. data/test/fixtures/lms/czech.lm +400 -0
  43. data/test/fixtures/lms/danish.lm +399 -399
  44. data/test/fixtures/lms/dutch.lm +400 -0
  45. data/test/fixtures/lms/english.lm +400 -400
  46. data/test/fixtures/lms/finnish.lm +400 -0
  47. data/test/fixtures/lms/french.lm +397 -397
  48. data/test/fixtures/lms/german.lm +400 -400
  49. data/test/fixtures/lms/greek.lm +400 -0
  50. data/test/fixtures/lms/hebrew.lm +400 -0
  51. data/test/fixtures/lms/hindi.lm +400 -400
  52. data/test/fixtures/lms/icelandic.lm +400 -0
  53. data/test/fixtures/lms/indonesian.lm +400 -0
  54. data/test/fixtures/lms/italian.lm +400 -400
  55. data/test/fixtures/lms/japanese.lm +400 -400
  56. data/test/fixtures/lms/kannada.lm +400 -0
  57. data/test/fixtures/lms/korean.lm +400 -0
  58. data/test/fixtures/lms/marathi.lm +400 -0
  59. data/test/fixtures/lms/norwegian.lm +399 -399
  60. data/test/fixtures/lms/persian.lm +400 -0
  61. data/test/fixtures/lms/polish.lm +400 -0
  62. data/test/fixtures/lms/portuguese.lm +400 -0
  63. data/test/fixtures/lms/romanian.lm +400 -0
  64. data/test/fixtures/lms/russian.lm +400 -0
  65. data/test/fixtures/lms/slovak.lm +400 -0
  66. data/test/fixtures/lms/slovenian.lm +400 -0
  67. data/test/fixtures/lms/spanish.lm +400 -400
  68. data/test/fixtures/lms/swedish.lm +400 -0
  69. data/test/fixtures/lms/tagalog.lm +400 -0
  70. data/test/fixtures/lms/thai.lm +400 -0
  71. data/test/fixtures/lms/turkish.lm +400 -0
  72. data/test/fixtures/lms/vietnamese.lm +400 -0
  73. data/test/fixtures/lms/welsh.lm +400 -0
  74. data/test/fixtures/test_languages/japanese +149 -67
  75. data/test/generator_test.rb +1 -43
  76. data/test/language_test.rb +5 -1
  77. data/test/loader_test.rb +1 -1
  78. data/test/scylla_test.rb +4 -4
  79. metadata +105 -63
@@ -1,400 +1,400 @@
1
- 35647
2
- _ 15908
3
- _� 7940
4
- י 4056
5
- 4056
6
- ו 3894
7
- 3894
8
- �� 3515
9
- י� 3515
10
- ו� 3440
11
- �� 3440
12
- 3213
13
- ה 3213
14
- ל 2379
15
- 2379
16
- 2333
17
- ת 2333
18
- 2141
19
- ב 2141
20
- ר 2085
21
- 2085
22
- מ 2075
23
- 2075
24
- �� 2055
25
- ה� 2055
26
- �� 2036
27
- מ� 2036
28
- 1847
29
- ש 1846
30
- ב� 1827
31
- �� 1827
32
- �� 1732
33
- ש� 1732
34
- �� 1671
35
- ר� 1671
36
- 1641
37
- 1598
38
- א 1598
39
- �� 1516
40
- ל� 1516
41
- ת_ 1506
42
- �_ 1506
43
- �� 1411
44
- א� 1411
45
- נ 1193
46
- 1193
47
- נ� 1192
48
- �� 1192
49
- ה_ 1158
50
- _ 1158
51
- 1112
52
- 1109
53
- ע 1109
54
- 1016
55
- �_ 1016
56
- ם_ 1016
57
- ם 1016
58
- �� 1009
59
- ע� 1009
60
- 902
61
- ד 892
62
- ח 888
63
- 888
64
- �_ 862
65
- ל_ 862
66
- ת� 826
67
- �� 826
68
- �ת 821
69
- ח� 815
70
- �� 815
71
- 787
72
- כ 785
73
- 785
74
- כ� 739
75
- �� 739
76
- ד� 708
77
- �� 708
78
- 692
79
- פ 692
80
- פ� 688
81
- �� 688
82
- 631
83
- ק 629
84
- �ם 618
85
- 604
86
- 594
87
- _ו 572
88
- �_ 541
89
- י_ 541
90
- �� 537
91
- ק� 537
92
- 533
93
- ג 533
94
- �� 497
95
- ג� 497
96
- 491
97
- ס 491
98
- 461
99
- �� 459
100
- צ 459
101
- צ� 459
102
- ו_ 453
103
- �� 453
104
- ס� 453
105
- �_ 453
106
- _א 415
107
- ר_ 412
108
- �_ 412
109
- �א 403
110
- ן_ 391
111
- ן 391
112
- �ש 391
113
- �_ 391
114
- 391
115
- �י 388
116
- _י 386
117
- �ר 377
118
- 369
119
- ט 369
120
- �ל 367
121
- 356
122
- �ו 329
123
- �� 328
124
- ט� 328
125
- �ת 317
126
- ב_ 311
127
- �_ 311
128
- �י 306
129
- �י 303
130
- �ל 297
131
- 297
132
- 280
133
- ז 280
134
- �י 276
135
- �נ 275
136
- �ו 272
137
- �מ 261
138
- �י 257
139
- �ו 256
140
- �י 248
141
- �י 246
142
- �ד 242
143
- �ו 241
144
- �ל 240
145
- ז� 236
146
- �� 236
147
- �ר 230
148
- �י 225
149
- �ו 218
150
- �ה 217
151
- �נ 217
152
- �ו 211
153
- �ל 200
154
- �ב 196
155
- �_ 193
156
- 184
157
- �ו 183
158
- �_ 183
159
- ד_ 183
160
- א_ 183
161
- �מ 178
162
- �ה 176
163
- �ה 175
164
- �ר 170
165
- �ע 167
166
- �י 167
167
- �ו 166
168
- �ו 166
169
- �ו 165
170
- �ש 153
171
- �ב 153
172
- �י 150
173
- �י 148
174
- �ד 145
175
- �ן 144
176
- 144
177
- �נ 143
178
- �ת 140
179
- �מ 136
180
- �ה 135
181
- 132
182
- �ת 132
183
- _ 132
184
- ך_ 132
185
- �י 132
186
- ך 132
187
- �ו 131
188
- _ח 130
189
- �ל 129
190
- �ו 127
191
- �י 125
192
- �ו 125
193
- �ר 125
194
- �ה 124
195
- �ת 123
196
- �ו 119
197
- �ת 119
198
- �ש 118
199
- 118
200
- �ש 118
201
- �ח 117
202
- �א 117
203
- _ 115
204
- ש_ 114
205
- _ג 114
206
- �ר 113
207
- �ע 112
208
- 108
209
- �י 108
210
- �א 108
211
- �ו 107
212
- �ח 106
213
- �ר 106
214
- �ר 106
215
- �א 105
216
- �ב 104
217
- �ו 102
218
- �ל 101
219
- �מ 99
220
- �ע 99
221
- ע_ 97
222
- �_ 97
223
- �ו 96
224
- 96
225
- �י 95
226
- �א 95
227
- �א 94
228
- ף 93
229
- �_ 93
230
- ף_ 93
231
- �ר 93
232
- �ה 93
233
- 93
234
- ק_ 92
235
- �_ 92
236
- �ה 91
237
- �ן 91
238
- �ש 91
239
- �ה 91
240
- �א 90
241
- �מ 88
242
- �ר 88
243
- �י 85
244
- �ם 85
245
- �ת 85
246
- �ד 84
247
- �מ 84
248
- �י 83
249
- �מ 82
250
- �ר 82
251
- �ג 81
252
- �ל 81
253
- �ש 81
254
- �ע 80
255
- �ב 79
256
- �י 79
257
- �י 79
258
- �צ 78
259
- �פ 78
260
- 77
261
- �ס 76
262
- �ס 76
263
- �ר 75
264
- �ו 75
265
- ץ_ 75
266
- �ר 75
267
- �פ 75
268
- �כ 75
269
- _ז 75
270
- �ם 75
271
- ץ 75
272
- �ק 75
273
- �_ 75
274
- �_ 73
275
- �ח 73
276
- ח_ 73
277
- �י 71
278
- �ל 70
279
- �צ 70
280
- �צ 68
281
- �ת 68
282
- �כ 68
283
- �נ 67
284
- �ת 67
285
- �ב 67
286
- �ע 67
287
- �י 67
288
- �ג 66
289
- �ח 65
290
- �פ 65
291
- 65
292
- �כ 65
293
- �ו 64
294
- �ד 63
295
- �ח 62
296
- �ק 62
297
- �ח 61
298
- �ו 61
299
- �ט 61
300
- �ו 60
301
- �ק 60
302
- �ק 60
303
- �פ 57
304
- �כ 56
305
- �ה 56
306
- �ב 55
307
- �ר 55
308
- _ס 54
309
- �ר 54
310
- �ח 54
311
- �ג 54
312
- �ת 53
313
- �ב 53
314
- 52
315
- �ע 51
316
- �ס 50
317
- �מ 50
318
- �ז 50
319
- �פ 49
320
- �ל 49
321
- �ק 48
322
- �ל 48
323
- �א 48
324
- �ה 48
325
- �ו 47
326
- �ה 47
327
- �ב 47
328
- �פ 47
329
- כ_ 46
330
- �_ 46
331
- �ב 46
332
- �נ 46
333
- �ח 45
334
- �צ 45
335
- �ת 45
336
- �נ 45
337
- �ם 45
338
- �ר 45
339
- �ח 45
340
- �ל 44
341
- �ה 44
342
- �א 44
343
- �ש 44
344
- ז_ 44
345
- �ת 44
346
- �ה 44
347
- �_ 44
348
- �ד 44
349
- �ם 44
350
- �ד 43
351
- �ה 43
352
- �ח 42
353
- �ב 42
354
- �ש 42
355
- �מ 41
356
- �ט 41
357
- �ת 41
358
- �_ 41
359
- ט_ 41
360
- �כ 40
361
- �ן 40
362
- �ק 40
363
- �ב 40
364
- �ט 39
365
- �נ 39
366
- �נ 39
367
- _ 39
368
- מ_ 39
369
- �צ 38
370
- �פ 38
371
- �מ 38
372
- �ן 38
373
- �ש 38
374
- �ג 38
375
- �ת 38
376
- �ת 38
377
- �ם 38
378
- �ב 37
379
- �ס 37
380
- �כ 37
381
- �ס 37
382
- �ט 37
383
- �ת 36
384
- �ס 36
385
- _ 36
386
- �ש 36
387
- _ 36
388
- �ף 36
389
- ס_ 36
390
- �ה 36
391
- �ל 36
392
- ג_ 36
393
- �ח 35
394
- �ע 35
395
- �ק 34
396
- �פ 34
397
- �מ 34
398
- �מ 34
399
- �מ 33
400
- �ס 33
1
+ _ 18062
2
+ י 4677
3
+ ו 4444
4
+ ה 3588
5
+ ל 2678
6
+ ת 2626
7
+ ר 2409
8
+ ב 2408
9
+ מ 2267
10
+ ש 2066
11
+ 1876
12
+ א 1819
13
+ ת_ 1690
14
+ נ 1361
15
+ ה_ 1277
16
+ ם 1246
17
+ ם_ 1246
18
+ ע 1245
19
+ _ב 1242
20
+ ח 1008
21
+ ל_ 996
22
+ ד 986
23
+ ות 935
24
+ כ 894
25
+ 875
26
+ ים 784
27
+ ים_ 784
28
+ פ 776
29
+ ות_ 761
30
+ ק 688
31
+ 674
32
+ 674
33
+ 638
34
+ י_ 616
35
+ ג 615
36
+ ס 562
37
+ ו_ 529
38
+ צ 515
39
+ 480
40
+ ר_ 475
41
+ רא 459
42
+ יש 457
43
+ 454
44
+ ן 450
45
+ ן_ 450
46
+ בי 449
47
+ שר 434
48
+ אל 423
49
+ ט 406
50
+ _ע 401
51
+ ני 368
52
+ שרא 364
53
+ ישר 363
54
+ ראל 361
55
+ יו 357
56
+ ית 348
57
+ ב_ 345
58
+ של 342
59
+ 340
60
+ די 331
61
+ אל_ 323
62
+ רו 318
63
+ ינ 317
64
+ לי 316
65
+ ז 309
66
+ המ 300
67
+ רי 294
68
+ נו 286
69
+ הי 282
70
+ _המ 280
71
+ ול 279
72
+ מי 272
73
+ ור 270
74
+ ית_ 269
75
+ יי 269
76
+ או 268
77
+ _יש 265
78
+ מו 263
79
+ מד 257
80
+ _של 249
81
+ ונ 241
82
+ של_ 236
83
+ יה 232
84
+ על 224
85
+ וב 220
86
+ הו 219
87
+ _נ 219
88
+ בו 218
89
+ _בי 213
90
+ _הי 211
91
+ ד_ 207
92
+ ומ 205
93
+ בר 202
94
+ לו 198
95
+ א_ 196
96
+ בע 192
97
+ עו 192
98
+ נה 189
99
+ לה 188
100
+ שי 186
101
+ חו 185
102
+ _ב_ 185
103
+ מדי 180
104
+ תי 178
105
+ רב 172
106
+ על_ 171
107
+ _ר 171
108
+ דינ 171
109
+ יות 169
110
+ שנ 169
111
+ אי 167
112
+ ון 163
113
+ מש 163
114
+ ון_ 163
115
+ נה_ 161
116
+ _על 159
117
+ 158
118
+ יה_ 156
119
+ נת 153
120
+ וד 150
121
+ וה 149
122
+ את 148
123
+ שו 148
124
+ כל 148
125
+ ך_ 147
126
+ ך 147
127
+ דו 145
128
+ חי 144
129
+ מה 143
130
+ _בע 139
131
+ יר 139
132
+ הת 137
133
+ תו 137
134
+ _ה_ 136
135
+ את_ 136
136
+ הש 135
137
+ קו 135
138
+ 134
139
+ במ 133
140
+ חר 132
141
+ סי 132
142
+ פי 131
143
+ 130
144
+ לא 128
145
+ אח 128
146
+ מת 128
147
+ בש 128
148
+ 127
149
+ וע 127
150
+ פר 125
151
+ לה_ 125
152
+ _ו_ 124
153
+ הח 124
154
+ פו 124
155
+ בא 124
156
+ יל 123
157
+ אר 122
158
+ נות 122
159
+ ער 121
160
+ _במ 120
161
+ עי 120
162
+ _וה 119
163
+ וא 118
164
+ ש_ 117
165
+ גו 116
166
+ יא 115
167
+ נים 115
168
+ נת_ 113
169
+ _בש 112
170
+ בה 112
171
+ _את 112
172
+ שב 112
173
+ כו 111
174
+ וני 110
175
+ _הח 109
176
+ הע 108
177
+ _הש 107
178
+ יים 104
179
+ הא 104
180
+ ין 103
181
+ צי 103
182
+ 103
183
+ ין_ 103
184
+ רות 102
185
+ למ 102
186
+ מא 101
187
+ תר 101
188
+ _הו 100
189
+ גי 100
190
+ יד 99
191
+ וש 99
192
+ ממ 99
193
+ ור_ 99
194
+ ף 98
195
+ מס 98
196
+ תה 98
197
+ ף_ 98
198
+ שה 97
199
+ ופ 97
200
+ ני_ 97
201
+ ק_ 97
202
+ וס 96
203
+ _הע 95
204
+ וי 95
205
+ ע_ 95
206
+ _הת 94
207
+ אחר 94
208
+ בת 94
209
+ ץ_ 93
210
+ יב 93
211
+ _הא 93
212
+ ץ 93
213
+ _מד 93
214
+ תה_ 92
215
+ רכ 91
216
+ חל 91
217
+ הג 91
218
+ שמ 91
219
+ הר 91
220
+ רים 90
221
+ ום 89
222
+ כי 89
223
+ ום_ 89
224
+ ספ 88
225
+ אש 87
226
+ צו 86
227
+ מע 86
228
+ _וב 84
229
+ מר 84
230
+ מצ 84
231
+ יק 84
232
+ בות 83
233
+ קר 83
234
+ _ז 83
235
+ ביש 82
236
+ _או 82
237
+ עם_ 82
238
+ טי 82
239
+ עם 82
240
+ ימ 81
241
+ תח 81
242
+ וכ 80
243
+ הצ 80
244
+ לת 80
245
+ ינה 80
246
+ וח 79
247
+ הב 78
248
+ _לא 78
249
+ בים 78
250
+ ח_ 78
251
+ _בא 77
252
+ _ומ 76
253
+ יע 76
254
+ ינו 76
255
+ רת 76
256
+ גד 76
257
+ וצ 75
258
+ קי 75
259
+ _למ 75
260
+ ברי 75
261
+ וג 74
262
+ יני 74
263
+ עול 74
264
+ _הג 74
265
+ _ד 74
266
+ וו 73
267
+ רבי 73
268
+ המד 73
269
+ _ל_ 72
270
+ פל 72
271
+ _שנ 71
272
+ לכ 71
273
+ הפ 71
274
+ כנ 69
275
+ לות 69
276
+ ירו 69
277
+ טו 69
278
+ _הב 68
279
+ _שה 68
280
+ מפ 68
281
+ _מו 68
282
+ אלי 67
283
+ סו 67
284
+ יט 67
285
+ _עם 67
286
+ _מי 67
287
+ הם_ 67
288
+ יח 67
289
+ וק 67
290
+ הם 67
291
+ יכ 67
292
+ לים 66
293
+ תר_ 66
294
+ יא_ 66
295
+ ערב 65
296
+ מה_ 65
297
+ הק 65
298
+ _מס 64
299
+ קב 63
300
+ ומי 63
301
+ עת 63
302
+ תק 63
303
+ פע 63
304
+ _לה 63
305
+ טח 62
306
+ רה 62
307
+ _הצ 62
308
+ רה_ 61
309
+ _הר 61
310
+ וא_ 61
311
+ 61
312
+ _אח 60
313
+ הוד 60
314
+ ראש 60
315
+ או_ 59
316
+ _בה 59
317
+ 59
318
+ ותר 58
319
+ בין 58
320
+ יהו 58
321
+ חב 58
322
+ אות 58
323
+ בח 58
324
+ דר 58
325
+ ינת 58
326
+ צב 58
327
+ היא 57
328
+ _מא 57
329
+ כמ 57
330
+ ודי 57
331
+ הוא 57
332
+ זר 56
333
+ בשנ 56
334
+ _בת 56
335
+ ולו 56
336
+ _מה 56
337
+ לי_ 56
338
+ לג 55
339
+ מו_ 55
340
+ רת_ 55
341
+ הנ 55
342
+ וב_ 54
343
+ בל 54
344
+ זו 54
345
+ מת_ 53
346
+ _מש 53
347
+ עד 53
348
+ רח 53
349
+ _רב 53
350
+ ספר 53
351
+ פה 52
352
+ פת 52
353
+ מח 52
354
+ הס 52
355
+ שפ 52
356
+ פה_ 52
357
+ גב 52
358
+ שני 52
359
+ טר 52
360
+ צא 52
361
+ כ_ 51
362
+ _ממ 51
363
+ דה 51
364
+ כת 51
365
+ אז 51
366
+ _הפ 51
367
+ _שב 51
368
+ דה_ 51
369
+ רית 50
370
+ לם_ 50
371
+ כן 50
372
+ כן_ 50
373
+ לם 50
374
+ מק 50
375
+ תנ 50
376
+ יצ 50
377
+ _כל 50
378
+ נית 49
379
+ פי_ 49
380
+ ולם 49
381
+ מל 49
382
+ די_ 49
383
+ _כ_ 49
384
+ _הק 48
385
+ בה_ 48
386
+ כה 48
387
+ פר_ 48
388
+ עב 48
389
+ _אי 48
390
+ משל 48
391
+ _בר 48
392
+ הן_ 47
393
+ הה 47
394
+ ותי 47
395
+ ורי 47
396
+ דול 47
397
+ שא 47
398
+ הל 47
399
+ עה_ 47
400
+ עה 47