keyphrase 0.1.3 → 0.2.0

Sign up to get free protection for your applications and to get access to all the features.
Files changed (75) hide show
  1. checksums.yaml +4 -4
  2. data/README.md +5 -4
  3. data/lib/keyphrase/stoplist/afr.rb +14 -0
  4. data/lib/keyphrase/stoplist/aka.rb +10 -0
  5. data/lib/keyphrase/stoplist/amh.rb +10 -0
  6. data/lib/keyphrase/stoplist/ara.rb +490 -0
  7. data/lib/keyphrase/stoplist/aze.rb +175 -0
  8. data/lib/keyphrase/stoplist/bel.rb +11 -0
  9. data/lib/keyphrase/stoplist/ben.rb +408 -0
  10. data/lib/keyphrase/stoplist/bul.rb +528 -0
  11. data/lib/keyphrase/stoplist/cat.rb +711 -0
  12. data/lib/keyphrase/stoplist/ces.rb +560 -0
  13. data/lib/keyphrase/stoplist/cmn.rb +1119 -0
  14. data/lib/keyphrase/stoplist/dan.rb +25 -0
  15. data/lib/keyphrase/stoplist/deu.rb +631 -0
  16. data/lib/keyphrase/stoplist/ell.rb +275 -0
  17. data/lib/keyphrase/stoplist/eng.rb +2 -589
  18. data/lib/keyphrase/stoplist/epo.rb +183 -0
  19. data/lib/keyphrase/stoplist/est.rb +13 -0
  20. data/lib/keyphrase/stoplist/fin.rb +857 -0
  21. data/lib/keyphrase/stoplist/fra.rb +699 -0
  22. data/lib/keyphrase/stoplist/guj.rb +234 -0
  23. data/lib/keyphrase/stoplist/heb.rb +204 -0
  24. data/lib/keyphrase/stoplist/hin.rb +235 -0
  25. data/lib/keyphrase/stoplist/hrv.rb +25 -0
  26. data/lib/keyphrase/stoplist/hun.rb +1195 -0
  27. data/lib/keyphrase/stoplist/hye.rb +55 -0
  28. data/lib/keyphrase/stoplist/ind.rb +768 -0
  29. data/lib/keyphrase/stoplist/ita.rb +670 -0
  30. data/lib/keyphrase/stoplist/jav.rb +10 -0
  31. data/lib/keyphrase/stoplist/jpn.rb +144 -0
  32. data/lib/keyphrase/stoplist/kan.rb +92 -0
  33. data/lib/keyphrase/stoplist/kat.rb +383 -0
  34. data/lib/keyphrase/stoplist/khm.rb +245 -0
  35. data/lib/keyphrase/stoplist/kor.rb +610 -0
  36. data/lib/keyphrase/stoplist/lat.rb +14 -0
  37. data/lib/keyphrase/stoplist/lav.rb +171 -0
  38. data/lib/keyphrase/stoplist/lit.rb +484 -0
  39. data/lib/keyphrase/stoplist/mal.rb +11 -0
  40. data/lib/keyphrase/stoplist/mar.rb +109 -0
  41. data/lib/keyphrase/stoplist/mkd.rb +11 -0
  42. data/lib/keyphrase/stoplist/mya.rb +285 -0
  43. data/lib/keyphrase/stoplist/nep.rb +265 -0
  44. data/lib/keyphrase/stoplist/nld.rb +423 -0
  45. data/lib/keyphrase/stoplist/nob.rb +186 -0
  46. data/lib/keyphrase/stoplist/ori.rb +11 -0
  47. data/lib/keyphrase/stoplist/pan.rb +473 -0
  48. data/lib/keyphrase/stoplist/pes.rb +801 -0
  49. data/lib/keyphrase/stoplist/pol.rb +338 -0
  50. data/lib/keyphrase/stoplist/por.rb +570 -0
  51. data/lib/keyphrase/stoplist/ron.rb +444 -0
  52. data/lib/keyphrase/stoplist/rus.rb +569 -0
  53. data/lib/keyphrase/stoplist/sin.rb +10 -0
  54. data/lib/keyphrase/stoplist/slk.rb +428 -0
  55. data/lib/keyphrase/stoplist/slv.rb +456 -0
  56. data/lib/keyphrase/stoplist/sna.rb +11 -0
  57. data/lib/keyphrase/stoplist/spa.rb +731 -0
  58. data/lib/keyphrase/stoplist/srp.rb +11 -0
  59. data/lib/keyphrase/stoplist/swe.rb +428 -0
  60. data/lib/keyphrase/stoplist/tam.rb +135 -0
  61. data/lib/keyphrase/stoplist/tel.rb +10 -0
  62. data/lib/keyphrase/stoplist/tgl.rb +157 -0
  63. data/lib/keyphrase/stoplist/tha.rb +125 -0
  64. data/lib/keyphrase/stoplist/tuk.rb +11 -0
  65. data/lib/keyphrase/stoplist/tur.rb +514 -0
  66. data/lib/keyphrase/stoplist/ukr.rb +38 -0
  67. data/lib/keyphrase/stoplist/urd.rb +527 -0
  68. data/lib/keyphrase/stoplist/uzb.rb +10 -0
  69. data/lib/keyphrase/stoplist/vie.rb +655 -0
  70. data/lib/keyphrase/stoplist/yid.rb +204 -0
  71. data/lib/keyphrase/stoplist/zul.rb +39 -0
  72. data/lib/keyphrase/stoplist.rb +13 -10
  73. data/lib/keyphrase/version.rb +1 -1
  74. data/lib/keyphrase.rb +20 -12
  75. metadata +71 -3
@@ -0,0 +1,234 @@
1
+ class Keyphrase
2
+ module Stoplist
3
+ class Guj
4
+ def self.stopwords
5
+ @@stopwords ||= [
6
+ "અંગે",
7
+ "અંદર",
8
+ "અથવા",
9
+ "અને",
10
+ "અમને",
11
+ "અમારું",
12
+ "અમે",
13
+ "અહીં",
14
+ "આ",
15
+ "આગળ",
16
+ "આથી",
17
+ "આનું",
18
+ "આને",
19
+ "આપણને",
20
+ "આપણું",
21
+ "આપણે",
22
+ "આપી",
23
+ "આર",
24
+ "આવી",
25
+ "આવે",
26
+ "ઉપર",
27
+ "ઉભા",
28
+ "ઊંચે",
29
+ "ઊભું",
30
+ "એ",
31
+ "એક",
32
+ "એન",
33
+ "એના",
34
+ "એનાં",
35
+ "એની",
36
+ "એનું",
37
+ "એને",
38
+ "એનો",
39
+ "એમ",
40
+ "એવા",
41
+ "એવાં",
42
+ "એવી",
43
+ "એવું",
44
+ "એવો",
45
+ "ઓછું",
46
+ "કંઈક",
47
+ "કઈ",
48
+ "કયું",
49
+ "કયો",
50
+ "કરતાં",
51
+ "કરવું",
52
+ "કરી",
53
+ "કરીએ",
54
+ "કરું",
55
+ "કરે",
56
+ "કરેલું",
57
+ "કર્યા",
58
+ "કર્યાં",
59
+ "કર્યું",
60
+ "કર્યો",
61
+ "કાંઈ",
62
+ "કે",
63
+ "કેટલું",
64
+ "કેમ",
65
+ "કેવી",
66
+ "કેવું",
67
+ "કોઈ",
68
+ "કોઈક",
69
+ "કોણ",
70
+ "કોણે",
71
+ "કોને",
72
+ "ક્યાં",
73
+ "ક્યારે",
74
+ "ખૂબ",
75
+ "ગઈ",
76
+ "ગયા",
77
+ "ગયાં",
78
+ "ગયું",
79
+ "ગયો",
80
+ "ઘણું",
81
+ "છ",
82
+ "છતાં",
83
+ "છીએ",
84
+ "છું",
85
+ "છે",
86
+ "છેક",
87
+ "છો",
88
+ "જ",
89
+ "જાય",
90
+ "જી",
91
+ "જે",
92
+ "જેટલું",
93
+ "જેને",
94
+ "જેમ",
95
+ "જેવી",
96
+ "જેવું",
97
+ "જેવો",
98
+ "જો",
99
+ "જોઈએ",
100
+ "જ્યાં",
101
+ "જ્યારે",
102
+ "ઝાઝું",
103
+ "તને",
104
+ "તમને",
105
+ "તમારું",
106
+ "તમે",
107
+ "તા",
108
+ "તારાથી",
109
+ "તારામાં",
110
+ "તારું",
111
+ "તું",
112
+ "તે",
113
+ "તેં",
114
+ "તેઓ",
115
+ "તેણે",
116
+ "તેથી",
117
+ "તેના",
118
+ "તેની",
119
+ "તેનું",
120
+ "તેને",
121
+ "તેમ",
122
+ "તેમનું",
123
+ "તેમને",
124
+ "તેવી",
125
+ "તેવું",
126
+ "તો",
127
+ "ત્યાં",
128
+ "ત્યારે",
129
+ "થઇ",
130
+ "થઈ",
131
+ "થઈએ",
132
+ "થતા",
133
+ "થતાં",
134
+ "થતી",
135
+ "થતું",
136
+ "થતો",
137
+ "થયા",
138
+ "થયાં",
139
+ "થયું",
140
+ "થયેલું",
141
+ "થયો",
142
+ "થવું",
143
+ "થાઉં",
144
+ "થાઓ",
145
+ "થાય",
146
+ "થી",
147
+ "થોડું",
148
+ "દરેક",
149
+ "ન",
150
+ "નં",
151
+ "નં.",
152
+ "નથી",
153
+ "નહિ",
154
+ "નહી",
155
+ "નહીં",
156
+ "ના",
157
+ "ની",
158
+ "નીચે",
159
+ "નું",
160
+ "ને",
161
+ "નો",
162
+ "પછી",
163
+ "પણ",
164
+ "પર",
165
+ "પરંતુ",
166
+ "પહેલાં",
167
+ "પાછળ",
168
+ "પાસે",
169
+ "પોતાનું",
170
+ "પ્રત્યેક",
171
+ "ફક્ત",
172
+ "ફરી",
173
+ "ફરીથી",
174
+ "બંને",
175
+ "બધા",
176
+ "બધું",
177
+ "બની",
178
+ "બહાર",
179
+ "બહુ",
180
+ "બાદ",
181
+ "બે",
182
+ "મને",
183
+ "મા",
184
+ "માં",
185
+ "માટે",
186
+ "માત્ર",
187
+ "મારું",
188
+ "મી",
189
+ "મૂકવું",
190
+ "મૂકી",
191
+ "મૂક્યા",
192
+ "મૂક્યાં",
193
+ "મૂક્યું",
194
+ "મેં",
195
+ "રહી",
196
+ "રહે",
197
+ "રહેવું",
198
+ "રહ્યા",
199
+ "રહ્યાં",
200
+ "રહ્યો",
201
+ "રીતે",
202
+ "રૂ.",
203
+ "રૂા",
204
+ "લેતા",
205
+ "લેતું",
206
+ "લેવા",
207
+ "વગેરે",
208
+ "વધુ",
209
+ "શકે",
210
+ "શા",
211
+ "શું",
212
+ "સરખું",
213
+ "સામે",
214
+ "સુધી",
215
+ "હતા",
216
+ "હતાં",
217
+ "હતી",
218
+ "હતું",
219
+ "હવે",
220
+ "હશે",
221
+ "હશો",
222
+ "હા",
223
+ "હું",
224
+ "હો",
225
+ "હોઈ",
226
+ "હોઈશ",
227
+ "હોઈશું",
228
+ "હોય",
229
+ "હોવા",
230
+ ]
231
+ end
232
+ end
233
+ end
234
+ end
@@ -0,0 +1,204 @@
1
+ class Keyphrase
2
+ module Stoplist
3
+ class Heb
4
+ def self.stopwords
5
+ @@stopwords ||= [
6
+ "אבל",
7
+ "או",
8
+ "אולי",
9
+ "אותה",
10
+ "אותו",
11
+ "אותי",
12
+ "אותך",
13
+ "אותם",
14
+ "אותן",
15
+ "אותנו",
16
+ "אז",
17
+ "אחר",
18
+ "אחרות",
19
+ "אחרי",
20
+ "אחריכן",
21
+ "אחרים",
22
+ "אחרת",
23
+ "אי",
24
+ "איזה",
25
+ "איך",
26
+ "אין",
27
+ "איפה",
28
+ "איתה",
29
+ "איתו",
30
+ "איתי",
31
+ "איתך",
32
+ "איתכם",
33
+ "איתכן",
34
+ "איתם",
35
+ "איתן",
36
+ "איתנו",
37
+ "אך",
38
+ "אל",
39
+ "אלה",
40
+ "אלו",
41
+ "אם",
42
+ "אנחנו",
43
+ "אני",
44
+ "אס",
45
+ "אף",
46
+ "אצל",
47
+ "אשר",
48
+ "את",
49
+ "אתה",
50
+ "אתכם",
51
+ "אתכן",
52
+ "אתם",
53
+ "אתן",
54
+ "באיזומידה",
55
+ "באמצע",
56
+ "באמצעות",
57
+ "בגלל",
58
+ "בין",
59
+ "בלי",
60
+ "במידה",
61
+ "במקוםשבו",
62
+ "ברם",
63
+ "בשביל",
64
+ "בשעהש",
65
+ "בתוך",
66
+ "גם",
67
+ "דרך",
68
+ "הוא",
69
+ "היא",
70
+ "היה",
71
+ "היכן",
72
+ "היתה",
73
+ "היתי",
74
+ "הם",
75
+ "הן",
76
+ "הנה",
77
+ "הסיבהשבגללה",
78
+ "הרי",
79
+ "ואילו",
80
+ "ואת",
81
+ "זאת",
82
+ "זה",
83
+ "זות",
84
+ "יהיה",
85
+ "יוכל",
86
+ "יוכלו",
87
+ "יותרמדי",
88
+ "יכול",
89
+ "יכולה",
90
+ "יכולות",
91
+ "יכולים",
92
+ "יכל",
93
+ "יכלה",
94
+ "יכלו",
95
+ "יש",
96
+ "כאן",
97
+ "כאשר",
98
+ "כולם",
99
+ "כולן",
100
+ "כזה",
101
+ "כי",
102
+ "כיצד",
103
+ "כך",
104
+ "ככה",
105
+ "כל",
106
+ "כלל",
107
+ "כמו",
108
+ "כן",
109
+ "כפי",
110
+ "כש",
111
+ "לא",
112
+ "לאו",
113
+ "לאיזותכלית",
114
+ "לאן",
115
+ "לבין",
116
+ "לה",
117
+ "להיות",
118
+ "להם",
119
+ "להן",
120
+ "לו",
121
+ "לי",
122
+ "לכם",
123
+ "לכן",
124
+ "למה",
125
+ "למטה",
126
+ "למעלה",
127
+ "למקוםשבו",
128
+ "למרות",
129
+ "לנו",
130
+ "לעבר",
131
+ "לעיכן",
132
+ "לפיכך",
133
+ "לפני",
134
+ "מאד",
135
+ "מאחורי",
136
+ "מאיזוסיבה",
137
+ "מאין",
138
+ "מאיפה",
139
+ "מבלי",
140
+ "מבעד",
141
+ "מדוע",
142
+ "מה",
143
+ "מהיכן",
144
+ "מול",
145
+ "מחוץ",
146
+ "מי",
147
+ "מכאן",
148
+ "מכיוון",
149
+ "מלבד",
150
+ "מן",
151
+ "מנין",
152
+ "מסוגל",
153
+ "מעט",
154
+ "מעטים",
155
+ "מעל",
156
+ "מצד",
157
+ "מקוםבו",
158
+ "מתחת",
159
+ "מתי",
160
+ "נגד",
161
+ "נגר",
162
+ "נו",
163
+ "עד",
164
+ "עז",
165
+ "על",
166
+ "עלי",
167
+ "עליה",
168
+ "עליהם",
169
+ "עליהן",
170
+ "עליו",
171
+ "עליך",
172
+ "עליכם",
173
+ "עלינו",
174
+ "עם",
175
+ "עצמה",
176
+ "עצמהם",
177
+ "עצמהן",
178
+ "עצמו",
179
+ "עצמי",
180
+ "עצמם",
181
+ "עצמן",
182
+ "עצמנו",
183
+ "פה",
184
+ "רק",
185
+ "שוב",
186
+ "של",
187
+ "שלה",
188
+ "שלהם",
189
+ "שלהן",
190
+ "שלו",
191
+ "שלי",
192
+ "שלך",
193
+ "שלכה",
194
+ "שלכם",
195
+ "שלכן",
196
+ "שלנו",
197
+ "שם",
198
+ "תהיה",
199
+ "תחת",
200
+ ]
201
+ end
202
+ end
203
+ end
204
+ end
@@ -0,0 +1,235 @@
1
+ class Keyphrase
2
+ module Stoplist
3
+ class Hin
4
+ def self.stopwords
5
+ @@stopwords ||= [
6
+ "अंदर",
7
+ "अत",
8
+ "अदि",
9
+ "अप",
10
+ "अपना",
11
+ "अपनि",
12
+ "अपनी",
13
+ "अपने",
14
+ "अभि",
15
+ "अभी",
16
+ "आदि",
17
+ "आप",
18
+ "इंहिं",
19
+ "इंहें",
20
+ "इंहों",
21
+ "इतयादि",
22
+ "इत्यादि",
23
+ "इन",
24
+ "इनका",
25
+ "इन्हीं",
26
+ "इन्हें",
27
+ "इन्हों",
28
+ "इस",
29
+ "इसका",
30
+ "इसकि",
31
+ "इसकी",
32
+ "इसके",
33
+ "इसमें",
34
+ "इसि",
35
+ "इसी",
36
+ "इसे",
37
+ "उंहिं",
38
+ "उंहें",
39
+ "उंहों",
40
+ "उन",
41
+ "उनका",
42
+ "उनकि",
43
+ "उनकी",
44
+ "उनके",
45
+ "उनको",
46
+ "उन्हीं",
47
+ "उन्हें",
48
+ "उन्हों",
49
+ "उस",
50
+ "उसके",
51
+ "उसि",
52
+ "उसी",
53
+ "उसे",
54
+ "एक",
55
+ "एवं",
56
+ "एस",
57
+ "एसे",
58
+ "ऐसे",
59
+ "ओर",
60
+ "और",
61
+ "कइ",
62
+ "कई",
63
+ "कर",
64
+ "करता",
65
+ "करते",
66
+ "करना",
67
+ "करने",
68
+ "करें",
69
+ "कहते",
70
+ "कहा",
71
+ "का",
72
+ "काफि",
73
+ "काफ़ी",
74
+ "कि",
75
+ "किंहें",
76
+ "किंहों",
77
+ "कितना",
78
+ "किन्हें",
79
+ "किन्हों",
80
+ "किया",
81
+ "किर",
82
+ "किस",
83
+ "किसि",
84
+ "किसी",
85
+ "किसे",
86
+ "की",
87
+ "कुछ",
88
+ "कुल",
89
+ "के",
90
+ "को",
91
+ "कोइ",
92
+ "कोई",
93
+ "कोन",
94
+ "कोनसा",
95
+ "कौन",
96
+ "कौनसा",
97
+ "गया",
98
+ "घर",
99
+ "जब",
100
+ "जहाँ",
101
+ "जहां",
102
+ "जा",
103
+ "जिंहें",
104
+ "जिंहों",
105
+ "जितना",
106
+ "जिधर",
107
+ "जिन",
108
+ "जिन्हें",
109
+ "जिन्हों",
110
+ "जिस",
111
+ "जिसे",
112
+ "जीधर",
113
+ "जेसा",
114
+ "जेसे",
115
+ "जैसा",
116
+ "जैसे",
117
+ "जो",
118
+ "तक",
119
+ "तब",
120
+ "तरह",
121
+ "तिंहें",
122
+ "तिंहों",
123
+ "तिन",
124
+ "तिन्हें",
125
+ "तिन्हों",
126
+ "तिस",
127
+ "तिसे",
128
+ "तो",
129
+ "था",
130
+ "थि",
131
+ "थी",
132
+ "थे",
133
+ "दबारा",
134
+ "दवारा",
135
+ "दिया",
136
+ "दुसरा",
137
+ "दुसरे",
138
+ "दूसरे",
139
+ "दो",
140
+ "द्वारा",
141
+ "न",
142
+ "नहिं",
143
+ "नहीं",
144
+ "ना",
145
+ "निचे",
146
+ "निहायत",
147
+ "नीचे",
148
+ "ने",
149
+ "पर",
150
+ "पहले",
151
+ "पुरा",
152
+ "पूरा",
153
+ "पे",
154
+ "फिर",
155
+ "बनि",
156
+ "बनी",
157
+ "बहि",
158
+ "बही",
159
+ "बहुत",
160
+ "बाद",
161
+ "बाला",
162
+ "बिलकुल",
163
+ "भि",
164
+ "भितर",
165
+ "भी",
166
+ "भीतर",
167
+ "मगर",
168
+ "मानो",
169
+ "मे",
170
+ "में",
171
+ "यदि",
172
+ "यह",
173
+ "यहाँ",
174
+ "यहां",
175
+ "यहि",
176
+ "यही",
177
+ "या",
178
+ "यिह",
179
+ "ये",
180
+ "रखें",
181
+ "रवासा",
182
+ "रहा",
183
+ "रहे",
184
+ "ऱ्वासा",
185
+ "लिए",
186
+ "लिये",
187
+ "लेकिन",
188
+ "व",
189
+ "वगेरह",
190
+ "वरग",
191
+ "वर्ग",
192
+ "वह",
193
+ "वहाँ",
194
+ "वहां",
195
+ "वहिं",
196
+ "वहीं",
197
+ "वाले",
198
+ "वुह",
199
+ "वे",
200
+ "वग़ैरह",
201
+ "संग",
202
+ "सकता",
203
+ "सकते",
204
+ "सबसे",
205
+ "सभि",
206
+ "सभी",
207
+ "साथ",
208
+ "साबुत",
209
+ "साभ",
210
+ "सारा",
211
+ "से",
212
+ "सो",
213
+ "हि",
214
+ "ही",
215
+ "हुअ",
216
+ "हुआ",
217
+ "हुइ",
218
+ "हुई",
219
+ "हुए",
220
+ "हे",
221
+ "हें",
222
+ "है",
223
+ "हैं",
224
+ "हो",
225
+ "होता",
226
+ "होति",
227
+ "होती",
228
+ "होते",
229
+ "होना",
230
+ "होने",
231
+ ]
232
+ end
233
+ end
234
+ end
235
+ end
@@ -0,0 +1,25 @@
1
+ class Keyphrase
2
+ module Stoplist
3
+ class Hrv
4
+ def self.stopwords
5
+ @@stopwords ||= [
6
+ "a", "ako", "ali", "bi", "bih", "bila", "bili", "bilo", "bio", "bismo", "biste", "biti",
7
+ "bumo", "da", "do", "duž", "ga", "hoće", "hoćemo", "hoćete", "hoćeš", "hoću", "i", "iako",
8
+ "ih", "ili", "iz", "ja", "je", "jedna", "jedne", "jedno", "jer", "jesam", "jesi", "jesmo",
9
+ "jest", "jeste", "jesu", "jim", "joj", "još", "ju", "kada", "kako", "kao", "koja", "koje",
10
+ "koji", "kojima", "koju", "kroz", "li", "me", "mene", "meni", "mi", "mimo", "moj", "moja",
11
+ "moje", "mu", "na", "nad", "nakon", "nam", "nama", "nas", "naš", "naša", "naše", "našeg", "ne",
12
+ "nego", "neka", "neki", "nekog", "neku", "nema", "netko", "neće", "nećemo", "nećete", "nećeš",
13
+ "neću", "nešto", "ni", "nije", "nikoga", "nikoje", "nikoju", "nisam", "nisi", "nismo", "niste",
14
+ "nisu", "njega", "njegov", "njegova", "njegovo", "njemu", "njezin", "njezina", "njezino",
15
+ "njih", "njihov", "njihova", "njihovo", "njim", "njima", "njoj", "nju", "no", "o", "od",
16
+ "odmah", "on", "ona", "oni", "ono", "ova", "pa", "pak", "po", "pod", "pored", "prije", "s",
17
+ "sa", "sam", "samo", "se", "sebe", "sebi", "si", "smo", "ste", "su", "sve", "svi", "svog",
18
+ "svoj", "svoja", "svoje", "svom", "ta", "tada", "taj", "tako", "te", "tebe", "tebi", "ti",
19
+ "to", "toj", "tome", "tu", "tvoj", "tvoja", "tvoje", "u", "uz", "vam", "vama", "vas", "vaš",
20
+ "vaša", "vaše", "već", "vi", "vrlo", "za", "zar", "će", "ćemo", "ćete", "ćeš", "ću", "što",
21
+ ]
22
+ end
23
+ end
24
+ end
25
+ end