stopwords-filter 0.4.1 → 0.5.0
Sign up to get free protection for your applications and to get access to all the features.
- checksums.yaml +4 -4
- data/CHANGELOG +8 -2
- data/VERSION +1 -1
- data/lib/stopwords/snowball/locales/el.csv +1 -0
- data/lib/stopwords/snowball/locales/pl.csv +1 -0
- data/lib/stopwords/snowball/locales/ro.csv +1 -0
- data/lib/stopwords/snowball/locales/ru.csv +1 -159
- data/lib/stopwords/snowball/locales/sv.csv +1 -114
- metadata +5 -2
checksums.yaml
CHANGED
@@ -1,7 +1,7 @@
|
|
1
1
|
---
|
2
2
|
SHA1:
|
3
|
-
metadata.gz:
|
4
|
-
data.tar.gz:
|
3
|
+
metadata.gz: ab6ffb4c393600755245462bd24815191b9a589a
|
4
|
+
data.tar.gz: 0a23aeeb9caaf8c65341a7bb7f2e8760fe8df9a9
|
5
5
|
SHA512:
|
6
|
-
metadata.gz:
|
7
|
-
data.tar.gz:
|
6
|
+
metadata.gz: f6d2c6f8524c2fceb16fa069fa95458e6346ebc0a0cd8c10746d018a4f0339b05bb91511e0edc6ca87b5f55e84d689f78fcdba174ef1c7e2d60926d2e29704ae
|
7
|
+
data.tar.gz: 3b51a3de282c95b86d1d0720d885d375cd21976af16ae987ffab49e0e0b9d380597f0170a5d76949f4529d96db63e6ba6d85a24f2278bbfb9b7b8d8aae83faf1
|
data/CHANGELOG
CHANGED
@@ -1,6 +1,12 @@
|
|
1
|
+
0.5.0:
|
2
|
+
* Added Greek stopwords based on Lucene [@vrypan] [#13]
|
3
|
+
* Fixed CSV format for sv and ru locales [@woto] [#14]
|
4
|
+
* Fixed romanian and polish CSV not being included in the gemspec.
|
5
|
+
0.4.1:
|
6
|
+
* Dummy version to fix metadata in gemspec
|
1
7
|
0.4.0:
|
2
|
-
* Added Polish stopwords based on https://pl.wikipedia.org/wiki/Wikipedia:Stopwords [@grzegorzblaszczyk]
|
3
|
-
* Added info when no locale is found on snowball filter [@nerde]
|
8
|
+
* Added Polish stopwords based on https://pl.wikipedia.org/wiki/Wikipedia:Stopwords [@grzegorzblaszczyk] [#9]
|
9
|
+
* Added info when no locale is found on snowball filter [@nerde] [#10]
|
4
10
|
0.3.0:
|
5
11
|
* Added custom words list to snowball filter [@sbeckeriv]
|
6
12
|
* Fixed problem about initialization: https://github.com/brenes/stopwords-filter/issues/3 [@zackxu1]
|
data/VERSION
CHANGED
@@ -1 +1 @@
|
|
1
|
-
0.
|
1
|
+
0.5.0
|
@@ -0,0 +1 @@
|
|
1
|
+
ο,η,το,οι,τα,του,τησ,των,τον,την,και,κι,κ,ειμαι,εισαι,ειναι,ειμαστε,ειστε,στο,στον,στη,στην,μα,αλλα,απο,για,προσ,με,σε,ωσ,παρα,αντι,κατα,μετα,θα,να,δε,δεν,μη,μην,επι,ενω,εαν,αν,τοτε,που,πωσ,ποιοσ,ποια,ποιο,ποιοι,ποιεσ,ποιων,ποιουσ,αυτοσ,αυτη,αυτο,αυτοι,αυτων,αυτουσ,αυτεσ,αυτα,εκεινοσ,εκεινη,εκεινο,εκεινοι,εκεινεσ,εκεινα,εκεινων,εκεινουσ,οπωσ,ομωσ,ισωσ,οσο,οτι
|
@@ -0,0 +1 @@
|
|
1
|
+
a,aby,ach,acz,aczkolwiek,aj,albo,ale,ależ,ani,aż,bardziej,bardzo,bo,bowiem,by,byli,bynajmniej,być,był,była,było,były,będzie,będą,cali,cała,cały,ci,cię,ciebie,co,cokolwiek,coś,czasami,czasem,czemu,czy,czyli,daleko,dla,dlaczego,dlatego,do,dobrze,dokąd,dość,dużo,dwa,dwaj,dwie,dwoje,dziś,dzisiaj,gdy,gdyby,gdyż,gdzie,gdziekolwiek,gdzieś,i,ich,ile,im,inna,inne,inny,innych,iż,ja,ją,jak,jakaś,jakby,jaki,jakichś,jakie,jakiś,jakiż,jakkolwiek,jako,jakoś,je,jeden,jedna,jedno,jednak,jednakże,jego,jej,jemu,jest,jestem,jeszcze,jeśli,jeżeli,już,ją,każdy,kiedy,kilka,kimś,kto,ktokolwiek,ktoś,która,które,którego,której,który,których,którym,którzy,ku,lat,lecz,lub,ma,mają,mało,mam,mi,mimo,między,mną,mnie,mogą,moi,moim,moja,moje,może,możliwe,można,mój,mu,musi,my,na,nad,nam,nami,nas,nasi,nasz,nasza,nasze,naszego,naszych,natomiast,natychmiast,nawet,nią,nic,nich,nie,niech,niego,niej,niemu,nigdy,nim,nimi,niż,no,o,obok,od,około,on,ona,one,oni,ono,oraz,oto,owszem,pan,pana,pani,po,pod,podczas,pomimo,ponad,ponieważ,powinien,powinna,powinni,powinno,poza,prawie,przecież,przed,przede,przedtem,przez,przy,roku,również,sama,są,się,skąd,sobie,sobą,sposób,swoje,ta,tak,taka,taki,takie,także,tam,te,tego,tej,temu,ten,teraz,też,to,tobą,tobie,toteż,trzeba,tu,tutaj,twoi,twoim,twoja,twoje,twym,twój,ty,tych,tylko,tym,u,w,wam,wami,was,wasz,wasza,wasze,we,według,wiele,wielu,więc,więcej,wszyscy,wszystkich,wszystkie,wszystkim,wszystko,wtedy,wy,właśnie,z,za,zapewne,zawsze,ze,zł,znowu,znów,został,żaden,żadna,żadne,żadnych,że,żeby
|
@@ -0,0 +1 @@
|
|
1
|
+
acea,aceasta,această,aceea,acei,aceia,acel,acela,acele,acelea,acest,acesta,aceste,acestea,aceşti,aceştia,acolo,acord,acum,ai,aia,aibă,aici,al,ăla,ale,alea,ălea,altceva,altcineva,am,ar,are,aş,aşadar,asemenea,asta,ăsta,astăzi,astea,ăstea,ăştia,asupra,aţi,au,avea,avem,aveţi,azi,bine,bucur,bună,ca,că,căci,când,care,cărei,căror,cărui,cât,câte,câţi,către,câtva,caut,ce,cel,ceva,chiar,cinci,cînd,cine,cineva,cît,cîte,cîţi,cîtva,contra,cu,cum,cumva,curând,curînd,da,dă,dacă,dar,dată,datorită,dau,de,deci,deja,deoarece,departe,deşi,din,dinaintea,dintr-,dintre,doi,doilea,două,drept,după,ea,ei,el,ele,eram,este,eşti,eu,face,fără,fata,fi,fie,fiecare,fii,fim,fiţi,fiu,frumos,graţie,halbă,iar,ieri,îi,îl,îmi,împotriva,în ,înainte,înaintea,încât,încît,încotro,între,întrucât,întrucît,îţi,la,lângă,le,li,lîngă,lor,lui,mă,mai,mâine,mea,mei,mele,mereu,meu,mi,mie,mîine,mine,mult,multă,mulţi,mulţumesc,ne,nevoie,nicăieri,nici,nimeni,nimeri,nimic,nişte,noastră,noastre,noi,noroc,noştri,nostru,nouă,nu,opt,ori,oricând,oricare,oricât,orice,oricînd,oricine,oricît,oricum,oriunde,până,patra,patru,patrulea,pe,pentru,peste,pic,pînă,poate,pot,prea,prima,primul,prin,puţin,puţina,puţină,rog,sa,să,săi,sale,şapte,şase,sau,său,se,şi,sînt,sîntem,sînteţi,spate,spre,ştiu,sub,sunt,suntem,sunteţi,sută,ta,tăi,tale,tău,te,ţi,ţie,timp,tine,toată,toate,tot,toţi,totuşi,trei,treia,treilea,tu,un,una,unde,undeva,unei,uneia,unele,uneori,unii,unor,unora,unu,unui,unuia,unul,vă,vi,voastră,voastre,voi,voştri,vostru,vouă,vreme,vreo,vreun,zece,zero,zi,zice
|
@@ -1,159 +1 @@
|
|
1
|
-
|
2
|
-
в
|
3
|
-
во
|
4
|
-
не
|
5
|
-
что
|
6
|
-
он
|
7
|
-
на
|
8
|
-
я
|
9
|
-
с
|
10
|
-
со
|
11
|
-
как
|
12
|
-
а
|
13
|
-
то
|
14
|
-
все
|
15
|
-
она
|
16
|
-
так
|
17
|
-
его
|
18
|
-
но
|
19
|
-
да
|
20
|
-
ты
|
21
|
-
к
|
22
|
-
у
|
23
|
-
же
|
24
|
-
вы
|
25
|
-
за
|
26
|
-
бы
|
27
|
-
по
|
28
|
-
только
|
29
|
-
ее
|
30
|
-
мне
|
31
|
-
было
|
32
|
-
вот
|
33
|
-
от
|
34
|
-
меня
|
35
|
-
еще
|
36
|
-
нет
|
37
|
-
о
|
38
|
-
из
|
39
|
-
ему
|
40
|
-
теперь
|
41
|
-
когда
|
42
|
-
даже
|
43
|
-
ну
|
44
|
-
вдруг
|
45
|
-
ли
|
46
|
-
если
|
47
|
-
уже
|
48
|
-
или
|
49
|
-
ни
|
50
|
-
быть
|
51
|
-
был
|
52
|
-
него
|
53
|
-
до
|
54
|
-
вас
|
55
|
-
нибудь
|
56
|
-
опять
|
57
|
-
уж
|
58
|
-
вам
|
59
|
-
сказал
|
60
|
-
ведь
|
61
|
-
там
|
62
|
-
потом
|
63
|
-
себя
|
64
|
-
ничего
|
65
|
-
ей
|
66
|
-
может
|
67
|
-
они
|
68
|
-
тут
|
69
|
-
где
|
70
|
-
есть
|
71
|
-
надо
|
72
|
-
ней
|
73
|
-
для
|
74
|
-
мы
|
75
|
-
тебя
|
76
|
-
их
|
77
|
-
чем
|
78
|
-
была
|
79
|
-
сам
|
80
|
-
чтоб
|
81
|
-
без
|
82
|
-
будто
|
83
|
-
человек
|
84
|
-
чего
|
85
|
-
раз
|
86
|
-
тоже
|
87
|
-
себе
|
88
|
-
под
|
89
|
-
жизнь
|
90
|
-
будет
|
91
|
-
ж
|
92
|
-
тогда
|
93
|
-
кто
|
94
|
-
этот
|
95
|
-
говорил
|
96
|
-
того
|
97
|
-
потому
|
98
|
-
этого
|
99
|
-
какой
|
100
|
-
совсем
|
101
|
-
ним
|
102
|
-
здесь
|
103
|
-
этом
|
104
|
-
один
|
105
|
-
почти
|
106
|
-
мой
|
107
|
-
тем
|
108
|
-
чтобы
|
109
|
-
нее
|
110
|
-
кажется
|
111
|
-
сейчас
|
112
|
-
были
|
113
|
-
куда
|
114
|
-
зачем
|
115
|
-
сказать
|
116
|
-
всех
|
117
|
-
никогда
|
118
|
-
сегодня
|
119
|
-
можно
|
120
|
-
при
|
121
|
-
наконец
|
122
|
-
два
|
123
|
-
об
|
124
|
-
другой
|
125
|
-
хоть
|
126
|
-
после
|
127
|
-
над
|
128
|
-
больше
|
129
|
-
тот
|
130
|
-
через
|
131
|
-
эти
|
132
|
-
нас
|
133
|
-
про
|
134
|
-
всего
|
135
|
-
них
|
136
|
-
какая
|
137
|
-
много
|
138
|
-
разве
|
139
|
-
сказала
|
140
|
-
три
|
141
|
-
эту
|
142
|
-
моя
|
143
|
-
впрочем
|
144
|
-
хорошо
|
145
|
-
свою
|
146
|
-
этой
|
147
|
-
перед
|
148
|
-
иногда
|
149
|
-
лучше
|
150
|
-
чуть
|
151
|
-
том
|
152
|
-
нельзя
|
153
|
-
такой
|
154
|
-
им
|
155
|
-
более
|
156
|
-
всегда
|
157
|
-
конечно
|
158
|
-
всю
|
159
|
-
между
|
1
|
+
и,в,во,не,что,он,на,я,с,со,как,а,то,все,она,так,его,но,да,ты,к,у,же,вы,за,бы,по,только,ее,мне,было,вот,от,меня,еще,нет,о,из,ему,теперь,когда,даже,ну,вдруг,ли,если,уже,или,ни,быть,был,него,до,вас,нибудь,опять,уж,вам,сказал,ведь,там,потом,себя,ничего,ей,может,они,тут,где,есть,надо,ней,для,мы,тебя,их,чем,была,сам,чтоб,без,будто,человек,чего,раз,тоже,себе,под,жизнь,будет,ж,тогда,кто,этот,говорил,того,потому,этого,какой,совсем,ним,здесь,этом,один,почти,мой,тем,чтобы,нее,кажется,сейчас,были,куда,зачем,сказать,всех,никогда,сегодня,можно,при,наконец,два,об,другой,хоть,после,над,больше,тот,через,эти,нас,про,всего,них,какая,много,разве,сказала,три,эту,моя,впрочем,хорошо,свою,этой,перед,иногда,лучше,чуть,том,нельзя,такой,им,более,всегда,конечно,всю,между
|
@@ -1,114 +1 @@
|
|
1
|
-
och
|
2
|
-
det
|
3
|
-
att
|
4
|
-
i
|
5
|
-
en
|
6
|
-
jag
|
7
|
-
hon
|
8
|
-
som
|
9
|
-
han
|
10
|
-
på
|
11
|
-
den
|
12
|
-
med
|
13
|
-
var
|
14
|
-
sig
|
15
|
-
för
|
16
|
-
så
|
17
|
-
till
|
18
|
-
är
|
19
|
-
men
|
20
|
-
ett
|
21
|
-
om
|
22
|
-
hade
|
23
|
-
de
|
24
|
-
av
|
25
|
-
icke
|
26
|
-
mig
|
27
|
-
du
|
28
|
-
henne
|
29
|
-
då
|
30
|
-
sin
|
31
|
-
nu
|
32
|
-
har
|
33
|
-
inte
|
34
|
-
hans
|
35
|
-
honom
|
36
|
-
skulle
|
37
|
-
hennes
|
38
|
-
där
|
39
|
-
min
|
40
|
-
man
|
41
|
-
ej
|
42
|
-
vid
|
43
|
-
kunde
|
44
|
-
något
|
45
|
-
från
|
46
|
-
ut
|
47
|
-
när
|
48
|
-
efter
|
49
|
-
upp
|
50
|
-
vi
|
51
|
-
dem
|
52
|
-
vara
|
53
|
-
vad
|
54
|
-
över
|
55
|
-
än
|
56
|
-
dig
|
57
|
-
kan
|
58
|
-
sina
|
59
|
-
här
|
60
|
-
ha
|
61
|
-
mot
|
62
|
-
alla
|
63
|
-
under
|
64
|
-
någon
|
65
|
-
eller
|
66
|
-
allt
|
67
|
-
mycket
|
68
|
-
sedan
|
69
|
-
ju
|
70
|
-
denna
|
71
|
-
själv
|
72
|
-
detta
|
73
|
-
åt
|
74
|
-
utan
|
75
|
-
varit
|
76
|
-
hur
|
77
|
-
ingen
|
78
|
-
mitt
|
79
|
-
ni
|
80
|
-
bli
|
81
|
-
blev
|
82
|
-
oss
|
83
|
-
din
|
84
|
-
dessa
|
85
|
-
några
|
86
|
-
deras
|
87
|
-
blir
|
88
|
-
mina
|
89
|
-
samma
|
90
|
-
vilken
|
91
|
-
er
|
92
|
-
sådan
|
93
|
-
vår
|
94
|
-
blivit
|
95
|
-
dess
|
96
|
-
inom
|
97
|
-
mellan
|
98
|
-
sådant
|
99
|
-
varför
|
100
|
-
varje
|
101
|
-
vilka
|
102
|
-
ditt
|
103
|
-
vem
|
104
|
-
vilket
|
105
|
-
sitta
|
106
|
-
sådana
|
107
|
-
vart
|
108
|
-
dina
|
109
|
-
vars
|
110
|
-
vårt
|
111
|
-
våra
|
112
|
-
ert
|
113
|
-
era
|
114
|
-
vilkas
|
1
|
+
och,det,att,i,en,jag,hon,som,han,på,den,med,var,sig,för,så,till,är,men,ett,om,hade,de,av,icke,mig,du,henne,då,sin,nu,har,inte,hans,honom,skulle,hennes,där,min,man,ej,vid,kunde,något,från,ut,när,efter,upp,vi,dem,vara,vad,över,än,dig,kan,sina,här,ha,mot,alla,under,någon,eller,allt,mycket,sedan,ju,denna,själv,detta,åt,utan,varit,hur,ingen,mitt,ni,bli,blev,oss,din,dessa,några,deras,blir,mina,samma,vilken,er,sådan,vår,blivit,dess,inom,mellan,sådant,varför,varje,vilka,ditt,vem,vilket,sitta,sådana,vart,dina,vars,vårt,våra,ert,era,vilkas,
|
metadata
CHANGED
@@ -1,14 +1,14 @@
|
|
1
1
|
--- !ruby/object:Gem::Specification
|
2
2
|
name: stopwords-filter
|
3
3
|
version: !ruby/object:Gem::Version
|
4
|
-
version: 0.
|
4
|
+
version: 0.5.0
|
5
5
|
platform: ruby
|
6
6
|
authors:
|
7
7
|
- David J. Brenes
|
8
8
|
autorequire:
|
9
9
|
bindir: bin
|
10
10
|
cert_chain: []
|
11
|
-
date:
|
11
|
+
date: 2021-06-09 00:00:00.000000000 Z
|
12
12
|
dependencies: []
|
13
13
|
description: Small library that allows you to create a simple stopwords filter or
|
14
14
|
use some based on Snowball stopwords lists
|
@@ -33,6 +33,7 @@ files:
|
|
33
33
|
- lib/stopwords/snowball/locales/bg.csv
|
34
34
|
- lib/stopwords/snowball/locales/da.csv
|
35
35
|
- lib/stopwords/snowball/locales/de.csv
|
36
|
+
- lib/stopwords/snowball/locales/el.csv
|
36
37
|
- lib/stopwords/snowball/locales/en.csv
|
37
38
|
- lib/stopwords/snowball/locales/es.csv
|
38
39
|
- lib/stopwords/snowball/locales/fn.csv
|
@@ -40,7 +41,9 @@ files:
|
|
40
41
|
- lib/stopwords/snowball/locales/hu.csv
|
41
42
|
- lib/stopwords/snowball/locales/it.csv
|
42
43
|
- lib/stopwords/snowball/locales/nl.csv
|
44
|
+
- lib/stopwords/snowball/locales/pl.csv
|
43
45
|
- lib/stopwords/snowball/locales/pt.csv
|
46
|
+
- lib/stopwords/snowball/locales/ro.csv
|
44
47
|
- lib/stopwords/snowball/locales/ru.csv
|
45
48
|
- lib/stopwords/snowball/locales/sv.csv
|
46
49
|
- lib/stopwords/snowball/wordsieve.rb
|