stopwords-filter 0.4.1 → 0.5.0
This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
- checksums.yaml +4 -4
- data/CHANGELOG +8 -2
- data/VERSION +1 -1
- data/lib/stopwords/snowball/locales/el.csv +1 -0
- data/lib/stopwords/snowball/locales/pl.csv +1 -0
- data/lib/stopwords/snowball/locales/ro.csv +1 -0
- data/lib/stopwords/snowball/locales/ru.csv +1 -159
- data/lib/stopwords/snowball/locales/sv.csv +1 -114
- metadata +5 -2
checksums.yaml
CHANGED
|
@@ -1,7 +1,7 @@
|
|
|
1
1
|
---
|
|
2
2
|
SHA1:
|
|
3
|
-
metadata.gz:
|
|
4
|
-
data.tar.gz:
|
|
3
|
+
metadata.gz: ab6ffb4c393600755245462bd24815191b9a589a
|
|
4
|
+
data.tar.gz: 0a23aeeb9caaf8c65341a7bb7f2e8760fe8df9a9
|
|
5
5
|
SHA512:
|
|
6
|
-
metadata.gz:
|
|
7
|
-
data.tar.gz:
|
|
6
|
+
metadata.gz: f6d2c6f8524c2fceb16fa069fa95458e6346ebc0a0cd8c10746d018a4f0339b05bb91511e0edc6ca87b5f55e84d689f78fcdba174ef1c7e2d60926d2e29704ae
|
|
7
|
+
data.tar.gz: 3b51a3de282c95b86d1d0720d885d375cd21976af16ae987ffab49e0e0b9d380597f0170a5d76949f4529d96db63e6ba6d85a24f2278bbfb9b7b8d8aae83faf1
|
data/CHANGELOG
CHANGED
|
@@ -1,6 +1,12 @@
|
|
|
1
|
+
0.5.0:
|
|
2
|
+
* Added Greek stopwords based on Lucene [@vrypan] [#13]
|
|
3
|
+
* Fixed CSV format for sv and ru locales [@woto] [#14]
|
|
4
|
+
* Fixed romanian and polish CSV not being included in the gemspec.
|
|
5
|
+
0.4.1:
|
|
6
|
+
* Dummy version to fix metadata in gemspec
|
|
1
7
|
0.4.0:
|
|
2
|
-
* Added Polish stopwords based on https://pl.wikipedia.org/wiki/Wikipedia:Stopwords [@grzegorzblaszczyk]
|
|
3
|
-
* Added info when no locale is found on snowball filter [@nerde]
|
|
8
|
+
* Added Polish stopwords based on https://pl.wikipedia.org/wiki/Wikipedia:Stopwords [@grzegorzblaszczyk] [#9]
|
|
9
|
+
* Added info when no locale is found on snowball filter [@nerde] [#10]
|
|
4
10
|
0.3.0:
|
|
5
11
|
* Added custom words list to snowball filter [@sbeckeriv]
|
|
6
12
|
* Fixed problem about initialization: https://github.com/brenes/stopwords-filter/issues/3 [@zackxu1]
|
data/VERSION
CHANGED
|
@@ -1 +1 @@
|
|
|
1
|
-
0.
|
|
1
|
+
0.5.0
|
|
@@ -0,0 +1 @@
|
|
|
1
|
+
ο,η,το,οι,τα,του,τησ,των,τον,την,και,κι,κ,ειμαι,εισαι,ειναι,ειμαστε,ειστε,στο,στον,στη,στην,μα,αλλα,απο,για,προσ,με,σε,ωσ,παρα,αντι,κατα,μετα,θα,να,δε,δεν,μη,μην,επι,ενω,εαν,αν,τοτε,που,πωσ,ποιοσ,ποια,ποιο,ποιοι,ποιεσ,ποιων,ποιουσ,αυτοσ,αυτη,αυτο,αυτοι,αυτων,αυτουσ,αυτεσ,αυτα,εκεινοσ,εκεινη,εκεινο,εκεινοι,εκεινεσ,εκεινα,εκεινων,εκεινουσ,οπωσ,ομωσ,ισωσ,οσο,οτι
|
|
@@ -0,0 +1 @@
|
|
|
1
|
+
a,aby,ach,acz,aczkolwiek,aj,albo,ale,ależ,ani,aż,bardziej,bardzo,bo,bowiem,by,byli,bynajmniej,być,był,była,było,były,będzie,będą,cali,cała,cały,ci,cię,ciebie,co,cokolwiek,coś,czasami,czasem,czemu,czy,czyli,daleko,dla,dlaczego,dlatego,do,dobrze,dokąd,dość,dużo,dwa,dwaj,dwie,dwoje,dziś,dzisiaj,gdy,gdyby,gdyż,gdzie,gdziekolwiek,gdzieś,i,ich,ile,im,inna,inne,inny,innych,iż,ja,ją,jak,jakaś,jakby,jaki,jakichś,jakie,jakiś,jakiż,jakkolwiek,jako,jakoś,je,jeden,jedna,jedno,jednak,jednakże,jego,jej,jemu,jest,jestem,jeszcze,jeśli,jeżeli,już,ją,każdy,kiedy,kilka,kimś,kto,ktokolwiek,ktoś,która,które,którego,której,który,których,którym,którzy,ku,lat,lecz,lub,ma,mają,mało,mam,mi,mimo,między,mną,mnie,mogą,moi,moim,moja,moje,może,możliwe,można,mój,mu,musi,my,na,nad,nam,nami,nas,nasi,nasz,nasza,nasze,naszego,naszych,natomiast,natychmiast,nawet,nią,nic,nich,nie,niech,niego,niej,niemu,nigdy,nim,nimi,niż,no,o,obok,od,około,on,ona,one,oni,ono,oraz,oto,owszem,pan,pana,pani,po,pod,podczas,pomimo,ponad,ponieważ,powinien,powinna,powinni,powinno,poza,prawie,przecież,przed,przede,przedtem,przez,przy,roku,również,sama,są,się,skąd,sobie,sobą,sposób,swoje,ta,tak,taka,taki,takie,także,tam,te,tego,tej,temu,ten,teraz,też,to,tobą,tobie,toteż,trzeba,tu,tutaj,twoi,twoim,twoja,twoje,twym,twój,ty,tych,tylko,tym,u,w,wam,wami,was,wasz,wasza,wasze,we,według,wiele,wielu,więc,więcej,wszyscy,wszystkich,wszystkie,wszystkim,wszystko,wtedy,wy,właśnie,z,za,zapewne,zawsze,ze,zł,znowu,znów,został,żaden,żadna,żadne,żadnych,że,żeby
|
|
@@ -0,0 +1 @@
|
|
|
1
|
+
acea,aceasta,această,aceea,acei,aceia,acel,acela,acele,acelea,acest,acesta,aceste,acestea,aceşti,aceştia,acolo,acord,acum,ai,aia,aibă,aici,al,ăla,ale,alea,ălea,altceva,altcineva,am,ar,are,aş,aşadar,asemenea,asta,ăsta,astăzi,astea,ăstea,ăştia,asupra,aţi,au,avea,avem,aveţi,azi,bine,bucur,bună,ca,că,căci,când,care,cărei,căror,cărui,cât,câte,câţi,către,câtva,caut,ce,cel,ceva,chiar,cinci,cînd,cine,cineva,cît,cîte,cîţi,cîtva,contra,cu,cum,cumva,curând,curînd,da,dă,dacă,dar,dată,datorită,dau,de,deci,deja,deoarece,departe,deşi,din,dinaintea,dintr-,dintre,doi,doilea,două,drept,după,ea,ei,el,ele,eram,este,eşti,eu,face,fără,fata,fi,fie,fiecare,fii,fim,fiţi,fiu,frumos,graţie,halbă,iar,ieri,îi,îl,îmi,împotriva,în ,înainte,înaintea,încât,încît,încotro,între,întrucât,întrucît,îţi,la,lângă,le,li,lîngă,lor,lui,mă,mai,mâine,mea,mei,mele,mereu,meu,mi,mie,mîine,mine,mult,multă,mulţi,mulţumesc,ne,nevoie,nicăieri,nici,nimeni,nimeri,nimic,nişte,noastră,noastre,noi,noroc,noştri,nostru,nouă,nu,opt,ori,oricând,oricare,oricât,orice,oricînd,oricine,oricît,oricum,oriunde,până,patra,patru,patrulea,pe,pentru,peste,pic,pînă,poate,pot,prea,prima,primul,prin,puţin,puţina,puţină,rog,sa,să,săi,sale,şapte,şase,sau,său,se,şi,sînt,sîntem,sînteţi,spate,spre,ştiu,sub,sunt,suntem,sunteţi,sută,ta,tăi,tale,tău,te,ţi,ţie,timp,tine,toată,toate,tot,toţi,totuşi,trei,treia,treilea,tu,un,una,unde,undeva,unei,uneia,unele,uneori,unii,unor,unora,unu,unui,unuia,unul,vă,vi,voastră,voastre,voi,voştri,vostru,vouă,vreme,vreo,vreun,zece,zero,zi,zice
|
|
@@ -1,159 +1 @@
|
|
|
1
|
-
|
|
2
|
-
в
|
|
3
|
-
во
|
|
4
|
-
не
|
|
5
|
-
что
|
|
6
|
-
он
|
|
7
|
-
на
|
|
8
|
-
я
|
|
9
|
-
с
|
|
10
|
-
со
|
|
11
|
-
как
|
|
12
|
-
а
|
|
13
|
-
то
|
|
14
|
-
все
|
|
15
|
-
она
|
|
16
|
-
так
|
|
17
|
-
его
|
|
18
|
-
но
|
|
19
|
-
да
|
|
20
|
-
ты
|
|
21
|
-
к
|
|
22
|
-
у
|
|
23
|
-
же
|
|
24
|
-
вы
|
|
25
|
-
за
|
|
26
|
-
бы
|
|
27
|
-
по
|
|
28
|
-
только
|
|
29
|
-
ее
|
|
30
|
-
мне
|
|
31
|
-
было
|
|
32
|
-
вот
|
|
33
|
-
от
|
|
34
|
-
меня
|
|
35
|
-
еще
|
|
36
|
-
нет
|
|
37
|
-
о
|
|
38
|
-
из
|
|
39
|
-
ему
|
|
40
|
-
теперь
|
|
41
|
-
когда
|
|
42
|
-
даже
|
|
43
|
-
ну
|
|
44
|
-
вдруг
|
|
45
|
-
ли
|
|
46
|
-
если
|
|
47
|
-
уже
|
|
48
|
-
или
|
|
49
|
-
ни
|
|
50
|
-
быть
|
|
51
|
-
был
|
|
52
|
-
него
|
|
53
|
-
до
|
|
54
|
-
вас
|
|
55
|
-
нибудь
|
|
56
|
-
опять
|
|
57
|
-
уж
|
|
58
|
-
вам
|
|
59
|
-
сказал
|
|
60
|
-
ведь
|
|
61
|
-
там
|
|
62
|
-
потом
|
|
63
|
-
себя
|
|
64
|
-
ничего
|
|
65
|
-
ей
|
|
66
|
-
может
|
|
67
|
-
они
|
|
68
|
-
тут
|
|
69
|
-
где
|
|
70
|
-
есть
|
|
71
|
-
надо
|
|
72
|
-
ней
|
|
73
|
-
для
|
|
74
|
-
мы
|
|
75
|
-
тебя
|
|
76
|
-
их
|
|
77
|
-
чем
|
|
78
|
-
была
|
|
79
|
-
сам
|
|
80
|
-
чтоб
|
|
81
|
-
без
|
|
82
|
-
будто
|
|
83
|
-
человек
|
|
84
|
-
чего
|
|
85
|
-
раз
|
|
86
|
-
тоже
|
|
87
|
-
себе
|
|
88
|
-
под
|
|
89
|
-
жизнь
|
|
90
|
-
будет
|
|
91
|
-
ж
|
|
92
|
-
тогда
|
|
93
|
-
кто
|
|
94
|
-
этот
|
|
95
|
-
говорил
|
|
96
|
-
того
|
|
97
|
-
потому
|
|
98
|
-
этого
|
|
99
|
-
какой
|
|
100
|
-
совсем
|
|
101
|
-
ним
|
|
102
|
-
здесь
|
|
103
|
-
этом
|
|
104
|
-
один
|
|
105
|
-
почти
|
|
106
|
-
мой
|
|
107
|
-
тем
|
|
108
|
-
чтобы
|
|
109
|
-
нее
|
|
110
|
-
кажется
|
|
111
|
-
сейчас
|
|
112
|
-
были
|
|
113
|
-
куда
|
|
114
|
-
зачем
|
|
115
|
-
сказать
|
|
116
|
-
всех
|
|
117
|
-
никогда
|
|
118
|
-
сегодня
|
|
119
|
-
можно
|
|
120
|
-
при
|
|
121
|
-
наконец
|
|
122
|
-
два
|
|
123
|
-
об
|
|
124
|
-
другой
|
|
125
|
-
хоть
|
|
126
|
-
после
|
|
127
|
-
над
|
|
128
|
-
больше
|
|
129
|
-
тот
|
|
130
|
-
через
|
|
131
|
-
эти
|
|
132
|
-
нас
|
|
133
|
-
про
|
|
134
|
-
всего
|
|
135
|
-
них
|
|
136
|
-
какая
|
|
137
|
-
много
|
|
138
|
-
разве
|
|
139
|
-
сказала
|
|
140
|
-
три
|
|
141
|
-
эту
|
|
142
|
-
моя
|
|
143
|
-
впрочем
|
|
144
|
-
хорошо
|
|
145
|
-
свою
|
|
146
|
-
этой
|
|
147
|
-
перед
|
|
148
|
-
иногда
|
|
149
|
-
лучше
|
|
150
|
-
чуть
|
|
151
|
-
том
|
|
152
|
-
нельзя
|
|
153
|
-
такой
|
|
154
|
-
им
|
|
155
|
-
более
|
|
156
|
-
всегда
|
|
157
|
-
конечно
|
|
158
|
-
всю
|
|
159
|
-
между
|
|
1
|
+
и,в,во,не,что,он,на,я,с,со,как,а,то,все,она,так,его,но,да,ты,к,у,же,вы,за,бы,по,только,ее,мне,было,вот,от,меня,еще,нет,о,из,ему,теперь,когда,даже,ну,вдруг,ли,если,уже,или,ни,быть,был,него,до,вас,нибудь,опять,уж,вам,сказал,ведь,там,потом,себя,ничего,ей,может,они,тут,где,есть,надо,ней,для,мы,тебя,их,чем,была,сам,чтоб,без,будто,человек,чего,раз,тоже,себе,под,жизнь,будет,ж,тогда,кто,этот,говорил,того,потому,этого,какой,совсем,ним,здесь,этом,один,почти,мой,тем,чтобы,нее,кажется,сейчас,были,куда,зачем,сказать,всех,никогда,сегодня,можно,при,наконец,два,об,другой,хоть,после,над,больше,тот,через,эти,нас,про,всего,них,какая,много,разве,сказала,три,эту,моя,впрочем,хорошо,свою,этой,перед,иногда,лучше,чуть,том,нельзя,такой,им,более,всегда,конечно,всю,между
|
|
@@ -1,114 +1 @@
|
|
|
1
|
-
och
|
|
2
|
-
det
|
|
3
|
-
att
|
|
4
|
-
i
|
|
5
|
-
en
|
|
6
|
-
jag
|
|
7
|
-
hon
|
|
8
|
-
som
|
|
9
|
-
han
|
|
10
|
-
på
|
|
11
|
-
den
|
|
12
|
-
med
|
|
13
|
-
var
|
|
14
|
-
sig
|
|
15
|
-
för
|
|
16
|
-
så
|
|
17
|
-
till
|
|
18
|
-
är
|
|
19
|
-
men
|
|
20
|
-
ett
|
|
21
|
-
om
|
|
22
|
-
hade
|
|
23
|
-
de
|
|
24
|
-
av
|
|
25
|
-
icke
|
|
26
|
-
mig
|
|
27
|
-
du
|
|
28
|
-
henne
|
|
29
|
-
då
|
|
30
|
-
sin
|
|
31
|
-
nu
|
|
32
|
-
har
|
|
33
|
-
inte
|
|
34
|
-
hans
|
|
35
|
-
honom
|
|
36
|
-
skulle
|
|
37
|
-
hennes
|
|
38
|
-
där
|
|
39
|
-
min
|
|
40
|
-
man
|
|
41
|
-
ej
|
|
42
|
-
vid
|
|
43
|
-
kunde
|
|
44
|
-
något
|
|
45
|
-
från
|
|
46
|
-
ut
|
|
47
|
-
när
|
|
48
|
-
efter
|
|
49
|
-
upp
|
|
50
|
-
vi
|
|
51
|
-
dem
|
|
52
|
-
vara
|
|
53
|
-
vad
|
|
54
|
-
över
|
|
55
|
-
än
|
|
56
|
-
dig
|
|
57
|
-
kan
|
|
58
|
-
sina
|
|
59
|
-
här
|
|
60
|
-
ha
|
|
61
|
-
mot
|
|
62
|
-
alla
|
|
63
|
-
under
|
|
64
|
-
någon
|
|
65
|
-
eller
|
|
66
|
-
allt
|
|
67
|
-
mycket
|
|
68
|
-
sedan
|
|
69
|
-
ju
|
|
70
|
-
denna
|
|
71
|
-
själv
|
|
72
|
-
detta
|
|
73
|
-
åt
|
|
74
|
-
utan
|
|
75
|
-
varit
|
|
76
|
-
hur
|
|
77
|
-
ingen
|
|
78
|
-
mitt
|
|
79
|
-
ni
|
|
80
|
-
bli
|
|
81
|
-
blev
|
|
82
|
-
oss
|
|
83
|
-
din
|
|
84
|
-
dessa
|
|
85
|
-
några
|
|
86
|
-
deras
|
|
87
|
-
blir
|
|
88
|
-
mina
|
|
89
|
-
samma
|
|
90
|
-
vilken
|
|
91
|
-
er
|
|
92
|
-
sådan
|
|
93
|
-
vår
|
|
94
|
-
blivit
|
|
95
|
-
dess
|
|
96
|
-
inom
|
|
97
|
-
mellan
|
|
98
|
-
sådant
|
|
99
|
-
varför
|
|
100
|
-
varje
|
|
101
|
-
vilka
|
|
102
|
-
ditt
|
|
103
|
-
vem
|
|
104
|
-
vilket
|
|
105
|
-
sitta
|
|
106
|
-
sådana
|
|
107
|
-
vart
|
|
108
|
-
dina
|
|
109
|
-
vars
|
|
110
|
-
vårt
|
|
111
|
-
våra
|
|
112
|
-
ert
|
|
113
|
-
era
|
|
114
|
-
vilkas
|
|
1
|
+
och,det,att,i,en,jag,hon,som,han,på,den,med,var,sig,för,så,till,är,men,ett,om,hade,de,av,icke,mig,du,henne,då,sin,nu,har,inte,hans,honom,skulle,hennes,där,min,man,ej,vid,kunde,något,från,ut,när,efter,upp,vi,dem,vara,vad,över,än,dig,kan,sina,här,ha,mot,alla,under,någon,eller,allt,mycket,sedan,ju,denna,själv,detta,åt,utan,varit,hur,ingen,mitt,ni,bli,blev,oss,din,dessa,några,deras,blir,mina,samma,vilken,er,sådan,vår,blivit,dess,inom,mellan,sådant,varför,varje,vilka,ditt,vem,vilket,sitta,sådana,vart,dina,vars,vårt,våra,ert,era,vilkas,
|
metadata
CHANGED
|
@@ -1,14 +1,14 @@
|
|
|
1
1
|
--- !ruby/object:Gem::Specification
|
|
2
2
|
name: stopwords-filter
|
|
3
3
|
version: !ruby/object:Gem::Version
|
|
4
|
-
version: 0.
|
|
4
|
+
version: 0.5.0
|
|
5
5
|
platform: ruby
|
|
6
6
|
authors:
|
|
7
7
|
- David J. Brenes
|
|
8
8
|
autorequire:
|
|
9
9
|
bindir: bin
|
|
10
10
|
cert_chain: []
|
|
11
|
-
date:
|
|
11
|
+
date: 2021-06-09 00:00:00.000000000 Z
|
|
12
12
|
dependencies: []
|
|
13
13
|
description: Small library that allows you to create a simple stopwords filter or
|
|
14
14
|
use some based on Snowball stopwords lists
|
|
@@ -33,6 +33,7 @@ files:
|
|
|
33
33
|
- lib/stopwords/snowball/locales/bg.csv
|
|
34
34
|
- lib/stopwords/snowball/locales/da.csv
|
|
35
35
|
- lib/stopwords/snowball/locales/de.csv
|
|
36
|
+
- lib/stopwords/snowball/locales/el.csv
|
|
36
37
|
- lib/stopwords/snowball/locales/en.csv
|
|
37
38
|
- lib/stopwords/snowball/locales/es.csv
|
|
38
39
|
- lib/stopwords/snowball/locales/fn.csv
|
|
@@ -40,7 +41,9 @@ files:
|
|
|
40
41
|
- lib/stopwords/snowball/locales/hu.csv
|
|
41
42
|
- lib/stopwords/snowball/locales/it.csv
|
|
42
43
|
- lib/stopwords/snowball/locales/nl.csv
|
|
44
|
+
- lib/stopwords/snowball/locales/pl.csv
|
|
43
45
|
- lib/stopwords/snowball/locales/pt.csv
|
|
46
|
+
- lib/stopwords/snowball/locales/ro.csv
|
|
44
47
|
- lib/stopwords/snowball/locales/ru.csv
|
|
45
48
|
- lib/stopwords/snowball/locales/sv.csv
|
|
46
49
|
- lib/stopwords/snowball/wordsieve.rb
|