psychowl 0.1.0
This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
- checksums.yaml +7 -0
- data/CHANGELOG.md +21 -0
- data/LICENSE.txt +21 -0
- data/README.md +212 -0
- data/exe/psychowl +106 -0
- data/ext/psychowl_native/core/data/LICENSE-whatlang +26 -0
- data/ext/psychowl_native/core/data/README.md +32 -0
- data/ext/psychowl_native/core/data/alphabets.tsv +16 -0
- data/ext/psychowl_native/core/data/languages.tsv +20 -0
- data/ext/psychowl_native/core/data/scripts.tsv +28 -0
- data/ext/psychowl_native/core/data/trigrams/ara.txt +302 -0
- data/ext/psychowl_native/core/data/trigrams/deu.txt +302 -0
- data/ext/psychowl_native/core/data/trigrams/eng.txt +302 -0
- data/ext/psychowl_native/core/data/trigrams/fra.txt +302 -0
- data/ext/psychowl_native/core/data/trigrams/hin.txt +302 -0
- data/ext/psychowl_native/core/data/trigrams/ind.txt +302 -0
- data/ext/psychowl_native/core/data/trigrams/ita.txt +302 -0
- data/ext/psychowl_native/core/data/trigrams/nld.txt +302 -0
- data/ext/psychowl_native/core/data/trigrams/pol.txt +302 -0
- data/ext/psychowl_native/core/data/trigrams/por.txt +302 -0
- data/ext/psychowl_native/core/data/trigrams/rus.txt +302 -0
- data/ext/psychowl_native/core/data/trigrams/spa.txt +302 -0
- data/ext/psychowl_native/core/data/trigrams/tur.txt +302 -0
- data/ext/psychowl_native/core/data/trigrams/ukr.txt +302 -0
- data/ext/psychowl_native/core/data/trigrams/vie.txt +302 -0
- data/lib/psychowl/active_model.rb +64 -0
- data/lib/psychowl/data_file.rb +14 -0
- data/lib/psychowl/detector.rb +123 -0
- data/lib/psychowl/engine.rb +23 -0
- data/lib/psychowl/info.rb +39 -0
- data/lib/psychowl/lang.rb +55 -0
- data/lib/psychowl/locale/en.yml +6 -0
- data/lib/psychowl/lookup.rb +25 -0
- data/lib/psychowl/native_speedup.rb +46 -0
- data/lib/psychowl/postgres.rb +35 -0
- data/lib/psychowl/railtie.rb +10 -0
- data/lib/psychowl/ruby_engine/segmentation.rb +84 -0
- data/lib/psychowl/ruby_engine/trigrams.rb +74 -0
- data/lib/psychowl/ruby_engine.rb +166 -0
- data/lib/psychowl/script.rb +39 -0
- data/lib/psychowl/segment.rb +24 -0
- data/lib/psychowl/tables.rb +55 -0
- data/lib/psychowl/text.rb +26 -0
- data/lib/psychowl/version.rb +5 -0
- data/lib/psychowl.rb +82 -0
- metadata +91 -0
|
@@ -0,0 +1,302 @@
|
|
|
1
|
+
# rus: 300 most frequent trigrams, most frequent first. "_" marks a word boundary.
|
|
2
|
+
# Ported from whatlang 0.18.0 (MIT), see ../LICENSE-whatlang.
|
|
3
|
+
_пр
|
|
4
|
+
_и_
|
|
5
|
+
рав
|
|
6
|
+
ств
|
|
7
|
+
_на
|
|
8
|
+
пра
|
|
9
|
+
го_
|
|
10
|
+
ени
|
|
11
|
+
ове
|
|
12
|
+
во_
|
|
13
|
+
_ка
|
|
14
|
+
ани
|
|
15
|
+
ть_
|
|
16
|
+
_в_
|
|
17
|
+
_по
|
|
18
|
+
_об
|
|
19
|
+
ия_
|
|
20
|
+
сво
|
|
21
|
+
_св
|
|
22
|
+
лов
|
|
23
|
+
на_
|
|
24
|
+
_че
|
|
25
|
+
ело
|
|
26
|
+
о_н
|
|
27
|
+
_со
|
|
28
|
+
ост
|
|
29
|
+
чел
|
|
30
|
+
ие_
|
|
31
|
+
ого
|
|
32
|
+
ет_
|
|
33
|
+
ния
|
|
34
|
+
ест
|
|
35
|
+
аво
|
|
36
|
+
ый_
|
|
37
|
+
ажд
|
|
38
|
+
_им
|
|
39
|
+
ние
|
|
40
|
+
век
|
|
41
|
+
_не
|
|
42
|
+
льн
|
|
43
|
+
ли_
|
|
44
|
+
ова
|
|
45
|
+
име
|
|
46
|
+
ать
|
|
47
|
+
при
|
|
48
|
+
т_п
|
|
49
|
+
и_п
|
|
50
|
+
каж
|
|
51
|
+
или
|
|
52
|
+
обо
|
|
53
|
+
_ра
|
|
54
|
+
ых_
|
|
55
|
+
жды
|
|
56
|
+
_до
|
|
57
|
+
дый
|
|
58
|
+
воб
|
|
59
|
+
ек_
|
|
60
|
+
бод
|
|
61
|
+
ва_
|
|
62
|
+
й_ч
|
|
63
|
+
его
|
|
64
|
+
ся_
|
|
65
|
+
и_с
|
|
66
|
+
ии_
|
|
67
|
+
аци
|
|
68
|
+
еет
|
|
69
|
+
но_
|
|
70
|
+
мее
|
|
71
|
+
и_и
|
|
72
|
+
лен
|
|
73
|
+
ой_
|
|
74
|
+
тва
|
|
75
|
+
ных
|
|
76
|
+
то_
|
|
77
|
+
_ил
|
|
78
|
+
к_и
|
|
79
|
+
енн
|
|
80
|
+
_бы
|
|
81
|
+
ию_
|
|
82
|
+
_за
|
|
83
|
+
ми_
|
|
84
|
+
тво
|
|
85
|
+
и_н
|
|
86
|
+
о_п
|
|
87
|
+
ван
|
|
88
|
+
о_с
|
|
89
|
+
сто
|
|
90
|
+
аль
|
|
91
|
+
_вс
|
|
92
|
+
ом_
|
|
93
|
+
о_в
|
|
94
|
+
ьно
|
|
95
|
+
их_
|
|
96
|
+
ног
|
|
97
|
+
и_в
|
|
98
|
+
нов
|
|
99
|
+
ако
|
|
100
|
+
про
|
|
101
|
+
ий_
|
|
102
|
+
сти
|
|
103
|
+
и_о
|
|
104
|
+
пол
|
|
105
|
+
олж
|
|
106
|
+
дол
|
|
107
|
+
ое_
|
|
108
|
+
бра
|
|
109
|
+
я_в
|
|
110
|
+
_ос
|
|
111
|
+
ным
|
|
112
|
+
жен
|
|
113
|
+
раз
|
|
114
|
+
ти_
|
|
115
|
+
нос
|
|
116
|
+
я_и
|
|
117
|
+
_во
|
|
118
|
+
тор
|
|
119
|
+
все
|
|
120
|
+
_ег
|
|
121
|
+
ей_
|
|
122
|
+
тел
|
|
123
|
+
не_
|
|
124
|
+
и_р
|
|
125
|
+
ред
|
|
126
|
+
ель
|
|
127
|
+
тве
|
|
128
|
+
оди
|
|
129
|
+
_ко
|
|
130
|
+
общ
|
|
131
|
+
о_и
|
|
132
|
+
_де
|
|
133
|
+
има
|
|
134
|
+
а_и
|
|
135
|
+
чес
|
|
136
|
+
ним
|
|
137
|
+
сно
|
|
138
|
+
как
|
|
139
|
+
_ли
|
|
140
|
+
щес
|
|
141
|
+
вле
|
|
142
|
+
ься
|
|
143
|
+
нны
|
|
144
|
+
аст
|
|
145
|
+
тьс
|
|
146
|
+
нно
|
|
147
|
+
осу
|
|
148
|
+
е_д
|
|
149
|
+
_от
|
|
150
|
+
пре
|
|
151
|
+
шен
|
|
152
|
+
а_с
|
|
153
|
+
бще
|
|
154
|
+
осн
|
|
155
|
+
одн
|
|
156
|
+
быт
|
|
157
|
+
сов
|
|
158
|
+
ыть
|
|
159
|
+
лжн
|
|
160
|
+
ран
|
|
161
|
+
нию
|
|
162
|
+
иче
|
|
163
|
+
ак_
|
|
164
|
+
ым_
|
|
165
|
+
ват
|
|
166
|
+
что
|
|
167
|
+
сту
|
|
168
|
+
чен
|
|
169
|
+
е_в
|
|
170
|
+
_ст
|
|
171
|
+
рес
|
|
172
|
+
оль
|
|
173
|
+
_ни
|
|
174
|
+
ном
|
|
175
|
+
род
|
|
176
|
+
ля_
|
|
177
|
+
нар
|
|
178
|
+
вен
|
|
179
|
+
ду_
|
|
180
|
+
оже
|
|
181
|
+
ны_
|
|
182
|
+
е_и
|
|
183
|
+
_то
|
|
184
|
+
вер
|
|
185
|
+
а_о
|
|
186
|
+
зов
|
|
187
|
+
м_и
|
|
188
|
+
нац
|
|
189
|
+
ден
|
|
190
|
+
рин
|
|
191
|
+
туп
|
|
192
|
+
ежд
|
|
193
|
+
стр
|
|
194
|
+
_чт
|
|
195
|
+
я_п
|
|
196
|
+
она
|
|
197
|
+
дос
|
|
198
|
+
х_и
|
|
199
|
+
й_и
|
|
200
|
+
тоя
|
|
201
|
+
есп
|
|
202
|
+
лич
|
|
203
|
+
бес
|
|
204
|
+
обр
|
|
205
|
+
ото
|
|
206
|
+
о_б
|
|
207
|
+
ьны
|
|
208
|
+
ь_в
|
|
209
|
+
нии
|
|
210
|
+
е_м
|
|
211
|
+
ую_
|
|
212
|
+
_мо
|
|
213
|
+
ем_
|
|
214
|
+
_ме
|
|
215
|
+
аро
|
|
216
|
+
_ре
|
|
217
|
+
ава
|
|
218
|
+
кот
|
|
219
|
+
ав_
|
|
220
|
+
_вы
|
|
221
|
+
ам_
|
|
222
|
+
жно
|
|
223
|
+
ста
|
|
224
|
+
ая_
|
|
225
|
+
под
|
|
226
|
+
и_к
|
|
227
|
+
ное
|
|
228
|
+
_к_
|
|
229
|
+
_та
|
|
230
|
+
_го
|
|
231
|
+
гос
|
|
232
|
+
суд
|
|
233
|
+
еоб
|
|
234
|
+
я_н
|
|
235
|
+
ен_
|
|
236
|
+
и_д
|
|
237
|
+
мож
|
|
238
|
+
еск
|
|
239
|
+
ели
|
|
240
|
+
авн
|
|
241
|
+
ве_
|
|
242
|
+
ече
|
|
243
|
+
уще
|
|
244
|
+
печ
|
|
245
|
+
дно
|
|
246
|
+
о_д
|
|
247
|
+
ход
|
|
248
|
+
ка_
|
|
249
|
+
_дл
|
|
250
|
+
для
|
|
251
|
+
ово
|
|
252
|
+
ате
|
|
253
|
+
льс
|
|
254
|
+
ю_и
|
|
255
|
+
в_к
|
|
256
|
+
нен
|
|
257
|
+
ции
|
|
258
|
+
ной
|
|
259
|
+
уда
|
|
260
|
+
вов
|
|
261
|
+
_бе
|
|
262
|
+
оро
|
|
263
|
+
нст
|
|
264
|
+
ами
|
|
265
|
+
циа
|
|
266
|
+
кон
|
|
267
|
+
сем
|
|
268
|
+
е_о
|
|
269
|
+
вно
|
|
270
|
+
_эт
|
|
271
|
+
азо
|
|
272
|
+
х_п
|
|
273
|
+
ни_
|
|
274
|
+
жде
|
|
275
|
+
м_п
|
|
276
|
+
ког
|
|
277
|
+
от_
|
|
278
|
+
дст
|
|
279
|
+
вны
|
|
280
|
+
сть
|
|
281
|
+
ые_
|
|
282
|
+
о_о
|
|
283
|
+
пос
|
|
284
|
+
сре
|
|
285
|
+
тра
|
|
286
|
+
ейс
|
|
287
|
+
так
|
|
288
|
+
и_б
|
|
289
|
+
дов
|
|
290
|
+
му_
|
|
291
|
+
я_к
|
|
292
|
+
нал
|
|
293
|
+
дру
|
|
294
|
+
_др
|
|
295
|
+
кой
|
|
296
|
+
тер
|
|
297
|
+
ь_п
|
|
298
|
+
арс
|
|
299
|
+
изн
|
|
300
|
+
соц
|
|
301
|
+
еди
|
|
302
|
+
олн
|
|
@@ -0,0 +1,302 @@
|
|
|
1
|
+
# spa: 300 most frequent trigrams, most frequent first. "_" marks a word boundary.
|
|
2
|
+
# Ported from whatlang 0.18.0 (MIT), see ../LICENSE-whatlang.
|
|
3
|
+
_de
|
|
4
|
+
os_
|
|
5
|
+
de_
|
|
6
|
+
_la
|
|
7
|
+
la_
|
|
8
|
+
_y_
|
|
9
|
+
_a_
|
|
10
|
+
es_
|
|
11
|
+
ón_
|
|
12
|
+
ión
|
|
13
|
+
rec
|
|
14
|
+
ere
|
|
15
|
+
der
|
|
16
|
+
_co
|
|
17
|
+
e_l
|
|
18
|
+
el_
|
|
19
|
+
en_
|
|
20
|
+
ien
|
|
21
|
+
cho
|
|
22
|
+
ent
|
|
23
|
+
ech
|
|
24
|
+
ció
|
|
25
|
+
aci
|
|
26
|
+
o_a
|
|
27
|
+
a_p
|
|
28
|
+
_el
|
|
29
|
+
a_l
|
|
30
|
+
al_
|
|
31
|
+
as_
|
|
32
|
+
e_d
|
|
33
|
+
_en
|
|
34
|
+
na_
|
|
35
|
+
ona
|
|
36
|
+
s_d
|
|
37
|
+
da_
|
|
38
|
+
nte
|
|
39
|
+
_to
|
|
40
|
+
ad_
|
|
41
|
+
ene
|
|
42
|
+
con
|
|
43
|
+
_pr
|
|
44
|
+
_su
|
|
45
|
+
tod
|
|
46
|
+
_se
|
|
47
|
+
ho_
|
|
48
|
+
los
|
|
49
|
+
_pe
|
|
50
|
+
per
|
|
51
|
+
ers
|
|
52
|
+
_lo
|
|
53
|
+
o_d
|
|
54
|
+
_ti
|
|
55
|
+
cia
|
|
56
|
+
n_d
|
|
57
|
+
cio
|
|
58
|
+
_es
|
|
59
|
+
ida
|
|
60
|
+
res
|
|
61
|
+
a_t
|
|
62
|
+
tie
|
|
63
|
+
ion
|
|
64
|
+
rso
|
|
65
|
+
te_
|
|
66
|
+
do_
|
|
67
|
+
_in
|
|
68
|
+
son
|
|
69
|
+
_re
|
|
70
|
+
_li
|
|
71
|
+
to_
|
|
72
|
+
dad
|
|
73
|
+
tad
|
|
74
|
+
e_s
|
|
75
|
+
est
|
|
76
|
+
pro
|
|
77
|
+
que
|
|
78
|
+
men
|
|
79
|
+
_po
|
|
80
|
+
a_e
|
|
81
|
+
oda
|
|
82
|
+
nci
|
|
83
|
+
_qu
|
|
84
|
+
_un
|
|
85
|
+
ue_
|
|
86
|
+
ne_
|
|
87
|
+
n_e
|
|
88
|
+
s_y
|
|
89
|
+
lib
|
|
90
|
+
su_
|
|
91
|
+
_na
|
|
92
|
+
s_e
|
|
93
|
+
nac
|
|
94
|
+
ia_
|
|
95
|
+
e_e
|
|
96
|
+
tra
|
|
97
|
+
_pa
|
|
98
|
+
or_
|
|
99
|
+
ado
|
|
100
|
+
a_d
|
|
101
|
+
nes
|
|
102
|
+
ra_
|
|
103
|
+
se_
|
|
104
|
+
ual
|
|
105
|
+
a_c
|
|
106
|
+
er_
|
|
107
|
+
por
|
|
108
|
+
com
|
|
109
|
+
nal
|
|
110
|
+
rta
|
|
111
|
+
a_s
|
|
112
|
+
ber
|
|
113
|
+
_o_
|
|
114
|
+
one
|
|
115
|
+
s_p
|
|
116
|
+
dos
|
|
117
|
+
rá_
|
|
118
|
+
sta
|
|
119
|
+
les
|
|
120
|
+
des
|
|
121
|
+
ibe
|
|
122
|
+
ser
|
|
123
|
+
era
|
|
124
|
+
ar_
|
|
125
|
+
ert
|
|
126
|
+
ter
|
|
127
|
+
_di
|
|
128
|
+
ale
|
|
129
|
+
l_d
|
|
130
|
+
nto
|
|
131
|
+
hos
|
|
132
|
+
del
|
|
133
|
+
ica
|
|
134
|
+
a_a
|
|
135
|
+
s_n
|
|
136
|
+
n_c
|
|
137
|
+
oci
|
|
138
|
+
imi
|
|
139
|
+
io_
|
|
140
|
+
o_e
|
|
141
|
+
re_
|
|
142
|
+
y_l
|
|
143
|
+
e_c
|
|
144
|
+
ant
|
|
145
|
+
cci
|
|
146
|
+
_as
|
|
147
|
+
las
|
|
148
|
+
par
|
|
149
|
+
ame
|
|
150
|
+
_cu
|
|
151
|
+
ici
|
|
152
|
+
ara
|
|
153
|
+
enc
|
|
154
|
+
s_t
|
|
155
|
+
ndi
|
|
156
|
+
_so
|
|
157
|
+
o_s
|
|
158
|
+
mie
|
|
159
|
+
tos
|
|
160
|
+
una
|
|
161
|
+
bre
|
|
162
|
+
dic
|
|
163
|
+
cla
|
|
164
|
+
s_l
|
|
165
|
+
e_a
|
|
166
|
+
l_p
|
|
167
|
+
pre
|
|
168
|
+
ntr
|
|
169
|
+
o_t
|
|
170
|
+
ial
|
|
171
|
+
y_a
|
|
172
|
+
nid
|
|
173
|
+
n_p
|
|
174
|
+
a_y
|
|
175
|
+
man
|
|
176
|
+
omo
|
|
177
|
+
so_
|
|
178
|
+
n_l
|
|
179
|
+
_al
|
|
180
|
+
ali
|
|
181
|
+
s_a
|
|
182
|
+
no_
|
|
183
|
+
_ig
|
|
184
|
+
s_s
|
|
185
|
+
e_p
|
|
186
|
+
nta
|
|
187
|
+
uma
|
|
188
|
+
ten
|
|
189
|
+
gua
|
|
190
|
+
ade
|
|
191
|
+
y_e
|
|
192
|
+
soc
|
|
193
|
+
mo_
|
|
194
|
+
_fu
|
|
195
|
+
igu
|
|
196
|
+
o_p
|
|
197
|
+
n_t
|
|
198
|
+
hum
|
|
199
|
+
d_d
|
|
200
|
+
ran
|
|
201
|
+
ria
|
|
202
|
+
y_d
|
|
203
|
+
ada
|
|
204
|
+
tiv
|
|
205
|
+
l_e
|
|
206
|
+
cas
|
|
207
|
+
_ca
|
|
208
|
+
vid
|
|
209
|
+
l_t
|
|
210
|
+
s_c
|
|
211
|
+
ido
|
|
212
|
+
das
|
|
213
|
+
dis
|
|
214
|
+
s_i
|
|
215
|
+
_hu
|
|
216
|
+
s_o
|
|
217
|
+
nad
|
|
218
|
+
fun
|
|
219
|
+
_ma
|
|
220
|
+
rac
|
|
221
|
+
nda
|
|
222
|
+
eli
|
|
223
|
+
sar
|
|
224
|
+
und
|
|
225
|
+
_ac
|
|
226
|
+
uni
|
|
227
|
+
mbr
|
|
228
|
+
a_u
|
|
229
|
+
die
|
|
230
|
+
e_i
|
|
231
|
+
qui
|
|
232
|
+
a_i
|
|
233
|
+
_ha
|
|
234
|
+
lar
|
|
235
|
+
_tr
|
|
236
|
+
odo
|
|
237
|
+
ca_
|
|
238
|
+
tic
|
|
239
|
+
o_y
|
|
240
|
+
cti
|
|
241
|
+
lid
|
|
242
|
+
ori
|
|
243
|
+
ndo
|
|
244
|
+
ari
|
|
245
|
+
_me
|
|
246
|
+
ta_
|
|
247
|
+
ind
|
|
248
|
+
esa
|
|
249
|
+
cua
|
|
250
|
+
un_
|
|
251
|
+
ier
|
|
252
|
+
tal
|
|
253
|
+
esp
|
|
254
|
+
seg
|
|
255
|
+
ele
|
|
256
|
+
ons
|
|
257
|
+
ito
|
|
258
|
+
ont
|
|
259
|
+
iva
|
|
260
|
+
s_h
|
|
261
|
+
d_y
|
|
262
|
+
nos
|
|
263
|
+
ist
|
|
264
|
+
rse
|
|
265
|
+
_le
|
|
266
|
+
cie
|
|
267
|
+
ide
|
|
268
|
+
edi
|
|
269
|
+
ecc
|
|
270
|
+
ios
|
|
271
|
+
l_m
|
|
272
|
+
r_e
|
|
273
|
+
med
|
|
274
|
+
tor
|
|
275
|
+
sti
|
|
276
|
+
n_a
|
|
277
|
+
rim
|
|
278
|
+
uie
|
|
279
|
+
ple
|
|
280
|
+
tri
|
|
281
|
+
ibr
|
|
282
|
+
sus
|
|
283
|
+
lo_
|
|
284
|
+
ect
|
|
285
|
+
pen
|
|
286
|
+
y_c
|
|
287
|
+
an_
|
|
288
|
+
e_h
|
|
289
|
+
n_s
|
|
290
|
+
ern
|
|
291
|
+
tar
|
|
292
|
+
l_y
|
|
293
|
+
egu
|
|
294
|
+
gur
|
|
295
|
+
ura
|
|
296
|
+
int
|
|
297
|
+
ond
|
|
298
|
+
mat
|
|
299
|
+
l_r
|
|
300
|
+
r_a
|
|
301
|
+
isf
|
|
302
|
+
ote
|