psychowl 0.1.0

This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
Files changed (46) hide show
  1. checksums.yaml +7 -0
  2. data/CHANGELOG.md +21 -0
  3. data/LICENSE.txt +21 -0
  4. data/README.md +212 -0
  5. data/exe/psychowl +106 -0
  6. data/ext/psychowl_native/core/data/LICENSE-whatlang +26 -0
  7. data/ext/psychowl_native/core/data/README.md +32 -0
  8. data/ext/psychowl_native/core/data/alphabets.tsv +16 -0
  9. data/ext/psychowl_native/core/data/languages.tsv +20 -0
  10. data/ext/psychowl_native/core/data/scripts.tsv +28 -0
  11. data/ext/psychowl_native/core/data/trigrams/ara.txt +302 -0
  12. data/ext/psychowl_native/core/data/trigrams/deu.txt +302 -0
  13. data/ext/psychowl_native/core/data/trigrams/eng.txt +302 -0
  14. data/ext/psychowl_native/core/data/trigrams/fra.txt +302 -0
  15. data/ext/psychowl_native/core/data/trigrams/hin.txt +302 -0
  16. data/ext/psychowl_native/core/data/trigrams/ind.txt +302 -0
  17. data/ext/psychowl_native/core/data/trigrams/ita.txt +302 -0
  18. data/ext/psychowl_native/core/data/trigrams/nld.txt +302 -0
  19. data/ext/psychowl_native/core/data/trigrams/pol.txt +302 -0
  20. data/ext/psychowl_native/core/data/trigrams/por.txt +302 -0
  21. data/ext/psychowl_native/core/data/trigrams/rus.txt +302 -0
  22. data/ext/psychowl_native/core/data/trigrams/spa.txt +302 -0
  23. data/ext/psychowl_native/core/data/trigrams/tur.txt +302 -0
  24. data/ext/psychowl_native/core/data/trigrams/ukr.txt +302 -0
  25. data/ext/psychowl_native/core/data/trigrams/vie.txt +302 -0
  26. data/lib/psychowl/active_model.rb +64 -0
  27. data/lib/psychowl/data_file.rb +14 -0
  28. data/lib/psychowl/detector.rb +123 -0
  29. data/lib/psychowl/engine.rb +23 -0
  30. data/lib/psychowl/info.rb +39 -0
  31. data/lib/psychowl/lang.rb +55 -0
  32. data/lib/psychowl/locale/en.yml +6 -0
  33. data/lib/psychowl/lookup.rb +25 -0
  34. data/lib/psychowl/native_speedup.rb +46 -0
  35. data/lib/psychowl/postgres.rb +35 -0
  36. data/lib/psychowl/railtie.rb +10 -0
  37. data/lib/psychowl/ruby_engine/segmentation.rb +84 -0
  38. data/lib/psychowl/ruby_engine/trigrams.rb +74 -0
  39. data/lib/psychowl/ruby_engine.rb +166 -0
  40. data/lib/psychowl/script.rb +39 -0
  41. data/lib/psychowl/segment.rb +24 -0
  42. data/lib/psychowl/tables.rb +55 -0
  43. data/lib/psychowl/text.rb +26 -0
  44. data/lib/psychowl/version.rb +5 -0
  45. data/lib/psychowl.rb +82 -0
  46. metadata +91 -0
@@ -0,0 +1,302 @@
1
+ # rus: 300 most frequent trigrams, most frequent first. "_" marks a word boundary.
2
+ # Ported from whatlang 0.18.0 (MIT), see ../LICENSE-whatlang.
3
+ _пр
4
+ _и_
5
+ рав
6
+ ств
7
+ _на
8
+ пра
9
+ го_
10
+ ени
11
+ ове
12
+ во_
13
+ _ка
14
+ ани
15
+ ть_
16
+ _в_
17
+ _по
18
+ _об
19
+ ия_
20
+ сво
21
+ _св
22
+ лов
23
+ на_
24
+ _че
25
+ ело
26
+ о_н
27
+ _со
28
+ ост
29
+ чел
30
+ ие_
31
+ ого
32
+ ет_
33
+ ния
34
+ ест
35
+ аво
36
+ ый_
37
+ ажд
38
+ _им
39
+ ние
40
+ век
41
+ _не
42
+ льн
43
+ ли_
44
+ ова
45
+ име
46
+ ать
47
+ при
48
+ т_п
49
+ и_п
50
+ каж
51
+ или
52
+ обо
53
+ _ра
54
+ ых_
55
+ жды
56
+ _до
57
+ дый
58
+ воб
59
+ ек_
60
+ бод
61
+ ва_
62
+ й_ч
63
+ его
64
+ ся_
65
+ и_с
66
+ ии_
67
+ аци
68
+ еет
69
+ но_
70
+ мее
71
+ и_и
72
+ лен
73
+ ой_
74
+ тва
75
+ ных
76
+ то_
77
+ _ил
78
+ к_и
79
+ енн
80
+ _бы
81
+ ию_
82
+ _за
83
+ ми_
84
+ тво
85
+ и_н
86
+ о_п
87
+ ван
88
+ о_с
89
+ сто
90
+ аль
91
+ _вс
92
+ ом_
93
+ о_в
94
+ ьно
95
+ их_
96
+ ног
97
+ и_в
98
+ нов
99
+ ако
100
+ про
101
+ ий_
102
+ сти
103
+ и_о
104
+ пол
105
+ олж
106
+ дол
107
+ ое_
108
+ бра
109
+ я_в
110
+ _ос
111
+ ным
112
+ жен
113
+ раз
114
+ ти_
115
+ нос
116
+ я_и
117
+ _во
118
+ тор
119
+ все
120
+ _ег
121
+ ей_
122
+ тел
123
+ не_
124
+ и_р
125
+ ред
126
+ ель
127
+ тве
128
+ оди
129
+ _ко
130
+ общ
131
+ о_и
132
+ _де
133
+ има
134
+ а_и
135
+ чес
136
+ ним
137
+ сно
138
+ как
139
+ _ли
140
+ щес
141
+ вле
142
+ ься
143
+ нны
144
+ аст
145
+ тьс
146
+ нно
147
+ осу
148
+ е_д
149
+ _от
150
+ пре
151
+ шен
152
+ а_с
153
+ бще
154
+ осн
155
+ одн
156
+ быт
157
+ сов
158
+ ыть
159
+ лжн
160
+ ран
161
+ нию
162
+ иче
163
+ ак_
164
+ ым_
165
+ ват
166
+ что
167
+ сту
168
+ чен
169
+ е_в
170
+ _ст
171
+ рес
172
+ оль
173
+ _ни
174
+ ном
175
+ род
176
+ ля_
177
+ нар
178
+ вен
179
+ ду_
180
+ оже
181
+ ны_
182
+ е_и
183
+ _то
184
+ вер
185
+ а_о
186
+ зов
187
+ м_и
188
+ нац
189
+ ден
190
+ рин
191
+ туп
192
+ ежд
193
+ стр
194
+ _чт
195
+ я_п
196
+ она
197
+ дос
198
+ х_и
199
+ й_и
200
+ тоя
201
+ есп
202
+ лич
203
+ бес
204
+ обр
205
+ ото
206
+ о_б
207
+ ьны
208
+ ь_в
209
+ нии
210
+ е_м
211
+ ую_
212
+ _мо
213
+ ем_
214
+ _ме
215
+ аро
216
+ _ре
217
+ ава
218
+ кот
219
+ ав_
220
+ _вы
221
+ ам_
222
+ жно
223
+ ста
224
+ ая_
225
+ под
226
+ и_к
227
+ ное
228
+ _к_
229
+ _та
230
+ _го
231
+ гос
232
+ суд
233
+ еоб
234
+ я_н
235
+ ен_
236
+ и_д
237
+ мож
238
+ еск
239
+ ели
240
+ авн
241
+ ве_
242
+ ече
243
+ уще
244
+ печ
245
+ дно
246
+ о_д
247
+ ход
248
+ ка_
249
+ _дл
250
+ для
251
+ ово
252
+ ате
253
+ льс
254
+ ю_и
255
+ в_к
256
+ нен
257
+ ции
258
+ ной
259
+ уда
260
+ вов
261
+ _бе
262
+ оро
263
+ нст
264
+ ами
265
+ циа
266
+ кон
267
+ сем
268
+ е_о
269
+ вно
270
+ _эт
271
+ азо
272
+ х_п
273
+ ни_
274
+ жде
275
+ м_п
276
+ ког
277
+ от_
278
+ дст
279
+ вны
280
+ сть
281
+ ые_
282
+ о_о
283
+ пос
284
+ сре
285
+ тра
286
+ ейс
287
+ так
288
+ и_б
289
+ дов
290
+ му_
291
+ я_к
292
+ нал
293
+ дру
294
+ _др
295
+ кой
296
+ тер
297
+ ь_п
298
+ арс
299
+ изн
300
+ соц
301
+ еди
302
+ олн
@@ -0,0 +1,302 @@
1
+ # spa: 300 most frequent trigrams, most frequent first. "_" marks a word boundary.
2
+ # Ported from whatlang 0.18.0 (MIT), see ../LICENSE-whatlang.
3
+ _de
4
+ os_
5
+ de_
6
+ _la
7
+ la_
8
+ _y_
9
+ _a_
10
+ es_
11
+ ón_
12
+ ión
13
+ rec
14
+ ere
15
+ der
16
+ _co
17
+ e_l
18
+ el_
19
+ en_
20
+ ien
21
+ cho
22
+ ent
23
+ ech
24
+ ció
25
+ aci
26
+ o_a
27
+ a_p
28
+ _el
29
+ a_l
30
+ al_
31
+ as_
32
+ e_d
33
+ _en
34
+ na_
35
+ ona
36
+ s_d
37
+ da_
38
+ nte
39
+ _to
40
+ ad_
41
+ ene
42
+ con
43
+ _pr
44
+ _su
45
+ tod
46
+ _se
47
+ ho_
48
+ los
49
+ _pe
50
+ per
51
+ ers
52
+ _lo
53
+ o_d
54
+ _ti
55
+ cia
56
+ n_d
57
+ cio
58
+ _es
59
+ ida
60
+ res
61
+ a_t
62
+ tie
63
+ ion
64
+ rso
65
+ te_
66
+ do_
67
+ _in
68
+ son
69
+ _re
70
+ _li
71
+ to_
72
+ dad
73
+ tad
74
+ e_s
75
+ est
76
+ pro
77
+ que
78
+ men
79
+ _po
80
+ a_e
81
+ oda
82
+ nci
83
+ _qu
84
+ _un
85
+ ue_
86
+ ne_
87
+ n_e
88
+ s_y
89
+ lib
90
+ su_
91
+ _na
92
+ s_e
93
+ nac
94
+ ia_
95
+ e_e
96
+ tra
97
+ _pa
98
+ or_
99
+ ado
100
+ a_d
101
+ nes
102
+ ra_
103
+ se_
104
+ ual
105
+ a_c
106
+ er_
107
+ por
108
+ com
109
+ nal
110
+ rta
111
+ a_s
112
+ ber
113
+ _o_
114
+ one
115
+ s_p
116
+ dos
117
+ rá_
118
+ sta
119
+ les
120
+ des
121
+ ibe
122
+ ser
123
+ era
124
+ ar_
125
+ ert
126
+ ter
127
+ _di
128
+ ale
129
+ l_d
130
+ nto
131
+ hos
132
+ del
133
+ ica
134
+ a_a
135
+ s_n
136
+ n_c
137
+ oci
138
+ imi
139
+ io_
140
+ o_e
141
+ re_
142
+ y_l
143
+ e_c
144
+ ant
145
+ cci
146
+ _as
147
+ las
148
+ par
149
+ ame
150
+ _cu
151
+ ici
152
+ ara
153
+ enc
154
+ s_t
155
+ ndi
156
+ _so
157
+ o_s
158
+ mie
159
+ tos
160
+ una
161
+ bre
162
+ dic
163
+ cla
164
+ s_l
165
+ e_a
166
+ l_p
167
+ pre
168
+ ntr
169
+ o_t
170
+ ial
171
+ y_a
172
+ nid
173
+ n_p
174
+ a_y
175
+ man
176
+ omo
177
+ so_
178
+ n_l
179
+ _al
180
+ ali
181
+ s_a
182
+ no_
183
+ _ig
184
+ s_s
185
+ e_p
186
+ nta
187
+ uma
188
+ ten
189
+ gua
190
+ ade
191
+ y_e
192
+ soc
193
+ mo_
194
+ _fu
195
+ igu
196
+ o_p
197
+ n_t
198
+ hum
199
+ d_d
200
+ ran
201
+ ria
202
+ y_d
203
+ ada
204
+ tiv
205
+ l_e
206
+ cas
207
+ _ca
208
+ vid
209
+ l_t
210
+ s_c
211
+ ido
212
+ das
213
+ dis
214
+ s_i
215
+ _hu
216
+ s_o
217
+ nad
218
+ fun
219
+ _ma
220
+ rac
221
+ nda
222
+ eli
223
+ sar
224
+ und
225
+ _ac
226
+ uni
227
+ mbr
228
+ a_u
229
+ die
230
+ e_i
231
+ qui
232
+ a_i
233
+ _ha
234
+ lar
235
+ _tr
236
+ odo
237
+ ca_
238
+ tic
239
+ o_y
240
+ cti
241
+ lid
242
+ ori
243
+ ndo
244
+ ari
245
+ _me
246
+ ta_
247
+ ind
248
+ esa
249
+ cua
250
+ un_
251
+ ier
252
+ tal
253
+ esp
254
+ seg
255
+ ele
256
+ ons
257
+ ito
258
+ ont
259
+ iva
260
+ s_h
261
+ d_y
262
+ nos
263
+ ist
264
+ rse
265
+ _le
266
+ cie
267
+ ide
268
+ edi
269
+ ecc
270
+ ios
271
+ l_m
272
+ r_e
273
+ med
274
+ tor
275
+ sti
276
+ n_a
277
+ rim
278
+ uie
279
+ ple
280
+ tri
281
+ ibr
282
+ sus
283
+ lo_
284
+ ect
285
+ pen
286
+ y_c
287
+ an_
288
+ e_h
289
+ n_s
290
+ ern
291
+ tar
292
+ l_y
293
+ egu
294
+ gur
295
+ ura
296
+ int
297
+ ond
298
+ mat
299
+ l_r
300
+ r_a
301
+ isf
302
+ ote