opener-tokenizer-base 1.0.0

Sign up to get free protection for your applications and to get access to all the features.
Files changed (44) hide show
  1. checksums.yaml +7 -0
  2. data/README.md +148 -0
  3. data/bin/tokenizer-base +5 -0
  4. data/bin/tokenizer-de +5 -0
  5. data/bin/tokenizer-en +5 -0
  6. data/bin/tokenizer-es +5 -0
  7. data/bin/tokenizer-fr +5 -0
  8. data/bin/tokenizer-it +5 -0
  9. data/bin/tokenizer-nl +5 -0
  10. data/core/lib/Data/OptList.pm +256 -0
  11. data/core/lib/Params/Util.pm +866 -0
  12. data/core/lib/Sub/Exporter.pm +1101 -0
  13. data/core/lib/Sub/Exporter/Cookbook.pod +309 -0
  14. data/core/lib/Sub/Exporter/Tutorial.pod +280 -0
  15. data/core/lib/Sub/Exporter/Util.pm +354 -0
  16. data/core/lib/Sub/Install.pm +329 -0
  17. data/core/lib/Time/Stamp.pm +808 -0
  18. data/core/load-prefixes.pl +43 -0
  19. data/core/nonbreaking_prefixes/abbreviation_list.kaf +0 -0
  20. data/core/nonbreaking_prefixes/abbreviation_list.txt +444 -0
  21. data/core/nonbreaking_prefixes/nonbreaking_prefix.ca +533 -0
  22. data/core/nonbreaking_prefixes/nonbreaking_prefix.de +781 -0
  23. data/core/nonbreaking_prefixes/nonbreaking_prefix.el +448 -0
  24. data/core/nonbreaking_prefixes/nonbreaking_prefix.en +564 -0
  25. data/core/nonbreaking_prefixes/nonbreaking_prefix.es +758 -0
  26. data/core/nonbreaking_prefixes/nonbreaking_prefix.fr +1027 -0
  27. data/core/nonbreaking_prefixes/nonbreaking_prefix.is +697 -0
  28. data/core/nonbreaking_prefixes/nonbreaking_prefix.it +641 -0
  29. data/core/nonbreaking_prefixes/nonbreaking_prefix.nl +739 -0
  30. data/core/nonbreaking_prefixes/nonbreaking_prefix.pl +729 -0
  31. data/core/nonbreaking_prefixes/nonbreaking_prefix.pt +656 -0
  32. data/core/nonbreaking_prefixes/nonbreaking_prefix.ro +484 -0
  33. data/core/nonbreaking_prefixes/nonbreaking_prefix.ru +705 -0
  34. data/core/nonbreaking_prefixes/nonbreaking_prefix.sk +920 -0
  35. data/core/nonbreaking_prefixes/nonbreaking_prefix.sl +524 -0
  36. data/core/nonbreaking_prefixes/nonbreaking_prefix.sv +492 -0
  37. data/core/split-sentences.pl +114 -0
  38. data/core/text-fixer.pl +169 -0
  39. data/core/tokenizer-cli.pl +363 -0
  40. data/core/tokenizer.pl +145 -0
  41. data/lib/opener/tokenizers/base.rb +84 -0
  42. data/lib/opener/tokenizers/base/version.rb +8 -0
  43. data/opener-tokenizer-base.gemspec +25 -0
  44. metadata +134 -0
@@ -0,0 +1,484 @@
1
+ A
2
+ B
3
+ C
4
+ D
5
+ E
6
+ F
7
+ G
8
+ H
9
+ I
10
+ J
11
+ K
12
+ L
13
+ M
14
+ N
15
+ O
16
+ P
17
+ Q
18
+ R
19
+ S
20
+ T
21
+ U
22
+ V
23
+ W
24
+ X
25
+ Y
26
+ Z
27
+ dpdv
28
+ etc
29
+ șamd
30
+ M.Ap.N
31
+ dl
32
+ Dl
33
+ d-na
34
+ D-na
35
+ dvs
36
+ Dvs
37
+ pt
38
+ Pt
39
+
40
+ #unified abbreviation list
41
+ Acad
42
+ Adj
43
+ Adm
44
+ Adv
45
+ Affl
46
+ Apr
47
+ Art
48
+ Asst
49
+ Av
50
+ Avg
51
+ B.ches-du-Rh
52
+ Bart
53
+ Bco
54
+ Bldg
55
+ Brig
56
+ Bros
57
+ C.a
58
+ C.p.c.n
59
+ Ca
60
+ Capt
61
+ Cdt
62
+ Cf
63
+ Ch.-Mme
64
+ Chap
65
+ Cie
66
+ Cmdr
67
+ Col
68
+ Comdr
69
+ Con
70
+ Corp
71
+ Cpl
72
+ DR
73
+ DRA
74
+ Da
75
+ Dec
76
+ Dep
77
+ Dn
78
+ Dr
79
+ Dra
80
+ Dras
81
+ Drs
82
+ Eng
83
+ Enga
84
+ Engas
85
+ Engos
86
+ Ens
87
+ Ets
88
+ Euro
89
+ Ev
90
+ Ex
91
+ Excmo
92
+ Exmo
93
+ Exo
94
+ Fa
95
+ Fco
96
+ Feb
97
+ Fig
98
+ Fr
99
+ Gar
100
+ Gen
101
+ Gir
102
+ Gl
103
+ Gov
104
+ Hno
105
+ Hon
106
+ Hosp
107
+ Hr
108
+ Ilmo
109
+ Insp
110
+ J.-C
111
+ Jan
112
+ Jeu
113
+ Jr
114
+ Jul
115
+ Jun
116
+ Lda
117
+ Lieut
118
+ Lt
119
+ Lun
120
+ MM
121
+ MR
122
+ MRS
123
+ MS
124
+ MSc
125
+ Maj
126
+ Mar
127
+ Me
128
+ Mej
129
+ Mer
130
+ Mes
131
+ Messrs
132
+ Mgr
133
+ Mgrs
134
+ Mll
135
+ Mlle
136
+ Mlle(s)
137
+ Mme
138
+ Mme(s)
139
+ Mr
140
+ Mrs
141
+ Ms
142
+ Msgr
143
+ Mw
144
+ Nov
145
+ Npr
146
+ Nr
147
+ O.d.J
148
+ Okt
149
+ Op
150
+ Ord
151
+ Oz
152
+ P
153
+ P.D
154
+ P.ej
155
+ P.p.c
156
+ Pas
157
+ Pfc
158
+ Ph
159
+ Prim
160
+ Prof
161
+ Pte
162
+ Pts
163
+ Pvt
164
+ Rep
165
+ Reps
166
+ Res
167
+ Rev
168
+ Revd
169
+ Rh
170
+ Riv
171
+ Rt
172
+ S.Em
173
+ S.Exc
174
+ S.a.r.l
175
+ Sen
176
+ Sens
177
+ Sep
178
+ Sept
179
+ Sfc
180
+ Sgt
181
+ SGT
182
+ Sl
183
+ Sr
184
+ Sra
185
+ Sras
186
+ Srs
187
+ Srta
188
+ St
189
+ ST
190
+ Sta
191
+ Ste
192
+ Sto
193
+ Supt
194
+ Surg
195
+ Tj
196
+ Tr
197
+ Ud
198
+ Uds
199
+ V.Exc
200
+ Vd
201
+ Vda
202
+ Vds
203
+ Vz
204
+ Z.D
205
+ Z.D.H
206
+ Z.E
207
+ Z.Em
208
+ Z.H
209
+ Z.K.H
210
+ Z.K.M
211
+ Z.M
212
+ a
213
+ a./s
214
+ a.C
215
+ a.g.v
216
+ a.l
217
+ abrev
218
+ abs
219
+ ac
220
+ acc
221
+ acron
222
+ adj
223
+ adm
224
+ adr
225
+ adv
226
+ alt
227
+ anal
228
+ anat
229
+ angl
230
+ appos
231
+ apr
232
+ apr
233
+ asc
234
+ atm
235
+ auj
236
+ aux
237
+ av
238
+ avg
239
+ avr
240
+ b
241
+ b.a.o
242
+ b.a.p
243
+ b.a.r
244
+ bacc
245
+ bat
246
+ bc
247
+ bd
248
+ bde
249
+ bgen
250
+ bijv
251
+ bijz
252
+ br
253
+ bv
254
+ c
255
+ c.-a-d
256
+ c.a.f
257
+ c.i
258
+ cc
259
+ cf
260
+ cft
261
+ ch
262
+ ch.-l
263
+ chbre
264
+ chbs
265
+ chf
266
+ col
267
+ coll
268
+ cpl
269
+ cpt
270
+ cpte
271
+ cta
272
+ d
273
+ d.c
274
+ d.w.z
275
+ dcha
276
+ dec
277
+ def
278
+ dem
279
+ dep
280
+ dept
281
+ dhr
282
+ dipl
283
+ dispo
284
+ div
285
+ dpto
286
+ dr
287
+ dr.h.c
288
+ dra
289
+ dras
290
+ drs
291
+ ds
292
+ dz
293
+ e.c
294
+ e.g
295
+ e.g
296
+ e.k
297
+ eccles
298
+ ecol
299
+ econ
300
+ ed
301
+ ej
302
+ env
303
+ ep
304
+ eq
305
+ et
306
+ etc
307
+ ev
308
+ ex
309
+ exmo
310
+ exo
311
+ exp
312
+ expo
313
+ f.a.c
314
+ fa
315
+ fam
316
+ fasc
317
+ fbg
318
+ feb
319
+ fem
320
+ fevr
321
+ ff
322
+ fl
323
+ fol
324
+ fr
325
+ fs
326
+ fut
327
+ gd
328
+ gde
329
+ gdes
330
+ gds
331
+ gen
332
+ gl
333
+ grd
334
+ h.-t
335
+ hab
336
+ i.e
337
+ i.p.v
338
+ i.s.m
339
+ i.t.t
340
+ i.v.m
341
+ ibid
342
+ id
343
+ imp
344
+ ing
345
+ ir
346
+ iron
347
+ itd
348
+ itn
349
+ itp
350
+ izq
351
+ j
352
+ janv
353
+ jhr
354
+ jkvr
355
+ jr
356
+ l
357
+ lat
358
+ lex
359
+ lgen
360
+ lib
361
+ lieut
362
+ liv
363
+ lkol
364
+ loc
365
+ lof
366
+ m
367
+ m.a.w
368
+ m.b.t
369
+ m.b.v
370
+ m.h.o
371
+ m.i
372
+ m.i.v
373
+ maj
374
+ mar
375
+ mas
376
+ max
377
+ med
378
+ mevr
379
+ min
380
+ mll
381
+ mr
382
+ ms
383
+ mtr
384
+ mtrs
385
+ n
386
+ n
387
+ n.f
388
+ n.f.pl
389
+ n.m
390
+ n.m.pl
391
+ npr
392
+ o
393
+ o.b.s
394
+ obs
395
+ oct
396
+ okt
397
+ ord
398
+ oz
399
+ p
400
+ p
401
+ p.a
402
+ p.ej
403
+ p.ex
404
+ p.g.c.d
405
+ p.i
406
+ p.j
407
+ p.m
408
+ p.o
409
+ p.p
410
+ p.p.c.d
411
+ p.p.c.m
412
+ p.pa
413
+ p.pr
414
+ pl
415
+ plv
416
+ poe
417
+ pp
418
+ pp
419
+ pr
420
+ pr
421
+ pres
422
+ prev
423
+ prof
424
+ px
425
+ q.s
426
+ qqch
427
+ qqf
428
+ qqn
429
+ qqns
430
+ r.-de-ch
431
+ r.p.m
432
+ rc
433
+ rd
434
+ ref
435
+ refl
436
+ reg
437
+ rev
438
+ ro
439
+ rte
440
+ s
441
+ s
442
+ s.a
443
+ s.b.f
444
+ s.d
445
+ s.e
446
+ s.l
447
+ s.l.n.d
448
+ s.l.p
449
+ s.t.p
450
+ s.v.p
451
+ s/c
452
+ sc
453
+ sf
454
+ sgt
455
+ sl
456
+ sr
457
+ sra
458
+ sras
459
+ srs
460
+ ss
461
+ sto
462
+ t
463
+ t.s.v.p
464
+ tec
465
+ tel
466
+ terr
467
+ tg
468
+ tint
469
+ tit
470
+ tj
471
+ tr
472
+ travx
473
+ v
474
+ v.intr
475
+ v.tr
476
+ v.w.t
477
+ var
478
+ vs
479
+ vta
480
+ vx
481
+ z.v
482
+ zool
483
+ Št
484
+ št