opener-tokenizer-base 1.0.0

Sign up to get free protection for your applications and to get access to all the features.
Files changed (44) hide show
  1. checksums.yaml +7 -0
  2. data/README.md +148 -0
  3. data/bin/tokenizer-base +5 -0
  4. data/bin/tokenizer-de +5 -0
  5. data/bin/tokenizer-en +5 -0
  6. data/bin/tokenizer-es +5 -0
  7. data/bin/tokenizer-fr +5 -0
  8. data/bin/tokenizer-it +5 -0
  9. data/bin/tokenizer-nl +5 -0
  10. data/core/lib/Data/OptList.pm +256 -0
  11. data/core/lib/Params/Util.pm +866 -0
  12. data/core/lib/Sub/Exporter.pm +1101 -0
  13. data/core/lib/Sub/Exporter/Cookbook.pod +309 -0
  14. data/core/lib/Sub/Exporter/Tutorial.pod +280 -0
  15. data/core/lib/Sub/Exporter/Util.pm +354 -0
  16. data/core/lib/Sub/Install.pm +329 -0
  17. data/core/lib/Time/Stamp.pm +808 -0
  18. data/core/load-prefixes.pl +43 -0
  19. data/core/nonbreaking_prefixes/abbreviation_list.kaf +0 -0
  20. data/core/nonbreaking_prefixes/abbreviation_list.txt +444 -0
  21. data/core/nonbreaking_prefixes/nonbreaking_prefix.ca +533 -0
  22. data/core/nonbreaking_prefixes/nonbreaking_prefix.de +781 -0
  23. data/core/nonbreaking_prefixes/nonbreaking_prefix.el +448 -0
  24. data/core/nonbreaking_prefixes/nonbreaking_prefix.en +564 -0
  25. data/core/nonbreaking_prefixes/nonbreaking_prefix.es +758 -0
  26. data/core/nonbreaking_prefixes/nonbreaking_prefix.fr +1027 -0
  27. data/core/nonbreaking_prefixes/nonbreaking_prefix.is +697 -0
  28. data/core/nonbreaking_prefixes/nonbreaking_prefix.it +641 -0
  29. data/core/nonbreaking_prefixes/nonbreaking_prefix.nl +739 -0
  30. data/core/nonbreaking_prefixes/nonbreaking_prefix.pl +729 -0
  31. data/core/nonbreaking_prefixes/nonbreaking_prefix.pt +656 -0
  32. data/core/nonbreaking_prefixes/nonbreaking_prefix.ro +484 -0
  33. data/core/nonbreaking_prefixes/nonbreaking_prefix.ru +705 -0
  34. data/core/nonbreaking_prefixes/nonbreaking_prefix.sk +920 -0
  35. data/core/nonbreaking_prefixes/nonbreaking_prefix.sl +524 -0
  36. data/core/nonbreaking_prefixes/nonbreaking_prefix.sv +492 -0
  37. data/core/split-sentences.pl +114 -0
  38. data/core/text-fixer.pl +169 -0
  39. data/core/tokenizer-cli.pl +363 -0
  40. data/core/tokenizer.pl +145 -0
  41. data/lib/opener/tokenizers/base.rb +84 -0
  42. data/lib/opener/tokenizers/base/version.rb +8 -0
  43. data/opener-tokenizer-base.gemspec +25 -0
  44. metadata +134 -0
@@ -0,0 +1,920 @@
1
+ Bc
2
+ Mgr
3
+ RNDr
4
+ PharmDr
5
+ PhDr
6
+ JUDr
7
+ PaedDr
8
+ ThDr
9
+ Ing
10
+ MUDr
11
+ MDDr
12
+ MVDr
13
+ Dr
14
+ ThLic
15
+ PhD
16
+ ArtD
17
+ ThDr
18
+ Dr
19
+ DrSc
20
+ CSs
21
+ prof
22
+ obr
23
+ Obr
24
+ Č
25
+ č
26
+ absol
27
+ adj
28
+ admin
29
+ adr
30
+ Adr
31
+ adv
32
+ advok
33
+ afr
34
+ ak
35
+ akad
36
+ akc
37
+ akuz
38
+ et
39
+ al
40
+ alch
41
+ amer
42
+ anat
43
+ angl
44
+ Angl
45
+ anglosas
46
+ anorg
47
+ ap
48
+ apod
49
+ arch
50
+ archeol
51
+ archit
52
+ arg
53
+ art
54
+ astr
55
+ astrol
56
+ astron
57
+ atp
58
+ atď
59
+ austr
60
+ Austr
61
+ aut
62
+ belg
63
+ Belg
64
+ bibl
65
+ Bibl
66
+ biol
67
+ bot
68
+ bud
69
+ bás
70
+ býv
71
+ cest
72
+ chem
73
+ cirk
74
+ csl
75
+ čs
76
+ Čs
77
+ dat
78
+ dep
79
+ det
80
+ dial
81
+ diaľ
82
+ dipl
83
+ distrib
84
+ dokl
85
+ dosl
86
+ dopr
87
+ dram
88
+ duš
89
+ dv
90
+ dvojčl
91
+ dór
92
+ ekol
93
+ ekon
94
+ el
95
+ elektr
96
+ elektrotech
97
+ energet
98
+ epic
99
+ est
100
+ etc
101
+ etonym
102
+ eufem
103
+ európ
104
+ Európ
105
+ ev
106
+ evid
107
+ expr
108
+ fa
109
+ fam
110
+ farm
111
+ fem
112
+ feud
113
+ fil
114
+ filat
115
+ filoz
116
+ fi
117
+ fon
118
+ form
119
+ fot
120
+ fr
121
+ Fr
122
+ franc
123
+ Franc
124
+ fraz
125
+ fut
126
+ fyz
127
+ fyziol
128
+ garb
129
+ gen
130
+ genet
131
+ genpor
132
+ geod
133
+ geogr
134
+ geol
135
+ geom
136
+ germ
137
+ gr
138
+ Gr
139
+ gréc
140
+ Gréc
141
+ gréckokat
142
+ hebr
143
+ herald
144
+ hist
145
+ hlav
146
+ hosp
147
+ hromad
148
+ hud
149
+ hypok
150
+ ident
151
+ i.e
152
+ ident
153
+ imp
154
+ impf
155
+ indoeur
156
+ inf
157
+ inform
158
+ instr
159
+ int
160
+ interj
161
+ inšt
162
+ inštr
163
+ iron
164
+ jap
165
+ Jap
166
+ jaz
167
+ jedn
168
+ juhoamer
169
+ juhových
170
+ juhozáp
171
+ juž
172
+ kanad
173
+ Kanad
174
+ kanc
175
+ kapit
176
+ kpt
177
+ kart
178
+ katastr
179
+ knih
180
+ kniž
181
+ komp
182
+ konj
183
+ konkr
184
+ kozmet
185
+ krajč
186
+ kresť
187
+ kt
188
+ kuch
189
+ lat
190
+ latinskoamer
191
+ lek
192
+ lex
193
+ lingv
194
+ lit
195
+ litur
196
+ log
197
+ lok
198
+ max
199
+ Max
200
+ maď
201
+ Maď
202
+ medzinár
203
+ mest
204
+ metr
205
+ mil
206
+ Mil
207
+ min
208
+ Min
209
+ miner
210
+ ml
211
+ mld
212
+ mn
213
+ mod
214
+ mytol
215
+ napr
216
+ nar
217
+ Nar
218
+ nasl
219
+ nedok
220
+ neg
221
+ negat
222
+ neklas
223
+ nem
224
+ Nem
225
+ neodb
226
+ neos
227
+ neskl
228
+ nesklon
229
+ nespis
230
+ nespráv
231
+ neved
232
+ než
233
+ niekt
234
+ niž
235
+ nom
236
+ náb
237
+ nákl
238
+ námor
239
+ nár
240
+ obch
241
+ obj
242
+ obv
243
+ obyč
244
+ obč
245
+ občian
246
+ odb
247
+ odd
248
+ ods
249
+ ojed
250
+ okr
251
+ Okr
252
+ opt
253
+ opyt
254
+ org
255
+ os
256
+ osob
257
+ ot
258
+ ovoc
259
+ par
260
+ part
261
+ pejor
262
+ pers
263
+ pf
264
+ Pf
265
+ P.f
266
+ p.f
267
+ pl
268
+ Plk
269
+ pod
270
+ podst
271
+ pokl
272
+ polit
273
+ politol
274
+ polygr
275
+ pomn
276
+ popl
277
+ por
278
+ porad
279
+ porov
280
+ posch
281
+ potrav
282
+ použ
283
+ poz
284
+ pozit
285
+ poľ
286
+ poľno
287
+ poľnohosp
288
+ poľov
289
+ pošt
290
+ pož
291
+ prac
292
+ predl
293
+ pren
294
+ prep
295
+ preuk
296
+ priezv
297
+ Priezv
298
+ privl
299
+ prof
300
+ práv
301
+ príd
302
+ príj
303
+ prík
304
+ príp
305
+ prír
306
+ prísl
307
+ príslov
308
+ príč
309
+ psych
310
+ publ
311
+ pís
312
+ písm
313
+ pôv
314
+ refl
315
+ reg
316
+ rep
317
+ resp
318
+ rozk
319
+ rozlič
320
+ rozpráv
321
+ roč
322
+ Roč
323
+ ryb
324
+ rádiotech
325
+ rím
326
+ samohl
327
+ semest
328
+ sev
329
+ severoamer
330
+ severových
331
+ severozáp
332
+ sg
333
+ skr
334
+ skup
335
+ sl
336
+ Sloven
337
+ soc
338
+ soch
339
+ sociol
340
+ sp
341
+ spol
342
+ Spol
343
+ spoloč
344
+ spoluhl
345
+ správ
346
+ spôs
347
+ st
348
+ star
349
+ starogréc
350
+ starorím
351
+ s.r.o
352
+ stol
353
+ stor
354
+ str
355
+ stredoamer
356
+ stredoškol
357
+ subj
358
+ subst
359
+ superl
360
+ sv
361
+ sz
362
+ súkr
363
+ súp
364
+ súvzť
365
+ tal
366
+ Tal
367
+ tech
368
+ tel
369
+ Tel
370
+ telef
371
+ teles
372
+ telev
373
+ teol
374
+ trans
375
+ turist
376
+ tuzem
377
+ typogr
378
+ tzn
379
+ tzv
380
+ ukaz
381
+ ul
382
+ Ul
383
+ umel
384
+ univ
385
+ ust
386
+ ved
387
+ vedľ
388
+ verb
389
+ veter
390
+ vin
391
+ viď
392
+ vl
393
+ vod
394
+ vodohosp
395
+ pnl
396
+ vulg
397
+ vyj
398
+ vys
399
+ vysokoškol
400
+ vzťaž
401
+ vôb
402
+ vých
403
+ výd
404
+ výrob
405
+ výsk
406
+ výsl
407
+ výtv
408
+ výtvar
409
+ význ
410
+ včel
411
+
412
+ všeob
413
+ zahr
414
+ zar
415
+ zariad
416
+ zast
417
+ zastar
418
+ zastaráv
419
+ zb
420
+ zdravot
421
+ združ
422
+ zjemn
423
+ zlat
424
+ zn
425
+ Zn
426
+ zool
427
+ zr
428
+ zried
429
+ zv
430
+ záhr
431
+ zák
432
+ zákl
433
+ zám
434
+ záp
435
+ západoeur
436
+ zázn
437
+ územ
438
+ účt
439
+ čast
440
+ čes
441
+ Čes
442
+ čl
443
+ čísl
444
+ živ
445
+ pr
446
+ fak
447
+ Kr
448
+ p.n.l
449
+ A
450
+ B
451
+ C
452
+ D
453
+ E
454
+ F
455
+ G
456
+ H
457
+ I
458
+ J
459
+ K
460
+ L
461
+ M
462
+ N
463
+ O
464
+ P
465
+ Q
466
+ R
467
+ S
468
+ T
469
+ U
470
+ V
471
+ W
472
+ X
473
+ Y
474
+ Z
475
+
476
+ #unified abbreviation list
477
+ Acad
478
+ Adj
479
+ Adm
480
+ Adv
481
+ Affl
482
+ Apr
483
+ Art
484
+ Asst
485
+ Av
486
+ Avg
487
+ B.ches-du-Rh
488
+ Bart
489
+ Bco
490
+ Bldg
491
+ Brig
492
+ Bros
493
+ C.a
494
+ C.p.c.n
495
+ Ca
496
+ Capt
497
+ Cdt
498
+ Cf
499
+ Ch.-Mme
500
+ Chap
501
+ Cie
502
+ Cmdr
503
+ Col
504
+ Comdr
505
+ Con
506
+ Corp
507
+ Cpl
508
+ DR
509
+ DRA
510
+ Da
511
+ Dec
512
+ Dep
513
+ Dn
514
+ Dr
515
+ Dra
516
+ Dras
517
+ Drs
518
+ Eng
519
+ Enga
520
+ Engas
521
+ Engos
522
+ Ens
523
+ Ets
524
+ Euro
525
+ Ev
526
+ Ex
527
+ Excmo
528
+ Exmo
529
+ Exo
530
+ Fa
531
+ Fco
532
+ Feb
533
+ Fig
534
+ Fr
535
+ Gar
536
+ Gen
537
+ Gir
538
+ Gl
539
+ Gov
540
+ Hno
541
+ Hon
542
+ Hosp
543
+ Hr
544
+ Ilmo
545
+ Insp
546
+ J.-C
547
+ Jan
548
+ Jeu
549
+ Jr
550
+ Jul
551
+ Jun
552
+ Lda
553
+ Lieut
554
+ Lt
555
+ Lun
556
+ MM
557
+ MR
558
+ MRS
559
+ MS
560
+ MSc
561
+ Maj
562
+ Mar
563
+ Me
564
+ Mej
565
+ Mer
566
+ Mes
567
+ Messrs
568
+ Mgr
569
+ Mgrs
570
+ Mll
571
+ Mlle
572
+ Mlle(s)
573
+ Mme
574
+ Mme(s)
575
+ Mr
576
+ Mrs
577
+ Ms
578
+ Msgr
579
+ Mw
580
+ Nov
581
+ Npr
582
+ Nr
583
+ O.d.J
584
+ Okt
585
+ Op
586
+ Ord
587
+ Oz
588
+ P
589
+ P.D
590
+ P.ej
591
+ P.p.c
592
+ Pas
593
+ Pfc
594
+ Ph
595
+ Prim
596
+ Prof
597
+ Pte
598
+ Pts
599
+ Pvt
600
+ Rep
601
+ Reps
602
+ Res
603
+ Rev
604
+ Revd
605
+ Rh
606
+ Riv
607
+ Rt
608
+ S.Em
609
+ S.Exc
610
+ S.a.r.l
611
+ Sen
612
+ Sens
613
+ Sep
614
+ Sept
615
+ Sfc
616
+ Sgt
617
+ SGT
618
+ Sl
619
+ Sr
620
+ Sra
621
+ Sras
622
+ Srs
623
+ Srta
624
+ St
625
+ ST
626
+ Sta
627
+ Ste
628
+ Sto
629
+ Supt
630
+ Surg
631
+ Tj
632
+ Tr
633
+ Ud
634
+ Uds
635
+ V.Exc
636
+ Vd
637
+ Vda
638
+ Vds
639
+ Vz
640
+ Z.D
641
+ Z.D.H
642
+ Z.E
643
+ Z.Em
644
+ Z.H
645
+ Z.K.H
646
+ Z.K.M
647
+ Z.M
648
+ a
649
+ a./s
650
+ a.C
651
+ a.g.v
652
+ a.l
653
+ abrev
654
+ abs
655
+ ac
656
+ acc
657
+ acron
658
+ adj
659
+ adm
660
+ adr
661
+ adv
662
+ alt
663
+ anal
664
+ anat
665
+ angl
666
+ appos
667
+ apr
668
+ apr
669
+ asc
670
+ atm
671
+ auj
672
+ aux
673
+ av
674
+ avg
675
+ avr
676
+ b
677
+ b.a.o
678
+ b.a.p
679
+ b.a.r
680
+ bacc
681
+ bat
682
+ bc
683
+ bd
684
+ bde
685
+ bgen
686
+ bijv
687
+ bijz
688
+ br
689
+ bv
690
+ c
691
+ c.-a-d
692
+ c.a.f
693
+ c.i
694
+ cc
695
+ cf
696
+ cft
697
+ ch
698
+ ch.-l
699
+ chbre
700
+ chbs
701
+ chf
702
+ col
703
+ coll
704
+ cpl
705
+ cpt
706
+ cpte
707
+ cta
708
+ d
709
+ d.c
710
+ d.w.z
711
+ dcha
712
+ dec
713
+ def
714
+ dem
715
+ dep
716
+ dept
717
+ dhr
718
+ dipl
719
+ dispo
720
+ div
721
+ dpto
722
+ dr
723
+ dr.h.c
724
+ dra
725
+ dras
726
+ drs
727
+ ds
728
+ dz
729
+ e.c
730
+ e.g
731
+ e.g
732
+ e.k
733
+ eccles
734
+ ecol
735
+ econ
736
+ ed
737
+ ej
738
+ env
739
+ ep
740
+ eq
741
+ et
742
+ etc
743
+ ev
744
+ ex
745
+ exmo
746
+ exo
747
+ exp
748
+ expo
749
+ f.a.c
750
+ fa
751
+ fam
752
+ fasc
753
+ fbg
754
+ feb
755
+ fem
756
+ fevr
757
+ ff
758
+ fl
759
+ fol
760
+ fr
761
+ fs
762
+ fut
763
+ gd
764
+ gde
765
+ gdes
766
+ gds
767
+ gen
768
+ gl
769
+ grd
770
+ h.-t
771
+ hab
772
+ i.e
773
+ i.p.v
774
+ i.s.m
775
+ i.t.t
776
+ i.v.m
777
+ ibid
778
+ id
779
+ imp
780
+ ing
781
+ ir
782
+ iron
783
+ itd
784
+ itn
785
+ itp
786
+ izq
787
+ j
788
+ janv
789
+ jhr
790
+ jkvr
791
+ jr
792
+ l
793
+ lat
794
+ lex
795
+ lgen
796
+ lib
797
+ lieut
798
+ liv
799
+ lkol
800
+ loc
801
+ lof
802
+ m
803
+ m.a.w
804
+ m.b.t
805
+ m.b.v
806
+ m.h.o
807
+ m.i
808
+ m.i.v
809
+ maj
810
+ mar
811
+ mas
812
+ max
813
+ med
814
+ mevr
815
+ min
816
+ mll
817
+ mr
818
+ ms
819
+ mtr
820
+ mtrs
821
+ n
822
+ n
823
+ n.f
824
+ n.f.pl
825
+ n.m
826
+ n.m.pl
827
+ npr
828
+ o
829
+ o.b.s
830
+ obs
831
+ oct
832
+ okt
833
+ ord
834
+ oz
835
+ p
836
+ p
837
+ p.a
838
+ p.ej
839
+ p.ex
840
+ p.g.c.d
841
+ p.i
842
+ p.j
843
+ p.m
844
+ p.o
845
+ p.p
846
+ p.p.c.d
847
+ p.p.c.m
848
+ p.pa
849
+ p.pr
850
+ pl
851
+ plv
852
+ poe
853
+ pp
854
+ pp
855
+ pr
856
+ pr
857
+ pres
858
+ prev
859
+ prof
860
+ px
861
+ q.s
862
+ qqch
863
+ qqf
864
+ qqn
865
+ qqns
866
+ r.-de-ch
867
+ r.p.m
868
+ rc
869
+ rd
870
+ ref
871
+ refl
872
+ reg
873
+ rev
874
+ ro
875
+ rte
876
+ s
877
+ s
878
+ s.a
879
+ s.b.f
880
+ s.d
881
+ s.e
882
+ s.l
883
+ s.l.n.d
884
+ s.l.p
885
+ s.t.p
886
+ s.v.p
887
+ s/c
888
+ sc
889
+ sf
890
+ sgt
891
+ sl
892
+ sr
893
+ sra
894
+ sras
895
+ srs
896
+ ss
897
+ sto
898
+ t
899
+ t.s.v.p
900
+ tec
901
+ tel
902
+ terr
903
+ tg
904
+ tint
905
+ tit
906
+ tj
907
+ tr
908
+ travx
909
+ v
910
+ v.intr
911
+ v.tr
912
+ v.w.t
913
+ var
914
+ vs
915
+ vta
916
+ vx
917
+ z.v
918
+ zool
919
+ Št
920
+ št