lingo 1.8.1 → 1.8.2

This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
Files changed (99) hide show
  1. data/ChangeLog +23 -5
  2. data/README +1 -1
  3. data/Rakefile +5 -7
  4. data/TODO +2 -0
  5. data/bin/lingo +5 -1
  6. data/de.lang +1 -1
  7. data/en/lingo-syn.txt +0 -0
  8. data/en.lang +2 -1
  9. data/lib/lingo/attendee/abbreviator.rb +8 -9
  10. data/lib/lingo/attendee/debugger.rb +5 -4
  11. data/lib/lingo/attendee/decomposer.rb +8 -3
  12. data/lib/lingo/attendee/dehyphenizer.rb +19 -63
  13. data/lib/lingo/attendee/formatter.rb +1 -1
  14. data/lib/lingo/attendee/multi_worder.rb +67 -155
  15. data/lib/lingo/attendee/noneword_filter.rb +16 -9
  16. data/lib/lingo/attendee/object_filter.rb +1 -1
  17. data/lib/lingo/attendee/sequencer.rb +32 -63
  18. data/lib/lingo/attendee/stemmer/porter.rb +343 -0
  19. data/{info/gpl-hdr.txt → lib/lingo/attendee/stemmer.rb} +33 -0
  20. data/lib/lingo/attendee/synonymer.rb +10 -9
  21. data/lib/lingo/attendee/text_reader.rb +102 -76
  22. data/lib/lingo/attendee/text_writer.rb +23 -26
  23. data/lib/lingo/attendee/tokenizer.rb +13 -27
  24. data/lib/lingo/attendee/variator.rb +26 -66
  25. data/lib/lingo/attendee/vector_filter.rb +42 -43
  26. data/lib/lingo/attendee/word_searcher.rb +6 -7
  27. data/lib/lingo/attendee.rb +25 -7
  28. data/lib/lingo/buffered_attendee.rb +36 -10
  29. data/lib/lingo/cachable.rb +8 -8
  30. data/lib/lingo/config.rb +5 -6
  31. data/lib/lingo/ctl.rb +2 -3
  32. data/lib/lingo/database/crypter.rb +9 -26
  33. data/lib/lingo/database/gdbm_store.rb +3 -5
  34. data/lib/lingo/database/libcdb_store.rb +4 -6
  35. data/lib/lingo/database/sdbm_store.rb +11 -6
  36. data/lib/lingo/database/show_progress.rb +3 -43
  37. data/lib/lingo/database/source/key_value.rb +2 -6
  38. data/lib/lingo/database/source/multi_key.rb +3 -5
  39. data/lib/lingo/database/source/multi_value.rb +2 -6
  40. data/lib/lingo/database/source/single_word.rb +4 -6
  41. data/lib/lingo/database/source/word_class.rb +4 -10
  42. data/lib/lingo/database/source.rb +20 -18
  43. data/lib/lingo/database.rb +84 -59
  44. data/lib/lingo/error.rb +57 -1
  45. data/lib/lingo/language/dictionary.rb +21 -18
  46. data/lib/lingo/language/grammar.rb +40 -49
  47. data/lib/lingo/language/lexical.rb +6 -6
  48. data/lib/lingo/language/lexical_hash.rb +6 -0
  49. data/lib/lingo/language/word.rb +32 -15
  50. data/lib/lingo/language/word_form.rb +1 -1
  51. data/lib/lingo/language.rb +14 -25
  52. data/lib/lingo/reportable.rb +12 -10
  53. data/lib/lingo/show_progress.rb +81 -0
  54. data/lib/lingo/version.rb +1 -1
  55. data/lib/lingo.rb +63 -24
  56. data/lingo-call.cfg +6 -10
  57. data/lingo.cfg +60 -44
  58. data/lir.cfg +42 -41
  59. data/test/attendee/ts_abbreviator.rb +3 -5
  60. data/test/attendee/ts_decomposer.rb +3 -5
  61. data/test/attendee/ts_multi_worder.rb +87 -145
  62. data/test/attendee/ts_noneword_filter.rb +5 -3
  63. data/test/attendee/ts_object_filter.rb +5 -3
  64. data/test/attendee/ts_sequencer.rb +3 -5
  65. data/test/attendee/ts_stemmer.rb +309 -0
  66. data/test/attendee/ts_synonymer.rb +15 -11
  67. data/test/attendee/ts_text_reader.rb +12 -15
  68. data/test/attendee/ts_text_writer.rb +24 -29
  69. data/test/attendee/ts_tokenizer.rb +9 -7
  70. data/test/attendee/ts_variator.rb +4 -4
  71. data/test/attendee/ts_vector_filter.rb +24 -16
  72. data/test/attendee/ts_word_searcher.rb +20 -36
  73. data/test/{lir.csv → lir.vec} +0 -0
  74. data/test/ref/artikel.vec +943 -943
  75. data/test/ref/artikel.ven +943 -943
  76. data/test/ref/lir.non +201 -201
  77. data/test/ref/lir.seq +178 -178
  78. data/test/ref/lir.syn +49 -49
  79. data/test/ref/lir.vec +329 -0
  80. data/test/test_helper.rb +20 -36
  81. data/test/ts_database.rb +10 -10
  82. data/test/ts_language.rb +279 -319
  83. metadata +93 -104
  84. data/info/Objekte.png +0 -0
  85. data/info/Typen.png +0 -0
  86. data/info/database.png +0 -0
  87. data/info/db_small.png +0 -0
  88. data/info/download.png +0 -0
  89. data/info/kerze.png +0 -0
  90. data/info/language.png +0 -0
  91. data/info/lingo.png +0 -0
  92. data/info/logo.png +0 -0
  93. data/info/meeting.png +0 -0
  94. data/info/types.png +0 -0
  95. data/lingo-all.cfg +0 -89
  96. data/porter/stem.cfg +0 -311
  97. data/porter/stem.rb +0 -150
  98. data/test/ref/lir.csv +0 -329
  99. data/test.cfg +0 -79
data/test/ref/lir.syn CHANGED
@@ -1,94 +1,94 @@
1
1
  00002*1 analytik
2
2
  00004*1 query language
3
3
  00006*1 analytik
4
- 00024*1 automation 1 deutsch / aufsatz 1 deutschaufsatz 1 schulaufsatz
5
- 00028*1 aufgabenstellung 1 aufgabentyp
6
- 00029*1 alteration 1 modifikation <änderung> 1 veränderung
7
- 00034*1 auswechslung 1 tausch <austausch> 1 äußere erscheinung
4
+ 00024*1 automation|1 deutsch / aufsatz|1 deutschaufsatz|1 schulaufsatz
5
+ 00028*1 aufgabenstellung|1 aufgabentyp
6
+ 00029*1 alteration|1 modifikation <änderung>|1 veränderung
7
+ 00034*1 auswechslung|1 tausch <austausch>|1 äußere erscheinung
8
8
  00038*1 erwerbsarbeit
9
9
  00047*1 verfasser
10
- 00048*1 prestige 1 verfasser
11
- 00049*1 adaptation 1 adaption 1 akkommodation
12
- 00052*1 adaptation 1 adaption 1 akkommodation
10
+ 00048*1 prestige|1 verfasser
11
+ 00049*1 adaptation|1 adaption|1 akkommodation
12
+ 00052*1 adaptation|1 adaption|1 akkommodation
13
13
  00053*1 erwerbsarbeit
14
14
  00054*1 propadien
15
- 00055*1 aufgabe 1 prestige
15
+ 00055*1 aufgabe|1 prestige
16
16
  00058*1 analytik
17
17
  00059*1 arbeitsprodukt
18
- 00064*1 formalerschließung 1 formalkatalogisierung 1 katalogisat <titelaufnahme> 1 titelaufnahme
19
- 00067*1 archivwesen 1 repertorium <archiv>
20
- 00078*1 archivwesen 1 erwerbsarbeit 1 repertorium <archiv>
18
+ 00064*1 formalerschließung|1 formalkatalogisierung|1 katalogisat <titelaufnahme>|1 titelaufnahme
19
+ 00067*1 archivwesen|1 repertorium <archiv>
20
+ 00078*1 archivwesen|1 erwerbsarbeit|1 repertorium <archiv>
21
21
  00079*1 analytik
22
22
  00081*1 analytik
23
- 00093*1 aufgabenstellung 1 aufgabentyp 1 erwerbsarbeit
24
- 00105*1 folge 1 fortwirken 1 nachwirkung <auswirkung>
25
- 00128*1 dependenz 1 unselbstständigkeit 1 unselbständigkeit
26
- 00133*1 ausbreitungsmodell 1 ausbreitungsrechnung
23
+ 00093*1 aufgabenstellung|1 aufgabentyp|1 erwerbsarbeit
24
+ 00105*1 folge|1 fortwirken|1 nachwirkung <auswirkung>
25
+ 00128*1 dependenz|1 unselbstständigkeit|1 unselbständigkeit
26
+ 00133*1 ausbreitungsmodell|1 ausbreitungsrechnung
27
27
  00134*1 analytik
28
28
  00135*1 erwerbsarbeit
29
- 00137*1 adaptation 1 adaption 1 akkommodation 1 alteration 1 modifikation <änderung> 1 veränderung
30
- 00142*1 analytik 1 erwerbsarbeit
29
+ 00137*1 adaptation|1 adaption|1 akkommodation|1 alteration|1 modifikation <änderung>|1 veränderung
30
+ 00142*1 analytik|1 erwerbsarbeit
31
31
  00148*1 mathematische analysis
32
- 00150*1 archivwesen 1 repertorium <archiv>
32
+ 00150*1 archivwesen|1 repertorium <archiv>
33
33
  00152*1 automation
34
34
  00154*1 arbeitsumgebung
35
35
  00165*2 analytik
36
36
  00166*1 beginn
37
37
  00171*1 äußere erscheinung
38
- 00174*1 aufgabenstellung 1 aufgabentyp
38
+ 00174*1 aufgabenstellung|1 aufgabentyp
39
39
  00176*1 arbeitsplatzcomputer
40
- 00177*1 erwerbsarbeit 1 unternehmen / abteilung
41
- 00179*1 auskunft <auskunftsdienst> 1 auskunfts- und informationstätigkeit 1 auskunftstätigkeit
40
+ 00177*1 erwerbsarbeit|1 unternehmen / abteilung
41
+ 00179*1 auskunft <auskunftsdienst>|1 auskunfts- und informationstätigkeit|1 auskunftstätigkeit
42
42
  00180*2 mathematische analysis
43
- 00182*1 aktivum 1 alter mensch 1 alterungsprozess 1 alterungsprozess <physiologie> 1 altwerden 1 anti-aging 1 betagter 1 seneszenz 1 tätigkeitsform
44
- 00187*1 kleingruppe / betrieb 1 team / betrieb
45
- 00197*1 argumentation 1 aufgabenstellung 1 aufgabentyp 1 erwerbsarbeit
43
+ 00182*1 aktivum|1 alter mensch|1 alterungsprozess|1 alterungsprozess <physiologie>|1 altwerden|1 anti-aging|1 betagter|1 seneszenz|1 tätigkeitsform
44
+ 00187*1 kleingruppe / betrieb|1 team / betrieb
45
+ 00197*1 argumentation|1 aufgabenstellung|1 aufgabentyp|1 erwerbsarbeit
46
46
  00206*1 individuelle arbeitsweise
47
47
  00207*1 aktualisierung
48
- 00208*1 adaptation 1 adaption 1 akkommodation 1 aufforderung zu straftaten 1 entsprechung 1 öffentliche aufforderung zu straftaten
48
+ 00208*1 adaptation|1 adaption|1 akkommodation|1 aufforderung zu straftaten|1 entsprechung|1 öffentliche aufforderung zu straftaten
49
49
  00209*1 prestige
50
- 00213*1 anwendungsbereich 1 dependenz 1 unselbstständigkeit 1 unselbständigkeit
50
+ 00213*1 anwendungsbereich|1 dependenz|1 unselbstständigkeit|1 unselbständigkeit
51
51
  00216*1 analytik
52
- 00220*1 auskunft <auskunftsdienst> 1 auskunfts- und informationstätigkeit 1 auskunftstätigkeit
53
- 00229*1 dauerbeobachtungsfähigkeit 1 dauerüberwachungsfähigkeit 1 konzentration <psychologie> 1 vigilanz 1 wachsamkeit
54
- 00233*2 analytik 2 deutsch / aufsatz 2 deutschaufsatz 2 schulaufsatz
55
- 00239*1 archivierungssystem 1 aussicht 1 elektronisches archivierungssystem
56
- 00240*1 deutsch / aufsatz 1 deutschaufsatz 1 schulaufsatz
57
- 00241*1 analytik 1 aufgabenstellung 1 aufgabentyp
58
- 00248*1 erwerbsarbeit 1 folge 1 fortwirken 1 nachwirkung <auswirkung>
52
+ 00220*1 auskunft <auskunftsdienst>|1 auskunfts- und informationstätigkeit|1 auskunftstätigkeit
53
+ 00229*1 dauerbeobachtungsfähigkeit|1 dauerüberwachungsfähigkeit|1 konzentration <psychologie>|1 vigilanz|1 wachsamkeit
54
+ 00233*2 analytik|2 deutsch / aufsatz|2 deutschaufsatz|2 schulaufsatz
55
+ 00239*1 archivierungssystem|1 aussicht|1 elektronisches archivierungssystem
56
+ 00240*1 deutsch / aufsatz|1 deutschaufsatz|1 schulaufsatz
57
+ 00241*1 analytik|1 aufgabenstellung|1 aufgabentyp
58
+ 00248*1 erwerbsarbeit|1 folge|1 fortwirken|1 nachwirkung <auswirkung>
59
59
  00250*1 ausblick
60
60
  00252*2 erwerbsarbeit
61
61
  00254*1 aktualisierung
62
62
  00257*1 steinartefakt
63
- 00258*1 arbeitsprodukt 1 kleingruppe / betrieb 1 team / betrieb
64
- 00260*2 bezugsquelle 1 aktueller bezug 1 gegenwartsbezug 1 zeitnähe
63
+ 00258*1 arbeitsprodukt|1 kleingruppe / betrieb|1 team / betrieb
64
+ 00260*2 bezugsquelle|1 aktueller bezug|1 gegenwartsbezug|1 zeitnähe
65
65
  00261*1 individuelle arbeitsweise
66
66
  00271*1 mathematische analysis
67
67
  00272*1 verwaltung
68
- 00277*1 aktualisieren 1 beginn 1 erwerbsarbeit 1 evidenzhaltung 1 laufendhaltung
68
+ 00277*1 aktualisieren|1 beginn|1 erwerbsarbeit|1 evidenzhaltung|1 laufendhaltung
69
69
  00278*1 bezugsquelle
70
70
  00285*1 verfasser
71
- 00286*2 kleingruppe / betrieb 2 team / betrieb 1 verfasser
72
- 00288*1 auswechslung 1 propadien 1 tausch <austausch>
71
+ 00286*2 kleingruppe / betrieb|2 team / betrieb|1 verfasser
72
+ 00288*1 auswechslung|1 propadien|1 tausch <austausch>
73
73
  00289*1 analytik
74
- 00290*1 auskunftshaftung 1 erwerbsarbeit
75
- 00291*1 aufgabenstellung 1 aufgabentyp 1 deutsch / aufsatz 1 deutschaufsatz 1 schulaufsatz
74
+ 00290*1 auskunftshaftung|1 erwerbsarbeit
75
+ 00291*1 aufgabenstellung|1 aufgabentyp|1 deutsch / aufsatz|1 deutschaufsatz|1 schulaufsatz
76
76
  00292*1 automation
77
77
  00293*1 similarity search
78
- 00294*2 auskunftshaftung 1 arbeitsumgebung
79
- 00296*1 abschiedsfeier 1 verabschiedung
78
+ 00294*2 auskunftshaftung|1 arbeitsumgebung
79
+ 00296*1 abschiedsfeier|1 verabschiedung
80
80
  00297*1 erwerbsarbeit
81
81
  00298*1 propadien
82
82
  00301*1 analoges signal
83
- 00303*2 arbeitsplatz 1 anwendung / bereich 1 anwendungsgebiet 1 aufgabenstellung 1 aufgabentyp 1 erwerbsarbeit
84
- 00305*1 benutzer 1 bezugsquelle 1 unternehmen / abteilung
85
- 00308*4 verfasser 1 anwendung / bereich 1 anwendungsgebiet
83
+ 00303*2 arbeitsplatz|1 anwendung / bereich|1 anwendungsgebiet|1 aufgabenstellung|1 aufgabentyp|1 erwerbsarbeit
84
+ 00305*1 benutzer|1 bezugsquelle|1 unternehmen / abteilung
85
+ 00308*4 verfasser|1 anwendung / bereich|1 anwendungsgebiet
86
86
  00309*1 analytik
87
- 00310*3 verfasser 2 aufgabenstellung 2 aufgabentyp 1 aussicht 1 erwerbsarbeit 1 verlauf
88
- 00312*1 aufgabenstellung 1 aufgabentyp 1 gehörlosensprache 1 taubstummensprache
89
- 00320*1 analytik 1 arbeit / aufwand
87
+ 00310*3 verfasser|2 aufgabenstellung|2 aufgabentyp|1 aussicht|1 erwerbsarbeit|1 verlauf
88
+ 00312*1 aufgabenstellung|1 aufgabentyp|1 gehörlosensprache|1 taubstummensprache
89
+ 00320*1 analytik|1 arbeit / aufwand
90
90
  00323*1 analytik
91
91
  00324*1 innere anschauung
92
92
  00326*1 ausbildungsstätte
93
93
  00329*1 argumentation
94
- 00330*2 äußere erscheinung 1 archivwesen 1 aufforderung zu straftaten 1 genealogie 1 gänsefüßchen 1 query 1 repertorium <archiv> 1 ältestenamt 1 öffentliche aufforderung zu straftaten
94
+ 00330*2 äußere erscheinung|1 archivwesen|1 aufforderung zu straftaten|1 genealogie|1 gänsefüßchen|1 query|1 repertorium <archiv>|1 ältestenamt|1 öffentliche aufforderung zu straftaten