lingo 1.8.6 → 1.8.7

data/test/attendee/ts_multi_worder.rb

@@ -316,4 +316,70 @@ class TestAttendeeMultiWorder < AttendeeTestCase
     ])
   end
 
+  def test_hyphenate
+    meet({ 'source' => 'tst-muh' }, [
+      ai('FILE|muh.txt'),
+      wd('John|IDF', 'john|e'), wd('F|?'), tk('.|PUNC'), wd('Kennedy|IDF', 'kennedy|e'),
+      wd('John-F|IDF', 'john-f|k'), tk('.|PUNC'), wd('Kennedy|IDF', 'kennedy|e'),
+      wd('John|IDF', 'john|e'), wd('F|?'), wd('Kennedy|IDF', 'kennedy|e'),
+      wd('John-F|IDF', 'john-f|k'), wd('Kennedy|IDF', 'kennedy|e'), tk('.|PUNC'),
+      wd('a|?'), wd('priori|IDF', 'priori|w'),
+      wd('Ableitung|IDF', 'ableitung|s'),
+      wd('nicht|IDF', 'nicht|w'),
+      wd('ganzzahliger|IDF', 'ganzzahlig|a'),
+      wd('Ordnung|IDF', 'ordnung|s'),
+      wd('Ableitung|IDF', 'ableitung|s'),
+      wd('nicht-ganzzahliger|IDF', 'nicht-ganzzahlig|k'),
+      wd('Ordnung|IDF', 'ordnung|s'),
+      wd('Ableitung|IDF', 'ableitung|s'),
+      wd('nicht-ganzzahliger-Ordnung|IDF', 'nicht-ganzzahlig-ordnung|k'),
+      wd('academic|?'), wd('learning|?'), wd('time|IDF', 'timen|v'),
+      wd('in|IDF', 'in|t'), wd('physical|?'), wd('education|?'),
+      wd('academic|?'), wd('learning-time|k'),
+      wd('in|IDF', 'in|t'), wd('physical-education|k'),
+      wd('academic-learning-time|k'),
+      wd('in|IDF', 'in|t'), wd('physical-education|k'),
+      tk('.|PUNC'),
+      ai('EOF|muh.txt'),
+      ai('EOT|')
+    ], [
+      ai('FILE|muh.txt'),
+      wd('John F. Kennedy|MUL', 'john f kennedy|m'),
+      wd('John|IDF', 'john|e'), wd('F|MU?'), wd('Kennedy|IDF', 'kennedy|e'),
+      wd('John-F. Kennedy|MUL', 'john f kennedy|m'),
+      wd('John-F|IDF', 'john-f|k'), wd('Kennedy|IDF', 'kennedy|e'),
+      wd('John F Kennedy|MUL', 'john f kennedy|m'),
+      wd('John|IDF', 'john|e'), wd('F|MU?'), wd('Kennedy|IDF', 'kennedy|e'),
+      wd('John-F Kennedy|MUL', 'john f kennedy|m'),
+      wd('John-F|IDF', 'john-f|k'), wd('Kennedy|IDF', 'kennedy|e'),
+      tk('.|PUNC'),
+      wd('a priori|MUL', 'a priori|m'),
+      wd('a|MU?'), wd('priori|IDF', 'priori|w'),
+      wd('Ableitung nicht ganzzahliger Ordnung|MUL', 'ableitung nicht ganzzahliger ordnung|m'),
+      wd('Ableitung|IDF', 'ableitung|s'),
+      wd('nicht|IDF', 'nicht|w'),
+      wd('ganzzahliger|IDF', 'ganzzahlig|a'),
+      wd('Ordnung|IDF', 'ordnung|s'),
+      wd('Ableitung nicht-ganzzahliger Ordnung|MUL', 'ableitung nicht ganzzahliger ordnung|m'),
+      wd('Ableitung|IDF', 'ableitung|s'),
+      wd('nicht-ganzzahliger|IDF', 'nicht-ganzzahlig|k'),
+      wd('Ordnung|IDF', 'ordnung|s'),
+     #wd('Ableitung nicht-ganzzahliger-Ordnung|MUL', 'ableitung nicht ganzzahliger ordnung|m'),
+      wd('Ableitung|IDF', 'ableitung|s'),
+      wd('nicht-ganzzahliger-Ordnung|IDF', 'nicht-ganzzahlig-ordnung|k'),
+      wd('academic learning time in physical education|MUL', 'academic learning time in physical education|m'),
+      wd('academic|MU?'), wd('learning|MU?'), wd('time|IDF', 'timen|v'),
+      wd('in|IDF', 'in|t'), wd('physical|MU?'), wd('education|MU?'),
+      wd('academic learning-time in physical-education|MUL', 'academic learning time in physical education|m'),
+      wd('academic|MU?'), wd('learning-time|k'),
+      wd('in|IDF', 'in|t'), wd('physical-education|k'),
+      wd('academic-learning-time in physical-education|MUL', 'academic learning time in physical education|m'),
+      wd('academic-learning-time|k'),
+      wd('in|IDF', 'in|t'), wd('physical-education|k'),
+      tk('.|PUNC'),
+      ai('EOF|muh.txt'),
+      ai('EOT|')
+    ])
+  end
+
 end

data/test/attendee/ts_sequencer.rb

@@ -14,7 +14,7 @@ class TestAttendeeSequencer < AttendeeTestCase
       # AK
       wd('Der|IDF', 'der|w'),
       wd('schöne|IDF', 'schön|a'),
-      wd('Sonnenuntergang|KOM', 'sonnenuntergang|k', 'sonne|s+', 'untergang|s+'),
+      wd('Sonnenuntergang|COM', 'sonnenuntergang|k', 'sonne|s+', 'untergang|s+'),
       ai('EOF|'),
       ai('EOT|')
     ], [
@@ -27,7 +27,7 @@ class TestAttendeeSequencer < AttendeeTestCase
       # AK
       wd('Der|IDF', 'der|w'),
       wd('schöne|IDF', 'schön|a'),
-      wd('Sonnenuntergang|KOM', 'sonnenuntergang|k', 'sonne|s+', 'untergang|s+'),
+      wd('Sonnenuntergang|COM', 'sonnenuntergang|k', 'sonne|s+', 'untergang|s+'),
       wd('sonnenuntergang, schön|SEQ', 'sonnenuntergang, schön|q'),
       ai('EOF|'),
       ai('EOT|')
@@ -307,7 +307,7 @@ class TestAttendeeSequencer < AttendeeTestCase
       # WA + AK
       wd('Der|IDF', 'der|w'),
       wd('schöne|IDF', 'schön|a'),
-      wd('Sonnenuntergang|KOM', 'sonnenuntergang|k', 'sonne|s+', 'untergang|s+'),
+      wd('Sonnenuntergang|COM', 'sonnenuntergang|k', 'sonne|s+', 'untergang|s+'),
       ai('EOF|'),
       ai('EOT|')
     ], [
@@ -321,7 +321,7 @@ class TestAttendeeSequencer < AttendeeTestCase
       # WA + AK
       wd('Der|IDF', 'der|w'),
       wd('schöne|IDF', 'schön|a'),
-      wd('Sonnenuntergang|KOM', 'sonnenuntergang|k', 'sonne|s+', 'untergang|s+'),
+      wd('Sonnenuntergang|COM', 'sonnenuntergang|k', 'sonne|s+', 'untergang|s+'),
       wd('der schön (wa)|SEQ', 'der schön (wa)|q'),
       wd('ak: sonnenuntergang, schön|SEQ', 'ak: sonnenuntergang, schön|q'),
       ai('EOF|'),
@@ -329,4 +329,28 @@ class TestAttendeeSequencer < AttendeeTestCase
     ])
   end
 
+  def test_nums
+    meet({ 'sequences' => [['0SS', '1 2 3'], ['S0', '1 2']] }, [
+      tk('3|NUMS'),
+      wd('body|IDF', 'body|s'),
+      wd('problem|IDF', 'problem|s'),
+      tk('.|PUNC'),
+      wd('area|IDF', 'area|s'),
+      tk('51|NUMS'),
+      ai('EOF|'),
+      ai('EOT|')
+    ], [
+      tk('3|NUMS'),
+      wd('body|IDF', 'body|s'),
+      wd('problem|IDF', 'problem|s'),
+      tk('.|PUNC'),
+      wd('3 body problem|SEQ', '3 body problem|q'),
+      wd('area|IDF', 'area|s'),
+      tk('51|NUMS'),
+      wd('area 51|SEQ', 'area 51|q'),
+      ai('EOF|'),
+      ai('EOT|')
+    ])
+  end
+
 end

data/test/attendee/ts_text_reader.rb

@@ -124,6 +124,26 @@ class TestAttendeeTextReader < AttendeeTestCase
     ])
   end
 
+  def test_lir_file_bom
+    meet({ 'files' => 'test/lir3.txt', 'records' => true, 'fields' => false }, nil, [
+      ai('LIR|'), ai("FILE|#{path = File.expand_path('test/lir3.txt')}"),
+      ai('RECORD|00237'),
+      li('020: GERHARD.', 28),
+      li('025: Automatisches Sammeln, Klassifizieren und Indexieren von wissenschaftlich relevanten Informationsressourcen.', 143),
+      li('056: Die intellektuelle Erschließung des Internet befindet sich in einer Krise. GERHARD ist derzeit weltweit der einzige.', 267),
+      li('', 269),
+      ai('RECORD|00238'),
+      li('020: Automatisches Sammeln, Klassifizieren und Indexieren von wissenschaftlich relevanten Informationsressourcen.', 394),
+      li('025: das DFG-Projekt GERHARD.', 425),
+      li('', 427),
+      ai('RECORD|00239'),
+      li('020: Information Retrieval und Dokumentmanagement im Multimedia-Zeitalter.', 513),
+      li('056: "Das Buch ist ein praxisbezogenes VADEMECUM für alle, die in einer Welt der Datennetze Wissen/Informationen sammeln.', 637),
+      ai("EOF|#{path}"),
+      ai('EOT|')
+    ])
+  end
+
   def test_normal_file
     meet({ 'files' => 'test/mul.txt' }, nil, [
       ai("FILE|#{path = File.expand_path('test/mul.txt')}"),

data/test/attendee/ts_tokenizer.rb

@@ -57,6 +57,26 @@ class TestAttendeeTokenizer < AttendeeTestCase
     ])
   end
 
+  def test_hyphen
+    meet({}, [
+      'Di-es i-s-t -ein- -Test - mit- Binde--strich-.'
+    ], [
+      tk('Di-es|WORD|0|0'),
+      tk('i-s-t|WORD|1|6'),
+      tk('-|OTHR|2|12'),
+      tk('ein|WORD|3|13'),
+      tk('-|OTHR|4|16'),
+      tk('-|OTHR|5|18'),
+      tk('Test|WORD|6|19'),
+      tk('-|OTHR|7|24'),
+      tk('mit|WORD|8|26'),
+      tk('-|OTHR|9|29'),
+      tk('Binde--strich|WORD|10|31'),
+      tk('-|OTHR|11|44'),
+      tk('.|PUNC|12|45')
+    ])
+  end
+
   def test_wiki1
     meet({}, @wiki, [
       tk('Test|WORD|0|0'),

data/test/attendee/ts_variator.rb

@@ -10,7 +10,7 @@ class TestAttendeeVariator < AttendeeTestCase
     ], [
       wd('*schwarz|IDF', 'schwarz|a', 'schwarz|s'),
       wd('*schilling|IDF', 'schilling|s'),
-      wd('*schwarzschilling|KOM', 'schwarzschilling|k', 'schwarz|a+', 'schwarz|s+', 'schilling|s+'),
+      wd('*schwarzschilling|COM', 'schwarzschilling|k', 'schwarz|a+', 'schwarz|s+', 'schilling|s+'),
       wd('fchiiiirg|?')
     ])
   end

data/test/attendee/ts_word_searcher.rb

@@ -6,11 +6,20 @@ class TestAttendeeWordSearcher < AttendeeTestCase
 
   def test_basic
     meet({ 'source' => 'sys-dic,sys-syn,sys-mul' }, [
-      tk('Dies|WORD'), tk('ist|WORD'), tk('ein|WORD'), tk('Test|WORD'), tk('.|PUNC'), ai('EOL|')
+      tk('Dies|WORD'),
+      tk('ist|WORD'),
+      tk('ein|WORD'),
+      tk('Test|WORD'),
+      tk('.|PUNC'),
+      ai('EOL|')
     ], [
+      tk('Dies|WORD'),
       wd('Dies|IDF', 'dies|w'),
+      tk('ist|WORD'),
       wd('ist|IDF', 'sein|v'),
+      tk('ein|WORD'),
       wd('ein|IDF', 'ein|w', 'einen|v'),
+      tk('Test|WORD'),
       wd('Test|IDF', 'test|s', 'testen|v'),
       tk('.|PUNC'),
       ai('EOL|')
@@ -19,11 +28,20 @@ class TestAttendeeWordSearcher < AttendeeTestCase
 
   def test_mode
     meet({ 'source' => 'sys-syn,sys-dic', 'mode' => 'first' }, [
-      tk('Dies|WORD'), tk('ist|WORD'), tk('ein|WORD'), tk('Test|WORD'), tk('.|PUNC'), ai('EOL|')
+      tk('Dies|WORD'),
+      tk('ist|WORD'),
+      tk('ein|WORD'),
+      tk('Test|WORD'),
+      tk('.|PUNC'),
+      ai('EOL|')
     ], [
+      tk('Dies|WORD'),
       wd('Dies|IDF', 'dies|w'),
+      tk('ist|WORD'),
       wd('ist|IDF', 'sein|v'),
+      tk('ein|WORD'),
       wd('ein|IDF', 'ein|w', 'einen|v'),
+      tk('Test|WORD'),
       wd('Test|IDF', 'test|s', 'testen|v'),
       tk('.|PUNC'),
       ai('EOL|')
@@ -38,9 +56,13 @@ class TestAttendeeWordSearcher < AttendeeTestCase
       tk('A-Dur|WORD'),
       ai('EOL|')
     ], [
+      tk('Hasennasen|WORD'),
       wd('Hasennasen|?'),
+      tk('Knaller|WORD'),
       wd('Knaller|IDF', 'knaller|s'),
+      tk('Lex-Lingo|WORD'),
       wd('Lex-Lingo|IDF', 'super indexierungssystem|m'),
+      tk('A-Dur|WORD'),
       wd('A-Dur|IDF', 'a-dur|s|m', 'a-dur|s|n'),
       ai('EOL|')
     ])
@@ -54,9 +76,13 @@ class TestAttendeeWordSearcher < AttendeeTestCase
       tk('A-Dur|WORD'),
       ai('EOL|')
     ], [
+      tk('Hasennasen|WORD'),
       wd('Hasennasen|?'),
+      tk('Knaller|WORD'),
       wd('Knaller|IDF', 'knaller|s'),
+      tk('Lex-Lingo|WORD'),
       wd('Lex-Lingo|IDF', 'super indexierungssystem|m'),
+      tk('A-Dur|WORD'),
       wd('A-Dur|IDF', 'b-dur|s'),
       ai('EOL|')
     ])
@@ -70,9 +96,13 @@ class TestAttendeeWordSearcher < AttendeeTestCase
       tk('A-Dur|WORD'),
       ai('EOL|')
     ], [
+      tk('Hasennasen|WORD'),
       wd('Hasennasen|?'),
+      tk('Knaller|WORD'),
       wd('Knaller|IDF', 'knaller|s'),
+      tk('Lex-Lingo|WORD'),
       wd('Lex-Lingo|IDF', 'super indexierungssystem|m'),
+      tk('A-Dur|WORD'),
       wd('A-Dur|IDF', 'a-dur|s|m', 'a-dur|s|n', 'b-dur|s'),
       ai('EOL|')
     ])
@@ -88,12 +118,18 @@ class TestAttendeeWordSearcher < AttendeeTestCase
       tk('Zettelkatalog|WORD'),
       ai('EOL|')
     ], [
+      tk('Hasennasen|WORD'),
       wd('Hasennasen|?'),
+      tk('Knaller|WORD'),
       wd('Knaller|IDF', 'knaller|s'),
+      tk('Lex-Lingo|WORD'),
       wd('Lex-Lingo|IDF', 'super indexierungssystem|m'),
+      tk('A-Dur|WORD'),
       wd('A-Dur|IDF', 'a-dur|s|m', 'a-dur|s|n', 'b-dur|s'),
+      tk('Wirkungsort|WORD'),
       wd('Wirkungsort|IDF', 'wirkungsort|s', 'wirkung|s+', 'ort|s+'),
-      wd('Zettelkatalog|KOM', 'zettelkatalog|k', 'zettel|s+', 'katalog|s+'),
+      tk('Zettelkatalog|WORD'),
+      wd('Zettelkatalog|COM', 'zettelkatalog|k', 'zettel|s+', 'katalog|s+'),
       ai('EOL|')
     ])
   end

data/test/lir3.txt

@@ -0,0 +1,12 @@
+[00237.]
+020: GERHARD.
+025: Automatisches Sammeln, Klassifizieren und Indexieren von wissenschaftlich relevanten Informationsressourcen.
+056: Die intellektuelle Erschließung des Internet befindet sich in einer Krise. GERHARD ist derzeit weltweit der einzige.
+
+[00238.]
+020: Automatisches Sammeln, Klassifizieren und Indexieren von wissenschaftlich relevanten Informationsressourcen.
+025: das DFG-Projekt GERHARD.
+
+[00239.]
+020: Information Retrieval und Dokumentmanagement im Multimedia-Zeitalter.
+056: "Das Buch ist ein praxisbezogenes VADEMECUM für alle, die in einer Welt der Datennetze Wissen/Informationen sammeln.

data/test/ref/artikel.non

@@ -1,5 +1,3 @@
--
-----------
 a
 aat
 ab
@@ -14,7 +12,6 @@ ansetzungsformen
 ansetzungsketten
 architecture
 art
-auf-
 ausnahmungslos
 autindex
 b
@@ -24,7 +21,6 @@ benkert
 bernardo
 beschreibt15
 bezeichungen
-bibliotheks-
 biebricher
 bzw
 c
@@ -41,7 +37,6 @@ dekriptoren
 deskriptoren
 deskriptorzuteilung
 deutschsprachiger
-dokument-
 dr
 dresden4
 e-mail
@@ -49,13 +44,11 @@ eher
 enthaltene
 erfodert
 erschließung6
-erschließungs-
 erschließungsvokabularien
 ersten
 erster
 etc
 eversberg
-formal-
 g
 geographic
 getty
@@ -70,7 +63,6 @@ i
 idx
 ii
 indentifiziert
-informations-
 insb
 kateogrien
 knorz
@@ -82,7 +74,6 @@ lepsky
 ließe
 lionardo
 list
-listen-
 london5
 m
 madonnenbild
@@ -94,7 +85,6 @@ nfd
 normierungsvokabularien
 of
 p
-personen-
 phys
 pnd
 prof
@@ -113,13 +103,12 @@ rswk
 s
 sammelbegriff
 saur
-schlagwortkatalog-
 schwandtner
 sinvoller
 so
 sog
 sonderh
-such-
+such
 swd
 tel
 tgn

data/test/ref/artikel.seq

@@ -70,6 +70,7 @@
 1 diskussionsfokus, aktuell
 1 dokument, alle
 1 dokument, erschlossen
+1 dokument, inhaltlich
 1 dokument, thematisch ähnlich
 1 dokument, ähnlich
 1 dokumentbeschreibung, inhaltlich
@@ -91,6 +92,7 @@
 1 erschließung, fehlend
 1 erschließung, gemeinsam inhaltlich
 1 erschließung, normiert intellektuell
+1 erschließung, stehend
 1 erschließung, verlässlich
 1 erschließungsansatz, beschrieben
 1 erschließungselement, frei
@@ -272,4 +274,4 @@
 1 zuteilung, lexikalisch
 1 zuweisung, getrennt
 1 zuweisungsverfahren, basiert
-1 zuweisungsverfahren, statistisch basiert
+1 zuweisungsverfahren, statistisch basiert

data/test/ref/artikel.vec

@@ -516,6 +516,7 @@ liege
 liegen
 linguistisch
 linie
+liste
 listentauglich
 lokal
 los

data/test/ref/artikel.vef

@@ -1,30 +1,30 @@
-0.02401 sein
-0.01515 einen
-0.01189 werden
-0.01166 automatisch
-0.00746 erschließung
-0.00723 indexierung
-0.00699 normierung
-0.00559 können
+0.02404 sein
+0.01517 einen
+0.01190 werden
+0.01167 automatisch
+0.00794 erschließung
+0.00724 indexierung
+0.00700 normierung
+0.00560 können
+0.00490 dokument
 0.00490 einer
-0.00466 dokument
 0.00420 all
-0.00396 suchen
+0.00397 suchen
+0.00373 formal
 0.00373 inhaltlich
 0.00373 suche
 0.00350 normdatei
-0.00326 beschreibung
-0.00326 formal
-0.00326 möglich
+0.00327 beschreibung
+0.00327 möglich
 0.00303 dresden
 0.00280 bild
 0.00280 intellektuell
 0.00280 verfahren
-0.00256 indexterm
-0.00256 kontrolliert
-0.00256 retrieval
-0.00256 thesaurus
-0.00256 unterschiedlich
+0.00257 indexterm
+0.00257 kontrolliert
+0.00257 retrieval
+0.00257 thesaurus
+0.00257 unterschiedlich
 0.00233 kollektion
 0.00233 lassen
 0.00233 natürlich
@@ -33,21 +33,21 @@
 0.00210 alternativ
 0.00210 groß
 0.00210 homogenität
+0.00210 information
 0.00210 kontrollieren
 0.00210 namensform
 0.00210 normieren
-0.00186 alle
-0.00186 ergebnis
-0.00186 erschlossen
-0.00186 heterogenität
-0.00186 information
-0.00186 inhalt
-0.00186 mehrwortgruppe
-0.00186 objekt
-0.00186 problem
-0.00186 sollen
-0.00186 term
-0.00186 vokabular
+0.00187 alle
+0.00187 ergebnis
+0.00187 erschlossen
+0.00187 heterogenität
+0.00187 inhalt
+0.00187 mehrwortgruppe
+0.00187 objekt
+0.00187 problem
+0.00187 sollen
+0.00187 term
+0.00187 vokabular
 0.00163 begriff
 0.00163 bestehen
 0.00163 bilderschließung
@@ -122,6 +122,7 @@
 0.00093 ausreichend
 0.00093 bedeuten
 0.00093 beschreiben
+0.00093 bibliothek
 0.00093 bibliothekarisch
 0.00093 bringen
 0.00093 derartig
@@ -186,7 +187,6 @@
 0.00070 bevorzugt
 0.00070 bibliografie
 0.00070 bibliographie
-0.00070 bibliothek
 0.00070 bibliothekswesen
 0.00070 dokumentationssprache
 0.00070 dokumentkollektion
@@ -361,6 +361,7 @@
 0.00047 nützlich
 0.00047 orientieren
 0.00047 orientiert
+0.00047 person
 0.00047 personennamendatei
 0.00047 potentiell
 0.00047 potenziell
@@ -370,6 +371,7 @@
 0.00047 regel
 0.00047 regeln
 0.00047 rollen
+0.00047 schlagwortkatalog
 0.00047 schlagwortmethode
 0.00047 schreibweise
 0.00047 schwer
@@ -707,6 +709,7 @@
 0.00023 leser
 0.00023 letzte
 0.00023 linie
+0.00023 liste
 0.00023 listentauglich
 0.00023 los
 0.00023 lose
@@ -751,7 +754,6 @@
 0.00023 ordnen
 0.00023 organisatorisch
 0.00023 otto
-0.00023 person
 0.00023 personell
 0.00023 phys-projekt
 0.00023 platz
@@ -789,7 +791,6 @@
 0.00023 sachverhalt
 0.00023 schaffung
 0.00023 schlagwort-ähnlich
-0.00023 schlagwortkatalog
 0.00023 schlagwortsprache
 0.00023 schließen
 0.00023 schnell
@@ -937,4 +938,4 @@
 0.00023 öl
 0.00023 überblick
 0.00023 überspitzen
-0.00023 überspitzt
+0.00023 überspitzt