lingo 1.8.2 → 1.8.3

data/ru.lang

@@ -0,0 +1,99 @@
+#------------------------------------------------------------------------------------------------------------------------------------
+#
+#  database-Section - Definitionen für Wörterbücher
+#
+#  In der database-Section können alle benötigten Wörterbücher angegeben werden. 
+#  Dabei werden folgende Attribute interpretiert:
+#
+#  Attribut    Default  Bedeutung
+#  -----------------------------------------------------------------------------
+#  id                   Über diese Kurzbezeichnung kann die Datenquelle an anderer Stelle referenziert werden, z.B. bei Attendees
+#                       als source-Attribut.
+#
+#  name                 Gibt den Ort der Quelldaten an.
+#
+#  def-wc      ?        Gibt eine Wortklasse vor die verwendet wird, wenn die Datenquelle über keine adäquate Information zur 
+#                       Wortklasse eines Eintrags verfügt.
+#
+#  txt-format  KeyValue Gibt an, in welchem Format die Quelldaten je Zeile vorliegen. Dabei wird unterschieden zwischen
+#                          SingleWord  =  Je Zeile ist nur ein Wort (ohne Projektion) angegeben, z.B.
+#                                         "Nasenbär\n"
+#                          KeyValue    =  Je Zeile ist ein Wort und die dazugehörige Projektion angegeben, z.B.
+#                                         "John Vorhauer*Vorhauer, John\n"
+#                          WordClass   =  Je Zeile ist ein Wort und die dazugehörige Projektion angegeben, die aus mehreren
+#                                         Lexikalisierungen bestehen kann, z.B.
+#                                         "Essen,essen #v Essen #s Esse #s\n"
+#                          MultiValue  =  Je Zeile sind mehrere Worte angegeben, die als Äquivalenzklasse interpretiert werden, z.B.
+#                                         "Fax;Faxkopie;Telefax\n"
+#                          MultiKey
+#
+#  separator   (s.Text)  Gibt an, durch welches Zeichen eine Textzeile die Grundform von der Projektion trennt. Der Defaultwert ist 
+#                       abhängig vom Text-Format: KeyValue='*', WordClass=',' und MultiValue=';'.
+#
+#  use-lex              Gibt an, dass bei Mehrwort-Schlüsseln eine Vorab-Lexikalisierung vorgenommen wird durch Zuhilfenahme der
+#                       Wörterbücher, die mit diesem Attribut angegeben werden, z.B. use-lex='sys-dic'. 
+#                       Die Vorab-Lexikalisierung von Mehrwortgruppen ermöglicht die leichte Erkennung von allen möglichen 
+#                       Dehnungsvarianten. Bei Mehrwort-Wörterbüchern, die ausschließlich Personennamen enthalten, kann dieser Wert
+#                       entfallen, da er nur die Verarbeitungsgeschwindigkeit vermindert ohne die Erkennungsquote zu erhöhen.
+#
+#  ACHTUNG: Wird mit dem Attribut use-lex ein anderes Wörterbuch referenziert, so sollte dieses VOR der ersten Referenzierung 
+#           definiert sein, da es sonst noch nicht existiert!
+#
+
+#    lingo language definition
+--- 
+language:
+  name: 'Russisch'
+
+  dictionary:
+    databases:
+      #    Systemwörterbücher
+      sys-dic: { name: ru/lingo-dic.txt, txt-format: WordClass, separator: '=' }
+      sys-syn: { name: ru/lingo-syn.txt, txt-format: KeyValue, separator: '=', def-wc: y }
+      sys-mul: { name: ru/lingo-mul.txt, txt-format: SingleWord, use-lex: 'sys-dic', def-wc: m }
+      #    Benutzerwörterbücher
+      usr-dic: { name: ru/user-dic.txt, txt-format: WordClass, separator: '=' }
+
+    compound:
+      min-word-size: "7"
+      min-part-size: "3"
+      max-parts: "5"
+      min-avg-part-size: "4"
+      append-wordclass: "+"
+      skip-sequences: [ xx ]
+
+    suffix:
+      #    Suffixliste, Stand: 07-09-2012
+      #    Suffixklasse:   s = Substantiv, a = Adjektiv, v = Verb, e = Eigenwort, f = Fugung
+      #    Suffixe je Klasse:   "<suffix>['/'<ersetzung>][ <suffix>['/'<ersetzung>]]"
+      - [s, "а у ом е ы ов ам ами ах и енка/енок енку/енок енком/енок енке/енок ята/енок ят/енок ятам/енок ятами/енок ятах/енок я/й ю/й е/й ем/й и/й ев/й ям/й ями/й ях/й я/ь ю/ь ем/ь е/ь и/ь ей/ь ям/ь ями/ь ях/ь ью/ь ы/а е/а у/а ой/а ам/а ами/а ах/а и/а /а и/я е/я ю/я ей/я ь/я ям/я ями/я ях/я й/я ени/я енем/я ена/я ен/я енам/я енами/я енах/я а/о у/о ом/о е/о ам/о ами/о ах/о и/о /о я/е ю/е ем/е и/е й/е ей/е ям/е ями/е ях/е а/е у/е ам/е ами/е ах/е /е"]
+      - [a, "ого/ый ому/ый ым/ый ом/ый ая/ый ой/ый ую/ый ое/ый ые/ый ых/ый ыми/ый а/ый о/ый ы/ый ее/ый им/ый ие/ый их/ый ими/ый ейший/ый ейшего/ый ейшему/ый ейшим/ый ейшем/ый ейшие/ый ейших/ый ейшими/ый ого/ой ому/ой ым/ой ом/ой ая/ой ую/ой ое/ой ые/ой ых/ой ыми/ой а/ой о/ой ы/ой ее/ой им/ой ие/ой их/ой ими/ой ейший/ой ейшего/ой ейшему/ой ейшим/ой ейшем/ой ейшие/ой ейших/ой ейшими/ой его/ий ему/ий им/ий ем/ий ее/ий яя/ий ей/ий юю/ий ие/ий их/ий им/ий ими/ий ого/ий ому/ий ым/ий ом/ий ая/ий ой/ий ую/ий ое/ий ые/ий ых/ий ым/ий ыми/ий а/ий о/ий ы/ий ейший/ий ейшего/ий ейшему/ий ейшим/ий ейшем/ий ейшие/ий ейших/ий ейшими/ий"]
+      - [v, "у/ть ю/ть ешь/ть ет/ть ем/ть ете/ть ют/ть л/ть ла/ть ло/ть ли/ть й/ть йте/ть я/ть в/ть ут/ти у/ти ю/ти ешь/ти ет/ти ем/ти ете/ти ют/ти л/ти ла/ти ло/ти ли/ти й/ти йте/ти я/ти в/ти ут/ти усь/ться юсь/ться ешься/ться ется/ться емся/ться етесь/ться ются/ться лся/ться лась/ться лось/ться лись/ться йся/ться йтесь/ться усь/тись юсь/тись ешься/тись ется/тись емся/тись етесь/тись утся/тись ются/тись лся/тись лась/тись лось/тись лись/тись ись/тись итесь/тись ю/ить ишь/ить ит/ить им/ить ите/ить ят/ить ил/ить ила/ить ило/ить или/ить й/ить йте/ить ью/ить ьешь/ить ьет/ить ьем/ить ьете/ить ьют/ить ей/ить ейте/ить я/ить ив/ить юсь/иться ишься/иться ится/иться имся/иться итесь/иться ятся/иться ился/иться илась/иться илось/иться ились/иться йся/иться йтесь/иться ьюсь/иться ьешься/иться ьется/иться ьемся/иться ьетесь/иться ьются/иться ейся/иться ейтесь/иться ю/оть ешь/оть ет/оть ем/оть ете/оть ют/оть л/оть ла/оть ло/оть ли/оть й/оть йте/оть я/оть ов/оть юсь/оться ешься/оться ется/оться емся/оться етесь/оться ются/оться лся/оться лась/оться лось/оться лись/оться ись/оться итесь/оться ую/овать уешь/овать ует/овать уем/овать уете/овать уют/овать овал/овать овала/овать овало/овать овали/овать уй/овать уйте/овать уя/овать овав/овать уюсь/оваться уешься/оваться уется/оваться уемся/оваться уетесь/оваться уются/оваться овался/оваться овалась/оваться овалось/оваться овались/оваться уйся/оваться уйтесь/оваться юю/евать юешь/евать юет/евать юем/евать юете/евать юют/евать евал/евать евала/евать евало/евать евали/евать юй/евать юйте/евать юя/евать евав/евать ююсь/еваться юешься/еваться юется/еваться юемся/еваться юетесь/еваться ются/еваться евался/еваться евалась/еваться евалось/еваться евались/еваться юйся/еваться юйтесь/еваться ну/нуть нешь/нуть нет/нуть нем/нуть нете/нуть нут/нуть нул/нуть нула/нуть нуло/нуть нули/нуть ни/нуть ните/нуть нув/нуть нусь/нуться нешься/нуться нется/нуться немся/нуться нетесь/нуться нутся/нуться нулся/нуться нулась/нуться нулось/нуться нулись/нуться нись/нуться нитесь/нуться гу/чь жешь/чь жет/чь жем/чь жете/чь гут/чь г/чь гла/чь гло/чь гли/чь ги/чь гите/чь ку/чь чешь/чь чет/чь чем/чь чете/чь кут/чь к/чь кла/чь кло/чь кли/чь ки/чь ките/чь гусь/чься жешься/чься жется/чься жемся/чься жетесь/чься гутся/чься гся/чься глась/чься глось/чься глись/чься гись/чься гитесь/чься кусь/чься чешься/чься чется/чься чемся/чься четесь/чься кутся/чься кся/чься клась/чься клось/чься клись/чься кись/чься китесь/чься ююсь/еваться юешься/еваться юется/еваться юемся/еваться юетесь/еваться юются/еваться"]
+#     - [e, "s"]
+#     - [f, "s n e en es er ch/che /en"]
+
+  attendees:
+    variator:
+      variations:
+        - [ ieh, sch ]
+        - [ fec, see ]
+        - [ it,  st  ]
+        - [ fch, sch ]
+        - [ fp,  sp  ]
+        - [ f,   s   ]
+        - [ c,   e   ]
+        - [ ffc, sse ]
+        - [ ff,  ss  ]
+        - [ e,   c   ]
+        - [ ni,  m   ]
+        - [ feh, sch ]
+        - [ lt,  st  ]
+        - [ il,  st  ]
+        - [ ftc, ste ]
+        - [ ft,  st  ]
+        - [ fl,  st  ]
+        - [ li,  h   ]
+        - [ i,   s   ]
+
+    sequencer:
+      sequences: [ [AS, "2, 1"] ]

data/test/attendee/ts_sequencer.rb

@@ -19,15 +19,15 @@ class TestAttendeeSequencer < AttendeeTestCase
     ], [
       # AS
       wd('Die|IDF', 'die|w'),
-      wd('sonne, hell|SEQ', 'sonne, hell|q'),
       wd('helle|IDF', 'hell|a'),
       wd('Sonne|IDF', 'sonne|s'),
       tk('.|PUNC'),
+      wd('sonne, hell|SEQ', 'sonne, hell|q'),
       # AK
       wd('Der|IDF', 'der|w'),
-      wd('sonnenuntergang, schön|SEQ', 'sonnenuntergang, schön|q'),
       wd('schöne|IDF', 'schön|a'),
       wd('Sonnenuntergang|KOM', 'sonnenuntergang|k', 'sonne|s+', 'untergang|s+'),
+      wd('sonnenuntergang, schön|SEQ', 'sonnenuntergang, schön|q'),
       ai('EOF|')
     ])
   end

data/test/attendee/ts_text_reader.rb

@@ -5,7 +5,7 @@ require_relative '../test_helper'
 class TestAttendeeTextReader < AttendeeTestCase
 
   def test_lir_file
-    meet({ 'files' => 'test/lir.txt', 'records' => true }, nil, [
+    meet({ 'files' => 'test/lir.txt', 'records' => true, 'fields' => false }, nil, [
       ai('LIR-FORMAT|'), ai("FILE|#{path = File.expand_path('test/lir.txt')}"),
       ai('RECORD|00237'),
       '020: GERHARD.',
@@ -22,7 +22,7 @@ class TestAttendeeTextReader < AttendeeTestCase
   end
 
   def test_lir_file_another_pattern
-    meet({ 'files' => 'test/lir2.txt', 'records' => '^\021(\d+)\022' }, nil, [
+    meet({ 'files' => 'test/lir2.txt', 'records' => '^\021(\d+)\022', 'fields' => false }, nil, [
       ai('LIR-FORMAT|'), ai("FILE|#{path = File.expand_path('test/lir2.txt')}"),
       ai('RECORD|00237'),
       '020: GERHARD.',
@@ -38,6 +38,40 @@ class TestAttendeeTextReader < AttendeeTestCase
     ])
   end
 
+  def test_lir_file_fields
+    meet({ 'files' => 'test/lir.txt', 'records' => true }, nil, [
+      ai('LIR-FORMAT|'), ai("FILE|#{path = File.expand_path('test/lir.txt')}"),
+      ai('RECORD|00237'),
+      'GERHARD.',
+      'Automatisches Sammeln, Klassifizieren und Indexieren von wissenschaftlich relevanten Informationsressourcen.',
+      'Die intellektuelle Erschließung des Internet befindet sich in einer Krise. GERHARD ist derzeit weltweit der einzige.',
+      ai('RECORD|00238'),
+      'Automatisches Sammeln, Klassifizieren und Indexieren von wissenschaftlich relevanten Informationsressourcen.',
+      'das DFG-Projekt GERHARD.',
+      ai('RECORD|00239'),
+      'Information Retrieval und Dokumentmanagement im Multimedia-Zeitalter.',
+      '"Das Buch ist ein praxisbezogenes VADEMECUM für alle, die in einer Welt der Datennetze Wissen/Informationen sammeln.',
+      ai("EOF|#{path}")
+    ])
+  end
+
+  def test_lir_file_fields_another_pattern
+    meet({ 'files' => 'test/lir.txt', 'records' => true, 'fields' => '^\d+:' }, nil, [
+      ai('LIR-FORMAT|'), ai("FILE|#{path = File.expand_path('test/lir.txt')}"),
+      ai('RECORD|00237'),
+      ' GERHARD.',
+      ' Automatisches Sammeln, Klassifizieren und Indexieren von wissenschaftlich relevanten Informationsressourcen.',
+      ' Die intellektuelle Erschließung des Internet befindet sich in einer Krise. GERHARD ist derzeit weltweit der einzige.',
+      ai('RECORD|00238'),
+      ' Automatisches Sammeln, Klassifizieren und Indexieren von wissenschaftlich relevanten Informationsressourcen.',
+      ' das DFG-Projekt GERHARD.',
+      ai('RECORD|00239'),
+      ' Information Retrieval und Dokumentmanagement im Multimedia-Zeitalter.',
+      ' "Das Buch ist ein praxisbezogenes VADEMECUM für alle, die in einer Welt der Datennetze Wissen/Informationen sammeln.',
+      ai("EOF|#{path}")
+    ])
+  end
+
   def test_normal_file
     meet({ 'files' => 'test/mul.txt' }, nil, [
       ai("FILE|#{path = File.expand_path('test/mul.txt')}"),

data/test/attendee/ts_text_writer.rb

@@ -54,23 +54,23 @@ class TestAttendeeTextWriter < AttendeeTestCase
       ai('RECORD|00237'),
       '020: GERHARD.',
       '025: Automatisches Sammeln, Klassifizieren und Indexieren von wissenschaftlich relevanten Informationsressourcen.',
-      "056: Die intellektuelle Erschließung des Internet befindet sich in einer Krise. GERHARD ist derzeit weltweit der einzige.\r",
+      "056: Die intellektuelle Erschließung des Internet befindet sich in einer Krise. GERHARD ist derzeit weltweit der einzige.",
       ai('RECORD|00238'),
       '020: Automatisches Sammeln, Klassifizieren und Indexieren von wissenschaftlich relevanten Informationsressourcen.',
-      "025: das DFG-Projekt GERHARD.\r",
+      "025: das DFG-Projekt GERHARD.",
       ai('RECORD|00239'),
       '020: Information Retrieval und Dokumentmanagement im Multimedia-Zeitalter.',
-      "056: \"Das Buch ist ein praxisbezogenes VADEMECUM für alle, die in einer Welt der Datennetze Wissen/Informationen sammeln.\r",
+      "056: \"Das Buch ist ein praxisbezogenes VADEMECUM für alle, die in einer Welt der Datennetze Wissen/Informationen sammeln.",
       ai('EOF|test/lir.txt')
     ])
 
     assert_equal([
       "00237*020: GERHARD. 025: Automatisches Sammeln, Klassifizieren und Indexieren von wissenschaftlich relevanten Informationsressour\
-cen. 056: Die intellektuelle Erschließung des Internet befindet sich in einer Krise. GERHARD ist derzeit weltweit der einzige.\r\n",
+cen. 056: Die intellektuelle Erschließung des Internet befindet sich in einer Krise. GERHARD ist derzeit weltweit der einzige.\n",
       "00238*020: Automatisches Sammeln, Klassifizieren und Indexieren von wissenschaftlich relevanten Informationsressourcen. 025: das D\
-FG-Projekt GERHARD.\r\n",
+FG-Projekt GERHARD.\n",
       "00239*020: Information Retrieval und Dokumentmanagement im Multimedia-Zeitalter. 056: \"Das Buch ist ein praxisbezogenes VADEMECUM\
- für alle, die in einer Welt der Datennetze Wissen/Informationen sammeln.\r\n"
+ für alle, die in einer Welt der Datennetze Wissen/Informationen sammeln.\n"
     ], File.readlines('test/lir.vec', encoding: Lingo::ENC))
   end
 

data/test/lir.vec

@@ -1,3 +1,3 @@
-00237*020: GERHARD. 025: Automatisches Sammeln, Klassifizieren und Indexieren von wissenschaftlich relevanten Informationsressourcen. 056: Die intellektuelle Erschließung des Internet befindet sich in einer Krise. GERHARD ist derzeit weltweit der einzige.
-00238*020: Automatisches Sammeln, Klassifizieren und Indexieren von wissenschaftlich relevanten Informationsressourcen. 025: das DFG-Projekt GERHARD.
-00239*020: Information Retrieval und Dokumentmanagement im Multimedia-Zeitalter. 056: "Das Buch ist ein praxisbezogenes VADEMECUM für alle, die in einer Welt der Datennetze Wissen/Informationen sammeln.
+00237*020: GERHARD. 025: Automatisches Sammeln, Klassifizieren und Indexieren von wissenschaftlich relevanten Informationsressourcen. 056: Die intellektuelle Erschließung des Internet befindet sich in einer Krise. GERHARD ist derzeit weltweit der einzige.
+00238*020: Automatisches Sammeln, Klassifizieren und Indexieren von wissenschaftlich relevanten Informationsressourcen. 025: das DFG-Projekt GERHARD.
+00239*020: Information Retrieval und Dokumentmanagement im Multimedia-Zeitalter. 056: "Das Buch ist ein praxisbezogenes VADEMECUM für alle, die in einer Welt der Datennetze Wissen/Informationen sammeln.

data/test/test_helper.rb

@@ -1,102 +1,104 @@
-# encoding: utf-8
-
-require 'test/unit'
-require 'lingo'
-
-class LingoTestCase <  Test::Unit::TestCase
-
-  unless const_defined?(:TEST_FILE)
-    TEST_FILE = 'test/de/test.txt'
-    dir, name = File.split(TEST_FILE)
-    TEST_GLOB = "{#{dir}/,store/#{File.basename(dir)}/}#{name.chomp('.txt')}*"
-  end
-
-  def cleanup_store
-    Dir[TEST_GLOB].each { |f| File.unlink(f) }
-  end
-
-  def split(t)
-    t =~ /^([^|]+)\|([^|]*)$/
-    [$1 || '', $2 || '']
-  end
-
-  def ai(t)
-    Lingo::AgendaItem.new(*split(t))
-  end
-
-  def tk(t)
-    Lingo::Language::Token.new(*split(t))
-  end
-
-  def lx(t)
-    Lingo::Language::Lexical.new(*split(t))
-  end
-
-  def wd(t, *l)
-    Lingo::Language::Word.new_lexicals(*split(t), l.map!(&method(:lx)))
-  end
-
-end
-
-class AttendeeTestCase < LingoTestCase
-
-  def initialize(_)
-    super
-    @lingo, @attendee = Lingo.new, self.class.to_s[/TestAttendee(.*)/, 1]
-  end
-
-  def meet(att_cfg, input, expect = nil)
-    cfg = { 'name' => @attendee }
-    cfg.update('in'  => 'input')  if input
-    cfg.update('out' => 'output') if expect
-    cfg.update(att_cfg)
-
-    @lingo.reset
-
-    list = [{ @attendee => cfg }]
-    list.unshift 'TestSpooler' => { 'out' => 'input',  'input'  => input       } if input
-    list.push    'TestDumper'  => { 'in'  => 'output', 'output' => output = [] } if expect
-
-    @lingo.invite(list)
-    @lingo.start
-
-    assert_equal(expect, output) if expect
-  end
-
-end
-
-class Lingo
-  class Attendee
-    class TestSpooler < self
-
-      protected
-
-      def init
-        @input = get_key('input')
-      end
-
-      def control(cmd, param)
-        @input.each(&method(:forward)) if cmd == STR_CMD_TALK
-      end
-
-    end
-
-    class TestDumper < self
-
-      protected
-
-      def init
-        @output = get_key('output')
-      end
-
-      def control(cmd, param)
-        @output << AgendaItem.new(cmd, param)
-      end
-
-      def process(obj)
-        @output << obj
-      end
-
-    end
-  end
-end
+# encoding: utf-8
+
+require 'test/unit'
+require 'lingo'
+
+class LingoTestCase <  Test::Unit::TestCase
+
+  unless const_defined?(:TEST_FILE)
+    TEST_FILE = 'test/de/test.txt'
+    dir, name = File.split(TEST_FILE)
+    TEST_GLOB = "{#{dir}/,store/#{File.basename(dir)}/}#{name.chomp('.txt')}*"
+  end
+
+  def cleanup_store
+    Dir[TEST_GLOB].each { |f| File.delete(f) }
+  end
+
+  def split(t)
+    t =~ /^([^|]+)\|([^|]*)$/
+    [$1 || '', $2 || '']
+  end
+
+  def ai(t)
+    Lingo::AgendaItem.new(*split(t))
+  end
+
+  def tk(t)
+    Lingo::Language::Token.new(*split(t))
+  end
+
+  def lx(t)
+    Lingo::Language::Lexical.new(*split(t))
+  end
+
+  def wd(t, *l)
+    Lingo::Language::Word.new_lexicals(*split(t), l.map! { |i| lx(i) })
+  end
+
+end
+
+class AttendeeTestCase < LingoTestCase
+
+  def initialize(_)
+    super
+    @lingo, @attendee = Lingo.new, self.class.to_s[/TestAttendee(.*)/, 1]
+  end
+
+  def meet(att_cfg, input, expect = nil)
+    cfg = { 'name' => @attendee }
+    cfg.update('in'  => 'input')  if input
+    cfg.update('out' => 'output') if expect
+    cfg.update(att_cfg)
+
+    @lingo.reset
+
+    list = [{ @attendee => cfg }]
+    list.unshift 'TestSpooler' => { 'out' => 'input',  'input'  => input       } if input
+    list.push    'TestDumper'  => { 'in'  => 'output', 'output' => output = [] } if expect
+
+    @lingo.invite(list)
+    @lingo.start
+
+    assert_equal(expect, output) if expect
+
+    @lingo.reset
+  end
+
+end
+
+class Lingo
+  class Attendee
+    class TestSpooler < self
+
+      protected
+
+      def init
+        @input = get_key('input')
+      end
+
+      def control(cmd, param)
+        @input.each { |i| forward(i) } if cmd == STR_CMD_TALK
+      end
+
+    end
+
+    class TestDumper < self
+
+      protected
+
+      def init
+        @output = get_key('output')
+      end
+
+      def control(cmd, param)
+        @output << AgendaItem.new(cmd, param)
+      end
+
+      def process(obj)
+        @output << obj
+      end
+
+    end
+  end
+end

data/test/ts_database.rb

@@ -250,7 +250,7 @@ Wort2=
 
   def compare(config, input, output = nil)
     FileUtils.mkdir_p(File.dirname(TEST_FILE))
-    File.write(TEST_FILE, input, encoding: Lingo::ENC)
+    File.open(TEST_FILE, 'w', encoding: Lingo::ENC) { |f| f.write(input) }
 
     Lingo::Database.open(set_config('tst', config.merge('name' => TEST_FILE)), @lingo) { |db|
       if block_given?