lingo 1.8.5 → 1.8.6

data/lib/lingo/database.rb

@@ -30,12 +30,14 @@ require_relative 'database/source'
 
 class Lingo
 
+  #--
   # Die Klasse Database stellt eine einheitliche Schnittstelle auf Lingo-Datenbanken bereit.
   # Die Identifizierung der Datenbank erfolgt über die ID der Datenbank, so wie sie in der
   # Sprachkonfigurationsdatei <tt>de.lang</tt> unter <tt>language/dictionary/databases</tt>
   # hinterlegt ist.
   #
   # Das Lesen und Schreiben der Datenbank erfolgt über die Funktionen []() und []=().
+  #++
 
   class Database
 
@@ -68,7 +70,7 @@ class Lingo
       @srcfile = Lingo.find(:dict, config['name'], relax: true)
       @crypter = config.key?('crypt') && Crypter.new
 
-      @val = Hash.new { |h, k| h[k] = [] }
+      @val = Hash.nest { [] }
 
       begin
         @stofile = Lingo.find(:store, @srcfile)

data/lib/lingo/database/crypter.rb

@@ -6,7 +6,7 @@
 # Lingo -- A full-featured automatic indexing system                          #
 #                                                                             #
 # Copyright (C) 2005-2007 John Vorhauer                                       #
-# Copyright (C) 2007-2012 John Vorhauer, Jens Wille                           #
+# Copyright (C) 2007-2014 John Vorhauer, Jens Wille                           #
 #                                                                             #
 # Lingo is free software; you can redistribute it and/or modify it under the  #
 # terms of the GNU Affero General Public License as published by the Free     #
@@ -31,8 +31,6 @@ class Lingo
 
   class Database
 
-    # Crypter ermöglicht die Ver- und Entschlüsselung von Wörterbüchern
-
     class Crypter
 
       def self.digest(key)

data/lib/lingo/database/source.rb

@@ -6,7 +6,7 @@
 # Lingo -- A full-featured automatic indexing system                          #
 #                                                                             #
 # Copyright (C) 2005-2007 John Vorhauer                                       #
-# Copyright (C) 2007-2012 John Vorhauer, Jens Wille                           #
+# Copyright (C) 2007-2014 John Vorhauer, Jens Wille                           #
 #                                                                             #
 # Lingo is free software; you can redistribute it and/or modify it under the  #
 # terms of the GNU Affero General Public License as published by the Free     #
@@ -34,6 +34,7 @@ class Lingo
 
   class Database
 
+    #--
     # Die Klasse Source stellt eine einheitliche Schnittstelle auf die unterschiedlichen Formate
     # von Wörterbuch-Quelldateien bereit. Die Identifizierung der Quelldatei erfolgt über die ID
     # der Datei, so wie sie in der Sprachkonfigurationsdatei <tt>de.lang</tt> unter
@@ -44,6 +45,7 @@ class Lingo
     #
     # Nicht korrekt erkannte Zeilen werden abgewiesen und in eine Revoke-Datei gespeichert, die
     # an der Dateiendung <tt>.rev</tt> zu erkennen ist.
+    #++
 
     class Source
 

data/lib/lingo/database/source/key_value.rb

@@ -6,7 +6,7 @@
 # Lingo -- A full-featured automatic indexing system                          #
 #                                                                             #
 # Copyright (C) 2005-2007 John Vorhauer                                       #
-# Copyright (C) 2007-2013 John Vorhauer, Jens Wille                           #
+# Copyright (C) 2007-2014 John Vorhauer, Jens Wille                           #
 #                                                                             #
 # Lingo is free software; you can redistribute it and/or modify it under the  #
 # terms of the GNU Affero General Public License as published by the Free     #
@@ -30,10 +30,12 @@ class Lingo
 
     class Source
 
+      #--
       # Abgeleitet von Source behandelt die Klasse Dateien mit dem Format <tt>KeyValue</tt>.
       # Eine Zeile <tt>"Fachbegriff*Fachterminus\n"</tt> wird gewandelt in <tt>[ 'fachbegriff', ['fachterminus#s'] ]</tt>.
       # Die Wortklasse kann über den Parameter <tt>def-wc</tt> beeinflusst werden.
       # Der Trenner zwischen Schlüssel und Projektion kann über den Parameter <tt>separator</tt> geändert werden.
+      #++
 
       class KeyValue < self
 

data/lib/lingo/database/source/multi_key.rb

@@ -6,7 +6,7 @@
 # Lingo -- A full-featured automatic indexing system                          #
 #                                                                             #
 # Copyright (C) 2005-2007 John Vorhauer                                       #
-# Copyright (C) 2007-2013 John Vorhauer, Jens Wille                           #
+# Copyright (C) 2007-2014 John Vorhauer, Jens Wille                           #
 #                                                                             #
 # Lingo is free software; you can redistribute it and/or modify it under the  #
 # terms of the GNU Affero General Public License as published by the Free     #
@@ -30,11 +30,13 @@ class Lingo
 
     class Source
 
+      #--
       # Abgeleitet von Source behandelt die Klasse Dateien mit dem Format <tt>MultiKey</tt>.
       # Eine Zeile <tt>"Triumph;Sieg;Erfolg\n"</tt> wird gewandelt in <tt>[ 'triumph', ['sieg', 'erfolg'] ]</tt>.
       # Die Sonderbehandlung erfolgt in der Methode Database#convert, wo daraus Schlüssel-Werte-Paare in der Form
       # <tt>[ 'sieg', ['triumph'] ]</tt> und <tt>[ 'erfolg', ['triumph'] ]</tt> erzeugt werden.
       # Der Trenner zwischen Schlüssel und Projektion kann über den Parameter <tt>separator</tt> geändert werden.
+      #++
 
       class MultiKey < self
 

data/lib/lingo/database/source/multi_value.rb

@@ -6,7 +6,7 @@
 # Lingo -- A full-featured automatic indexing system                          #
 #                                                                             #
 # Copyright (C) 2005-2007 John Vorhauer                                       #
-# Copyright (C) 2007-2013 John Vorhauer, Jens Wille                           #
+# Copyright (C) 2007-2014 John Vorhauer, Jens Wille                           #
 #                                                                             #
 # Lingo is free software; you can redistribute it and/or modify it under the  #
 # terms of the GNU Affero General Public License as published by the Free     #
@@ -30,9 +30,11 @@ class Lingo
 
     class Source
 
+      #--
       # Abgeleitet von Source behandelt die Klasse Dateien mit dem Format <tt>MultiValue</tt>.
       # Eine Zeile <tt>"Triumph;Sieg;Erfolg\n"</tt> wird gewandelt in <tt>[ nil, ['triumph', 'sieg', 'erfolg'] ]</tt>.
       # Der Trenner zwischen Schlüssel und Projektion kann über den Parameter <tt>separator</tt> geändert werden.
+      #++
 
       class MultiValue < self
 

data/lib/lingo/database/source/single_word.rb

@@ -6,7 +6,7 @@
 # Lingo -- A full-featured automatic indexing system                          #
 #                                                                             #
 # Copyright (C) 2005-2007 John Vorhauer                                       #
-# Copyright (C) 2007-2012 John Vorhauer, Jens Wille                           #
+# Copyright (C) 2007-2014 John Vorhauer, Jens Wille                           #
 #                                                                             #
 # Lingo is free software; you can redistribute it and/or modify it under the  #
 # terms of the GNU Affero General Public License as published by the Free     #
@@ -30,9 +30,11 @@ class Lingo
 
     class Source
 
+      #--
       # Abgeleitet von Source behandelt die Klasse Dateien mit dem Format <tt>SingleWord</tt>.
       # Eine Zeile <tt>"Fachbegriff\n"</tt> wird gewandelt in <tt>[ 'fachbegriff', ['#s'] ]</tt>.
       # Die Wortklasse kann über den Parameter <tt>def-wc</tt> beeinflusst werden.
+      #++
 
       class SingleWord < self
 

data/lib/lingo/database/source/word_class.rb

@@ -6,7 +6,7 @@
 # Lingo -- A full-featured automatic indexing system                          #
 #                                                                             #
 # Copyright (C) 2005-2007 John Vorhauer                                       #
-# Copyright (C) 2007-2013 John Vorhauer, Jens Wille                           #
+# Copyright (C) 2007-2014 John Vorhauer, Jens Wille                           #
 #                                                                             #
 # Lingo is free software; you can redistribute it and/or modify it under the  #
 # terms of the GNU Affero General Public License as published by the Free     #
@@ -30,9 +30,11 @@ class Lingo
 
     class Source
 
+      #--
       # Abgeleitet von Source behandelt die Klasse Dateien mit dem Format <tt>WordClass</tt>.
       # Eine Zeile <tt>"essen,essen #v essen #o esse #s\n"</tt> wird gewandelt in <tt>[ 'essen', ['esse#s', 'essen#v', 'essen#o'] ]</tt>.
       # Der Trenner zwischen Schlüssel und Projektion kann über den Parameter <tt>separator</tt> geändert werden.
+      #++
 
       class WordClass < self
 

data/lib/lingo/debug.rb

@@ -35,7 +35,7 @@ class Lingo
 
     PS_RE = File.executable?(PS_COMMAND) ? %r{\A#{ENV['LINGO_DEBUG_PS']}\z} : nil
 
-    PS_NO_HEADING = Hash.new { |h, k| h[k] = true; false }
+    PS_NO_HEADING = Hash.seen
 
     def ps(name)
       system(PS_COMMAND,
@@ -62,10 +62,10 @@ class Lingo
         base += "-#{mode}" if mode && !mode.empty?
 
         {
-          :txt   => :FlatPrinter,
-          :lines => :FlatPrinterWithLineNumbers,
-          :html  => :GraphHtmlPrinter,
-          :stack => :CallStackPrinter
+          txt:   :FlatPrinter,
+          lines: :FlatPrinterWithLineNumbers,
+          html:  :GraphHtmlPrinter,
+          stack: :CallStackPrinter
         }.each { |ext, name|
           File.open("#{base}.#{ext}", 'a+', encoding: ENC) { |f|
             RubyProf.const_get(name).new(result).print(f)

data/lib/lingo/{agenda_item.rb → deferred_attendee.rb}

@@ -6,7 +6,7 @@
 # Lingo -- A full-featured automatic indexing system                          #
 #                                                                             #
 # Copyright (C) 2005-2007 John Vorhauer                                       #
-# Copyright (C) 2007-2012 John Vorhauer, Jens Wille                           #
+# Copyright (C) 2007-2014 John Vorhauer, Jens Wille                           #
 #                                                                             #
 # Lingo is free software; you can redistribute it and/or modify it under the  #
 # terms of the GNU Affero General Public License as published by the Free     #
@@ -26,26 +26,35 @@
 
 class Lingo
 
-  class AgendaItem
+  class DeferredAttendee < Attendee
 
-    include Comparable
+    def self.enhance(base)
+      base.instance_variable_set(:@deferr_buffer, [])
 
-    attr_reader :cmd, :param
+      def base.command(*args)
+        @deferr_buffer << buf = [args]
 
-    def initialize(cmd, param = nil)
-      @cmd, @param = cmd || '', param || ''
+        args.first != :EOT ? buf << control_deferred(*args) :
+          flush_deferred { |block|
+            @deferr_buffer.each { |command_args, control_args|
+              super(*command_args)
+              block[*control_args] if control_args
+            }
+          }
+      end
     end
 
-    def <=>(other)
-      other.is_a?(self.class) ? to_a <=> other.to_a : 1
+    def initialize(config, lingo)
+      self.class.enhance(self)
+      super
     end
 
-    def to_a
-      [cmd, param]
+    def control_deferred(cmd, *)
+      raise NotImplementedError, 'must be implemented by subclass'
     end
 
-    def inspect
-      "*#{cmd.upcase}('#{param}')"
+    def flush_deferred(&block)
+      raise NotImplementedError, 'must be implemented by subclass'
     end
 
   end

data/lib/lingo/error.rb

@@ -6,7 +6,7 @@
 # Lingo -- A full-featured automatic indexing system                          #
 #                                                                             #
 # Copyright (C) 2005-2007 John Vorhauer                                       #
-# Copyright (C) 2007-2012 John Vorhauer, Jens Wille                           #
+# Copyright (C) 2007-2014 John Vorhauer, Jens Wille                           #
 #                                                                             #
 # Lingo is free software; you can redistribute it and/or modify it under the  #
 # terms of the GNU Affero General Public License as published by the Free     #

data/lib/lingo/language.rb

@@ -6,7 +6,7 @@
 # Lingo -- A full-featured automatic indexing system                          #
 #                                                                             #
 # Copyright (C) 2005-2007 John Vorhauer                                       #
-# Copyright (C) 2007-2012 John Vorhauer, Jens Wille                           #
+# Copyright (C) 2007-2014 John Vorhauer, Jens Wille                           #
 #                                                                             #
 # Lingo is free software; you can redistribute it and/or modify it under the  #
 # terms of the GNU Affero General Public License as published by the Free     #
@@ -37,26 +37,18 @@ class Lingo
 
   module Language
 
-    # String-Konstanten im Datenstrom
     CHAR_PUNCT = '.'
 
     TA_WORD        = 'WORD'
     TA_PUNCTUATION = 'PUNC'
     TA_OTHER       = 'OTHR'
 
-    # Standardattribut bei der Initialisierung eines Word-Objektes
     WA_UNSET      = '-'
-    # Status, nachdem das Word im Wörterbuch gefunden wurde
     WA_IDENTIFIED = 'IDF'
-    # Status, wenn das Word nicht gefunden werden konnte
     WA_UNKNOWN    = '?'
-    # Wort ist als Kompositum erkannt worden
     WA_COMPOUND   = 'KOM'
-    # Wort ist eine Mehrwortgruppe
     WA_MULTIWORD  = 'MUL'
-    # Wort ist eine Mehrwortgruppe
     WA_SEQUENCE   = 'SEQ'
-    # Word ist unbekannt, jedoch Teil einer Mehrwortgruppe
     WA_UNKMULPART = 'MU?'
 
     LA_SORTORDER = [

data/lib/lingo/language/dictionary.rb

@@ -64,12 +64,8 @@ class Lingo
         @src.each { |i| i.close }
       end
 
-      # _dic_.find_word( _aString_ ) -> _aNewWord_
-      #
-      # Erstellt aus dem String ein Wort und sucht nach diesem im Wörterbuch.
-      def find_word(str)
-        (@_word ||= {})[str] ||=
-          Word.new(str, WA_UNKNOWN).identify(select_with_suffix(str))
+      def find_word(str, token = nil)
+        Word.new(str, WA_UNKNOWN, token).identify(select_with_suffix(str))
       end
 
       def find_synonyms(obj, syn = [], com = true)
@@ -86,9 +82,6 @@ class Lingo
         syn
       end
 
-      # _dic_.select( _aString_ ) -> _ArrayOfLexicals_
-      #
-      # Sucht alle Wörterbücher durch und gibt den ersten Treffer zurück (+mode = first+), oder alle Treffer (+mode = all+)
       def select(str, lex = [])
         @src.each { |src|
           lex.concat(src[str] || next)
@@ -99,10 +92,6 @@ class Lingo
         lex
       end
 
-      # _dic_.select_with_suffix( _aString_ ) -> _ArrayOfLexicals_
-      #
-      # Sucht alle Wörterbücher durch und gibt den ersten Treffer zurück (+mode = first+), oder alle Treffer (+mode = all+).
-      # Sucht dabei auch Wörter, die um wortklassenspezifische Suffixe bereinigt wurden.
       def select_with_suffix(str)
         select(str) { |lex|
           each_affix(str) { |form, attr|
@@ -117,10 +106,6 @@ class Lingo
         }
       end
 
-      # _dic_.select_with_infix( _aString_ ) -> _ArrayOfLexicals_
-      #
-      # Sucht alle Wörterbücher durch und gibt den ersten Treffer zurück (+mode = first+), oder alle Treffer (+mode = all+).
-      # Sucht dabei auch Wörter, die eine Fugung am Ende haben.
       def select_with_infix(str)
         select(str) { |lex|
           each_affix(str, :infix) { |form, _| select(form, lex) }

data/lib/lingo/language/grammar.rb

@@ -6,7 +6,7 @@
 # Lingo -- A full-featured automatic indexing system                          #
 #                                                                             #
 # Copyright (C) 2005-2007 John Vorhauer                                       #
-# Copyright (C) 2007-2013 John Vorhauer, Jens Wille                           #
+# Copyright (C) 2007-2014 John Vorhauer, Jens Wille                           #
 #                                                                             #
 # Lingo is free software; you can redistribute it and/or modify it under the  #
 # terms of the GNU Affero General Public License as published by the Free     #
@@ -28,10 +28,12 @@ class Lingo
 
   module Language
 
+    #--
     # Die Klasse Grammar beinhaltet grammatikalische Spezialitäten einer Sprache. Derzeit findet die
     # Kompositumerkennung hier ihren Platz, die mit der Methode find_compound aufgerufen werden kann.
     # Die Klasse Grammar wird genau wie ein Dictionary initialisiert. Das bei der Initialisierung angegebene Wörterbuch ist Grundlage
     # für die Erkennung der Kompositumteile.
+    #++
 
     class Grammar
 
@@ -46,7 +48,9 @@ class Lingo
       def initialize(config, lingo)
         @dic, @suggestions = Dictionary.new(config, lingo), []
 
-        lingo.deprecate(:compositum, :compound, self) if lingo.dictionary_config.key?('compositum')
+        if lingo.dictionary_config.key?('compositum')
+          lingo.config.deprecate(:compositum, :compound, self)
+        end
 
         cfg = lingo.dictionary_config['compound'] ||
               lingo.dictionary_config['compositum']  # DEPRECATE compositum
@@ -57,15 +61,19 @@ class Lingo
           instance_variable_set("@#{k}", cfg.fetch(k.to_s.tr('_', '-'), v).to_i)
         }
 
+        #--
         # Die Wortklasse eines Kompositum-Wortteils kann separat gekennzeichnet
         # werden, um sie von Wortklassen normaler Wörter unterscheiden zu
         # können z.B. Hausmeister => ['haus/s', 'meister/s'] oder Hausmeister
         # => ['haus/s+', 'meister/s+'] mit append-wordclass = '+'
+        #++
         @append_wc = cfg.fetch('append-wordclass', '')
 
+        #--
         # Bestimmte Sequenzen können als ungültige Komposita erkannt werden,
         # z.B. ist ein Kompositum aus zwei Adjetiven kein Kompositum, also
         # skip-sequence = 'aa'
+        #++
         @sequences = cfg.fetch('skip-sequences', []).map! { |i| i.downcase }
       end
 
@@ -73,11 +81,6 @@ class Lingo
         @dic.close
       end
 
-      # find_compound(str) -> word wenn level=1
-      # find_compound(str) -> [lex, sta] wenn level!=1
-      #
-      # find_compound arbeitet in verschiedenen Leveln, da die Methode auch rekursiv aufgerufen wird. Ein Level größer 1
-      # entspricht daher einem rekursiven Aufruf
       def find_compound(str, level = 1, tail = false)
         level == 1 ? (@_compound ||= {})[str] ||=
           permute_compound(Word.new(str, WA_UNKNOWN), str, level, tail) :
@@ -120,9 +123,6 @@ class Lingo
         ret
       end
 
-      # test_compound() ->  [lex, sta, seq]
-      #
-      # Testet einen definiert zerlegten String auf Kompositum
       def test_compound(fstr, infix, bstr, level = 1, tail = false)
         sta, seq, empty = [fstr.length, bstr.length], %w[? ?], [[], [], '']
 

data/lib/lingo/language/lexical.rb

@@ -28,11 +28,13 @@ class Lingo
 
   module Language
 
+    #--
     # Die Klasse Lexical, abgeleitet von der Klasse WordForm, stellt den Container
     # für eine Grundform eines Wortes bereit, welches mit der Wortklasse versehen ist.
     #
     # Wird z.B. aus dem Wörterbuch eine Grundform gelesen, so wird dies in Form eines
     # Lexical-Objektes zurückgegeben, z.B. Lexical.new('Rennen', 'S') -> (rennen/s)
+    #++
 
     class Lexical < WordForm
 

data/lib/lingo/language/lexical_hash.rb

@@ -28,9 +28,11 @@ class Lingo
 
   module Language
 
+    #--
     # Die Klasse LexicalHash ermöglicht den Zugriff auf die Lingodatenbanken. Im Gegensatz zur
     # Klasse Database, welche nur Strings als Ergebnis zurück gibt, wird hier als Ergebnis ein
     # Array von Lexical-Objekten zurück gegeben.
+    #++
 
     class LexicalHash