lingo 1.8.5 → 1.8.6

data/lib/lingo/app.rb

@@ -55,7 +55,7 @@ class Lingo
           ARGV.unshift(*lingo_options) if lingo_options.is_a?(Array)
         end
 
-        OptionParser.new(banner, 16) { |o|
+        OptionParser.new(banner, 12) { |o|
           o.on('-p port',   'set the port (default is 4567)')                { |v| set :port, Integer(v) }
           o.on('-o addr',   'set the host (default is 0.0.0.0)')             { |v| set :bind, v }
           o.on('-e env',    'set the environment (default is development)')  { |v| set :environment, v.to_sym }
@@ -63,7 +63,9 @@ class Lingo
           o.on('-x',        'turn on the mutex lock (default is off)')       {     set :lock, true }
         }.parse!(argv)
 
-        abort banner unless argv.empty?
+        argv.pop if File.basename($0) == 'rackup'  # rackup config
+
+        abort "Unrecognized arguments: #{argv}\n#{banner}" unless argv.empty?
 
         ARGV.unshift(*yield) if block_given?
       rescue OptionParser::ParseError => err

data/lib/lingo/attendee.rb

@@ -6,7 +6,7 @@
 # Lingo -- A full-featured automatic indexing system                          #
 #                                                                             #
 # Copyright (C) 2005-2007 John Vorhauer                                       #
-# Copyright (C) 2007-2012 John Vorhauer, Jens Wille                           #
+# Copyright (C) 2007-2015 John Vorhauer, Jens Wille                           #
 #                                                                             #
 # Lingo is free software; you can redistribute it and/or modify it under the  #
 # terms of the GNU Affero General Public License as published by the Free     #
@@ -28,6 +28,7 @@ require 'nuggets/string/evaluate'
 
 class Lingo
 
+  #--
   # Lingo ist als universelles Indexierungssystem entworfen worden. Seine Stärke liegt in der einfachen Konfigurierbarkeit für
   # spezifische Aufgaben und in der schnelle Entwicklung weiterer Funktionen durch systematischen Kapselung der Komplexität auf
   # kleine Verarbeitungseinheiten. Die kleinste Verarbeitungseinheit wird Attendee genannt. Um ein gewünschtes Verarbeitungsergebnis
@@ -63,54 +64,43 @@ class Lingo
   # - verarbeitet und/oder transformiert datenobjekte
   # - wird gesteuert durch kommandos
   # - schreibt verarbeitungsstatistiken
+  #++
 
   class Attendee
 
     include Language
 
-    STR_CMD_TALK   = 'TALK'
-    STR_CMD_LIR    = 'LIR-FORMAT'
-    STR_CMD_FILE   = 'FILE'
-    STR_CMD_EOL    = 'EOL'
-    STR_CMD_RECORD = 'RECORD'
-    STR_CMD_EOF    = 'EOF'
-
     DEFAULT_SKIP = [TA_PUNCTUATION, TA_OTHER].join(',')
 
     def initialize(config, lingo)
-      @lingo, @config, @subscriber = lingo, config, []
+      @lingo, @config, @subscribers = lingo, config, []
 
       # Make sure config exists
       lingo.dictionary_config
 
-      @dic = @gra = nil
-
-      init if self.class.method_defined?(:init)
+      @dic, @gra, @valid_keys = nil, nil, %w[name in out]
 
-      @can_control = self.class.method_defined?(:control)
-      @can_process = self.class.method_defined?(:process)
+      init
 
-      @skip_command = false
+      unless (invalid_keys = config.keys - @valid_keys).empty?
+        warn(
+          "CONFIGURATION NOTICE: #{self.class.name.sub(/\ALingo::/, '')}" <<
+          " options invalid or obsolete: #{invalid_keys.sort.join(', ')}" <<
+          " (in #{lingo.config.config_file})"
+        )
+      end
     end
 
-    attr_reader :lingo
+    attr_reader :lingo, :subscribers
 
-    def add_subscriber(subscriber)
-      @subscriber.concat(subscriber)
-    end
-
-    def listen(obj)
-      if obj.is_a?(AgendaItem)
-        args = obj.to_a
-        control(*args) if @can_control
-        forward(*args) unless obj.cmd == STR_CMD_TALK || skip_command!
-      else
-        @can_process ? process(obj) : forward(obj)
-      end
+    def forward(*args)
+      subscribers.each { |sub| sub.process(*args) }
     end
 
-    def talk(obj)
-      @subscriber.each { |attendee| attendee.listen(obj) }
+    def command(*args)
+      subscribers.each { |sub|
+        sub.command(*args) unless sub.control(*args) == :skip_command
+      }
     end
 
     private
@@ -120,27 +110,16 @@ class Lingo
       g && (block_given? ? !yield(w) : w.unknown?) ? g.find_compound(f) : w
     end
 
-    def skip_command
-      @skip_command = true
-    end
-
-    def skip_command!
-      @skip_command.tap { @skip_command &&= false }
-    end
-
-    def forward(obj, param = nil)
-      talk(param ? AgendaItem.new(obj, param) : obj)
-    end
-
     def flush(buffer)
       buffer.each { |i| forward(i) }.clear
     end
 
     def has_key?(key)
-      @config && @config.key?(key)
+      @config.key?(key)
     end
 
     def get_key(key, default = nodefault = true)
+      @valid_keys << key
       raise MissingConfigError.new(key) if nodefault && !has_key?(key)
       @config.fetch(key, default)
     end
@@ -188,6 +167,7 @@ class Lingo
 end
 
 require_relative 'buffered_attendee'
+require_relative 'deferred_attendee'
 
 require_relative 'attendee/abbreviator'
 require_relative 'attendee/debugger'

data/lib/lingo/attendee/abbreviator.rb

@@ -6,7 +6,7 @@
 # Lingo -- A full-featured automatic indexing system                          #
 #                                                                             #
 # Copyright (C) 2005-2007 John Vorhauer                                       #
-# Copyright (C) 2007-2012 John Vorhauer, Jens Wille                           #
+# Copyright (C) 2007-2014 John Vorhauer, Jens Wille                           #
 #                                                                             #
 # Lingo is free software; you can redistribute it and/or modify it under the  #
 # terms of the GNU Affero General Public License as published by the Free     #
@@ -28,6 +28,7 @@ class Lingo
 
   class Attendee
 
+    #--
     # Die Erkennung von Abkürzungen kann auf vielfältige Weise erfolgen. In jedem Fall
     # sollte eine sichere Unterscheidung von einem Satzende-Punkt möglich sein.
     # Der in Lingo gewählte Ansatz befreit den Tokenizer von dieser Arbeit und konzentriert
@@ -67,18 +68,17 @@ class Lingo
     #   out> :./PUNC:
     #   out> *EOL('test.txt')
     #   out> *EOF('test.txt')
+    #++
 
     class Abbreviator < self
 
-      protected
-
       def init
         set_dic
         @abbr = nil
       end
 
-      def control(cmd, param)
-        send_abbr(@abbr) if [STR_CMD_RECORD, STR_CMD_EOF].include?(cmd)
+      def control(cmd, *)
+        send_abbr(@abbr) if [:RECORD, :EOF].include?(cmd)
       end
 
       def process(obj)

data/lib/lingo/attendee/debugger.rb

@@ -6,7 +6,7 @@
 # Lingo -- A full-featured automatic indexing system                          #
 #                                                                             #
 # Copyright (C) 2005-2007 John Vorhauer                                       #
-# Copyright (C) 2007-2012 John Vorhauer, Jens Wille                           #
+# Copyright (C) 2007-2014 John Vorhauer, Jens Wille                           #
 #                                                                             #
 # Lingo is free software; you can redistribute it and/or modify it under the  #
 # terms of the GNU Affero General Public License as published by the Free     #
@@ -24,10 +24,13 @@
 ###############################################################################
 #++
 
+require 'yaml'
+
 class Lingo
 
   class Attendee
 
+    #--
     # Die Attendees von Lingo übergeben Daten über ihre Kommunikationskanäle und entweder kommt bei
     # einer komplexen Konfiguration hinten das gewünschte Ergebnis raus oder aber auch nicht. Für den
     # letzeren Fall ist der Debugger primär gedacht. Er kann an beliebige Stelle in den Datenstrom
@@ -84,30 +87,54 @@ class Lingo
     #   TOKEN:)  *EOL('test.txt')
     #   LINES:)  *EOF('test.txt')
     #   TOKEN:)  *EOF('test.txt')
+    #++
 
     class Debugger < self
 
-      protected
+      def init(default_prompt = 'lex:) ')
+        @prompt = get_key('prompt', default_prompt)
 
-      def init
-        @obj_eval = get_key('eval',   'true')
-        @cmd_eval = get_key('ceval',  'true')
-        @prompt   = get_key('prompt', 'lex:) ')
+        unless @filter ||= get_key('filter', false)
+          @cmd_eval = get_key('ceval', 'true')
+        else
+          @cmd_eval = nil
+        end
+
+        @obj_eval = get_key('eval', 'true')
+        @preamble = get_key('preamble', true)
       end
 
-      def control(cmd, param)
-        debug(AgendaItem.new(cmd, param), @cmd_eval)
+      def control(cmd, param = nil, *)
+        if @cmd_eval
+          debug(eval(@cmd_eval)) { "*#{cmd}('#{param}')" }
+        elsif cmd == :EOL
+          :skip_command
+        end
       end
 
       def process(obj)
-        debug(obj, @obj_eval)
-        forward(obj)
+        debug(eval(@obj_eval)) { obj.inspect }
+        forward(obj) unless @filter
       end
 
       private
 
-      def debug(obj, cond)
-        warn "#{@prompt} #{obj.inspect}" if eval(cond)
+      def debug(condition)
+        send_msg((@preamble = nil; @lingo.config.to_h.to_yaml)) if @preamble
+        send_msg(@prompt + yield) if condition
+      end
+
+      def send_msg(msg)
+        @filter ? forward(msg) : warn(msg)
+      end
+
+    end
+
+    class DebugFilter < Debugger
+
+      def init
+        @filter = true
+        super('')
       end
 
     end

data/lib/lingo/attendee/decomposer.rb

@@ -28,6 +28,7 @@ class Lingo
 
   class Attendee
 
+    #--
     # Komposita, also zusammengesetzte Wörter, sind eine Spezialität der deutschen Sprache
     # (z.B. Indexierungssystem oder Kompositumerkennung).
     # Könnte man alle Kombinationen in den Wörterbüchern hinterlegen, dann würde der
@@ -70,17 +71,15 @@ class Lingo
     #   out> :./PUNC:
     #   out> *EOL('test.txt')
     #   out> *EOF('test.txt')
+    #++
 
     class Decomposer < self
 
-      protected
-
       def init
         set_gra
       end
 
-      def control(cmd, param)
-        # can control
+      def control(*)
       end
 
       def process(obj)

data/lib/lingo/attendee/dehyphenizer.rb

@@ -6,7 +6,7 @@
 # Lingo -- A full-featured automatic indexing system                          #
 #                                                                             #
 # Copyright (C) 2005-2007 John Vorhauer                                       #
-# Copyright (C) 2007-2012 John Vorhauer, Jens Wille                           #
+# Copyright (C) 2007-2014 John Vorhauer, Jens Wille                           #
 #                                                                             #
 # Lingo is free software; you can redistribute it and/or modify it under the  #
 # terms of the GNU Affero General Public License as published by the Free     #
@@ -28,6 +28,7 @@ class Lingo
 
   class Attendee
 
+    #--
     # Der Dehyphenizer ... muss noch dokumentiert werden
     #
     # === Mögliche Verlinkung
@@ -65,11 +66,10 @@ class Lingo
     #   out> :./PUNC:
     #   out> *EOL('test.txt')
     #   out> *EOF('test.txt')
+    #++
 
     class Dehyphenizer < BufferedAttendee
 
-      protected
-
       def init
         set_dic
         set_gra
@@ -79,7 +79,7 @@ class Lingo
         @expected_tokens_in_buffer, @eof_handling = 2, false
       end
 
-      def control(cmd, param)
+      def control(cmd, *)
         control_multi(cmd)
       end
 

data/lib/lingo/attendee/formatter.rb

@@ -30,14 +30,12 @@ class Lingo
 
     class Formatter < TextWriter
 
-      protected
-
       def init
         super
 
         @ext    = get_key('ext', '-')
         @format = get_key('format', '%s')
-        @map    = get_key('map', Hash.new { |h, k| h[k] = k })
+        @map    = get_key('map', Hash.nest { |k| k })
 
         @no_puts = true
       end

data/lib/lingo/attendee/multi_worder.rb

@@ -28,6 +28,7 @@ class Lingo
 
   class Attendee
 
+    #--
     # Mit der bisher beschriebenen Vorgehensweise werden die durch den Tokenizer erkannten
     # Token aufgelöst und in Words verwandelt und über den Abbreviator und Decomposer auch
     # Spezialfälle behandelt, die einzelne Wörter betreffen.
@@ -72,11 +73,10 @@ class Lingo
     #   out> :./PUNC:
     #   out> *EOL('test.txt')
     #   out> *EOF('test.txt')
+    #++
 
     class MultiWorder < BufferedAttendee
 
-      protected
-
       def init
         # combine lexical variants?
         #
@@ -112,7 +112,7 @@ class Lingo
         @expected_tokens_in_buffer, @eof_handling = 3, false
       end
 
-      def control(cmd, param)
+      def control(cmd, *)
         control_multi(cmd)
       end
 
@@ -172,7 +172,6 @@ class Lingo
           WA_MULTIWORD, lex.select { |l| l.is_a?(Lexical) }))
       end
 
-      # Prüft einen definiert langen Schlüssel ab Position 0 im Buffer
       def check_multiword_key(len)
         return [] if valid_tokens_in_buffer < len
 

data/lib/lingo/attendee/noneword_filter.rb

@@ -6,7 +6,7 @@
 # Lingo -- A full-featured automatic indexing system                          #
 #                                                                             #
 # Copyright (C) 2005-2007 John Vorhauer                                       #
-# Copyright (C) 2007-2012 John Vorhauer, Jens Wille                           #
+# Copyright (C) 2007-2014 John Vorhauer, Jens Wille                           #
 #                                                                             #
 # Lingo is free software; you can redistribute it and/or modify it under the  #
 # terms of the GNU Affero General Public License as published by the Free     #
@@ -28,6 +28,7 @@ class Lingo
 
   class Attendee
 
+    #--
     # Der NonewordFilter ermöglicht es, alle nicht erkannten Wörter aus dem Datenstrom zu
     # selektieren und weiterzuleiten. Im Prinzip werden alle erkannten Wörter gefiltert.
     # Bei einem Indexierungslauf können so alle nicht durch den Wordsearcher erkannten Wörter,
@@ -65,11 +66,10 @@ class Lingo
     #   out> *FILE('test.txt')
     #   out> "lingo"
     #   out> *EOF('test.txt')
+    #++
 
     class NonewordFilter < self
 
-      protected
-
       def init
         @sort = get_key('sort', !ENV['LINGO_NO_SORT'])
         @dict = get_key('dict', false)
@@ -78,16 +78,12 @@ class Lingo
         @nonewords = []
       end
 
-      def control(cmd, param)
+      def control(cmd, *)
         case cmd
-          when STR_CMD_FILE
-            @nonewords.clear
-          when STR_CMD_EOL
-            skip_command
-          when STR_CMD_RECORD
-            send_nonewords unless @dict
-          when STR_CMD_EOF
-            send_nonewords
+          when :FILE   then @nonewords.clear
+          when :EOL    then :skip_command
+          when :RECORD then send_nonewords unless @dict
+          when :EOF    then send_nonewords
         end
       end
 

data/lib/lingo/attendee/object_filter.rb

@@ -6,7 +6,7 @@
 # Lingo -- A full-featured automatic indexing system                          #
 #                                                                             #
 # Copyright (C) 2005-2007 John Vorhauer                                       #
-# Copyright (C) 2007-2012 John Vorhauer, Jens Wille                           #
+# Copyright (C) 2007-2014 John Vorhauer, Jens Wille                           #
 #                                                                             #
 # Lingo is free software; you can redistribute it and/or modify it under the  #
 # terms of the GNU Affero General Public License as published by the Free     #
@@ -28,6 +28,7 @@ class Lingo
 
   class Attendee
 
+    #--
     # Der ObjectFilter ermöglicht es, beliebige Objekte aus dem Datenstrom herauszufiltern.
     # Um die gewünschten Objekte zu identifizieren, sind ein paar Ruby-Kenntnisse und das Wissen
     # um die Lingo Klassen notwendig. Hier sollen kurz die häufigsten Fälle angesprochen werden:
@@ -67,15 +68,17 @@ class Lingo
     #   out> <Indexierung = [(indexierung/s)]>
     #   out> *EOL('test.txt')
     #   out> *EOF('test.txt')
+    #++
 
     class ObjectFilter < self
 
-      protected
-
       def init
         @obj_eval = get_key('objects', 'true')
       end
 
+      def control(*)
+      end
+
       def process(obj)
         forward(obj) if eval(@obj_eval)
       end