lingo 1.8.0 → 1.8.1

data/lib/lingo/attendee/wordsearcher.rb

@@ -1,96 +0,0 @@
-# encoding: utf-8
-
-#--
-# LINGO ist ein Indexierungssystem mit Grundformreduktion, Kompositumzerlegung,
-# Mehrworterkennung und Relationierung.
-#
-# Copyright (C) 2005-2007 John Vorhauer
-# Copyright (C) 2007-2011 John Vorhauer, Jens Wille
-#
-# This program is free software; you can redistribute it and/or modify it under
-# the terms of the GNU Affero General Public License as published by the Free
-# Software Foundation; either version 3 of the License, or (at your option)
-# any later version.
-#
-# This program is distributed in the hope that it will be useful, but WITHOUT
-# ANY WARRANTY; without even the implied warranty of MERCHANTABILITY or FITNESS
-# FOR A PARTICULAR PURPOSE. See the GNU Affero General Public License for more
-# details.
-#
-# You should have received a copy of the GNU Affero General Public License along
-# with this program; if not, write to the Free Software Foundation, Inc.,
-# 51 Franklin St, Fifth Floor, Boston, MA 02110, USA
-#
-# For more information visit http://www.lex-lingo.de or contact me at
-# welcomeATlex-lingoDOTde near 50°55'N+6°55'E.
-#
-# Lex Lingo rules from here on
-#++
-
-class Lingo
-
-  # Der Wordsearcher ist das Herzstück von Lingo. Er macht die Hauptarbeit und versucht
-  # alle Token die nach einem sinnvollen Wort aussehen, in den ihm angegebenen
-  # Wörterbüchern zu finden und aufzulösen. Dabei werden die im Wörterbuch gefundenen
-  # Grundformen inkl. Wortklassen an das Word-Objekt angehängt.
-  #
-  # === Mögliche Verlinkung
-  # Erwartet:: Daten vom Typ *Token* (andere werden einfach durchgereicht) z.B. von Tokenizer, Abbreviator
-  # Erzeugt:: Daten vom Typ *Word* für erkannte Wörter z.B. für Synonymer, Decomposer, Ocr_variator, Multiworder, Sequencer, Noneword_filter, Vector_filter
-  #
-  # === Parameter
-  # Kursiv dargestellte Parameter sind optional (ggf. mit Angabe der Voreinstellung).
-  # Alle anderen Parameter müssen zwingend angegeben werden.
-  # <b>in</b>:: siehe allgemeine Beschreibung des Attendee
-  # <b>out</b>:: siehe allgemeine Beschreibung des Attendee
-  # <b>source</b>:: siehe allgemeine Beschreibung des Dictionary
-  # <b><i>mode</i></b>:: (Standard: all) siehe allgemeine Beschreibung des Dictionary
-  #
-  # === Beispiele
-  # Bei der Verarbeitung einer normalen Textdatei mit der Ablaufkonfiguration <tt>t1.cfg</tt>
-  #   meeting:
-  #     attendees:
-  #       - textreader:   { out: lines, files: '$(files)' }
-  #       - tokenizer:    { in: lines, out: token }
-  #       - abbreviator:  { in: token, out: abbrev, source: 'sys-abk' }
-  #       - wordsearcher: { in: abbrev, out: words, source: 'sys-dic' }
-  #       - debugger:     { in: words, prompt: 'out>' }
-  # ergibt die Ausgabe über den Debugger: <tt>lingo -c t1 test.txt</tt>
-  #   out> *FILE('test.txt')
-  #   out> <Dies = [(dies/w)]>
-  #   out> <ist = [(sein/v)]>
-  #   out> <ggf. = [(gegebenenfalls/w)]>
-  #   out> <eine = [(einen/v), (ein/w)]>
-  #   out> <Abk³rzung = [(abk³rzung/s)]>
-  #   out> :./PUNC:
-  #   out> *EOL('test.txt')
-  #   out> *EOF('test.txt')
-
-  class Attendee::Wordsearcher < Attendee
-
-    def init
-      # Wörterbuch bereitstellen
-      src = get_array('source')
-      mod = get_key('mode', 'all')
-      @dic = Dictionary.new({'source'=>src, 'mode'=>mod}, @lingo)
-    end
-
-    def control(cmd, par)
-      @dic.report.each_pair { |key, value|
-        set(key, value)
-      } if cmd == STR_CMD_STATUS
-    end
-
-    def process(obj)
-      if obj.is_a?(Token) && obj.attr == TA_WORD
-        inc('Anzahl gesuchter Wörter')
-        word = @dic.find_word(obj.form)
-        inc('Anzahl gefundener Wörter') unless word.attr == WA_UNKNOWN
-        obj = word
-      end
-      forward(obj)
-    end
-
-  end
-
-end

data/lib/lingo/attendees.rb

@@ -1,289 +0,0 @@
-# encoding: utf-8
-
-#--
-# LINGO ist ein Indexierungssystem mit Grundformreduktion, Kompositumzerlegung,
-# Mehrworterkennung und Relationierung.
-#
-# Copyright (C) 2005-2007 John Vorhauer
-# Copyright (C) 2007-2011 John Vorhauer, Jens Wille
-#
-# This program is free software; you can redistribute it and/or modify it under
-# the terms of the GNU Affero General Public License as published by the Free
-# Software Foundation; either version 3 of the License, or (at your option)
-# any later version.
-#
-# This program is distributed in the hope that it will be useful, but WITHOUT
-# ANY WARRANTY; without even the implied warranty of MERCHANTABILITY or FITNESS
-# FOR A PARTICULAR PURPOSE. See the GNU Affero General Public License for more
-# details.
-#
-# You should have received a copy of the GNU Affero General Public License along
-# with this program; if not, write to the Free Software Foundation, Inc.,
-# 51 Franklin St, Fifth Floor, Boston, MA 02110, USA
-#
-# For more information visit http://www.lex-lingo.de or contact me at
-# welcomeATlex-lingoDOTde near 50°55'N+6°55'E.
-#
-# Lex Lingo rules from here on
-#++
-
-require_relative 'modules'
-require_relative 'language'
-require_relative 'const'
-require_relative 'types'
-
-class Lingo
-
-  # Lingo ist als universelles Indexierungssystem entworfen worden. Seine Stärke liegt in der einfachen Konfigurierbarkeit für
-  # spezifische Aufgaben und in der schnelle Entwicklung weiterer Funktionen durch systematischen Kapselung der Komplexität auf
-  # kleine Verarbeitungseinheiten. Die kleinste Verarbeitungseinheit wird Attendee genannt. Um ein gewünschtes Verarbeitungsergebnis
-  # zu bekommen, werden die benötigten Attendees einfach in einer Reihe hinter einander geschaltet. Ein einfaches Beispiel hierfür ist
-  # eine direkte Verbindung zwischen einem Textreader, einem Tokenizer und einem Textwriter. Alle drei Klassen sind von der Klasse
-  # Attendee abgeleitet.
-  #
-  # Der Textreader liest beispielsweise Zeilen aus einer Textdatei und leitet sie weiter an den Tokenizer. Der Tokenizer zerlegt eine
-  # Textzeile in einzelne Wörter und gibt diese weiter an den Textwriter, der diese in eine (andere) Datei schreibt. Über vielfältige
-  # Konfigurationsmöglichkeiten kann das Verhalten der Attendees an die eigenen Bedürfnisse angepasst werden.
-  #
-  # Die Verkettung einzelner Attendees findet über die Schnittstellen +listen+ und +talk+ statt. An +listen+ können beliebige Objekte
-  # zur Ver- und Bearbeitung übergeben werden. Nach der Verarbeitung werden sie mittels +talk+ an die verketteten Attendees weiter
-  # gegeben. Objekte der Klasse AgendaItem dienen dabei der Steuerung der Verarbeitung und sind nicht Bestandteil der normalen
-  # Verarbeitung. Beispiele für AgendaItems sind die Kommandos TALK (Aufforderung zum Start der Verarbeitung), WARN (zur Ausgabe von
-  # Warnungen eines Attendees) und EOL (End of Line, Ende einer Textzeile nach Zerlegung in einzelne Wörter). Eine vollständige
-  # Übersicht benutzer AgendaItems (oder auf Stream Commands) steht in lib/const.rb mit dem Prefix STR_CMD_.
-  #
-  # Um die Entwicklung von neuen Attendees zu beschleunigen, wird durch die Vererbung sind bei wird die gesammte sind in der Regel nur
-  # drei abstrakte Methoden zu implementieren: +init+, +control+ und +process+. Die Methode +init+ wird bei der Instanziierung eines
-  # Objektes einmalig aufgerufen. Sie dient der Vorbereitung der Verarbeitung, z.B. durch das Öffnen und Bereitstellen von
-  # Wörterbüchern zur linguistischen Analyse. An die Methode +control+ werden alle eingehenden AgendaItems weitergeleitet. Dort erfolgt
-  # die Verarbeitungssteuerung, also z.B. bei STR_CMD_FILE das Öffnen einer Datei und bei STR_CMD_EOF respektive das Schließen. Die
-  # echte Verarbeitung von Daten findet daher durch die Methode +process+ statt.
-  #
-  # was macht attendee
-  # - verkettung der attendees anhand von konfigurationsinformationen
-  # - bereitstellung von globalen und spezifischen konfigurationsinformationen
-  # - behandlung von bestimmten übergreifenden Kommandos, z.B. STR_CMD_TALK, STR_CMD_STATUS, STR_CMD_WARN, STR_CMD_ERR
-  # - separierung und routing von kommando bzw. datenobjekten
-  #
-  # was macht die abgeleitet klasse
-  # - verarbeitet und/oder transformiert datenobjekte
-  # - wird gesteuert durch kommandos
-  # - schreibt verarbeitungsstatistiken
-
-  class Attendee
-
-    include Reportable
-
-    def initialize(config, lingo)
-      @lingo = lingo
-
-      init_reportable
-
-      begin
-        lingo.dictionary_config
-      rescue
-        raise "Fehler in der .lang-Datei bei 'language/dictionary'"
-      end
-
-      @config, @subscriber = config, []
-
-      init if self.class.method_defined?(:init)
-
-      @attendee_can_control = self.class.method_defined?(:control)
-      @attendee_can_process = self.class.method_defined?(:process)
-
-      @skip_this_command, @start_of_processing = false, nil
-    end
-
-    def add_subscriber(subscriber)
-      @subscriber.concat(subscriber)
-    end
-
-    def listen(obj)
-      unless obj.is_a?(AgendaItem)
-        if @attendee_can_process
-          inc(STA_NUM_OBJECTS)
-
-          unless @lingo.report_time
-            process(obj)
-          else
-            @start_of_processing = Time.new
-            process(obj)
-            add(STA_TIM_OBJECTS, Time.new - @start_of_processing)
-          end
-        else
-          forward(obj)
-        end
-      else
-        # Neuen TOP verarbeiten
-        if @attendee_can_control
-          inc(STA_NUM_COMMANDS)
-
-          unless @lingo.report_time
-            control(obj.cmd, obj.param)
-          else
-            @start_of_processing = Time.new
-            control(obj.cmd, obj.param)
-            add(STA_TIM_COMMANDS, Time.new - @start_of_processing)
-          end
-        end
-
-        # Spezialbehandlung für einige TOPs nach Verarbeitung
-        case obj.cmd
-          when STR_CMD_TALK
-            # keine weitere Behandlung oder Weiterleitung
-            nil
-          when STR_CMD_STATUS
-            # Standardprotokollinformationen ausgeben
-
-            if @lingo.report_time
-              @lingo.config.stderr.puts 'Perf: %-15s => %7d commands in %s (%s/cmd),  %8d objects in %s (%s/obj)' % [
-                @config['name'],
-                get(STA_NUM_COMMANDS),
-                seconds_to_str(get(STA_TIM_COMMANDS)),
-                seconds_to_str((get(STA_NUM_COMMANDS)==0) ? 0.0 : get(STA_TIM_COMMANDS) / get(STA_NUM_COMMANDS).to_f),
-                get(STA_NUM_OBJECTS),
-                seconds_to_str(get(STA_TIM_OBJECTS)),
-                seconds_to_str((get(STA_NUM_OBJECTS)==0) ? 0.0 : get(STA_TIM_OBJECTS) / get(STA_NUM_OBJECTS).to_f)
-              ]
-            end
-
-            if @lingo.report_status
-              @lingo.config.stderr.puts "Attendee <%s> was connected from '%s' to '%s' reporting...\n" % @config.values_at(*%w[name in out]),
-                report.sort.map { |info| " #{info[0]} = #{info[1]}" }, nil
-            end
-
-            forward(obj.cmd, obj.param)
-          else
-            if @skip_this_command
-              @skip_this_command = false
-            else
-              forward(obj.cmd, obj.param)
-            end
-        end
-      end
-    end
-
-    def talk(obj)
-      time_for_sub = Time.new if @lingo.report_time
-      @subscriber.each { |attendee| attendee.listen(obj) }
-      @start_of_processing += (Time.new - time_for_sub) if @lingo.report_time
-    end
-
-    private
-
-    # ---------------------------------------------------
-    # Create intelligent output of performance times
-    # measured with command line option -p
-    # ---------------------------------------------------
-
-    def seconds_to_str(float)
-      if float < 0.001
-        "%9.3f µs" % [float * 1000000.0]
-      elsif float < 1.0
-        "%9.3f ms" % [float * 1000.0]
-      elsif float < 60.0
-        "%9.3f s " % [float]
-      elsif float < 3600.0
-        "%9.3f m " % [float / 60.0]
-      else
-        "%9.3f h " % [float / 3600.0]
-      end
-    end
-
-    def deleteCmd
-      @skip_this_command = true
-    end
-
-    def forward(obj, param=nil)
-      if param.nil?
-        # Information weiterreichen
-        talk(obj)
-      else
-        # TOP weiterreichen (wenn keine Warnung oder Fehler)
-        case obj
-          when STR_CMD_WARN  then printf "+%s\n|   %s: %s\n+%s\n", '-'*60, @config['name'], param, '-'*60
-          when STR_CMD_ERR  then printf "%s\n=   %s: %s\n%s\n", '='*61, @config['name'], param, '='*61;  exit( 1 )
-          else
-            talk(AgendaItem.new(obj, param))
-        end
-      end
-    end
-
-    # ---------------------------------------------------
-    # Konfigurationshilfsmethoden
-    # ---------------------------------------------------
-    def has_key?(key)
-      !@config.nil? && @config.has_key?(key)
-    end
-
-    def get_key(key, default=nil)
-      forward(STR_CMD_ERR, "Attribut #{key} nicht gesetzt") if default.nil? && !has_key?(key)
-      @config.fetch(key, default)
-    end
-
-    def get_array(key, default=nil)
-      get_key(key, default).split(STRING_SEPERATOR_PATTERN)
-    end
-
-    # ---------------------------------------------------
-    # Abstrakte Methoden
-    #
-    # init
-    # control(cmd, param)
-    # process(obj)
-    # ---------------------------------------------------
-
-  end
-
-  class BufferedAttendee < Attendee
-
-    BufferInsert = Struct.new(:position, :object)
-
-    def initialize(config, lingo)
-      # In den Buffer werden alle Objekte geschrieben, bis process_buffer? == true ist
-      @buffer = []
-
-      # deferred_inserts beeinflussen nicht die Buffer-Größe, sondern werden an einer
-      # bestimmten Stelle in den Datenstrom eingefügt
-      @deferred_inserts = []
-
-      super
-    end
-
-    protected
-
-    def process(obj)
-      @buffer.push(obj)
-      process_buffer if process_buffer?
-    end
-
-    private
-
-    def forward_buffer
-      # Aufgeschobene Einfügungen in Buffer kopieren
-      @deferred_inserts.sort_by { |ins| ins.position }.each { |ins|
-        @buffer.insert(ins.position, ins.object)
-      }
-      @deferred_inserts.clear
-
-      # Buffer weiterleiten
-      @buffer.each { |obj| forward(obj) }
-      @buffer.clear
-    end
-
-    def process_buffer?
-      true
-    end
-
-    def process_buffer
-      # to be defined by child class
-    end
-
-    def deferred_insert(pos, obj)
-      @deferred_inserts << BufferInsert.new(pos, obj)
-    end
-
-  end
-
-end

data/lib/lingo/const.rb

@@ -1,131 +0,0 @@
-# encoding: utf-8
-
-#--
-# LINGO ist ein Indexierungssystem mit Grundformreduktion, Kompositumzerlegung,
-# Mehrworterkennung und Relationierung.
-#
-# Copyright (C) 2005-2007 John Vorhauer
-# Copyright (C) 2007-2011 John Vorhauer, Jens Wille
-#
-# This program is free software; you can redistribute it and/or modify it under
-# the terms of the GNU Affero General Public License as published by the Free
-# Software Foundation; either version 3 of the License, or (at your option)
-# any later version.
-#
-# This program is distributed in the hope that it will be useful, but WITHOUT
-# ANY WARRANTY; without even the implied warranty of MERCHANTABILITY or FITNESS
-# FOR A PARTICULAR PURPOSE. See the GNU Affero General Public License for more
-# details.
-#
-# You should have received a copy of the GNU Affero General Public License along
-# with this program; if not, write to the Free Software Foundation, Inc.,
-# 51 Franklin St, Fifth Floor, Boston, MA 02110, USA
-#
-# For more information visit http://www.lex-lingo.de or contact me at
-# welcomeATlex-lingoDOTde near 50°55'N+6°55'E.
-#
-# Lex Lingo rules from here on
-#++
-
-class Lingo
-
-  ENC = 'UTF-8'
-
-  STRING_SEPERATOR_PATTERN = /[; ,\|]/
-
-  # String-Konstanten im Datenstrom
-  CHAR_PUNCT = '.'
-
-  # Define printable characters for tokenizer for UTF-8 encoding
-  UTF_8_DIGIT  = '[0-9]'
-  # Define Basic Latin printable characters for UTF-8 encoding from U+0000 to U+007f
-  UTF_8_BASLAT = '[A-Za-z]'
-  # Define Latin-1 Supplement printable characters for UTF-8 encoding from U+0080 to U+00ff
-  UTF_8_LAT1SP = '[\xc3\x80-\xc3\x96\xc3\x98-\xc3\xb6\xc3\xb8-\xc3\xbf]'
-  # Define Latin Extended-A printable characters for UTF-8 encoding from U+0100 to U+017f
-  UTF_8_LATEXA = '[\xc4\x80-\xc4\xbf\xc5\x80-\xc5\xbf]'
-  # Define Latin Extended-B printable characters for UTF-8 encoding from U+0180 to U+024f
-  UTF_8_LATEXB = '[\xc6\x80-\xc6\xbf\xc7\x80-\xc7\xbf\xc8\x80-\xc8\xbf\xc9\x80-\xc9\x8f]'
-  # Define IPA Extension printable characters for UTF-8 encoding from U+024f to U+02af
-  UTF_8_IPAEXT = '[\xc9\xa0-\xc9\xbf\xca\xa0-\xca\xaf]'
-  # Collect all UTF-8 printable characters in Unicode range U+0000 to U+02af
-  UTF_8_CHAR   = "#{UTF_8_DIGIT}|#{UTF_8_BASLAT}|#{UTF_8_LAT1SP}|#{UTF_8_LATEXA}|#{UTF_8_LATEXB}|#{UTF_8_IPAEXT}"
-
-  PRINTABLE_CHAR = "#{UTF_8_CHAR}|[<>-]"
-
-  # Status vars
-  STA_FORMAT_INT   = '  %-20s = %d'
-  STA_FORMAT_FLT   = '  %-20s = %6.5f'
-  STA_NUM_COMMANDS = 'Received Commands'
-  STA_NUM_OBJECTS  = 'Received Objects '
-  STA_TIM_COMMANDS = 'Time to control  '
-  STA_TIM_OBJECTS  = 'Time to process  '
-  STA_PER_OBJECT   = 'Time per object  '
-  STA_PER_COMMAND  = 'Time per command '
-
-  # Stream commands
-  STR_CMD_TALK   = 'TALK'
-  STR_CMD_STATUS = 'STATUS'
-  STR_CMD_ERR    = 'ERR'
-  STR_CMD_WARN   = 'WARN'
-  STR_CMD_LIR    = 'LIR-FORMAT'
-  STR_CMD_FILE   = 'FILE'
-  STR_CMD_EOL    = 'EOL'
-  STR_CMD_RECORD = 'RECORD'
-  STR_CMD_EOF    = 'EOF'
-
-  # Token attributes
-  TA_WORD         = 'WORD'
-  TA_PUNCTUATION  = 'PUNC'
-  TA_NUMERICAL    = 'NUMS'
-  TA_URL          = 'URLS'
-  TA_ABREVIATION  = 'ABRV'
-  TA_ABREVIATION1 = 'ABRS'
-  TA_OTHER        = 'OTHR'
-  TA_STOPWORD     = 'STOP'
-
-  # Word attributes
-  WA_UNSET      = '-'    # Standardattribut bei der Initialisierung eines Word-Objektes
-  WA_IDENTIFIED = 'IDF'  # Status, nachdem das Word im Wörterbuch gefunden wurde
-  WA_UNKNOWN    = '?'    # Status, wenn das Word nicht gefunden werden konnte
-  WA_KOMPOSITUM = 'KOM'  # Wort ist als Kompositum erkannt worden
-  WA_MULTIWORD  = 'MUL'  # Wort ist eine Mehrwortgruppe
-  WA_SEQUENCE   = 'SEQ'  # Wort ist eine Mehrwortgruppe
-  WA_UNKMULPART = 'MU?'  # Word ist unbekannt, jedoch Teil einer Mehrwortgruppe
-
-  # Lexical attributes (Wortklassen)
-  LA_SUBSTANTIV = 's'
-  LA_ADJEKTIV   = 'a'
-  LA_VERB       = 'v'
-  LA_EIGENNAME  = 'e'
-  LA_KOMPOSITUM = 'k'
-  LA_MULTIWORD  = 'm'
-  LA_SEQUENCE   = 'q'
-  LA_WORTFORM   = 'w'
-  LA_SYNONYM    = 'y'
-  LA_STOPWORD   = 't'
-  LA_TAKEITASIS = 'x'
-  LA_UNKNOWN    = '?'
-
-  LA_SORTORDER = [
-    LA_MULTIWORD,
-    LA_KOMPOSITUM,
-    LA_SUBSTANTIV,
-    LA_VERB,
-    LA_ADJEKTIV,
-    LA_EIGENNAME,
-    LA_WORTFORM,
-    LA_STOPWORD,
-    LA_TAKEITASIS,
-    LA_SYNONYM,
-    LA_UNKNOWN
-  ].reverse.join
-
-  # Field separators for DBM files
-  KEY_SEP = '='
-  FLD_SEP = '|'
-  IDX_REF = '^'
-  KEY_REF = '*'
-  SYS_KEY = '~'
-
-end