lingo 1.8.6 → 1.8.7

data/lib/lingo/attendee/dehyphenizer.rb

@@ -1,120 +0,0 @@
-# encoding: utf-8
-
-#--
-###############################################################################
-#                                                                             #
-# Lingo -- A full-featured automatic indexing system                          #
-#                                                                             #
-# Copyright (C) 2005-2007 John Vorhauer                                       #
-# Copyright (C) 2007-2014 John Vorhauer, Jens Wille                           #
-#                                                                             #
-# Lingo is free software; you can redistribute it and/or modify it under the  #
-# terms of the GNU Affero General Public License as published by the Free     #
-# Software Foundation; either version 3 of the License, or (at your option)   #
-# any later version.                                                          #
-#                                                                             #
-# Lingo is distributed in the hope that it will be useful, but WITHOUT ANY    #
-# WARRANTY; without even the implied warranty of MERCHANTABILITY or FITNESS   #
-# FOR A PARTICULAR PURPOSE. See the GNU Affero General Public License for     #
-# more details.                                                               #
-#                                                                             #
-# You should have received a copy of the GNU Affero General Public License    #
-# along with Lingo. If not, see <http://www.gnu.org/licenses/>.               #
-#                                                                             #
-###############################################################################
-#++
-
-class Lingo
-
-  class Attendee
-
-    #--
-    # Der Dehyphenizer ... muss noch dokumentiert werden
-    #
-    # === Mögliche Verlinkung
-    # Erwartet:: Daten vom Typ *Word* z.B. von Wordsearcher, Decomposer, Ocr_variator, Multiworder
-    # Erzeugt:: Daten vom Typ *Word* (mit Attribut WA_MULTIWORD). Je erkannter Mehrwortgruppe wird ein zusätzliches Word-Objekt in den Datenstrom eingefügt. Z.B. für Ocr_variator, Sequencer, Noneword_filter, Vector_filter
-    #
-    # === Parameter
-    # Kursiv dargestellte Parameter sind optional (ggf. mit Angabe der Voreinstellung).
-    # Alle anderen Parameter müssen zwingend angegeben werden.
-    # <b>in</b>:: siehe allgemeine Beschreibung des Attendee
-    # <b>out</b>:: siehe allgemeine Beschreibung des Attendee
-    # <b>source</b>:: siehe allgemeine Beschreibung des Dictionary
-    # <b><i>mode</i></b>:: (Standard: all) siehe allgemeine Beschreibung des Dictionary
-    #
-    # === Beispiele
-    # Bei der Verarbeitung einer normalen Textdatei mit der Ablaufkonfiguration <tt>t1.cfg</tt>
-    #   meeting:
-    #     attendees:
-    #       - text_reader:   { out: lines, files: '$(files)' }
-    #       - tokenizer:     { in: lines, out: token }
-    #       - abbreviator:   { in: token, out: abbrev, source: 'sys-abk' }
-    #       - word_searcher: { in: abbrev, out: words, source: 'sys-dic' }
-    #       - decomposer:    { in: words, out: comps, source: 'sys-dic' }
-    #       - multi_worder:  { in: comps, out: multi, source: 'sys-mul' }
-    #       - debugger:      { in: multi, prompt: 'out>' }
-    # ergibt die Ausgabe über den Debugger: <tt>lingo -c t1 test.txt</tt>
-    #   out> *FILE('test.txt')
-    #   out> <Sein = [(sein/s), (sein/v)]>
-    #   out> <Name = [(name/s)]>
-    #   out> <ist = [(sein/v)]>
-    #   out> <johann van siegen|MUL = [(johann van siegen/m)]>
-    #   out> <Johann = [(johann/e)]>
-    #   out> <van = [(van/w)]>
-    #   out> <Siegen = [(sieg/s), (siegen/v), (siegen/e)]>
-    #   out> :./PUNC:
-    #   out> *EOL('test.txt')
-    #   out> *EOF('test.txt')
-    #++
-
-    class Dehyphenizer < BufferedAttendee
-
-      def init
-        set_dic
-        set_gra
-
-        @skip = get_array('skip', '', :downcase)
-
-        @expected_tokens_in_buffer, @eof_handling = 2, false
-      end
-
-      def control(cmd, *)
-        control_multi(cmd)
-      end
-
-      def process_buffer
-        a, b, h = *ab = @buffer.values_at(0, 1), '-'
-
-        if ab.all? { |i| i.is_a?(Word) } && a.form[-1, 1] == h && !(
-          (c = b.get_class(/./).first) && @skip.include?(c.attr)
-        )
-          a, b = ab.map! { |i| i.form }
-
-          word = dehyphenize(a.chomp(h) + b)
-          word = dehyphenize(a          + b) unless dehyphenized?(word)
-
-          if dehyphenized?(word)
-            @buffer[0] = word
-            @buffer.delete_at(1)
-          end
-        end
-
-        forward_number_of_token(1, false)
-      end
-
-      private
-
-      def dehyphenize(form)
-        find_word(form) { |i| i.identified? }
-      end
-
-      def dehyphenized?(word)
-        word.identified? || word.full_compound?
-      end
-
-    end
-
-  end
-
-end

data/lib/lingo/attendee/noneword_filter.rb

@@ -1,115 +0,0 @@
-# encoding: utf-8
-
-#--
-###############################################################################
-#                                                                             #
-# Lingo -- A full-featured automatic indexing system                          #
-#                                                                             #
-# Copyright (C) 2005-2007 John Vorhauer                                       #
-# Copyright (C) 2007-2014 John Vorhauer, Jens Wille                           #
-#                                                                             #
-# Lingo is free software; you can redistribute it and/or modify it under the  #
-# terms of the GNU Affero General Public License as published by the Free     #
-# Software Foundation; either version 3 of the License, or (at your option)   #
-# any later version.                                                          #
-#                                                                             #
-# Lingo is distributed in the hope that it will be useful, but WITHOUT ANY    #
-# WARRANTY; without even the implied warranty of MERCHANTABILITY or FITNESS   #
-# FOR A PARTICULAR PURPOSE. See the GNU Affero General Public License for     #
-# more details.                                                               #
-#                                                                             #
-# You should have received a copy of the GNU Affero General Public License    #
-# along with Lingo. If not, see <http://www.gnu.org/licenses/>.               #
-#                                                                             #
-###############################################################################
-#++
-
-class Lingo
-
-  class Attendee
-
-    #--
-    # Der NonewordFilter ermöglicht es, alle nicht erkannten Wörter aus dem Datenstrom zu
-    # selektieren und weiterzuleiten. Im Prinzip werden alle erkannten Wörter gefiltert.
-    # Bei einem Indexierungslauf können so alle nicht durch den Wordsearcher erkannten Wörter,
-    # also die, die im Wörterbuch nicht enthalten sind, separat ausgegeben werden und als Grundlage für
-    # die Wörterbuchpflege dienen.
-    # Der NonewordFilter ist in einer frühen Entwicklungsphase entstanden. Die gleiche Funktion
-    # kann auch mit dem universelleren Objectfilter mit dem Ausdruck 'obj.kind_of?(Word) && obj.attr==WA_UNKNOWN'
-    # durchgeführt werden, mit dem einzigen Unterschied, dass der NonewordFilter nur die Wortform weiterleitet.
-    # Der NonewordFilter verschluckt ebenfalls alle Kommandos, ausser dem Dateianfang (*FILE) und Ende (*EOF),
-    # sowie dem LIR-Format-Spezifikum (*RECORD).
-    #
-    # *Hinweis* Dieser Attendee sammelt die auszugebenden Daten so lange, bis ein Dateiwechsel oder Record-Wechsel
-    # angekündigt wird. Erst dann werden alle Daten auf einmal weitergeleitet.
-    #
-    # === Mögliche Verlinkung
-    # Erwartet:: Daten vom Typ *Word*, z.B. von Abbreviator, Wordsearcher, Decomposer, Synonymer, Multiworder, Sequencer
-    # Erzeugt:: Daten vom Typ *String*, z.B. für Textwriter
-    #
-    # === Parameter
-    # Kursiv dargestellte Parameter sind optional (ggf. mit Angabe der Voreinstellung).
-    # Alle anderen Parameter müssen zwingend angegeben werden.
-    # <b>in</b>:: siehe allgemeine Beschreibung des Attendee
-    # <b>out</b>:: siehe allgemeine Beschreibung des Attendee
-    #
-    # === Beispiele
-    # Bei der Verarbeitung einer normalen Textdatei mit der Ablaufkonfiguration <tt>t1.cfg</tt>
-    #   meeting:
-    #     attendees:
-    #       - text_reader:      { out: lines, files: '$(files)' }
-    #       - tokenizer:        { in: lines, out: token }
-    #       - word_searcher:    { in: token, out: words, source: 'sys-dic' }
-    #       - noneword_filter:  { in: words, out: filtr }
-    #       - debugger:         { in: filtr, prompt: 'out>' }
-    # ergibt die Ausgabe über den Debugger: <tt>lingo -c t1 test.txt</tt>
-    #   out> *FILE('test.txt')
-    #   out> "lingo"
-    #   out> *EOF('test.txt')
-    #++
-
-    class NonewordFilter < self
-
-      def init
-        @sort = get_key('sort', !ENV['LINGO_NO_SORT'])
-        @dict = get_key('dict', false)
-        @dict = '=' if @dict == true
-
-        @nonewords = []
-      end
-
-      def control(cmd, *)
-        case cmd
-          when :FILE   then @nonewords.clear
-          when :EOL    then :skip_command
-          when :RECORD then send_nonewords unless @dict
-          when :EOF    then send_nonewords
-        end
-      end
-
-      def process(obj)
-        if obj.is_a?(Word) && obj.unknown?
-          non = Unicode.downcase(obj.form)
-          non = "#{non}#{@dict}#{non} #?" if @dict
-          @sort ? @nonewords << non : forward(non)
-        end
-      end
-
-      private
-
-      def send_nonewords
-        unless @nonewords.empty?
-          @nonewords.uniq!
-          flush(@nonewords.sort!)
-        end
-      end
-
-    end
-
-    # For backwards compatibility.
-    Nonewordfilter  = NonewordFilter
-    Noneword_filter = NonewordFilter
-
-  end
-
-end

data/test/attendee/ts_noneword_filter.rb

@@ -1,15 +0,0 @@
-# encoding: utf-8
-
-require_relative '../test_helper'
-
-class TestAttendeeNonewordFilter < AttendeeTestCase
-
-  def test_basic
-    meet({}, [
-      wd('Eins|IDF'), wd('Zwei|?'), wd('Drei|IDF'), wd('Vier|?'), ai('EOF|'), ai('EOT|')
-    ], [
-      'vier', 'zwei', ai('EOF|'), ai('EOT|')
-    ])
-  end
-
-end