lingo 1.8.5 → 1.8.6

data/lib/lingo/language/token.rb

@@ -28,28 +28,42 @@ class Lingo
 
   module Language
 
+    #--
     # Die Klasse Token, abgeleitet von der Klasse WordForm, stellt den Container
     # für ein einzelnes Wort eines Textes dar. Das Wort wird mit einem Attribut versehen,
     # welches der Regel entspricht, die dieses Wort identifiziert hat.
     #
     # Steht z.B. in ruby.cfg eine Regel zur Erkennung einer Zahl, die mit NUM bezeichnet wird,
     # so wird dies dem Token angeheftet, z.B. Token.new('100', 'NUM') -> #100/NUM#
+    #++
 
     class Token < WordForm
 
+      POSITION_SEP = ':'
+
       def self.clean(attr)
         attr.sub(/:.*/, '')
       end
 
-      def initialize(*)
-        super
-        @attr = self.class.clean(attr)
+      def initialize(form, attr, position = nil, offset = nil)
+        @position, @offset = position, offset
+        super(form, self.class.clean(attr))
       end
 
+      attr_reader :position, :offset
+
       def word?
         attr == TA_WORD
       end
 
+      def position_and_offset
+        "#{position}#{POSITION_SEP}#{offset}"
+      end
+
+      def to_a
+        [form, attr, position, offset]
+      end
+
       def to_s
         ":#{super}:"
       end

data/lib/lingo/language/word.rb

@@ -6,7 +6,7 @@
 # Lingo -- A full-featured automatic indexing system                          #
 #                                                                             #
 # Copyright (C) 2005-2007 John Vorhauer                                       #
-# Copyright (C) 2007-2013 John Vorhauer, Jens Wille                           #
+# Copyright (C) 2007-2014 John Vorhauer, Jens Wille                           #
 #                                                                             #
 # Lingo is free software; you can redistribute it and/or modify it under the  #
 # terms of the GNU Affero General Public License as published by the Free     #
@@ -28,8 +28,10 @@ class Lingo
 
   module Language
 
+    #--
     # Die Klasse Word bündelt spezifische Eigenschaften eines Wortes mit den
     # dazu notwendigen Methoden.
+    #++
 
     class Word < WordForm
 
@@ -59,6 +61,7 @@ class Lingo
 
       end
 
+      #--
       # Exakte Representation der originären Zeichenkette, so wie sie im Satz
       # gefunden wurde, z.B. <tt>form = "RubyLing"</tt>
       #
@@ -71,12 +74,15 @@ class Lingo
       #
       # <b>Achtung: Lemma wird nicht durch die Word-Klasse bestückt, sondern extern
       # durch die Klasse Dictionary</b>
+      #++
 
-      def initialize(form, attr = WA_UNSET)
+      def initialize(form, attr = WA_UNSET, token = nil)
+        @token, @lexicals = token, []
         super
-        @lexicals = []
       end
 
+      attr_reader :token
+
       attr_writer :lexicals
 
       def lexicals(compound_parts = true)
@@ -113,8 +119,6 @@ class Lingo
         self
       end
 
-      # Gibt genau die Grundform der Wortklasse zurück, die der RegExp des Übergabe-Parameters
-      # entspricht, z.B. <tt>word.get_wc(/a/) = ['abgeschoben', '#a']</tt>
       def get_class(wc_re)
         wc_re = Regexp.new(wc_re) unless wc_re.is_a?(Regexp)
 
@@ -138,6 +142,10 @@ class Lingo
         lex = get_class(wc_re).first and lex.form.count(' ') + 1
       end
 
+      def position_and_offset
+        token.position_and_offset if token
+      end
+
       def <<(*lex)
         lex.flatten!
         @lexicals.concat(lex)

data/lib/lingo/language/word_form.rb

@@ -6,7 +6,7 @@
 # Lingo -- A full-featured automatic indexing system                          #
 #                                                                             #
 # Copyright (C) 2005-2007 John Vorhauer                                       #
-# Copyright (C) 2007-2013 John Vorhauer, Jens Wille                           #
+# Copyright (C) 2007-2014 John Vorhauer, Jens Wille                           #
 #                                                                             #
 # Lingo is free software; you can redistribute it and/or modify it under the  #
 # terms of the GNU Affero General Public License as published by the Free     #
@@ -28,9 +28,11 @@ class Lingo
 
   module Language
 
+    #--
     # Die Klasse WordForm ist die Basisklasse für weitere Klassen, die im Rahmen der
     # Objektstruktur eines Wortes benötigt werden. Die Klasse stellt eine Zeichenkette bereit,
     # die mit einem Attribut versehen werden kann.
+    #++
 
     class WordForm
 
@@ -56,11 +58,11 @@ class Lingo
       end
 
       def to_a
-        [form, attr, gender].compact
+        [form, attr, gender]
       end
 
       def to_s
-        to_a.join('/')
+        to_a.compact.join('/')
       end
 
       def inspect

data/lib/lingo/progress.rb

@@ -6,7 +6,7 @@
 # Lingo -- A full-featured automatic indexing system                          #
 #                                                                             #
 # Copyright (C) 2005-2007 John Vorhauer                                       #
-# Copyright (C) 2007-2012 John Vorhauer, Jens Wille                           #
+# Copyright (C) 2007-2014 John Vorhauer, Jens Wille                           #
 #                                                                             #
 # Lingo is free software; you can redistribute it and/or modify it under the  #
 # terms of the GNU Affero General Public License as published by the Free     #
@@ -54,7 +54,7 @@ class Lingo
         begin
           yield self
         ensure
-          trap(:INT, &int)
+          trap(:INT, int)
         end
 
         suc = true

data/lib/lingo/srv.rb

@@ -58,7 +58,7 @@ class Lingo
       r = LINGO.talk(q) unless q.empty?
       return r unless r && SRC_SEP
 
-      s = Hash.new { |h, k| h[k] = [] }
+      s = Hash.nest { [] }
 
       r.each { |t|
         a, b = t.split(SRC_SEP, 2)

data/lib/lingo/srv/lingosrv.cfg

@@ -10,5 +10,5 @@ meeting:
     - sequencer:     { stopper: 'PUNC,OTHR' }
     - synonymer:     { skip: '?,t', source: sys-syn }
 
-    - vector_filter: { debug: 'true', prompt: '', preamble: false }
+    - debug_filter:  { preamble: false }
     - text_writer:   { ext: STDOUT, sep: "\n" }

data/lib/lingo/version.rb

@@ -4,7 +4,7 @@ class Lingo
 
     MAJOR = 1
     MINOR = 8
-    TINY  = 5
+    TINY  = 6
 
     class << self
 

data/lib/lingo/web.rb

@@ -48,7 +48,7 @@ class Lingo
       use(Rack::Auth::Basic) { |*b| b == c } unless c.empty?
     end
 
-    LINGO = Hash.new { |h, k| h[k] = Lingo.call(cfg, ['-l', k]) }
+    LINGO = Hash.nest { |k| Lingo.call(cfg, ['-l', k]) }
 
     CFG, s, h = '', StringScanner.new(''), ERB::Util.method(:h)
     c = lambda { |n| %Q{<span style="color:#{n}">#{h[s.matched]}</span>} }

data/lib/lingo/web/lingoweb.cfg

@@ -10,5 +10,5 @@ meeting:
     - sequencer:     { stopper: 'PUNC,OTHR' }
     - synonymer:     { skip: '?,t', source: sys-syn }
 
-    - vector_filter: { debug: 'true', prompt: '', preamble: false }
+    - debug_filter:  { preamble: false }
     - text_writer:   { ext: STDOUT, sep: "\n" }

data/test/attendee/ts_abbreviator.rb

@@ -33,7 +33,8 @@ class TestAttendeeAbbreviator < AttendeeTestCase
       tk('Punkt|WORD'),
       tk('am|WORD'),
       tk('Ende|WORD'),
-      ai('EOF|')
+      ai('EOF|'),
+      ai('EOT|')
     ], [
       tk('Dieser|WORD'),
       tk('Satz|WORD'),
@@ -42,7 +43,8 @@ class TestAttendeeAbbreviator < AttendeeTestCase
       tk('Punkt|WORD'),
       tk('am|WORD'),
       tk('Ende|WORD'),
-      ai('EOF|')
+      ai('EOF|'),
+      ai('EOT|')
     ])
   end
 

data/test/attendee/ts_multi_worder.rb

@@ -7,53 +7,41 @@ class TestAttendeeMultiWorder < AttendeeTestCase
   def test_basic
     meet({ 'source' => 'tst-mul' }, [
       ai('FILE|mul.txt'),
-      # John_F_._Kennedy
       wd('John|IDF', 'john|e'), wd('F|?'), tk('.|PUNC'), wd('Kennedy|IDF', 'kennedy|e'),
-      # John_F_Kennedy
       wd('John|IDF', 'john|e'), wd('F|?'), wd('Kennedy|IDF', 'kennedy|e'),
-      # John_F_Kennedy_.
       wd('John|IDF', 'john|e'), wd('F|?'), wd('Kennedy|IDF', 'kennedy|e'), tk('.|PUNC'),
-      # a_priori
       wd('a|?'), wd('priori|IDF', 'priori|w'),
-      # Ableitung_nicht_ganzzahliger_Ordnung
       wd('Ableitung|IDF', 'ableitung|s'),
       wd('nicht|IDF', 'nicht|w'),
       wd('ganzzahliger|IDF', 'ganzzahlig|a'),
       wd('Ordnung|IDF', 'ordnung|s'),
-      # Academic_learning_time_in_physical_education
       wd('academic|?'), wd('learning|?'), wd('time|IDF', 'timen|v'),
       wd('in|IDF', 'in|t'), wd('physical|?'), wd('education|?'),
-      # Satzende
       tk('.|PUNC'),
-      ai('EOF|mul.txt')
+      ai('EOF|mul.txt'),
+      ai('EOT|')
     ], [
       ai('FILE|mul.txt'),
-      # John_F_._Kennedy
       wd('John F. Kennedy|MUL', 'john f. kennedy|m'),
       wd('John|IDF', 'john|e'), wd('F|MU?'), wd('Kennedy|IDF', 'kennedy|e'),
-      # John_F_Kennedy
       wd('John F Kennedy|MUL', 'john f. kennedy|m'),
       wd('John|IDF', 'john|e'), wd('F|MU?'), wd('Kennedy|IDF', 'kennedy|e'),
-      # John_F_Kennedy_.
       wd('John F Kennedy|MUL', 'john f. kennedy|m'),
       wd('John|IDF', 'john|e'), wd('F|MU?'), wd('Kennedy|IDF', 'kennedy|e'),
       tk('.|PUNC'),
-      # a_priori
       wd('a priori|MUL', 'a priori|m'),
       wd('a|MU?'), wd('priori|IDF', 'priori|w'),
-      # Ableitung_nicht_ganzzahliger_Ordnung
       wd('Ableitung nicht ganzzahliger Ordnung|MUL', 'ableitung nicht ganzzahliger ordnung|m'),
       wd('Ableitung|IDF', 'ableitung|s'),
       wd('nicht|IDF', 'nicht|w'),
       wd('ganzzahliger|IDF', 'ganzzahlig|a'),
       wd('Ordnung|IDF', 'ordnung|s'),
-      # Academic_learning_time_in_physical_education
       wd('academic learning time in physical education|MUL', 'academic learning time in physical education|m'),
       wd('academic|MU?'), wd('learning|MU?'), wd('time|IDF', 'timen|v'),
       wd('in|IDF', 'in|t'), wd('physical|MU?'), wd('education|MU?'),
-      # Satzende
       tk('.|PUNC'),
-      ai('EOF|mul.txt')
+      ai('EOF|mul.txt'),
+      ai('EOT|')
     ])
   end
 
@@ -61,45 +49,53 @@ class TestAttendeeMultiWorder < AttendeeTestCase
     meet({ 'source' => 'tst-mul' }, [
       ai('FILE|mul.txt'),
       wd('Abelsches|IDF', 'abelsch|a'), wd('Schema|IDF', 'schema|s'), tk('.|PUNC'),
-      ai('EOF|mul.txt')
+      ai('EOF|mul.txt'),
+      ai('EOT|')
     ], [
       ai('FILE|mul.txt'),
       wd('Abelsches Schema|MUL', 'abelsches schema|m'),
       wd('Abelsches|IDF', 'abelsch|a'), wd('Schema|IDF', 'schema|s'), tk('.|PUNC'),
-      ai('EOF|mul.txt')
+      ai('EOF|mul.txt'),
+      ai('EOT|')
     ])
 
     meet({ 'source' => 'tst-mul' }, [
       ai('FILE|mul.txt'),
       wd('Tolles|IDF', 'toll|a'), wd('abelsches|IDF', 'abelsch|a'), wd('Schema|IDF', 'schema|s'), tk('.|PUNC'),
-      ai('EOF|mul.txt')
+      ai('EOF|mul.txt'),
+      ai('EOT|')
     ], [
       ai('FILE|mul.txt'),
       wd('Tolles abelsches Schema|MUL', 'tolles abelsches schema|m'),
       wd('Tolles|IDF', 'toll|a'), wd('abelsches|IDF', 'abelsch|a'), wd('Schema|IDF', 'schema|s'), tk('.|PUNC'),
-      ai('EOF|mul.txt')
+      ai('EOF|mul.txt'),
+      ai('EOT|')
     ])
 
     meet({ 'source' => 'tst-mul' }, [
       ai('FILE|mul.txt'),
       wd('Super|IDF', 'super|a'), wd('tolles|IDF', 'toll|a'), wd('abelsches|IDF', 'abelsch|a'), wd('Schema|IDF', 'schema|s'), tk('.|PUNC'),
-      ai('EOF|mul.txt')
+      ai('EOF|mul.txt'),
+      ai('EOT|')
     ], [
       ai('FILE|mul.txt'),
       wd('Super tolles abelsches Schema|MUL', 'super tolles abelsches schema|m'),
       wd('Super|IDF', 'super|a'), wd('tolles|IDF', 'toll|a'), wd('abelsches|IDF', 'abelsch|a'), wd('Schema|IDF', 'schema|s'), tk('.|PUNC'),
-      ai('EOF|mul.txt')
+      ai('EOF|mul.txt'),
+      ai('EOT|')
     ])
 
     meet({ 'source' => 'tst-mul' }, [
       ai('FILE|mul.txt'),
       wd('Extra|IDF', 'extra|a'), wd('super|IDF', 'super|a'), wd('tolles|IDF', 'toll|a'), wd('abelsches|IDF', 'abelsch|a'), wd('Schema|IDF', 'schema|s'), tk('.|PUNC'),
-      ai('EOF|mul.txt')
+      ai('EOF|mul.txt'),
+      ai('EOT|')
     ], [
       ai('FILE|mul.txt'),
       wd('Extra super tolles abelsches Schema|MUL', 'extra super tolles abelsches schema|m'),
       wd('Extra|IDF', 'extra|a'), wd('super|IDF', 'super|a'), wd('tolles|IDF', 'toll|a'), wd('abelsches|IDF', 'abelsch|a'), wd('Schema|IDF', 'schema|s'), tk('.|PUNC'),
-      ai('EOF|mul.txt')
+      ai('EOF|mul.txt'),
+      ai('EOT|')
     ])
   end
 
@@ -107,45 +103,53 @@ class TestAttendeeMultiWorder < AttendeeTestCase
     meet({ 'source' => 'tst-mul' }, [
       ai('FILE|mul.txt'),
       wd('Abelsches|IDF', 'abelsch|a'), wd('Schema|IDF', 'schema|s'), tk('.|PUNC'),
-      ai('EOF|mul.txt')
+      ai('EOF|mul.txt'),
+      ai('EOT|')
     ], [
       ai('FILE|mul.txt'),
       wd('Abelsches Schema|MUL', 'abelsches schema|m'),
       wd('Abelsches|IDF', 'abelsch|a'), wd('Schema|IDF', 'schema|s'), tk('.|PUNC'),
-      ai('EOF|mul.txt')
+      ai('EOF|mul.txt'),
+      ai('EOT|')
     ])
 
     meet({ 'source' => 'tst-mul' }, [
       ai('FILE|mul.txt'),
       wd('Abelsches|IDF', 'abelsch|a'), wd('Schema|IDF', 'schema|s'), wd('toll|IDF', 'toll|a'), tk('.|PUNC'),
-      ai('EOF|mul.txt')
+      ai('EOF|mul.txt'),
+      ai('EOT|')
     ], [
       ai('FILE|mul.txt'),
       wd('Abelsches Schema toll|MUL', 'abelsches schema toll|m'),
       wd('Abelsches|IDF', 'abelsch|a'), wd('Schema|IDF', 'schema|s'), wd('toll|IDF', 'toll|a'), tk('.|PUNC'),
-      ai('EOF|mul.txt')
+      ai('EOF|mul.txt'),
+      ai('EOT|')
     ])
 
     meet({ 'source' => 'tst-mul' }, [
       ai('FILE|mul.txt'),
       wd('Abelsches|IDF', 'abelsch|a'), wd('Schema|IDF', 'schema|s'), wd('toll|IDF', 'toll|a'), wd('super|IDF', 'super|a'), tk('.|PUNC'),
-      ai('EOF|mul.txt')
+      ai('EOF|mul.txt'),
+      ai('EOT|')
     ], [
       ai('FILE|mul.txt'),
       wd('Abelsches Schema toll super|MUL', 'abelsches schema toll super|m'),
       wd('Abelsches|IDF', 'abelsch|a'), wd('Schema|IDF', 'schema|s'), wd('toll|IDF', 'toll|a'), wd('super|IDF', 'super|a'), tk('.|PUNC'),
-      ai('EOF|mul.txt')
+      ai('EOF|mul.txt'),
+      ai('EOT|')
     ])
 
     meet({ 'source' => 'tst-mul' }, [
       ai('FILE|mul.txt'),
       wd('Abelsches|IDF', 'abelsch|a'), wd('Schema|IDF', 'schema|s'), wd('toll|IDF', 'toll|a'), wd('super|IDF', 'super|a'), wd('extra|IDF', 'extra|a'), tk('.|PUNC'),
-      ai('EOF|mul.txt')
+      ai('EOF|mul.txt'),
+      ai('EOT|')
     ], [
       ai('FILE|mul.txt'),
       wd('Abelsches Schema toll super extra|MUL', 'abelsches schema toll super extra|m'),
       wd('Abelsches|IDF', 'abelsch|a'), wd('Schema|IDF', 'schema|s'), wd('toll|IDF', 'toll|a'), wd('super|IDF', 'super|a'), wd('extra|IDF', 'extra|a'), tk('.|PUNC'),
-      ai('EOF|mul.txt')
+      ai('EOF|mul.txt'),
+      ai('EOT|')
     ])
   end
 
@@ -154,172 +158,161 @@ class TestAttendeeMultiWorder < AttendeeTestCase
       ai('FILE|mul.txt'),
       wd('John|IDF', 'john|e'), wd('F|?'), tk('.|PUNC'), wd('Kennedy|IDF', 'kennedy|e'),
       wd('war|IDF', 'war|w'), wd('einmal|IDF', 'einmal|w'), wd('Präsident|IDF', 'präsident|s'), tk('.|PUNC'),
-      ai('EOF|mul.txt')
+      ai('EOF|mul.txt'),
+      ai('EOT|')
     ], [
       ai('FILE|mul.txt'),
       wd('John F. Kennedy|MUL', 'john f. kennedy|m'),
       wd('John|IDF', 'john|e'), wd('F|MU?'), wd('Kennedy|IDF', 'kennedy|e'),
       wd('war|IDF', 'war|w'), wd('einmal|IDF', 'einmal|w'), wd('Präsident|IDF', 'präsident|s'), tk('.|PUNC'),
-      ai('EOF|mul.txt')
+      ai('EOF|mul.txt'),
+      ai('EOT|')
     ])
 
-    input.delete_at(-3)
+    input.delete_at(-4)
     meet({ 'source' => 'tst-mul' }, input, [
       ai('FILE|mul.txt'),
       wd('John F. Kennedy|MUL', 'john f. kennedy|m'),
       wd('John|IDF', 'john|e'), wd('F|MU?'), wd('Kennedy|IDF', 'kennedy|e'),
       wd('war|IDF', 'war|w'), wd('einmal|IDF', 'einmal|w'), tk('.|PUNC'),
-      ai('EOF|mul.txt')
+      ai('EOF|mul.txt'),
+      ai('EOT|')
     ])
 
-    input.delete_at(-3)
+    input.delete_at(-4)
     meet({ 'source' => 'tst-mul' }, input, [
       ai('FILE|mul.txt'),
       wd('John F. Kennedy|MUL', 'john f. kennedy|m'),
       wd('John|IDF', 'john|e'), wd('F|MU?'), wd('Kennedy|IDF', 'kennedy|e'),
       wd('war|IDF', 'war|w'), tk('.|PUNC'),
-      ai('EOF|mul.txt')
+      ai('EOF|mul.txt'),
+      ai('EOT|')
     ])
 
-    input.delete_at(-3)
+    input.delete_at(-4)
     meet({ 'source' => 'tst-mul' }, input, [
       ai('FILE|mul.txt'),
       wd('John F. Kennedy|MUL', 'john f. kennedy|m'),
       wd('John|IDF', 'john|e'), wd('F|MU?'), wd('Kennedy|IDF', 'kennedy|e'),
       tk('.|PUNC'),
-      ai('EOF|mul.txt')
+      ai('EOF|mul.txt'),
+      ai('EOT|')
     ])
   end
 
   def test_two_sources_mode_first
-    # in keinen WB enthalten
     meet({ 'source' => 'tst-mul,tst-mu2', 'mode' => 'first' }, [
-      wd('intelligente|IDF', 'intelligent|a'), wd('Indexierung|IDF', 'indexierung|s'), ai('EOF|mul.txt')
+      wd('intelligente|IDF', 'intelligent|a'), wd('Indexierung|IDF', 'indexierung|s'), ai('EOF|mul.txt'), ai('EOT|')
     ], [
-      wd('intelligente|IDF', 'intelligent|a'), wd('Indexierung|IDF', 'indexierung|s'), ai('EOF|mul.txt')
+      wd('intelligente|IDF', 'intelligent|a'), wd('Indexierung|IDF', 'indexierung|s'), ai('EOF|mul.txt'), ai('EOT|')
     ])
 
-    # im ersten WB enthalten
     meet({ 'source' => 'tst-mul,tst-mu2', 'mode' => 'first' }, [
-      wd('abstrakten|IDF', 'abstrakt|a'), wd('Kunst|IDF', 'kunst|s'), ai('EOF|mul.txt')
+      wd('abstrakten|IDF', 'abstrakt|a'), wd('Kunst|IDF', 'kunst|s'), ai('EOF|mul.txt'), ai('EOT|')
     ], [
       wd('abstrakten Kunst|MUL', 'abstrakte kunst|m'),
-      wd('abstrakten|IDF', 'abstrakt|a'), wd('Kunst|IDF', 'kunst|s'), ai('EOF|mul.txt')
+      wd('abstrakten|IDF', 'abstrakt|a'), wd('Kunst|IDF', 'kunst|s'), ai('EOF|mul.txt'), ai('EOT|')
     ])
 
-    # im zweiten WB enthalten
     meet({ 'source' => 'tst-mul,tst-mu2', 'mode' => 'first' }, [
-      wd('traumatischer|IDF', 'traumatisch|a'), wd('Angelegenheit|IDF', 'angelegenheit|s'), ai('EOF|mul.txt')
+      wd('traumatischer|IDF', 'traumatisch|a'), wd('Angelegenheit|IDF', 'angelegenheit|s'), ai('EOF|mul.txt'), ai('EOT|')
     ], [
       wd('traumatischer Angelegenheit|MUL', 'traumatische angelegenheit|m'),
-      wd('traumatischer|IDF', 'traumatisch|a'), wd('Angelegenheit|IDF', 'angelegenheit|s'), ai('EOF|mul.txt')
+      wd('traumatischer|IDF', 'traumatisch|a'), wd('Angelegenheit|IDF', 'angelegenheit|s'), ai('EOF|mul.txt'), ai('EOT|')
     ])
 
-    # in beiden WB enthalten
     meet({ 'source' => 'tst-mul,tst-mu2', 'mode' => 'first' }, [
-      wd('azyklischen|IDF', 'azyklisch|a'), wd('Bewegungen|IDF', 'bewegung|s'), ai('EOF|mul.txt')
+      wd('azyklischen|IDF', 'azyklisch|a'), wd('Bewegungen|IDF', 'bewegung|s'), ai('EOF|mul.txt'), ai('EOT|')
     ], [
       wd('azyklischen Bewegungen|MUL', 'chaotisches movement|m'),
-      wd('azyklischen|IDF', 'azyklisch|a'), wd('Bewegungen|IDF', 'bewegung|s'), ai('EOF|mul.txt')
+      wd('azyklischen|IDF', 'azyklisch|a'), wd('Bewegungen|IDF', 'bewegung|s'), ai('EOF|mul.txt'), ai('EOT|')
     ])
   end
 
   def test_two_sources_mode_first_flipped
-    # in keinen WB enthalten
     meet({ 'source' => 'tst-mu2,tst-mul', 'mode' => 'first' }, [
-      wd('intelligente|IDF', 'intelligent|a'), wd('Indexierung|IDF', 'indexierung|s'), ai('EOF|mul.txt')
+      wd('intelligente|IDF', 'intelligent|a'), wd('Indexierung|IDF', 'indexierung|s'), ai('EOF|mul.txt'), ai('EOT|')
     ], [
-      wd('intelligente|IDF', 'intelligent|a'), wd('Indexierung|IDF', 'indexierung|s'), ai('EOF|mul.txt')
+      wd('intelligente|IDF', 'intelligent|a'), wd('Indexierung|IDF', 'indexierung|s'), ai('EOF|mul.txt'), ai('EOT|')
     ])
 
-    # im ersten WB enthalten
     meet({ 'source' => 'tst-mu2,tst-mul', 'mode' => 'first' }, [
-      wd('abstrakten|IDF', 'abstrakt|a'), wd('Kunst|IDF', 'kunst|s'), ai('EOF|mul.txt')
+      wd('abstrakten|IDF', 'abstrakt|a'), wd('Kunst|IDF', 'kunst|s'), ai('EOF|mul.txt'), ai('EOT|')
     ], [
       wd('abstrakten Kunst|MUL', 'abstrakte kunst|m'),
-      wd('abstrakten|IDF', 'abstrakt|a'), wd('Kunst|IDF', 'kunst|s'), ai('EOF|mul.txt')
+      wd('abstrakten|IDF', 'abstrakt|a'), wd('Kunst|IDF', 'kunst|s'), ai('EOF|mul.txt'), ai('EOT|')
     ])
 
-    # im zweiten WB enthalten
     meet({ 'source' => 'tst-mu2,tst-mul', 'mode' => 'first' }, [
-      wd('traumatischer|IDF', 'traumatisch|a'), wd('Angelegenheit|IDF', 'angelegenheit|s'), ai('EOF|mul.txt')
+      wd('traumatischer|IDF', 'traumatisch|a'), wd('Angelegenheit|IDF', 'angelegenheit|s'), ai('EOF|mul.txt'), ai('EOT|')
     ], [
       wd('traumatischer Angelegenheit|MUL', 'traumatische angelegenheit|m'),
-      wd('traumatischer|IDF', 'traumatisch|a'), wd('Angelegenheit|IDF', 'angelegenheit|s'), ai('EOF|mul.txt')
+      wd('traumatischer|IDF', 'traumatisch|a'), wd('Angelegenheit|IDF', 'angelegenheit|s'), ai('EOF|mul.txt'), ai('EOT|')
     ])
 
-    # in beiden WB enthalten
     meet({ 'source' => 'tst-mu2,tst-mul', 'mode' => 'first' }, [
-      wd('azyklischen|IDF', 'azyklisch|a'), wd('Bewegungen|IDF', 'bewegung|s'), ai('EOF|mul.txt')
+      wd('azyklischen|IDF', 'azyklisch|a'), wd('Bewegungen|IDF', 'bewegung|s'), ai('EOF|mul.txt'), ai('EOT|')
     ], [
       wd('azyklischen Bewegungen|MUL', 'azyklische bewegung|m'),
-      wd('azyklischen|IDF', 'azyklisch|a'), wd('Bewegungen|IDF', 'bewegung|s'), ai('EOF|mul.txt')
+      wd('azyklischen|IDF', 'azyklisch|a'), wd('Bewegungen|IDF', 'bewegung|s'), ai('EOF|mul.txt'), ai('EOT|')
     ])
   end
 
   def test_select_two_sources_mode_all
-    # in keinen WB enthalten
     meet({ 'source' => 'tst-mu2,tst-mul', 'mode' => 'all' }, [
-      wd('intelligente|IDF', 'intelligent|a'), wd('Indexierung|IDF', 'indexierung|s'), ai('EOF|mul.txt')
+      wd('intelligente|IDF', 'intelligent|a'), wd('Indexierung|IDF', 'indexierung|s'), ai('EOF|mul.txt'), ai('EOT|')
     ], [
-      wd('intelligente|IDF', 'intelligent|a'), wd('Indexierung|IDF', 'indexierung|s'), ai('EOF|mul.txt')
+      wd('intelligente|IDF', 'intelligent|a'), wd('Indexierung|IDF', 'indexierung|s'), ai('EOF|mul.txt'), ai('EOT|')
     ])
 
-    # im ersten WB enthalten
     meet({ 'source' => 'tst-mu2,tst-mul', 'mode' => 'all' }, [
-      wd('abstrakten|IDF', 'abstrakt|a'), wd('Kunst|IDF', 'kunst|s'), ai('EOF|mul.txt')
+      wd('abstrakten|IDF', 'abstrakt|a'), wd('Kunst|IDF', 'kunst|s'), ai('EOF|mul.txt'), ai('EOT|')
     ], [
       wd('abstrakten Kunst|MUL', 'abstrakte kunst|m'),
-      wd('abstrakten|IDF', 'abstrakt|a'), wd('Kunst|IDF', 'kunst|s'), ai('EOF|mul.txt')
+      wd('abstrakten|IDF', 'abstrakt|a'), wd('Kunst|IDF', 'kunst|s'), ai('EOF|mul.txt'), ai('EOT|')
     ])
 
-    # im zweiten WB enthalten
     meet({ 'source' => 'tst-mu2,tst-mul', 'mode' => 'all' }, [
-      wd('traumatischer|IDF', 'traumatisch|a'), wd('Angelegenheit|IDF', 'angelegenheit|s'), ai('EOF|mul.txt')
+      wd('traumatischer|IDF', 'traumatisch|a'), wd('Angelegenheit|IDF', 'angelegenheit|s'), ai('EOF|mul.txt'), ai('EOT|')
     ], [
       wd('traumatischer Angelegenheit|MUL', 'traumatische angelegenheit|m'),
-      wd('traumatischer|IDF', 'traumatisch|a'), wd('Angelegenheit|IDF', 'angelegenheit|s'), ai('EOF|mul.txt')
+      wd('traumatischer|IDF', 'traumatisch|a'), wd('Angelegenheit|IDF', 'angelegenheit|s'), ai('EOF|mul.txt'), ai('EOT|')
     ])
 
-    # in beiden WB enthalten
     meet({ 'source' => 'tst-mu2,tst-mul', 'mode' => 'all' }, [
-      wd('azyklischen|IDF', 'azyklisch|a'), wd('Bewegungen|IDF', 'bewegung|s'), ai('EOF|mul.txt')
+      wd('azyklischen|IDF', 'azyklisch|a'), wd('Bewegungen|IDF', 'bewegung|s'), ai('EOF|mul.txt'), ai('EOT|')
     ], [
       wd('azyklischen Bewegungen|MUL', 'azyklische bewegung|m', 'chaotisches movement|m'),
-      wd('azyklischen|IDF', 'azyklisch|a'), wd('Bewegungen|IDF', 'bewegung|s'), ai('EOF|mul.txt')
+      wd('azyklischen|IDF', 'azyklisch|a'), wd('Bewegungen|IDF', 'bewegung|s'), ai('EOF|mul.txt'), ai('EOT|')
     ])
   end
 
   def test_select_two_sources_mode_def
-    # in keinen WB enthalten
     meet({ 'source' => 'tst-mu2,tst-mul' }, [
-      wd('intelligente|IDF', 'intelligent|a'), wd('Indexierung|IDF', 'indexierung|s'), ai('EOF|mul.txt')
+      wd('intelligente|IDF', 'intelligent|a'), wd('Indexierung|IDF', 'indexierung|s'), ai('EOF|mul.txt'), ai('EOT|')
     ], [
-      wd('intelligente|IDF', 'intelligent|a'), wd('Indexierung|IDF', 'indexierung|s'), ai('EOF|mul.txt')
+      wd('intelligente|IDF', 'intelligent|a'), wd('Indexierung|IDF', 'indexierung|s'), ai('EOF|mul.txt'), ai('EOT|')
     ])
 
-    # im ersten WB enthalten
     meet({ 'source' => 'tst-mu2,tst-mul' }, [
-      wd('abstrakten|IDF', 'abstrakt|a'), wd('Kunst|IDF', 'kunst|s'), ai('EOF|mul.txt')
+      wd('abstrakten|IDF', 'abstrakt|a'), wd('Kunst|IDF', 'kunst|s'), ai('EOF|mul.txt'), ai('EOT|')
     ], [
       wd('abstrakten Kunst|MUL', 'abstrakte kunst|m'),
-      wd('abstrakten|IDF', 'abstrakt|a'), wd('Kunst|IDF', 'kunst|s'), ai('EOF|mul.txt')
+      wd('abstrakten|IDF', 'abstrakt|a'), wd('Kunst|IDF', 'kunst|s'), ai('EOF|mul.txt'), ai('EOT|')
     ])
 
-    # im zweiten WB enthalten
     meet({ 'source' => 'tst-mu2,tst-mul' }, [
-      wd('traumatischer|IDF', 'traumatisch|a'), wd('Angelegenheit|IDF', 'angelegenheit|s'), ai('EOF|mul.txt')
+      wd('traumatischer|IDF', 'traumatisch|a'), wd('Angelegenheit|IDF', 'angelegenheit|s'), ai('EOF|mul.txt'), ai('EOT|')
     ], [
       wd('traumatischer Angelegenheit|MUL', 'traumatische angelegenheit|m'),
-      wd('traumatischer|IDF', 'traumatisch|a'), wd('Angelegenheit|IDF', 'angelegenheit|s'), ai('EOF|mul.txt')
+      wd('traumatischer|IDF', 'traumatisch|a'), wd('Angelegenheit|IDF', 'angelegenheit|s'), ai('EOF|mul.txt'), ai('EOT|')
     ])
 
-    # in beiden WB enthalten
     meet({ 'source' => 'tst-mu2,tst-mul' }, [
-      wd('azyklischen|IDF', 'azyklisch|a'), wd('Bewegungen|IDF', 'bewegung|s'), ai('EOF|mul.txt')
+      wd('azyklischen|IDF', 'azyklisch|a'), wd('Bewegungen|IDF', 'bewegung|s'), ai('EOF|mul.txt'), ai('EOT|')
     ], [
       wd('azyklischen Bewegungen|MUL', 'azyklische bewegung|m', 'chaotisches movement|m'),
-      wd('azyklischen|IDF', 'azyklisch|a'), wd('Bewegungen|IDF', 'bewegung|s'), ai('EOF|mul.txt')
+      wd('azyklischen|IDF', 'azyklisch|a'), wd('Bewegungen|IDF', 'bewegung|s'), ai('EOF|mul.txt'), ai('EOT|')
     ])
   end