lingo 1.8.5 → 1.8.6

data/test/attendee/ts_noneword_filter.rb

@@ -6,9 +6,9 @@ class TestAttendeeNonewordFilter < AttendeeTestCase
 
   def test_basic
     meet({}, [
-      wd('Eins|IDF'), wd('Zwei|?'), wd('Drei|IDF'), wd('Vier|?'), ai('EOF|')
+      wd('Eins|IDF'), wd('Zwei|?'), wd('Drei|IDF'), wd('Vier|?'), ai('EOF|'), ai('EOT|')
     ], [
-      'vier', 'zwei', ai('EOF|')
+      'vier', 'zwei', ai('EOF|'), ai('EOT|')
     ])
   end
 

data/test/attendee/ts_object_filter.rb

@@ -6,9 +6,9 @@ class TestAttendeeObjectFilter < AttendeeTestCase
 
   def test_basic
     meet({ 'objects' => 'obj.form =~ /^[A-Z]/' }, [
-      wd('Eins|IDF'), wd('zwei|?'), wd('Drei|IDF'), wd('vier|?'), ai('EOF|')
+      wd('Eins|IDF'), wd('zwei|?'), wd('Drei|IDF'), wd('vier|?'), ai('EOF|'), ai('EOT|')
     ], [
-      wd('Eins|IDF'), wd('Drei|IDF'), ai('EOF|')
+      wd('Eins|IDF'), wd('Drei|IDF'), ai('EOF|'), ai('EOT|')
     ])
   end
 

data/test/attendee/ts_sequencer.rb

@@ -15,7 +15,8 @@ class TestAttendeeSequencer < AttendeeTestCase
       wd('Der|IDF', 'der|w'),
       wd('schöne|IDF', 'schön|a'),
       wd('Sonnenuntergang|KOM', 'sonnenuntergang|k', 'sonne|s+', 'untergang|s+'),
-      ai('EOF|')
+      ai('EOF|'),
+      ai('EOT|')
     ], [
       # AS
       wd('Die|IDF', 'die|w'),
@@ -28,7 +29,8 @@ class TestAttendeeSequencer < AttendeeTestCase
       wd('schöne|IDF', 'schön|a'),
       wd('Sonnenuntergang|KOM', 'sonnenuntergang|k', 'sonne|s+', 'untergang|s+'),
       wd('sonnenuntergang, schön|SEQ', 'sonnenuntergang, schön|q'),
-      ai('EOF|')
+      ai('EOF|'),
+      ai('EOT|')
     ])
   end
 
@@ -50,7 +52,8 @@ class TestAttendeeSequencer < AttendeeTestCase
       wd('Der|IDF', 'der|w'),
       wd('Sonne|IDF', 'sonne|s'),
       wd('Untergang|IDF', 'untergang|s'),
-      ai('EOF|')
+      ai('EOF|'),
+      ai('EOT|')
     ], [
       # (AS)
       wd('Die|IDF', 'die|w'),
@@ -72,7 +75,8 @@ class TestAttendeeSequencer < AttendeeTestCase
       wd('Sonne|IDF', 'sonne|s'),
       wd('Untergang|IDF', 'untergang|s'),
       wd('sonne untergang|SEQ', 'sonne untergang|q'),
-      ai('EOF|')
+      ai('EOF|'),
+      ai('EOT|')
     ])
   end
 
@@ -85,7 +89,8 @@ class TestAttendeeSequencer < AttendeeTestCase
       wd('Gottes|IDF', 'gott|s'),
       wd('Turm|IDF', 'turm|s'),
       tk('.|PUNC'),
-      ai('EOF|')
+      ai('EOF|'),
+      ai('EOT|')
     ], [
       # MS
       wd('Der|IDF', 'der|w'),
@@ -95,7 +100,8 @@ class TestAttendeeSequencer < AttendeeTestCase
       wd('Turm|IDF', 'turm|s'),
       tk('.|PUNC'),
       wd('abbild gottes turm|SEQ', 'abbild gottes turm|q'),
-      ai('EOF|')
+      ai('EOF|'),
+      ai('EOT|')
     ])
     meet({ 'sequences' => [['MS', '1 2'], ['SS', '1 2'], ['SSS', '1 2 3']] }, [
       # MS + SS + SS + SSS
@@ -109,7 +115,8 @@ class TestAttendeeSequencer < AttendeeTestCase
       wd('Abbild Gottes|MUL', 'abbild gottes|m'),
       wd('Abbild|IDF', 'abbild|s'),
       wd('Gottes|IDF', 'gott|s'),
-      ai('EOF|')
+      ai('EOF|'),
+      ai('EOT|')
     ], [
       # MS + SS + SS + SSS
       wd('Der|IDF', 'der|w'),
@@ -127,7 +134,8 @@ class TestAttendeeSequencer < AttendeeTestCase
       wd('Abbild|IDF', 'abbild|s'),
       wd('Gottes|IDF', 'gott|s'),
       wd('abbild gott|SEQ', 'abbild gott|q'),
-      ai('EOF|')
+      ai('EOF|'),
+      ai('EOT|')
     ])
   end
 
@@ -144,7 +152,8 @@ class TestAttendeeSequencer < AttendeeTestCase
       wd('Abbild Gottes|MUL', 'abbild gottes|m'),
       wd('Abbild|IDF', 'abbild|s'),
       wd('Gottes|IDF', 'gott|s'),
-      ai('EOF|')
+      ai('EOF|'),
+      ai('EOT|')
     ], [
       # MS + SS + SS
       wd('Der|IDF', 'der|w'),
@@ -161,7 +170,8 @@ class TestAttendeeSequencer < AttendeeTestCase
       wd('Abbild|IDF', 'abbild|s'),
       wd('Gottes|IDF', 'gott|s'),
       wd('abbild gott|SEQ', 'abbild gott|q'),
-      ai('EOF|')
+      ai('EOF|'),
+      ai('EOT|')
     ])
   end
 
@@ -177,7 +187,8 @@ class TestAttendeeSequencer < AttendeeTestCase
       wd('Abbild Gottes|MUL', 'abbild gottes|m'),
       wd('Abbild|IDF', 'abbild|s'),
       wd('Gottes|IDF', 'gott|s'),
-      ai('EOF|')
+      ai('EOF|'),
+      ai('EOT|')
     ], [
       # (MS + SS + SS)
       wd('Der|IDF', 'der|w'),
@@ -189,7 +200,8 @@ class TestAttendeeSequencer < AttendeeTestCase
       wd('Abbild Gottes|MUL', 'abbild gottes|m'),
       wd('Abbild|IDF', 'abbild|s'),
       wd('Gottes|IDF', 'gott|s'),
-      ai('EOF|')
+      ai('EOF|'),
+      ai('EOT|')
     ])
   end
 
@@ -206,7 +218,8 @@ class TestAttendeeSequencer < AttendeeTestCase
       wd('Abbild Gottes|MUL', 'abbild gottes|m'),
       wd('Abbild|IDF', 'abbild|s'),
       wd('Gottes|IDF', 'gott|s'),
-      ai('EOF|')
+      ai('EOF|'),
+      ai('EOT|')
     ], [
       # MS + SS + SS
       wd('Der|IDF', 'der|w'),
@@ -223,7 +236,8 @@ class TestAttendeeSequencer < AttendeeTestCase
       wd('Abbild|IDF', 'abbild|s'),
       wd('Gottes|IDF', 'gott|s'),
       wd('abbild gott|SEQ', 'abbild gott|q'),
-      ai('EOF|')
+      ai('EOF|'),
+      ai('EOT|')
     ])
   end
 
@@ -236,7 +250,8 @@ class TestAttendeeSequencer < AttendeeTestCase
       wd('Gottes|IDF', 'gott|s'),
       wd('Turm|IDF', 'turm|s'),
       tk('.|PUNC'),
-      ai('EOF|')
+      ai('EOF|'),
+      ai('EOT|')
     ], [
       # MS + SSS + (SS) + SS
       wd('Der|IDF', 'der|w'),
@@ -249,7 +264,8 @@ class TestAttendeeSequencer < AttendeeTestCase
       wd('abbild gott turm|SEQ', 'abbild gott turm|q'),
       #wd('abbild gott|SEQ', 'abbild gott|q'),  # FIXME
       wd('gott turm|SEQ', 'gott turm|q'),
-      ai('EOF|')
+      ai('EOF|'),
+      ai('EOT|')
     ])
   end
 
@@ -262,7 +278,8 @@ class TestAttendeeSequencer < AttendeeTestCase
       wd('Gottes|IDF', 'gott|s'),
       wd('Turm|IDF', 'turm|s'),
       tk('.|PUNC'),
-      ai('EOF|')
+      ai('EOF|'),
+      ai('EOT|')
     ], [
       # MS + SSS + (SS) + SS
       wd('Der|IDF', 'der|w'),
@@ -275,7 +292,8 @@ class TestAttendeeSequencer < AttendeeTestCase
       wd('sss:abbild^gott^turm|SEQ', 'sss:abbild^gott^turm|q'),
       #wd('ss:abbild^gott|SEQ', 'ss:abbild^gott|q'),  # FIXME
       wd('ss:gott^turm|SEQ', 'ss:gott^turm|q'),
-      ai('EOF|')
+      ai('EOF|'),
+      ai('EOT|')
     ])
   end
 
@@ -290,7 +308,8 @@ class TestAttendeeSequencer < AttendeeTestCase
       wd('Der|IDF', 'der|w'),
       wd('schöne|IDF', 'schön|a'),
       wd('Sonnenuntergang|KOM', 'sonnenuntergang|k', 'sonne|s+', 'untergang|s+'),
-      ai('EOF|')
+      ai('EOF|'),
+      ai('EOT|')
     ], [
       # WA + AS
       wd('Die|IDF', 'die|w'),
@@ -305,7 +324,8 @@ class TestAttendeeSequencer < AttendeeTestCase
       wd('Sonnenuntergang|KOM', 'sonnenuntergang|k', 'sonne|s+', 'untergang|s+'),
       wd('der schön (wa)|SEQ', 'der schön (wa)|q'),
       wd('ak: sonnenuntergang, schön|SEQ', 'ak: sonnenuntergang, schön|q'),
-      ai('EOF|')
+      ai('EOF|'),
+      ai('EOT|')
     ])
   end
 

data/test/attendee/ts_stemmer.rb

@@ -13,12 +13,14 @@ class TestAttendeeStemmer < AttendeeTestCase
       wd('bla|IDF'),
       wd('blub|?'),
       wd('blubs|?'),
-      ai('EOF|')
+      ai('EOF|'),
+      ai('EOT|')
     ], [
       wd('bla|IDF'),
       wd('blub|?'),
       wd('blubs|?', 'blub|z'),
-      ai('EOF|')
+      ai('EOF|'),
+      ai('EOT|')
     ])
   end
 
@@ -27,12 +29,14 @@ class TestAttendeeStemmer < AttendeeTestCase
       wd('bla|IDF'),
       wd('blub|?'),
       wd('blubs|?'),
-      ai('EOF|')
+      ai('EOF|'),
+      ai('EOT|')
     ], [
       wd('bla|IDF'),
       wd('blub|?'),
       wd('blubs|?', 'blub|w'),
-      ai('EOF|')
+      ai('EOF|'),
+      ai('EOT|')
     ])
   end
 
@@ -42,13 +46,15 @@ class TestAttendeeStemmer < AttendeeTestCase
       wd('a|?'),
       wd('yet|?'),
       wd('blubs|?'),
-      ai('EOF|')
+      ai('EOF|'),
+      ai('EOT|')
     ], [
       wd('bla|IDF'),
       wd('a|?'),
       wd('yet|?'),
       wd('blubs|?', 'blub|z'),
-      ai('EOF|')
+      ai('EOF|'),
+      ai('EOT|')
     ])
 
     meet({ 'mode' => 'all' }, [
@@ -56,13 +62,15 @@ class TestAttendeeStemmer < AttendeeTestCase
       wd('a|?'),
       wd('yet|?'),
       wd('blubs|?'),
-      ai('EOF|')
+      ai('EOF|'),
+      ai('EOT|')
     ], [
       wd('bla|IDF'),
       wd('a|?',     'a|z'),
       wd('yet|?',   'yet|z'),
       wd('blubs|?', 'blub|z'),
-      ai('EOF|')
+      ai('EOF|'),
+      ai('EOT|')
     ])
   end
 
@@ -74,7 +82,8 @@ class TestAttendeeStemmer < AttendeeTestCase
       wd('ties|?'),
       wd('caress|?'),
       wd('cats|?'),
-      ai('EOF|')
+      ai('EOF|'),
+      ai('EOT|')
     ], [
       wd('S100|IDF'),
       wd('caresses|?', 'caress|z'),
@@ -82,7 +91,8 @@ class TestAttendeeStemmer < AttendeeTestCase
       wd('ties|?',     'ti|z'),      # snowball: tie
       wd('caress|?',   'caress|z'),
       wd('cats|?',     'cat|z'),
-      ai('EOF|')
+      ai('EOF|'),
+      ai('EOT|')
     ])
   end
 
@@ -95,7 +105,8 @@ class TestAttendeeStemmer < AttendeeTestCase
       wd('bled|?'),
       wd('motoring|?'),
       wd('sing|?'),
-      ai('EOF|')
+      ai('EOF|'),
+      ai('EOT|')
     ], [
       wd('S110|IDF'),
       wd('agreed|?',    'agre|z'),
@@ -104,7 +115,8 @@ class TestAttendeeStemmer < AttendeeTestCase
       wd('bled|?',      'bled|z'),
       wd('motoring|?',  'motor|z'),
       wd('sing|?',      'sing|z'),
-      ai('EOF|')
+      ai('EOF|'),
+      ai('EOT|')
     ])
   end
 
@@ -121,7 +133,8 @@ class TestAttendeeStemmer < AttendeeTestCase
       wd('fizzed|?'),
       wd('failing|?'),
       wd('filing|?'),
-      ai('EOF|')
+      ai('EOF|'),
+      ai('EOT|')
     ], [
       wd('S111|IDF'),
       wd('conflated|?', 'conflat|z'),
@@ -134,7 +147,8 @@ class TestAttendeeStemmer < AttendeeTestCase
       wd('fizzed|?',    'fizz|z'),
       wd('failing|?',   'fail|z'),
       wd('filing|?',    'file|z'),
-      ai('EOF|')
+      ai('EOF|'),
+      ai('EOT|')
     ])
   end
 
@@ -143,12 +157,14 @@ class TestAttendeeStemmer < AttendeeTestCase
       wd('S120|IDF'),
       wd('happy|?'),
       wd('sky|?'),
-      ai('EOF|')
+      ai('EOF|'),
+      ai('EOT|')
     ], [
       wd('S120|IDF'),
       wd('happy|?', 'happi|z'),
       wd('sky|?',   'sky|z'),
-      ai('EOF|')
+      ai('EOF|'),
+      ai('EOT|')
     ])
   end
 
@@ -176,7 +192,8 @@ class TestAttendeeStemmer < AttendeeTestCase
       wd('formality|?'),
       wd('sensitivity|?'),
       wd('sensibility|?'),
-      ai('EOF|')
+      ai('EOF|'),
+      ai('EOT|')
     ], [
       wd('S200|IDF'),
       wd('relational|?',     'relat|z'),
@@ -200,7 +217,8 @@ class TestAttendeeStemmer < AttendeeTestCase
       wd('formality|?',      'formal|z'),
       wd('sensitivity|?',    'sensit|z'),
       wd('sensibility|?',    'sensibl|z'),
-      ai('EOF|')
+      ai('EOF|'),
+      ai('EOT|')
     ])
   end
 
@@ -214,7 +232,8 @@ class TestAttendeeStemmer < AttendeeTestCase
       wd('electrical|?'),
       wd('hopeful|?'),
       wd('goodness|?'),
-      ai('EOF|')
+      ai('EOF|'),
+      ai('EOT|')
     ], [
       wd('S300|IDF'),
       wd('triplicate|?',  'triplic|z'),
@@ -224,7 +243,8 @@ class TestAttendeeStemmer < AttendeeTestCase
       wd('electrical|?',  'electr|z'),
       wd('hopeful|?',     'hope|z'),
       wd('goodness|?',    'good|z'),
-      ai('EOF|')
+      ai('EOF|'),
+      ai('EOT|')
     ])
   end
 
@@ -250,7 +270,8 @@ class TestAttendeeStemmer < AttendeeTestCase
       wd('homologous|?'),
       wd('effective|?'),
       wd('bowdlerize|?'),
-      ai('EOF|')
+      ai('EOF|'),
+      ai('EOT|')
     ], [
       wd('S400|IDF'),
       wd('revival|?',     'reviv|z'),
@@ -272,7 +293,8 @@ class TestAttendeeStemmer < AttendeeTestCase
       wd('homologous|?',  'homolog|z'),
       wd('effective|?',   'effect|z'),
       wd('bowdlerize|?',  'bowdler|z'),
-      ai('EOF|')
+      ai('EOF|'),
+      ai('EOT|')
     ])
   end
 
@@ -282,13 +304,15 @@ class TestAttendeeStemmer < AttendeeTestCase
       wd('probate|?'),
       wd('rate|?'),
       wd('cease|?'),
-      ai('EOF|')
+      ai('EOF|'),
+      ai('EOT|')
     ], [
       wd('S500|IDF'),
       wd('probate|?', 'probat|z'),
       wd('rate|?',    'rate|z'),
       wd('cease|?',   'ceas|z'),
-      ai('EOF|')
+      ai('EOF|'),
+      ai('EOT|')
     ])
   end
 
@@ -297,12 +321,14 @@ class TestAttendeeStemmer < AttendeeTestCase
       wd('S510|IDF'),
       wd('controll|?'),
       wd('roll|?'),
-      ai('EOF|')
+      ai('EOF|'),
+      ai('EOT|')
     ], [
       wd('S510|IDF'),
       wd('controll|?', 'control|z'),
       wd('roll|?',     'roll|z'),
-      ai('EOF|')
+      ai('EOF|'),
+      ai('EOT|')
     ])
   end
 

data/test/attendee/ts_text_reader.rb

@@ -6,111 +6,130 @@ class TestAttendeeTextReader < AttendeeTestCase
 
   def test_lir_file
     meet({ 'files' => 'test/lir.txt', 'records' => true, 'fields' => false }, nil, [
-      ai('LIR-FORMAT|'), ai("FILE|#{path = File.expand_path('test/lir.txt')}"),
+      ai('LIR|'), ai("FILE|#{path = File.expand_path('test/lir.txt')}"),
       ai('RECORD|00237'),
-      '020: GERHARD.',
-      '025: Automatisches Sammeln, Klassifizieren und Indexieren von wissenschaftlich relevanten Informationsressourcen.',
-      '056: Die intellektuelle Erschließung des Internet befindet sich in einer Krise. GERHARD ist derzeit weltweit der einzige.',
+      li('020: GERHARD.', 25),
+      li('025: Automatisches Sammeln, Klassifizieren und Indexieren von wissenschaftlich relevanten Informationsressourcen.', 140),
+      li('056: Die intellektuelle Erschließung des Internet befindet sich in einer Krise. GERHARD ist derzeit weltweit der einzige.', 264),
+      li('', 266),
       ai('RECORD|00238'),
-      '020: Automatisches Sammeln, Klassifizieren und Indexieren von wissenschaftlich relevanten Informationsressourcen.',
-      '025: das DFG-Projekt GERHARD.',
+      li('020: Automatisches Sammeln, Klassifizieren und Indexieren von wissenschaftlich relevanten Informationsressourcen.', 391),
+      li('025: das DFG-Projekt GERHARD.', 422),
+      li('', 424),
       ai('RECORD|00239'),
-      '020: Information Retrieval und Dokumentmanagement im Multimedia-Zeitalter.',
-      '056: "Das Buch ist ein praxisbezogenes VADEMECUM für alle, die in einer Welt der Datennetze Wissen/Informationen sammeln.',
-      ai("EOF|#{path}")
+      li('020: Information Retrieval und Dokumentmanagement im Multimedia-Zeitalter.', 510),
+      li('056: "Das Buch ist ein praxisbezogenes VADEMECUM für alle, die in einer Welt der Datennetze Wissen/Informationen sammeln.', 634),
+      ai("EOF|#{path}"),
+      ai('EOT|')
     ])
   end
 
   def test_lir_file_another_pattern
     meet({ 'files' => 'test/lir2.txt', 'records' => '^\021(\d+)\022', 'fields' => false }, nil, [
-      ai('LIR-FORMAT|'), ai("FILE|#{path = File.expand_path('test/lir2.txt')}"),
+      ai('LIR|'), ai("FILE|#{path = File.expand_path('test/lir2.txt')}"),
       ai('RECORD|00237'),
-      '020: GERHARD.',
-      '025: Automatisches Sammeln, Klassifizieren und Indexieren von wissenschaftlich relevanten Informationsressourcen.',
-      '056: Die intellektuelle Erschließung des Internet befindet sich in einer Krise. GERHARD ist derzeit weltweit der einzige.',
+      li('020: GERHARD.', 24),
+      li('025: Automatisches Sammeln, Klassifizieren und Indexieren von wissenschaftlich relevanten Informationsressourcen.', 139),
+      li('056: Die intellektuelle Erschließung des Internet befindet sich in einer Krise. GERHARD ist derzeit weltweit der einzige.', 263),
+      li('', 265),
       ai('RECORD|00238'),
-      '020: Automatisches Sammeln, Klassifizieren und Indexieren von wissenschaftlich relevanten Informationsressourcen.',
-      '025: das DFG-Projekt GERHARD.',
+      li('020: Automatisches Sammeln, Klassifizieren und Indexieren von wissenschaftlich relevanten Informationsressourcen.', 389),
+      li('025: das DFG-Projekt GERHARD.', 420),
+      li('', 422),
       ai('RECORD|00239'),
-      '020: Information Retrieval und Dokumentmanagement im Multimedia-Zeitalter.',
-      '056: "Das Buch ist ein praxisbezogenes VADEMECUM für alle, die in einer Welt der Datennetze Wissen/Informationen sammeln.',
-      ai("EOF|#{path}")
+      li('020: Information Retrieval und Dokumentmanagement im Multimedia-Zeitalter.', 507),
+      li('056: "Das Buch ist ein praxisbezogenes VADEMECUM für alle, die in einer Welt der Datennetze Wissen/Informationen sammeln.', 631),
+      ai("EOF|#{path}"),
+      ai('EOT|')
     ])
   end
 
   def test_lir_file_no_capture
     meet({ 'files' => 'test/lir.txt', 'records' => '^\[\d+\.\]', 'fields' => false }, nil, [
-      ai('LIR-FORMAT|'), ai("FILE|#{path = File.expand_path('test/lir.txt')}"),
+      ai('LIR|'), ai("FILE|#{path = File.expand_path('test/lir.txt')}"),
       ai('RECORD|[00237.]'),
-      '020: GERHARD.',
-      '025: Automatisches Sammeln, Klassifizieren und Indexieren von wissenschaftlich relevanten Informationsressourcen.',
-      '056: Die intellektuelle Erschließung des Internet befindet sich in einer Krise. GERHARD ist derzeit weltweit der einzige.',
+      li('020: GERHARD.', 25),
+      li('025: Automatisches Sammeln, Klassifizieren und Indexieren von wissenschaftlich relevanten Informationsressourcen.', 140),
+      li('056: Die intellektuelle Erschließung des Internet befindet sich in einer Krise. GERHARD ist derzeit weltweit der einzige.', 264),
+      li('', 266),
       ai('RECORD|[00238.]'),
-      '020: Automatisches Sammeln, Klassifizieren und Indexieren von wissenschaftlich relevanten Informationsressourcen.',
-      '025: das DFG-Projekt GERHARD.',
+      li('020: Automatisches Sammeln, Klassifizieren und Indexieren von wissenschaftlich relevanten Informationsressourcen.', 391),
+      li('025: das DFG-Projekt GERHARD.', 422),
+      li('', 424),
       ai('RECORD|[00239.]'),
-      '020: Information Retrieval und Dokumentmanagement im Multimedia-Zeitalter.',
-      '056: "Das Buch ist ein praxisbezogenes VADEMECUM für alle, die in einer Welt der Datennetze Wissen/Informationen sammeln.',
-      ai("EOF|#{path}")
+      li('020: Information Retrieval und Dokumentmanagement im Multimedia-Zeitalter.', 510),
+      li('056: "Das Buch ist ein praxisbezogenes VADEMECUM für alle, die in einer Welt der Datennetze Wissen/Informationen sammeln.', 634),
+      ai("EOF|#{path}"),
+      ai('EOT|')
     ])
   end
 
   def test_lir_file_fields
     meet({ 'files' => 'test/lir.txt', 'records' => true }, nil, [
-      ai('LIR-FORMAT|'), ai("FILE|#{path = File.expand_path('test/lir.txt')}"),
+      ai('LIR|'), ai("FILE|#{path = File.expand_path('test/lir.txt')}"),
       ai('RECORD|00237'),
-      'GERHARD.',
-      'Automatisches Sammeln, Klassifizieren und Indexieren von wissenschaftlich relevanten Informationsressourcen.',
-      'Die intellektuelle Erschließung des Internet befindet sich in einer Krise. GERHARD ist derzeit weltweit der einzige.',
+      li('GERHARD.', 25),
+      li('Automatisches Sammeln, Klassifizieren und Indexieren von wissenschaftlich relevanten Informationsressourcen.', 140),
+      li('Die intellektuelle Erschließung des Internet befindet sich in einer Krise. GERHARD ist derzeit weltweit der einzige.', 264),
+      li('', 266),
       ai('RECORD|00238'),
-      'Automatisches Sammeln, Klassifizieren und Indexieren von wissenschaftlich relevanten Informationsressourcen.',
-      'das DFG-Projekt GERHARD.',
+      li('Automatisches Sammeln, Klassifizieren und Indexieren von wissenschaftlich relevanten Informationsressourcen.', 391),
+      li('das DFG-Projekt GERHARD.', 422),
+      li('', 424),
       ai('RECORD|00239'),
-      'Information Retrieval und Dokumentmanagement im Multimedia-Zeitalter.',
-      '"Das Buch ist ein praxisbezogenes VADEMECUM für alle, die in einer Welt der Datennetze Wissen/Informationen sammeln.',
-      ai("EOF|#{path}")
+      li('Information Retrieval und Dokumentmanagement im Multimedia-Zeitalter.', 510),
+      li('"Das Buch ist ein praxisbezogenes VADEMECUM für alle, die in einer Welt der Datennetze Wissen/Informationen sammeln.', 634),
+      ai("EOF|#{path}"),
+      ai('EOT|')
     ])
   end
 
   def test_lir_file_fields_another_pattern
     meet({ 'files' => 'test/lir.txt', 'records' => true, 'fields' => '^\d+:' }, nil, [
-      ai('LIR-FORMAT|'), ai("FILE|#{path = File.expand_path('test/lir.txt')}"),
+      ai('LIR|'), ai("FILE|#{path = File.expand_path('test/lir.txt')}"),
       ai('RECORD|00237'),
-      ' GERHARD.',
-      ' Automatisches Sammeln, Klassifizieren und Indexieren von wissenschaftlich relevanten Informationsressourcen.',
-      ' Die intellektuelle Erschließung des Internet befindet sich in einer Krise. GERHARD ist derzeit weltweit der einzige.',
+      li(' GERHARD.', 25),
+      li(' Automatisches Sammeln, Klassifizieren und Indexieren von wissenschaftlich relevanten Informationsressourcen.', 140),
+      li(' Die intellektuelle Erschließung des Internet befindet sich in einer Krise. GERHARD ist derzeit weltweit der einzige.', 264),
+      li('', 266),
       ai('RECORD|00238'),
-      ' Automatisches Sammeln, Klassifizieren und Indexieren von wissenschaftlich relevanten Informationsressourcen.',
-      ' das DFG-Projekt GERHARD.',
+      li(' Automatisches Sammeln, Klassifizieren und Indexieren von wissenschaftlich relevanten Informationsressourcen.', 391),
+      li(' das DFG-Projekt GERHARD.', 422),
+      li('', 424),
       ai('RECORD|00239'),
-      ' Information Retrieval und Dokumentmanagement im Multimedia-Zeitalter.',
-      ' "Das Buch ist ein praxisbezogenes VADEMECUM für alle, die in einer Welt der Datennetze Wissen/Informationen sammeln.',
-      ai("EOF|#{path}")
+      li(' Information Retrieval und Dokumentmanagement im Multimedia-Zeitalter.', 510),
+      li(' "Das Buch ist ein praxisbezogenes VADEMECUM für alle, die in einer Welt der Datennetze Wissen/Informationen sammeln.', 634),
+      ai("EOF|#{path}"),
+      ai('EOT|')
     ])
   end
 
   def test_lir_file_fields_no_capture
     meet({ 'files' => 'test/lir.txt', 'records' => '^\[\d+\.\]' }, nil, [
-      ai('LIR-FORMAT|'), ai("FILE|#{path = File.expand_path('test/lir.txt')}"),
+      ai('LIR|'), ai("FILE|#{path = File.expand_path('test/lir.txt')}"),
       ai('RECORD|[00237.]'),
-      'GERHARD.',
-      'Automatisches Sammeln, Klassifizieren und Indexieren von wissenschaftlich relevanten Informationsressourcen.',
-      'Die intellektuelle Erschließung des Internet befindet sich in einer Krise. GERHARD ist derzeit weltweit der einzige.',
+      li('GERHARD.', 25),
+      li('Automatisches Sammeln, Klassifizieren und Indexieren von wissenschaftlich relevanten Informationsressourcen.', 140),
+      li('Die intellektuelle Erschließung des Internet befindet sich in einer Krise. GERHARD ist derzeit weltweit der einzige.', 264),
+      li('', 266),
       ai('RECORD|[00238.]'),
-      'Automatisches Sammeln, Klassifizieren und Indexieren von wissenschaftlich relevanten Informationsressourcen.',
-      'das DFG-Projekt GERHARD.',
+      li('Automatisches Sammeln, Klassifizieren und Indexieren von wissenschaftlich relevanten Informationsressourcen.', 391),
+      li('das DFG-Projekt GERHARD.', 422),
+      li('', 424),
       ai('RECORD|[00239.]'),
-      'Information Retrieval und Dokumentmanagement im Multimedia-Zeitalter.',
-      '"Das Buch ist ein praxisbezogenes VADEMECUM für alle, die in einer Welt der Datennetze Wissen/Informationen sammeln.',
-      ai("EOF|#{path}")
+      li('Information Retrieval und Dokumentmanagement im Multimedia-Zeitalter.', 510),
+      li('"Das Buch ist ein praxisbezogenes VADEMECUM für alle, die in einer Welt der Datennetze Wissen/Informationen sammeln.', 634),
+      ai("EOF|#{path}"),
+      ai('EOT|')
     ])
   end
 
   def test_normal_file
     meet({ 'files' => 'test/mul.txt' }, nil, [
       ai("FILE|#{path = File.expand_path('test/mul.txt')}"),
-      'Die abstrakte Kunst ist schön.',
-      ai("EOF|#{path}")
+      ['Die abstrakte Kunst ist schön.', 31],
+      ai("EOF|#{path}"),
+      ai('EOT|')
     ])
   end