lingo 1.8.0

data/test/attendee/ts_noneword_filter.rb

@@ -0,0 +1,19 @@
+# encoding: utf-8
+
+require_relative '../test_helper'
+
+################################################################################
+#
+# Attendee Noneword_filter
+#
+class TestAttendeeNoneword_filter < AttendeeTestCase
+
+  def test_basic
+    @input = [wd('Eins|IDF'), wd('Zwei|?'), wd('Drei|IDF'), wd('Vier|?'), ai('EOF|')]
+    @expect = ['vier', 'zwei', ai('EOF|')]
+    meet({})
+  end
+
+end
+#
+################################################################################

data/test/attendee/ts_objectfilter.rb

@@ -0,0 +1,19 @@
+# encoding: utf-8
+
+require_relative '../test_helper'
+
+################################################################################
+#
+# Attendee Objectfilter
+#
+class TestAttendeeObjectfilter < AttendeeTestCase
+
+  def test_basic
+    @input = [wd('Eins|IDF'), wd('zwei|?'), wd('Drei|IDF'), wd('vier|?'), ai('EOF|')]
+    @expect = [wd('Eins|IDF'), wd('Drei|IDF'), ai('EOF|')]
+    meet({'objects'=>'obj.form =~ /^[A-Z]/'})
+  end
+
+end
+#
+################################################################################

data/test/attendee/ts_sequencer.rb

@@ -0,0 +1,43 @@
+# encoding: utf-8
+
+require_relative '../test_helper'
+
+################################################################################
+#
+# Attendee Sequencer
+#
+class TestAttendeeSequencer < AttendeeTestCase
+
+  def test_basic
+    @input = [
+      # AS
+      wd('Die|IDF', 'die|w'),
+      wd('helle|IDF', 'hell|a'),
+      wd('Sonne|IDF', 'sonne|s'),
+      tk('.|PUNC'),
+      # AK
+      wd('Der|IDF', 'der|w'),
+      wd('schöne|IDF', 'schön|a'),
+      wd('Sonnenuntergang|KOM', 'sonnenuntergang|k', 'sonne|s+', 'untergang|s+'),
+      ai('EOF|')
+    ]
+    @expect = [
+      # AS
+      wd('Die|IDF', 'die|w'),
+      wd('sonne, hell|SEQ', 'sonne, hell|q'),
+      wd('helle|IDF', 'hell|a'),
+      wd('Sonne|IDF', 'sonne|s'),
+      tk('.|PUNC'),
+      # AK
+      wd('Der|IDF', 'der|w'),
+      wd('sonnenuntergang, schön|SEQ', 'sonnenuntergang, schön|q'),
+      wd('schöne|IDF', 'schön|a'),
+      wd('Sonnenuntergang|KOM', 'sonnenuntergang|k', 'sonne|s+', 'untergang|s+'),
+      ai('EOF|')
+    ]
+    meet({'stopper'=>'PUNC,OTHR', 'source'=>'sys-mul'})
+  end
+
+end
+#
+################################################################################

data/test/attendee/ts_synonymer.rb

@@ -0,0 +1,33 @@
+# encoding: utf-8
+
+require_relative '../test_helper'
+
+################################################################################
+#
+# Attendee Synonymer
+#
+class TestAttendeeSynonymer < AttendeeTestCase
+
+  def test_basic
+    @input = [wd('abtastzeiten|IDF', 'abtastzeit|s')]
+    @expect = [wd('abtastzeiten|IDF', 'abtastzeit|s', 'abtastfrequenz|y', 'abtastperiode|y')]
+    meet({'source'=>'sys-syn', 'check'=>'-,MUL'})
+# @expect.each_index {|i| assert_equal(@expect[i], @output[i]) }
+  end
+
+  def test_first
+    @input = [wd('Aktienanleihe|IDF', 'aktienanleihe|s')]
+    @expect = [wd('Aktienanleihe|IDF', 'aktienanleihe|s', 'aktien-anleihe|y',
+      'reverse convertible bond|y', 'reverse convertibles|y')]
+    meet({'source'=>'sys-syn,tst-syn', 'check'=>'-,MUL', 'mode'=>'first'})
+  end
+
+  def test_all
+    @input = [wd('Kerlchen|IDF', 'kerlchen|s')]
+    @expect = [wd('Kerlchen|IDF', 'kerlchen|s', 'kerlchen|y', 'zwerg-nase|y')]
+    meet({'source'=>'sys-syn,tst-syn', 'check'=>'-,MUL', 'mode'=>'all'})
+  end
+
+end
+#
+################################################################################

data/test/attendee/ts_textreader.rb

@@ -0,0 +1,58 @@
+# encoding: utf-8
+
+require_relative '../test_helper'
+
+################################################################################
+#
+# Attendee Textreader
+#
+class TestAttendeeTextreader < AttendeeTestCase
+
+  def test_lir_file
+    @expect = [
+      ai('LIR-FORMAT|'), ai('FILE|test/lir.txt'),
+      ai('RECORD|00237'),
+      '020: GERHARD.',
+      '025: Automatisches Sammeln, Klassifizieren und Indexieren von wissenschaftlich relevanten Informationsressourcen.',
+      '056: Die intellektuelle Erschließung des Internet befindet sich in einer Krise. GERHARD ist derzeit weltweit der einzige.',
+      ai('RECORD|00238'),
+      '020: Automatisches Sammeln, Klassifizieren und Indexieren von wissenschaftlich relevanten Informationsressourcen.',
+      '025: das DFG-Projekt GERHARD.',
+      ai('RECORD|00239'),
+      '020: Information Retrieval und Dokumentmanagement im Multimedia-Zeitalter.',
+      '056: "Das Buch ist ein praxisbezogenes VADEMECUM für alle, die in einer Welt der Datennetze Wissen/Informationen sammeln.',
+      ai('EOF|test/lir.txt')
+    ]
+    meet({'files'=>'test/lir.txt', 'lir-record-pattern'=>'^\[(\d+)\.\]'})
+  end
+
+  def test_lir_file_another_pattern
+    @expect = [
+      ai('LIR-FORMAT|'), ai('FILE|test/lir2.txt'),
+      ai('RECORD|00237'),
+      '020: GERHARD.',
+      '025: Automatisches Sammeln, Klassifizieren und Indexieren von wissenschaftlich relevanten Informationsressourcen.',
+      '056: Die intellektuelle Erschließung des Internet befindet sich in einer Krise. GERHARD ist derzeit weltweit der einzige.',
+      ai('RECORD|00238'),
+      '020: Automatisches Sammeln, Klassifizieren und Indexieren von wissenschaftlich relevanten Informationsressourcen.',
+      '025: das DFG-Projekt GERHARD.',
+      ai('RECORD|00239'),
+      '020: Information Retrieval und Dokumentmanagement im Multimedia-Zeitalter.',
+      '056: "Das Buch ist ein praxisbezogenes VADEMECUM für alle, die in einer Welt der Datennetze Wissen/Informationen sammeln.',
+      ai('EOF|test/lir2.txt')
+    ]
+    meet({'files'=>'test/lir2.txt', 'lir-record-pattern'=>'^\021(\d+)\022'})
+  end
+
+  def test_normal_file
+    @expect = [
+      ai('FILE|test/mul.txt'),
+      'Die abstrakte Kunst ist schön.',
+      ai('EOF|test/mul.txt')
+    ]
+    meet({'files'=>'test/mul.txt'})
+  end
+
+end
+#
+################################################################################

data/test/attendee/ts_textwriter.rb

@@ -0,0 +1,98 @@
+# encoding: utf-8
+
+require_relative '../test_helper'
+
+################################################################################
+#
+# Attendee Textwriter
+#
+class TestAttendeeTextwriter < AttendeeTestCase
+
+  def setup
+    @data = [
+      ai('FILE|test/test.txt'),
+      wd('Dies|IDF'),
+      wd('ist|IDF'),
+      wd('eine|IDF'),
+      wd('Zeile|IDF'),
+      tk('.|PUNC'),
+      ai('EOL|test/test.txt'),
+      wd('Dies|IDF'),
+      wd('ist|IDF'),
+      wd('eine|IDF'),
+      wd('zweite|IDF'),
+      wd('Zeile|IDF'),
+      tk('.|PUNC'),
+      ai('EOL|test/test.txt'),
+      ai('EOF|test/test.txt')
+    ]
+  end
+
+  def test_basic
+    @input = @data
+    @expect = [ "Dies,ist,eine,Zeile,.\n", "Dies,ist,eine,zweite,Zeile,.\n" ]
+    meet({'ext'=>'tst',  'sep'=>','}, false)
+
+    @output = File.readlines('test/test.tst', encoding: Lingo::ENC)
+    assert_equal(@expect, @output)
+  end
+
+  def test_complex
+    @input = @data
+    @expect = [ "Dies-ist-eine-Zeile-.\n", "Dies-ist-eine-zweite-Zeile-.\n" ]
+    meet({'ext'=>'yip',  'sep'=>'-'}, false)
+
+    @output = File.readlines('test/test.yip', encoding: Lingo::ENC)
+    assert_equal(@expect, @output)
+  end
+
+  def test_crlf
+    @input = @data
+    @expect = [ "Dies\n", "ist\n", "eine\n", "Zeile\n", ".\n", "Dies\n", "ist\n", "eine\n", "zweite\n", "Zeile\n", ".\n" ]
+    meet({'sep'=>"\n"}, false)
+
+    @output = File.readlines('test/test.txt2', encoding: Lingo::ENC)
+    assert_equal(@expect, @output)
+  end
+
+  def test_lir_file
+    @input = [
+      ai('LIR-FORMAT|'), ai('FILE|test/lir.txt'),
+      ai('RECORD|00237'),
+      '020: GERHARD.',
+      '025: Automatisches Sammeln, Klassifizieren und Indexieren von wissenschaftlich relevanten Informationsressourcen.',
+      "056: Die intellektuelle Erschließung des Internet befindet sich in einer Krise. GERHARD ist derzeit weltweit der einzige.\r",
+      ai('RECORD|00238'),
+      '020: Automatisches Sammeln, Klassifizieren und Indexieren von wissenschaftlich relevanten Informationsressourcen.',
+      "025: das DFG-Projekt GERHARD.\r",
+      ai('RECORD|00239'),
+      '020: Information Retrieval und Dokumentmanagement im Multimedia-Zeitalter.',
+      "056: \"Das Buch ist ein praxisbezogenes VADEMECUM für alle, die in einer Welt der Datennetze Wissen/Informationen sammeln.\r",
+      ai('EOF|test/lir.txt')
+    ]
+    @expect = [
+      "00237*020: GERHARD. 025: Automatisches Sammeln, Klassifizieren und Indexieren von wissenschaftlich relevanten Informationsressour\
+cen. 056: Die intellektuelle Erschließung des Internet befindet sich in einer Krise. GERHARD ist derzeit weltweit der einzige.\r\n",
+      "00238*020: Automatisches Sammeln, Klassifizieren und Indexieren von wissenschaftlich relevanten Informationsressourcen. 025: das D\
+FG-Projekt GERHARD.\r\n",
+      "00239*020: Information Retrieval und Dokumentmanagement im Multimedia-Zeitalter. 056: \"Das Buch ist ein praxisbezogenes VADEMECUM\
+ für alle, die in einer Welt der Datennetze Wissen/Informationen sammeln.\r\n"
+    ]
+    meet({'ext'=>'csv', 'lir-format'=>nil}, false)
+
+    @output = File.readlines('test/lir.csv', encoding: Lingo::ENC)
+    assert_equal(@expect, @output)
+  end
+
+  def test_nonewords
+    @input = [ai('FILE|test/text.txt'), 'Nonwörter', 'Nonsense', ai('EOF|test/text.txt')]
+    @expect = [ "Nonwörter\n", "Nonsense" ]
+    meet({'ext'=>'non', 'sep'=>"\n"}, false)
+
+    @output = File.readlines('test/text.non', encoding: Lingo::ENC)
+    assert_equal(@expect, @output)
+  end
+
+end
+#
+################################################################################

data/test/attendee/ts_tokenizer.rb

@@ -0,0 +1,32 @@
+# encoding: utf-8
+
+################################################################################
+#
+# Attendee Tokenizer
+#
+class TestAttendeeTokenizer < AttendeeTestCase
+
+  def test_basic
+    @input = ["Dies ist ein Test."]
+    @expect = [tk('Dies|WORD'), tk('ist|WORD'), tk('ein|WORD'), tk('Test|WORD'), tk('.|PUNC')]
+    meet({})
+  end
+
+  def test_complex
+    @input = ["1964 www.vorhauer.de bzw. nasenbär, ()"]
+    @expect = [
+      tk('1964|NUMS'),
+      tk('www.vorhauer.de|URLS'),
+      tk('bzw|WORD'),
+      tk('.|PUNC'),
+      tk('nasenbär|WORD'),
+      tk(',|PUNC'),
+      tk('(|OTHR'),
+      tk(')|OTHR')
+    ]
+    meet({})
+  end
+
+end
+#
+################################################################################

data/test/attendee/ts_variator.rb

@@ -0,0 +1,24 @@
+# encoding: utf-8
+
+require_relative '../test_helper'
+
+################################################################################
+#
+# Attendee Variator
+#
+class TestAttendeeVariator < AttendeeTestCase
+
+  def test_basic
+    @input = [wd('fchwarz|?'), wd('fchilling|?'), wd('iehwarzfchilling|?'), wd('fchiiiirg|?')]
+    @expect = [
+      wd('*schwarz|IDF', 'schwarz|s', 'schwarz|a'),
+      wd('*schilling|IDF', 'schilling|s'),
+      wd('*schwarzschilling|KOM', 'schwarzschilling|k', 'schwarz|a+', 'schilling|s+', 'schwarz|s+'),
+      wd('fchiiiirg|?')
+    ]
+    meet({'source'=>'sys-dic'})
+  end
+
+end
+#
+################################################################################

data/test/attendee/ts_vector_filter.rb

@@ -0,0 +1,62 @@
+# encoding: utf-8
+
+require_relative '../test_helper'
+
+################################################################################
+#
+# Attendee Vector_filter
+#
+class TestAttendeeVector_filter < AttendeeTestCase
+
+  def setup
+    @input = [
+      ai('FILE|test'),
+      wd('Testwort|IDF', 'substantiv|s', 'adjektiv|a', 'verb|v', 'eigenname|e', 'mehrwortbegriff|m'),
+      wd('unknown|?'),
+      ai('EOF|test')
+    ]
+  end
+
+  def test_basic
+    @expect = [ai('FILE|test'), 'substantiv', ai('EOF|test')]
+    meet({})
+  end
+
+  def test_lexicals
+    @expect = [ai('FILE|test'), 'adjektiv', 'eigenname', 'substantiv', 'verb', ai('EOF|test')]
+    meet({'lexicals'=>'[save]'})
+  end
+
+  def test_sort_term_abs
+    @expect = [ai('FILE|test'), '1 adjektiv', '1 eigenname', '1 substantiv', '1 verb', ai('EOF|test')]
+    meet({'lexicals'=>'[save]', 'sort'=>'term_abs'})
+  end
+
+  def test_sort_term_rel
+    @expect = [ai('FILE|test'), '0.50000 adjektiv', '0.50000 eigenname', '0.50000 substantiv', '0.50000 verb', ai('EOF|test')]
+    meet({'lexicals'=>'[save]', 'sort'=>'term_rel'})
+  end
+
+  def test_sort_sto_abs
+    @expect = [ai('FILE|test'), 'adjektiv {1}', 'eigenname {1}', 'substantiv {1}', 'verb {1}', ai('EOF|test')]
+    meet({'lexicals'=>'[save]', 'sort'=>'sto_abs'})
+  end
+
+  def test_sort_sto_rel
+    @expect = [ai('FILE|test'), 'adjektiv {0.50000}', 'eigenname {0.50000}', 'substantiv {0.50000}', 'verb {0.50000}', ai('EOF|test')]
+    meet({'lexicals'=>'[save]', 'sort'=>'sto_rel'})
+  end
+
+  def test_nonword
+    @expect = [ai('FILE|test'), 'unknown', ai('EOF|test')]
+    meet({'lexicals'=>'\?'})
+  end
+
+  def test_nonword_sort_term_abs
+    @expect = [ai('FILE|test'), '1 unknown', ai('EOF|test')]
+    meet({'lexicals'=>'\?', 'sort'=>'term_abs'})
+  end
+
+end
+#
+################################################################################

data/test/attendee/ts_wordsearcher.rb

@@ -0,0 +1,119 @@
+# encoding: utf-8
+
+require_relative '../test_helper'
+
+################################################################################
+#
+# Attendee Wordsearcher
+#
+class TestAttendeeWordsearcher < AttendeeTestCase
+
+  def setup
+    @test_synonyms = [
+      lx('experiment|y'), lx('kontrolle|y'), lx('probelauf|y'),
+      lx('prüfung|y'), lx('test|y'), lx('testlauf|y'),
+      lx('testversuch|y'), lx('trockentest|y'), lx('versuch|y')
+    ]
+  end
+
+  def test_basic
+    @input = [tk('Dies|WORD'), tk('ist|WORD'), tk('ein|WORD'), tk('Test|WORD'), tk('.|PUNC'), ai('EOL|')]
+    @expect = [
+      wd('Dies|IDF', 'dies|w'),
+      wd('ist|IDF', 'sein|v'),
+      wd('ein|IDF', 'einen|v', 'ein|w'),
+      wd('Test|IDF', 'test|s', 'testen|v'),
+      tk('.|PUNC'),
+      ai('EOL|')
+    ]
+    meet({'source'=>'sys-dic,sys-syn,sys-mul'})
+  end
+
+  def test_mode
+    @input = [tk('Dies|WORD'), tk('ist|WORD'), tk('ein|WORD'), tk('Test|WORD'), tk('.|PUNC'), ai('EOL|')]
+    @expect = [
+      wd('Dies|IDF', 'dies|w'),
+      wd('ist|IDF', 'sein|v'),
+      wd('ein|IDF', 'einen|v', 'ein|w'),
+      wd('Test|IDF', 'test|s', 'testen|v'),
+      tk('.|PUNC'),
+      ai('EOL|')
+    ]
+    meet({'source'=>'sys-syn,sys-dic', 'mode'=>'first'})
+  end
+
+  def test_two_sources_mode_first
+    @input = [
+      tk('Hasennasen|WORD'),
+      tk('Knaller|WORD'),
+      tk('Lex-Lingo|WORD'),
+      tk('A-Dur|WORD'),
+      ai('EOL|')
+    ]
+    @expect = [
+      wd('Hasennasen|?'),
+      wd('Knaller|IDF', 'knaller|s'),
+      wd('Lex-Lingo|IDF', 'super indexierungssystem|m'),
+      wd('A-Dur|IDF', 'a-dur|s'),
+      ai('EOL|')
+    ]
+    meet({'source'=>'sys-dic,tst-dic', 'mode'=>'first'})
+  end
+
+  def test_two_sources_mode_first_flipped
+    @input = [
+      tk('Hasennasen|WORD'),
+      tk('Knaller|WORD'),
+      tk('Lex-Lingo|WORD'),
+      tk('A-Dur|WORD'),
+      ai('EOL|')
+    ]
+    @expect = [
+      wd('Hasennasen|?'),
+      wd('Knaller|IDF', 'knaller|s'),
+      wd('Lex-Lingo|IDF', 'super indexierungssystem|m'),
+      wd('A-Dur|IDF', 'b-dur|s'),
+      ai('EOL|')
+    ]
+    meet({'source'=>'tst-dic,sys-dic', 'mode'=>'first'})
+  end
+
+  def test_select_two_sources_mode_all
+    @input = [
+      tk('Hasennasen|WORD'),
+      tk('Knaller|WORD'),
+      tk('Lex-Lingo|WORD'),
+      tk('A-Dur|WORD'),
+      ai('EOL|')
+    ]
+    @expect = [
+      wd('Hasennasen|?'),
+      wd('Knaller|IDF', 'knaller|s'),
+      wd('Lex-Lingo|IDF', 'super indexierungssystem|m'),
+      wd('A-Dur|IDF', 'a-dur|s', 'b-dur|s'),
+      ai('EOL|')
+    ]
+    meet({'source'=>'sys-dic,tst-dic', 'mode'=>'all'})
+  end
+
+  def test_select_two_sources_mode_def
+    @input = [
+      tk('Hasennasen|WORD'),
+      tk('Knaller|WORD'),
+      tk('Lex-Lingo|WORD'),
+      tk('A-Dur|WORD'),
+      ai('EOL|')
+    ]
+    @expect = [
+      wd('Hasennasen|?'),
+      wd('Knaller|IDF', 'knaller|s'),
+      wd('Lex-Lingo|IDF', 'super indexierungssystem|m'),
+      wd('A-Dur|IDF', 'a-dur|s', 'b-dur|s'),
+      ai('EOL|')
+    ]
+    meet({'source'=>'sys-dic,tst-dic'})
+  end
+
+end
+#
+################################################################################