libis-format 0.9.48 → 0.9.49

checksums.yaml

@@ -1,7 +1,7 @@
 ---
 SHA1:
-  metadata.gz: 89d4673ef4b1d9f3e13a1be0160980478c84b7db
-  data.tar.gz: c7097007b8974dbbb78b76874cd695929446346b
+  metadata.gz: 47b210d27058d7ee640e2435f952d8dc58537deb
+  data.tar.gz: 531d8103bea3b028c4d51f10aa793e8488b03df9
 SHA512:
-  metadata.gz: 62bb1b5b7569810e4305a705da0d4cdc37dad46cefb39b0c3edecae7560dcfc3e566a1963822611c69ba30b1d32eba3ca219b887c276c7e1b4db2e2c825e5163
-  data.tar.gz: 8e87658447372a264e7064a0b2433f86b83bdd32261e6a20baee931e83eb628b98761cf7fcf3f12c77a5c4b9aa13d33c251e110786313b168d7400a792ae512b
+  metadata.gz: 2288f2bc2962c96fdaf361c9db9da137c98acbe084962a0fa47f503df8fdc030dc8600f5c62d98bac6ad8e2a6f89f002e22a1a5c4f33a3c2af189a137d583299
+  data.tar.gz: 48a6446cc762623fac7403c70a6c80b4fedab6b409973653bb6a2038180d2dd7e85c1ca0e73b17a1fb7a0ea52c50c4c5371528b432161c8a5b4b6b7718109c7d

data/lib/libis/format/config.rb

@@ -15,6 +15,7 @@ module Libis
     Config[:ghostscript_path] = 'gs'
     Config[:droid_path] = '/opt/droid/droid.sh'
     Config[:fido_path] = '/usr/local/bin/fido'
+    Config[:fop_jar] = '/opt/fop/current/fop/build/fop.jar'
     Config[:ffmpeg_path] = 'ffmpeg'
     Config[:fido_formats] = [(File.join(Libis::Format::DATA_DIR, 'lias_formats.xml'))]
     Config[:pdf_tool] = File.join(Libis::Format::TOOL_DIR, 'PdfTool.jar')

data/lib/libis/format/converter/fop_pdf_converter.rb

@@ -0,0 +1,42 @@
+require 'nokogiri'
+
+require_relative 'base'
+
+require 'libis/format/tool/fop_pdf'
+
+module Libis
+  module Format
+    module Converter
+
+      class FopPdfConverter < Libis::Format::Converter::Base
+
+        def self.input_types
+          [:XML]
+        end
+
+        def self.output_types(format = nil)
+          return [] unless input_types.include?(format) if format
+          [:PDF]
+        end
+
+        def convert(source, target, _format, opts = {})
+          super
+
+          unless File.file?(source) && File.exist?(source) && File.readable?(source)
+            error "File '#{source}' does not exist or is not readable"
+            return nil
+          end
+
+          FileUtils.mkpath(File.dirname(target))
+
+          Libis::Format::Tool::FopPdf.run(source, target)
+
+          target
+
+        end
+
+      end
+
+    end
+  end
+end

data/lib/libis/format/converter/xslt_converter.rb

@@ -0,0 +1,93 @@
+require 'nokogiri'
+
+require_relative 'base'
+
+module Libis
+  module Format
+    module Converter
+
+      class XsltConverter < Libis::Format::Converter::Base
+
+        def self.input_types
+          [:XML]
+        end
+
+        def self.output_types(format = nil)
+          return [] unless input_types.include?(format) if format
+          [:XML, :HTML, :TXT]
+        end
+
+        def xsl_file(file_path)
+          @options[:xsl_file] = file_path
+        end
+
+        def convert(source, target, _format, opts = {})
+          super
+
+          unless File.file?(source) && File.exist?(source) && File.readable?(source)
+            error "File '#{source}' does not exist or is not readable"
+            return nil
+          end
+
+          doc = nil
+          begin
+            doc = Nokogiri::XML(File.read(source)) do |config|
+              config.options = Nokogiri::XML::ParseOptions::STRICT | Nokogiri::XML::ParseOptions::NOBLANKS
+            end
+          rescue Nokogiri::XML::SyntaxError => e
+            if e.fatal? || e.error?
+              error "Error parsing XML input '#{source}': #{e.messsage} @ #{e.backtrace[0]}"
+              return nil
+            end
+          end
+
+          unless @options[:xsl_file]
+            error 'No xsl_file supplied'
+            return nil
+          end
+
+          file = @options[:xsl_file]
+
+          unless File.file?(file) && File.exist?(file) && File.readable?(file)
+            error "XSL file '#{@options[:xsl_file]}' does not exist or is not readable"
+            return nil
+          end
+
+          FileUtils.mkpath(File.dirname(target))
+
+          xsl = nil
+
+          begin
+            fp = File.open(file, 'r')
+            xsl = Nokogiri::XSLT(fp) do |config|
+              config.options = Nokogiri::XML::ParseOptions::STRICT | Nokogiri::XML::ParseOptions::NOBLANKS
+            end
+          rescue Nokogiri::XML::SyntaxError => e
+            if e.fatal? || e.error?
+              error "Error parsing XSL input '#{file}': #{e.message} @ #{e.backtrace[0]}"
+              return nil
+            end
+          ensure
+            fp.close
+          end
+
+          begin
+            target_xml = xsl.transform(doc)
+            fp = File.open(target, 'w')
+            fp.write(target_xml)
+          rescue Exception => e
+            error "Error transforming '#{source}' with '#{file}': #{e.message} @ #{e.backtrace[0]}"
+            return nil
+          ensure
+            fp.close
+          end
+
+          target
+
+        end
+
+      end
+
+    end
+  end
+end

data/lib/libis/format/tool/fop_pdf.rb

@@ -0,0 +1,39 @@
+require 'os'
+
+require 'libis/tools/extend/string'
+require 'libis/tools/logger'
+require 'libis/tools/command'
+
+require 'libis/format/config'
+
+module Libis
+  module Format
+    module Tool
+
+      class FopPdf
+        include ::Libis::Tools::Logger
+
+        def self.run(xml, target, options = [])
+          self.new.run xml, target, options
+        end
+
+        def run(xml, target, options = [])
+
+          if OS.java?
+            # TODO: import library and execute in current VM. For now do exactly as in MRI.
+          end
+
+          Libis::Tools::Command.run(
+              Libis::Format::Config[:java_path],
+              "-Dfop.home=#{File.dirname(Libis::Format::Config[:fop_jar])}",
+              '-jar', Libis::Format::Config[:fop_jar],
+              '-fo', xml,
+              '-pdf', target
+          )
+
+        end
+      end
+
+    end
+  end
+end

data/lib/libis/format/tool.rb

@@ -11,6 +11,7 @@ module Libis
 
       autoload :OfficeToPdf, 'libis/format/tool/office_to_pdf'
       autoload :FFMpeg, 'libis/format/tool/ffmpeg'
+      autoload :FopPdf, 'libis/format/tool/fop_pdf'
       autoload :PdfCopy, 'libis/format/tool/pdf_copy'
       autoload :PdfMerge, 'libis/format/tool/pdf_merge'
       autoload :PdfOptimizer, 'libis/format/tool/pdf_optimizer'

data/lib/libis/format/version.rb

@@ -1,5 +1,5 @@
 module Libis
   module Format
-    VERSION = '0.9.48'
+    VERSION = '0.9.49'
   end
 end

data/libis-format.gemspec

@@ -26,6 +26,7 @@ Gem::Specification.new do |spec|
   spec.add_development_dependency 'rake', '~> 10.3'
   spec.add_development_dependency 'rspec', '~> 3.1'
   spec.add_development_dependency 'awesome_print'
+  spec.add_development_dependency 'equivalent-xml', '~> 0.5'
 
   spec.add_runtime_dependency 'libis-tools', '~> 0.9.57'
   spec.add_runtime_dependency 'os', '= 0.9.6'

data/spec/converter_fop_spec.rb

@@ -0,0 +1,38 @@
+# encoding: utf-8
+require 'spec_helper'
+
+require 'fileutils'
+require 'rspec/matchers'
+
+require 'libis/format/converter/fop_pdf_converter'
+
+describe 'Converters' do
+
+  let(:repository) {Libis::Format::Converter::Repository}
+  let(:file_dir) {File.dirname(__FILE__)}
+
+  before(:all) {
+    Libis::Tools::Config.logger.level = 'error'
+  }
+
+  context 'Apache FOP-PDF Converter' do
+
+    let(:converter) {Libis::Format::Converter::FopPdfConverter.new}
+    let(:data_dir) {File.join(file_dir, 'data', 'xml')}
+
+    it 'converts XML-FO to PDF' do
+      src_file = File.join data_dir, '134476_fo.XML'
+      tgt_file = File.join '', 'tmp', '134476_ead.pdf'
+      cmp_file = File.join data_dir, '134476_ead.pdf'
+      FileUtils.remove tgt_file, force: true
+      FileUtils.mkdir_p File.dirname(tgt_file)
+      result = converter.convert src_file, tgt_file, :PDF
+      expect(result).to eq tgt_file
+      # tgt = Nokogiri::XML(File.read(tgt_file))
+      # cmp = Nokogiri::XML(File.read(cmp_file))
+      # expect(tgt.root).to be_equivalent_to(cmp.root).respecting_element_order
+    end
+
+  end
+
+end

data/spec/converter_xsl_spec.rb

@@ -0,0 +1,56 @@
+# encoding: utf-8
+require 'spec_helper'
+
+require 'fileutils'
+require 'rspec/matchers'
+require 'equivalent-xml'
+
+require 'libis/format/converter/xslt_converter'
+
+describe 'Converters' do
+
+  let(:repository) {Libis::Format::Converter::Repository}
+  let(:file_dir) {File.dirname(__FILE__)}
+
+  before(:all) {
+    Libis::Tools::Config.logger.level = 'error'
+  }
+
+  context 'XSLT Converter' do
+
+    let(:converter) {Libis::Format::Converter::XsltConverter.new}
+    let(:data_dir) {File.join(file_dir, 'data', 'xml')}
+
+    it 'converts XML to EAD' do
+      src_file = File.join data_dir, '134476_raw.XML'
+      tgt_file = File.join '', 'tmp', '134476_ead.XML'
+      cmp_file = File.join data_dir, '134476_ead.XML'
+      xsl_file = File.join data_dir, 'scope_xmlToEAD_dom.xsl'
+      converter.xsl_file xsl_file
+      FileUtils.remove tgt_file, force: true
+      FileUtils.mkdir_p File.dirname(tgt_file)
+      result = converter.convert src_file, tgt_file, :XML
+      expect(result).to eq tgt_file
+      tgt = Nokogiri::XML(File.read(tgt_file))
+      cmp = Nokogiri::XML(File.read(cmp_file))
+      expect(tgt.root).to be_equivalent_to(cmp.root).respecting_element_order
+    end
+
+    it 'converts EAD to XML-FO' do
+      src_file = File.join data_dir, '134476_ead.XML'
+      tgt_file = File.join '', 'tmp', '134476_fo.XML'
+      cmp_file = File.join data_dir, '134476_fo.XML'
+      xsl_file = File.join data_dir, 'ead2fo_pdf.xsl'
+      converter.xsl_file xsl_file
+      FileUtils.remove tgt_file, force: true
+      FileUtils.mkdir_p File.dirname(tgt_file)
+      result = converter.convert src_file, tgt_file, :XML
+      expect(result).to eq tgt_file
+      tgt = Nokogiri::XML(File.read(tgt_file))
+      cmp = Nokogiri::XML(File.read(cmp_file))
+      expect(tgt.root).to be_equivalent_to(cmp.root).respecting_element_order
+    end
+
+  end
+
+end

data/spec/data/xml/134476_ead.XML

@@ -0,0 +1 @@
+<?xml version="1.0" encoding="UTF-8"?><ead><eadheader audience="external"><eadid identifier="134476" countrycode="be" mainagencycode="BE/942855">ead_BE/942855/1572</eadid><filedesc><titlestmt><titleproper label="Titel">Plaatsingslijst van het archief Katholieke Arbeiders Vrouwenbeweging (KAV) afdeling Sint-Elisabeth Borgerhout</titleproper></titlestmt></filedesc><profiledesc><creation>Deze inventaris werd automatisch gegenereerd en gecodeerd.De EAD-export werd gecontroleerd en gevalideerd door de werkgroep archivarissen van LIAS K.U.Leuven (Leuvens Integraal Archiveringssysteem).<date>23 januari  2014</date></creation><langusage><language label="Taal" langcode="du">Nederlands</language></langusage></profiledesc></eadheader><archdesc level="archief"><descgrp><head>1. IDENTIFICATIE</head><repository label="Archiefinstelling"><corpname>KADOC KU Leuven, Leuven</corpname></repository><unitid countrycode="be" repositorycode="BE/942855/1572"><head>1.1. Referentie(s)</head><p>BE/942855/1572</p><p/></unitid><unittitle><head>1.2. Titel</head><p>Archief Katholieke Arbeiders Vrouwenbeweging (KAV) afdeling Sint-Elisabeth Borgerhout</p></unittitle><unitdate><head>1.3. Datering</head><p>1917-1970; 1990</p></unitdate><physdesc><head>1.4. Omvang en medium</head><extent label="Omvang"><p>0,4 strekkende meter</p></extent></physdesc></descgrp><descgrp><head>2. CONTEXT</head><origination label="Archiefvormer"><head>2.1. Naam van de archiefvormer(s)</head><extref entityref="ODIS" show="new" href="http://www.odis.be/lnk/ORG_30709"><corpname normal="KAV-afdeling Parochie van Sint-Jan, Borgerhout. (1917-heden)">KAV-afdeling Parochie van Sint-Jan, Borgerhout. (1917-heden)</corpname></extref></origination><acqinfo><head>2.4. Verwerving</head><p>In het archief van het KAV-verbond Antwerpen zoals het in 2008 werd overgemaakt aan KADOC bevond zich ook een afzonderlijke en zeer boeiend afdelingsarchief, namelijk dit van de Sint-Elisabethgilde, de KAV-afdeling van de Parochie van Sint-Jan, Borgerhout. (1917-1980). Dit archief werd in KADOC uit het archief van de KAV-verbond Antwerpen gelicht en als een afzonderlijk archief behandeld.</p></acqinfo></descgrp><descgrp><head>3. INHOUD EN STRUCTUUR</head><scopecontent><head>3.1. Bereik en inhoud</head><scopecontent label="Bereik en inhoud"><head>Bereik en inhoud</head><p>Het archief van de de Sint-Elisabethgilde bevat 4 handgeschreven verslagboeken van deze KAV-afdeling betrefende de periode van 1917-1927 en 1937-1980. Verder is er een album met foto&apos;s van de jaren 1926 tot 1944. Tenslotte zijn er ook een 11-tal gebedenboeken uit de periode 1928 tot 1934. "Deze stukken belichten nauwgezet de werking van de gilde in al haar aspecten: inspiratie en bestuur, leden en activiteiten, propaganda en verwevenheid met het lokale parochiale, sociale en politieke weefsel. Ze tonen een vooroorlogs (katholiek) Borgerhout van processies, gilde- en koffiefeesten, bedevaarten, religieuze vieringen, studiekringen, spaarkassen en vakbonden voor vrouwen. Uit de documenten blijkt de verbazingwekkende schaal (600 tot 700 leden) en intensiteit van de werking van de Sint-Elisabethgilde. De archivalia wachten op een onderzoeker die zijn/haar tanden zet in dit merkwaardige stukje vrouwengeschiedenis op microniveau." Citaat uit "Voor de  &apos;stoffelijke, zedelijke en god</p><p>sdienstige belangen der vrouw&apos;. Archief katholieke vrouwengilde Sint-Elisabeth Borgerhout" KADOC-e-nieuwsbrief, 5de jg., nr. 11, november 2008.</p></scopecontent></scopecontent></descgrp><descgrp><head>4. VOORWAARDEN VOOR RAADPLEGING EN GEBRUIK</head><accessrestrict><head>4.1. Voorwaarden voor raadpleging</head><p>Raadpleegbaar na toestemming van de archivaris</p></accessrestrict><otherfindaid><head>4.5. Toegangen</head><p>&lt;link dest="http://aleph08.libis.kuleuven.be:8881/R/?func=search-advanced-go&amp;find_code1=WAZ&amp;request1=ID=134476" target="_blank"&gt;Plaatsingslijst van het archief Katholieke Arbeiders Vrouwenbeweging (KAV) afdeling Sint-Elisabeth Borgerhout&lt;/link&gt;</p></otherfindaid></descgrp><descgrp><head>5. VERWANT MATERIAAL</head><relatedmaterial><head>5.3. Verwante beschrijvingseenheden</head><p>Bij het archief bevond zich een fotoalbum die werd overgedragen aan de Audiovisuele Afdeling.</p></relatedmaterial></descgrp><dsc type="combined"><head>LIJST VAN DE DOSSIERS</head><c level="Bestanddeel" id="209275"><did><unitid label="Ref.code" identifier="BE/942855/1572/1">1</unitid><unittitle label="Titel"><p>KAV-afdeling Parochie van Sint- Jan, Borgerhout. Verslagboeken</p></unittitle><unitdate label="Datum"><p>1917-1927</p></unitdate><physdesc><extent label="Omvang"><p>1 stuk</p></extent></physdesc></did></c><c level="Bestanddeel" id="209276"><did><unitid label="Ref.code" identifier="BE/942855/1572/2">2</unitid><unittitle label="Titel"><p>KAV-afdeling Parochie van Sint- Jan, Borgerhout. Verslagboeken</p></unittitle><unitdate label="Datum"><p>1937-1980</p></unitdate><physdesc><extent label="Omvang"><p>3 stukken</p></extent></physdesc></did></c><c level="Bestanddeel" id="209277"><did><unitid label="Ref.code" identifier="BE/942855/1572/3">3</unitid><unittitle label="Titel"><p>KAV-afdeling Parochie van Sint- Jan, Borgerhout. Fotoalbum</p></unittitle><unitdate label="Datum"><p>1926-1944</p></unitdate><physdesc><extent label="Omvang"><p>1 stuk</p></extent></physdesc><relatedmaterial label="Verwant audiovisueel materiaal"><p>Overgedragen aan de Afdeling Audiovisuele Documentatie</p></relatedmaterial></did></c><c level="Bestanddeel" id="209278"><did><unitid label="Ref.code" identifier="BE/942855/1572/4">4</unitid><unittitle label="Titel"><p>KAV-afdeling Parochie van Sint- Jan, Borgerhout. Gebedenboeken</p></unittitle><unitdate label="Datum"><p>1928-1934</p></unitdate><physdesc><extent label="Omvang"><p>11 stukken</p></extent></physdesc><bibliography label="Publicaties"><p>Overgedragen aan Afdeling Bibibliotheek</p></bibliography></did></c></dsc></archdesc></ead>