hdo-storting-importer 0.0.1

data/spec/hdo/storting_importer/category_spec.rb

@@ -0,0 +1,76 @@
+# encoding: UTF-8
+require 'spec_helper'
+
+module Hdo
+  module StortingImporter
+    describe Category do
+
+      it 'builds categories from Storting XML list' do
+        xml = <<-XML
+        <?xml version="1.0" encoding="utf-8"?>
+        <emne_oversikt xmlns:i="http://www.w3.org/2001/XMLSchema-instance" xmlns="http://data.stortinget.no">
+          <versjon>1.0</versjon>
+          <emne_liste>
+            <emne>
+              <versjon>1.0</versjon>
+              <er_hovedemne>true</er_hovedemne>
+              <id>5</id>
+              <navn>ARBEIDSLIV</navn>
+              <underemne_liste>
+                <emne>
+                  <versjon>1.0</versjon>
+                  <er_hovedemne>false</er_hovedemne>
+                  <id>205</id>
+                  <navn>ARBEIDSMILJØ</navn>
+                  <underemne_liste />
+                </emne>
+              </underemne_liste>
+            </emne>
+          </emne_liste>
+        </emne_oversikt>
+        XML
+
+        categories = Category.from_storting_doc(parse(xml))
+        categories.size.should == 1
+
+        cat = categories.first
+        cat.name.should == "ARBEIDSLIV"
+        cat.external_id.should == "5"
+
+        cat.children.size.should == 1
+        cat.children.first.name.should == "ARBEIDSMILJØ"
+      end
+
+      it "can serialize as HDO XML" do
+        category = Category.new("5", "ARBEIDSLIV")
+        category.children << Category.new("205", "ARBEIDSMILJØ")
+        category.children << Category.new("94", "ARBEIDSVILKÅR")
+
+        category.to_hdo_xml.should == <<-XML
+<category>
+  <externalId>5</externalId>
+  <name>ARBEIDSLIV</name>
+  <subcategories>
+    <category>
+      <externalId>205</externalId>
+      <name>ARBEIDSMILJØ</name>
+    </category>
+    <category>
+      <externalId>94</externalId>
+      <name>ARBEIDSVILKÅR</name>
+    </category>
+  </subcategories>
+</category>
+          XML
+      end
+
+      it 'can deserialize HDO XML' do
+        orig = Category.new("5", "ARBEIDSLIV")
+        orig.children << Category.new("3", "LØNN")
+
+        Category.from_hdo_node(parse(orig.to_hdo_xml)).should == orig
+      end
+
+    end
+  end
+end

data/spec/hdo/storting_importer/committee_spec.rb

@@ -0,0 +1,46 @@
+# encoding: UTF-8
+require 'spec_helper'
+
+module Hdo
+  module StortingImporter
+    describe Committee do
+
+      it 'builds committees from Storting XML list' do
+        xml = <<-XML
+        <?xml version="1.0" encoding="utf-8"?>
+        <komiteer_oversikt xmlns:i="http://www.w3.org/2001/XMLSchema-instance" xmlns="http://data.stortinget.no">
+          <versjon>1.0</versjon>
+          <komiteer_liste>
+            <komite>
+              <versjon>1.0</versjon>
+              <id>ARBSOS</id>
+              <navn>Arbeids- og sosialkomiteen</navn>
+            </komite>
+            </komiteer_liste>
+        </komiteer_oversikt>
+        XML
+
+        committees = Committee.from_storting_doc(parse(xml))
+        committees.size.should == 1
+        committees.first.name.should == 'Arbeids- og sosialkomiteen'
+        committees.first.external_id.should == "ARBSOS"
+      end
+
+      it 'can serialize as HDO XML' do
+        Committee.new("ARBSOS", 'Arbeids- og sosialkomiteen').to_hdo_xml.should == <<-XML
+<committee>
+  <externalId>ARBSOS</externalId>
+  <name>Arbeids- og sosialkomiteen</name>
+</committee>
+        XML
+      end
+
+      it 'can deserialize HDO XML' do
+        com = Committee.new("ARBSOS", 'Arbeids- og sosialkomiteen')
+        Committee.from_hdo_node(parse(com.to_hdo_xml)).should == com
+      end
+
+
+    end
+  end
+end

data/spec/hdo/storting_importer/converter_spec.rb

@@ -0,0 +1,72 @@
+require 'spec_helper'
+
+module Hdo
+  module StortingImporter
+    module Converters
+
+      describe Converter do
+        let(:data_source) { DataSource.new }
+        let(:parsing_data_source) { ParsingDataSource.new(data_source) }
+        let(:converter)   { Converter.new(parsing_data_source) }
+
+        def input_for(name)
+          doc = Nokogiri::XML.parse input_fixture(name)
+          doc.remove_namespaces!
+
+          doc
+        end
+
+        def output_for(name)
+          output_fixture(name)
+        end
+
+        [
+          :parties,
+          :committees,
+          :districts,
+          :categories,
+          :issues,
+        ].each { |name|
+          it "converts #{name}" do
+            data_source.should_receive(name).and_return(input_for(name))
+
+            actual_output = converter.xml_for(name)
+            actual_output.should == output_for(name)
+          end
+        }
+
+        it "converts representatives" do
+          data_source.should_receive(:representatives).and_return(input_for(:representatives))
+          data_source.should_receive(:representatives_today).and_return(input_for(:representatives_today))
+
+          actual = converter.xml_for(:representatives)
+          expected = output_for(:representatives)
+
+          actual.should == expected
+        end
+
+        it "converts votes" do
+          parsing_data_source.should_receive(:issues).and_return [mock(:external_id => 2175)]
+
+          data_source.should_receive(:votes_for).and_return(input_for(:votes))
+
+          data_source.should_receive(:propositions_for).with('2175').and_return(input_for(:propositions_2175))
+          data_source.should_receive(:vote_results_for).with('2175').and_return(input_for(:vote_results_2175))
+
+          data_source.should_receive(:propositions_for).with('2176').and_return(input_for(:propositions_2176))
+          data_source.should_receive(:vote_results_for).with('2176').and_return(input_for(:vote_results_2176))
+
+          actual = converter.xml_for(:votes)
+          expected = output_for(:votes)
+
+          actual.should == expected
+        end
+
+        it "converts promises" do
+          PromiseConverter.new(input_path('promises-a.csv')).xml.should == output_path('promises-a.xml').read
+        end
+
+      end
+    end
+  end
+end

data/spec/hdo/storting_importer/district_spec.rb

@@ -0,0 +1,54 @@
+# encoding: UTF-8
+require 'spec_helper'
+
+module Hdo
+  module StortingImporter
+    describe District do
+
+      it 'builds committees from Storting XML list' do
+        xml = <<-XML
+        <?xml version="1.0" encoding="utf-8"?>
+        <fylker_oversikt xmlns:i="http://www.w3.org/2001/XMLSchema-instance" xmlns="http://data.stortinget.no">
+          <versjon>1.0</versjon>
+          <fylker_liste>
+            <fylke>
+              <versjon>1.0</versjon>
+              <id>Ak</id>
+              <navn>Akershus</navn>
+            </fylke>
+            <fylke>
+              <versjon>1.0</versjon>
+              <id>Bu</id>
+              <navn>Buskerud</navn>
+            </fylke>
+          </fylker_liste>
+        </fylker_oversikt>
+        XML
+
+        districts = District.from_storting_doc(parse(xml))
+        districts.size.should == 2
+
+        district = districts.first
+
+        district.name.should == 'Akershus'
+        district.external_id.should == 'Ak'
+      end
+
+      it 'can serialize as HDO XML' do
+        District.new("Ak", "Akershus").to_hdo_xml.should == <<-XML
+<district>
+  <externalId>Ak</externalId>
+  <name>Akershus</name>
+</district>
+        XML
+      end
+
+      it 'can deserialize HDO XML' do
+        orig = District.new("Ak", "Akershus")
+        District.from_hdo_node(parse(orig.to_hdo_xml)).should == orig
+      end
+
+
+    end
+  end
+end

data/spec/hdo/storting_importer/issue_spec.rb

@@ -0,0 +1,115 @@
+# encoding: UTF-8
+require 'spec_helper'
+
+module Hdo
+  module StortingImporter
+    describe Issue do
+
+      def create_issue
+        Issue.new(
+          "53520",
+          "Inngåelse av avtale om opprettelse av sekretariatet for Den nordlige dimensjons partnerskap for helse og livskvalitet (NDPHS)",
+          "Samtykke til inngåelse av avtale av 25. november 2011 om opprettelse av sekretariatet for Den nordlige dimensjons partnerskap for helse og livskvalitet (NDPHS)",
+          "alminneligsak",
+          "mottatt",
+          "2012-04-20T00:00:00",
+          "Prop. 90 S (2011-2012)",
+          "proposisjon",
+          "Transport- og kommunikasjonskomiteen",
+          ['UTENRIKSSAKER', 'TRAKTATER', 'NORDISK SAMARBEID']
+        )
+      end
+
+      it 'builds issues from Storting XML list' do
+        xml = <<-XML
+        <?xml version="1.0" encoding="utf-8"?>
+        <saker_oversikt xmlns:i="http://www.w3.org/2001/XMLSchema-instance" xmlns="http://data.stortinget.no">
+          <versjon>1.0</versjon>
+          <saker_liste>
+            <sak>
+              <versjon>1.0</versjon>
+              <behandlet_sesjon_id i:nil="true" />
+              <dokumentgruppe>proposisjon</dokumentgruppe>
+              <emne_liste>
+                <emne>
+                  <versjon>1.0</versjon>
+                  <er_hovedemne>true</er_hovedemne>
+                  <id>163</id>
+                  <navn>UTENRIKSSAKER</navn>
+                  <underemne_liste />
+                </emne>
+                <emne>
+                  <versjon>1.0</versjon>
+                  <er_hovedemne>false</er_hovedemne>
+                  <id>166</id>
+                  <navn>TRAKTATER</navn>
+                  <underemne_liste />
+                </emne>
+                <emne>
+                  <versjon>1.0</versjon>
+                  <er_hovedemne>false</er_hovedemne>
+                  <id>171</id>
+                  <navn>NORDISK SAMARBEID</navn>
+                  <underemne_liste />
+                </emne>
+              </emne_liste>
+              <henvisning>Prop. 90 S (2011-2012)</henvisning>
+              <id>53520</id>
+              <innstilling_id>-1</innstilling_id>
+              <komite i:nil="true" />
+              <korttittel>Inngåelse av avtale om opprettelse av sekretariatet for Den nordlige dimensjons partnerskap for helse og livskvalitet (NDPHS)</korttittel>
+              <sak_fremmet_id>53520</sak_fremmet_id>
+              <saksordfoerer_liste />
+              <sist_oppdatert_dato>2012-04-20T00:00:00</sist_oppdatert_dato>
+              <status>mottatt</status>
+              <tittel>Samtykke til inngåelse av avtale av 25. november 2011 om opprettelse av sekretariatet for Den nordlige dimensjons partnerskap for helse og livskvalitet (NDPHS)</tittel>
+              <type>alminneligsak</type>
+            </sak>
+          </saker_liste>
+        </saker_oversikt>
+        XML
+
+        issues = Issue.from_storting_doc(parse(xml))
+        issues.size.should == 1
+
+        issue = issues.first
+        issue.document_group.should == 'proposisjon'
+        issue.categories.should == ['UTENRIKSSAKER', 'TRAKTATER', 'NORDISK SAMARBEID']
+        issue.reference.should == 'Prop. 90 S (2011-2012)'
+        issue.external_id.should == '53520'
+        issue.summary.should == 'Inngåelse av avtale om opprettelse av sekretariatet for Den nordlige dimensjons partnerskap for helse og livskvalitet (NDPHS)'
+        issue.last_update.should == '2012-04-20T00:00:00'
+        issue.status.should == 'mottatt'
+        issue.description.should == 'Samtykke til inngåelse av avtale av 25. november 2011 om opprettelse av sekretariatet for Den nordlige dimensjons partnerskap for helse og livskvalitet (NDPHS)'
+        issue.type.should == 'alminneligsak'
+      end
+
+      it 'can serialize as HDO XML' do
+        create_issue.to_hdo_xml.should == <<-XML
+<issue>
+  <externalId>53520</externalId>
+  <summary>Inngåelse av avtale om opprettelse av sekretariatet for Den nordlige dimensjons partnerskap for helse og livskvalitet (NDPHS)</summary>
+  <description>Samtykke til inngåelse av avtale av 25. november 2011 om opprettelse av sekretariatet for Den nordlige dimensjons partnerskap for helse og livskvalitet (NDPHS)</description>
+  <type>alminneligsak</type>
+  <status>mottatt</status>
+  <lastUpdate>2012-04-20T00:00:00</lastUpdate>
+  <reference>Prop. 90 S (2011-2012)</reference>
+  <documentGroup>proposisjon</documentGroup>
+  <committee>Transport- og kommunikasjonskomiteen</committee>
+  <categories>
+    <category>UTENRIKSSAKER</category>
+    <category>TRAKTATER</category>
+    <category>NORDISK SAMARBEID</category>
+  </categories>
+</issue>
+XML
+      end
+
+      it 'can deserialize HDO XML' do
+        orig = create_issue
+        Issue.from_hdo_node(parse(orig.to_hdo_xml)).should == orig
+      end
+
+    end
+  end
+end

data/spec/hdo/storting_importer/party_spec.rb

@@ -0,0 +1,52 @@
+# encoding: UTF-8
+require 'spec_helper'
+
+module Hdo
+  module StortingImporter
+    describe Party do
+
+      it 'builds parties from Storting XML list' do
+        xml = <<-XML
+        <?xml version="1.0" encoding="utf-8"?>
+        <partier_oversikt xmlns:i="http://www.w3.org/2001/XMLSchema-instance" xmlns="http://data.stortinget.no">
+          <versjon>1.0</versjon>
+          <partier_liste>
+            <parti>
+              <versjon>1.0</versjon>
+              <id>A</id>
+              <navn>Arbeiderpartiet</navn>
+            </parti>
+            <parti>
+              <versjon>1.0</versjon>
+              <id>FrP</id>
+              <navn>Fremskrittspartiet</navn>
+            </parti>
+          </partier_liste>
+        </partier_oversikt>
+        XML
+
+        parties = Party.from_storting_doc(parse(xml))
+        parties.size.should == 2
+
+        parties.map(&:external_id).should == ['A', 'FrP']
+        parties.map(&:name).should == ['Arbeiderpartiet', 'Fremskrittspartiet']
+      end
+
+      it 'can serialize as HDO XML' do
+        Party.new("A", "Arbeiderpartiet").to_hdo_xml.should == <<-XML
+<party>
+  <externalId>A</externalId>
+  <name>Arbeiderpartiet</name>
+</party>
+        XML
+      end
+
+      it 'can deserialize HDO XML' do
+        orig = Party.new('Sp', 'Senterpartiet')
+        Party.from_hdo_node(parse(orig.to_hdo_xml)).should == orig
+      end
+
+
+    end
+  end
+end

data/spec/hdo/storting_importer/promise_spec.rb

@@ -0,0 +1,38 @@
+# encoding: UTF-8
+require 'spec_helper'
+
+module Hdo
+  module StortingImporter
+    describe Promise do
+
+      it 'builds promises from CSV' do
+        csv = <<-CSV
+        Parti;Løftetekst;Generell;Emner;Kilde;Side
+        A;Ha et inntektspolitisk samarbeid og en økonomisk politikk som sikrer arbeid til alle. ;Ja;LØNN , SYSSELSETTING;PP;10
+        A;Følge handlingsregelen for en forsvarlig bruk av oljepenger.;Ja;FINANSER;PP;10
+        A;Bruke penger slik at det bidrar til å utjevne svingninger i økonomien.;Ja;FINANSER;PP;10
+        A;Sette ned et utvalg som skal gjennomgå årsakene til finanskrisen.;Nei;FINANSER;PP;10
+        A;Gjennomføre de tiltak som er nødvendig for å sikre et stabilt og fungerende finansmarked.;Ja;FINANSER;PP;10
+        A;Stille etiske krav til forvaltning av statlig kapital. ;Ja;FINANSER;PP;10
+        A;Holde de samlede skattene og avgiftene på samme nivå som i dag.;Nei;SKATTER;PP;10
+        A;Ha en grundig evaluering av skattereformen av 2006, med særlig blikk på fordelingsvirkningene. ;Ja;SKATTER;PP;10
+        A;Opprettholde formueskatten, men gjøre den mer rettferdig.;Ja;SKATTER;PP;10
+        CSV
+
+
+        promises = Promise.from_csv(csv)
+
+        promises.size.should == 9
+
+        prom = promises.first
+        prom.party.should == 'A'
+        prom.body.should == 'Ha et inntektspolitisk samarbeid og en økonomisk politikk som sikrer arbeid til alle.'
+        prom.general.should be_true
+        prom.categories.should == %w[LØNN SYSSELSETTING]
+        prom.source.should == "PP"
+        prom.page.should == '10'
+      end
+
+    end
+  end
+end

data/spec/hdo/storting_importer/representative_spec.rb

@@ -0,0 +1,81 @@
+# encoding: UTF-8
+
+module Hdo
+  module StortingImporter
+    describe Representative do
+
+      def create_representative
+        Representative.new('ADA', 'André Oktay', 'Dahl', 'M', '1975-07-07T00:00:00', '0001-01-01T00:00:00', 'Akershus', 'Høyre', ['Justiskomiteen'], '2011-2012')
+      end
+
+      it "builds representatives from the Storting XML list" do
+        xml = <<-XML
+        <?xml version="1.0" encoding="utf-8"?>
+        <representanter_oversikt xmlns:i="http://www.w3.org/2001/XMLSchema-instance" xmlns="http://data.stortinget.no">
+          <versjon>1.0</versjon>
+          <representanter_liste>
+            <representant>
+              <versjon>1.0</versjon>
+              <doedsdato>0001-01-01T00:00:00</doedsdato>
+              <etternavn>Dahl</etternavn>
+              <foedselsdato>1975-07-07T00:00:00</foedselsdato>
+              <fornavn>André Oktay</fornavn>
+              <id>ADA</id>
+              <kjoenn>mann</kjoenn>
+              <fylke>
+                <versjon>1.0</versjon>
+                <id>Ak</id>
+                <navn>Akershus</navn>
+              </fylke>
+              <parti>
+                <versjon>1.0</versjon>
+                <id>H</id>
+                <navn>Høyre</navn>
+              </parti>
+            </representant>
+          </representanter_liste>
+        </representanter_oversikt>
+        XML
+
+        representatives = Representative.from_storting_doc(parse(xml))
+        representatives.size.should == 1
+
+        rep = representatives.first
+        rep.first_name.should == 'André Oktay'
+        rep.last_name.should == 'Dahl'
+        rep.gender.should == 'M'
+        rep.district.should == 'Akershus'
+        rep.party.should == 'Høyre'
+        rep.external_id.should == 'ADA'
+        rep.date_of_birth.should == '1975-07-07T00:00:00'
+        rep.date_of_death.should == '0001-01-01T00:00:00'
+      end
+
+      it 'converts itself into HDO XML' do
+        rep = create_representative
+        rep.to_hdo_xml.should == <<-XML
+<representative>
+  <externalId>ADA</externalId>
+  <firstName>André Oktay</firstName>
+  <lastName>Dahl</lastName>
+  <gender>M</gender>
+  <dateOfBirth>1975-07-07T00:00:00</dateOfBirth>
+  <dateOfDeath>0001-01-01T00:00:00</dateOfDeath>
+  <district>Akershus</district>
+  <party>Høyre</party>
+  <committees>
+    <committee>Justiskomiteen</committee>
+  </committees>
+  <period>2011-2012</period>
+</representative>
+        XML
+      end
+
+      it 'can deserialize HDO XML' do
+        rep = create_representative
+        Representative.from_hdo_node(parse(rep.to_hdo_xml)).should == rep
+      end
+
+    end
+  end
+end