twitter_cldr 3.0.0.beta1 → 3.0.0

data/spec/shared/casefolding_expected.txt

@@ -0,0 +1,251 @@
+dreiländereck
+aus wikipedia, der freien enzyklopädie
+wechseln zu: navigation, suche
+dreiländereck d/f/ch am rheinhafen von basel
+vaalserberg: dreiländereck (d/nl/b)
+sevening: europadenkmal (d/b/l)
+denkmal für das „schengener abkommen“ in schengen, luxemburg (d/l/f)
+zittau: dreiländereck (d/cz/pl)
+treriksröset: dreiländereck fin/n/s
+berg ofen: grenzstein dreiländereck i/slo/a
+monte roraima: dreiländereck brasilien, guyana, venezuela
+markstein auf der argentinischen seite des dreiländerecks ra/br/py
+
+ein dreiländereck – auch länderdreieck genannt – ist der geografische punkt, wo drei gleichrangige grenzen und auch drei gleich geartete territorien (länder, staaten, bundesländer) aufeinander treffen. bekannt werden solche dreiländerecke meist, wenn sie schon längere zeit bestehen oder aber, wenn drei kulturen aufeinander treffen.
+
+meist ist diese stelle durch die jeweiligen staatsflaggen oder monumente markiert.
+
+von den zurzeit 195 staaten auf der erde haben 134 einen solchen grenzpunkt. insgesamt existieren 157 dreiländerecke auf der erde. die häufigkeit des vorkommens von dreiländerecken ist abhängig von der anzahl der nachbarn, aber auch von der anzahl der seegrenzen. so haben inselnationen wie japan keines, wie auch staaten wie portugal oder dänemark, die nur ein nachbarland haben bzw. vollständig von einem staat umgeben sind (wie z. b. san marino). auch sind zwei nachbarländer kein hinreichendes kriterium, wie es z. b. bzgl. der usa in nordamerika ist. auch die fläche eines staats hat nur bedingt mit der anzahl an dreiländerecken zu tun: der staat mit den meisten ist china mit 15, während russland, der flächenmässig grösste staat der welt, nur acht hat.
+
+österreich hat an seinen grenzen neun dreiländerecke (und ist damit der staat mit den meisten dreiländerecken innerhalb europas), deutschland sieben, die schweiz sechs und liechtenstein weist zwei dreiländerecke auf.
+inhaltsverzeichnis
+[verbergen]
+
+    * 1 dreiländerecke weltweit
+          o 1.1 europa
+          o 1.2 mittel- und südamerika
+          o 1.3 nordamerika
+          o 1.4 afrika
+          o 1.5 asien
+    * 2 ehemalige dreiländerecke
+          o 2.1 europa
+    * 3 siehe auch
+    * 4 weblinks
+
+dreiländerecke weltweit [bearbeiten]
+
+alphabetische liste von allen 46 internationalen dreiländerecken in europa:
+
+europa [bearbeiten]
+
+    * albanien – griechenland – mazedonien, am prespa-see
+    * albanien – mazedonien – kosovo, südlich von prizren in kosovo
+    * albanien – montenegro – kosovo, nördlich von bajram curri in albanien
+    * andorra – frankreich – spanien (osteck), in den pyrenäen
+    * andorra – frankreich – spanien (westeck), in den pyrenäen
+    * belgien – deutschland – luxemburg, am europadenkmal an der our bei sevenig
+    * belgien – deutschland – niederlande, auf dem vaalserberg westlich von aachen (war zeitweilig auch wegen neutral-moresnet ein vierländereck)
+    * belgien – frankreich – luxemburg, bei longwy, pétange, aubange
+    * bosnien-herzegowina – kroatien – montenegro, nordöstlich von gruda in kroatien
+    * bosnien-herzegowina – kroatien – serbien, westlich von omjelovo in bosnien-herzegowina
+    * bosnien-herzegowina – montenegro – serbien, westlich von priboj in serbien
+    * bulgarien – griechenland – mazedonien, westlich von petritsch in bulgarien
+    * bulgarien – griechenland – türkei, bei der griechischen gemeinde trigono, westlich des türkischen edirne
+    * bulgarien – mazedonien – serbien, westlich von kjustendil in bulgarien
+    * bulgarien – rumänien – serbien, östlich von negotin in serbien
+    * deutschland – frankreich – luxemburg, bei perl, apach, schengen in der mosel
+    * deutschland – frankreich – schweiz, bei basel, hüningen und weil am rhein im rhein
+    * deutschland – polen – tschechien, südöstlich von zittau
+    * deutschland – schweiz – österreich, im bodensee
+    * deutschland – tschechien – österreich, am plöckenstein (1320 m), böhmerwald
+    * estland – lettland – russland, westlich von stuborova in lettland
+    * finnland – norwegen – russland, nordöstlich von ivalo in finnland
+    * finnland – norwegen – schweden, schwedisch treriksröset, norwegisch treriksrøysa, finnisch kolmen valtakunnan rajapyykki, westlich von kilpisjärvi in finnland
+    * frankreich – italien – schweiz, auf der bergspitze des mont dolent (3820 m) nahe dem mont blanc
+    * italien – schweiz – österreich, nähe reschenpass an der „dreiländerecke“ (2.179 m)
+    * italien – slowenien – österreich, bei arnoldstein auf dem gipfel des ofen (slow. peč) alias dreiländereck
+    * kroatien – serbien – ungarn, nordöstlich von gruda in kroatien
+    * kroatien – slowenien – ungarn, südöstlich von letenye in ungarn
+    * lettland – litauen – weissrussland, nordöstlich von visaginas in litauen
+    * lettland – russland – weissrussland, südöstlich von suskova in lettland
+    * liechtenstein – schweiz – österreich (nordeck), im rhein bei sennwald
+    * liechtenstein – schweiz – österreich (südeck), im rätikon am naafkopf (2571 m)
+    * litauen – polen – russland (kaliningrad), westlich von wizajny in polen
+    * litauen – polen – weissrussland, westlich von druskininkai in litauen
+    * moldawien – rumänien – ukraine (nordeck), nordöstlich von dărăbani in rumänien
+    * moldawien – rumänien – ukraine (südeck), östlich von galaţi in rumänien
+    * polen – slowakei – tschechien, bei hrčava in tschechien und jaworzynka in polen
+    * polen – slowakei – ukraine, nordöstlich von nova sedlica in slowakei
+    * polen – ukraine – weissrussland, südöstlich von wlodawa in polen
+    * rumänien – serbien – ungarn, südlich von kübekhaza in ungarn
+    * rumänien – ukraine – ungarn, nordöstlich von bercu in rumänien
+    * russland – ukraine – weissrussland, südöstlich von homel in weissrussland
+    * slowakei – ukraine – ungarn, bei zahony in ungarn
+    * slowakei – ungarn – österreich, bei deutsch jahrndorf in österreich, rajka in ungarn
+    * slowakei – tschechien – österreich, bei hohenau an der march in österreich
+    * slowenien – österreich – ungarn, östlich von tauka in österreich
+
+die nachfolgende auflistung zeigt eine kleine auswahl existierender dreiländerecke in anderen kontinenten:
+
+mittel- und südamerika [bearbeiten]
+
+in mittelamerika existieren zwei dreiländerecke und in südamerika 13:
+
+    * argentinien – bolivien – chile
+    * argentinien – bolivien – paraguay
+    * argentinien – brasilien – paraguay: hito tres fronteras, bekannt durch die iguaçu-wasserfälle
+    * argentinien – brasilien – uruguay
+    * mittelamerika: belize – guatemala – mexiko
+    * bolivien – brasilien – paraguay
+    * bolivien – brasilien – peru
+    * bolivien – chile – peru
+    * brasilien – kolumbien – peru: tres fronteras, im amazonas-regenwald mit einer dreistadt tabatinga, leticia, santa rosa mit mehr als 100.000 einwohnern
+    * brasilien – kolumbien – venezuela
+    * brasilien – französisch-guayana – surinam
+    * brasilien – guyana – surinam
+    * brasilien – guyana – venezuela: auf dem berg monte roraima
+    * kolumbien – ecuador – peru
+    * mittelamerika: guatemala – honduras – el salvador
+
+nordamerika [bearbeiten]
+
+da mit kanada und den vereinigten staaten nur zwei staaten in nordamerika neben einigen französischen inseln an der kanadischen ostküste existieren, kann es dort keine dreiländerecke geben.
+
+die bundesstaaten der vereinigten staaten bilden 38 tri-state areas (dreistaatengebiete).
+
+afrika [bearbeiten]
+
+in afrika existieren 55 dreiländerecke:
+
+    * südafrika – botswana – namibia
+    * südafrika – botswana – simbabwe
+    * südafrika – mosambik – simbabwe (siehe crook’s corner)
+    * südafrika – mosambik – swasiland (nord)
+    * südafrika – mosambik – swasiland (süd)
+    * algerien – libyen – niger
+    * algerien – libyen – tunesien
+    * algerien – mali – mauretanien
+    * algerien – mali – niger
+    * algerien – marokko – west-sahara
+    * algerien – mauretanien – west-sahara
+    * angola – namibia – sambia
+    * angola – republik kongo – demokratische republik kongo: cabinda
+    * angola – demokratische republik kongo – sambia
+    * benin – burkina faso – niger
+    * benin – burkina faso – togo
+    * benin – niger – nigeria
+    * botswana – sambia – simbabwe
+    * burkina faso – elfenbeinküste – ghana
+    * burkina faso – elfenbeinküste – mali
+    * burkina faso – ghana – togo
+    * burkina faso – mali – niger
+    * burundi – demokratische republik kongo – ruanda
+    * burundi – ruanda – tansania
+    * kamerun – gabun – äquatorial-guinea
+    * kamerun – gabun – republik kongo
+    * kamerun – nigeria – tschad
+    * kamerun – zentralafrikanische republik – republik kongo
+    * kamerun – zentralafrikanische republik – tschad
+    * elfenbeinküste – guinea – liberia
+    * elfenbeinküste – guinea – mali
+    * dschibuti – eritrea – äthiopien
+    * dschibuti – äthiopien – somalia
+    * ägypten – libyen – sudan
+    * eritrea – äthiopien – sudan
+    * äthiopien – kenia – somalia
+    * äthiopien – kenia – sudan
+    * guinea – guinea-bissau – senegal
+    * guinea – liberia – sierra leone
+    * kenia – uganda – sudan
+    * kenia – uganda – tansania
+    * libyen – niger – tschad
+    * libyen – sudan – tschad
+    * malawi – mosambik – tansania
+    * malawi – mosambik – sambia
+    * mosambik – tansania – sambia
+    * mosambik – sambia – simbabwe: bei zumbo
+    * mali – mauretanien – senegal
+    * niger – nigeria – tschad
+    * uganda – demokratische republik kongo – ruanda
+    * uganda – demokratische republik kongo – sudan
+    * uganda – ruanda – tansania
+    * zentralafrikanische republik – republik kongo – demokratische republik kongo
+    * zentralafrikanische republik – demokratische republik kongo – sudan
+    * demokratische republik kongo – tansania – sambia
+
+asien [bearbeiten]
+
+in asien existieren 42 dreiländerecke:
+
+    * afghanistan – iran – pakistan
+    * afghanistan – iran – turkmenistan
+    * afghanistan – vr china – pakistan
+    * afghanistan – vr china – tadschikistan
+    * afghanistan – usbekistan – tadschikistan
+    * afghanistan – usbekistan – turkmenistan
+    * saudi-arabien – vereinigte arabische emirate – oman: umm az zamul
+    * saudi-arabien – irak – jordanien
+    * saudi-arabien – irak – kuwait
+    * saudi-arabien – oman – jemen
+    * armenien – aserbaidschan – georgien
+
+mekong und goldenes dreieck
+
+    * armenien – aserbaidschan – iran
+    * armenien – aserbaidschan – iran
+    * armenien – aserbaidschan – türkei
+    * gaza-streifen – ägypten – israel
+    * bangladesch – burma – indien
+    * bhutan – vr china – indien (osten)
+    * bhutan – vr china – indien (westen)
+    * burma – vr china – indien
+    * burma – vr china – laos
+    * burma – laos – thailand: goldenes dreieck
+    * kambodscha – laos – thailand
+    * kambodscha – laos – vietnam
+    * vr china – indien – nepal (osten)
+    * vr china – indien – nepal (westen)
+    * vr china – indien – pakistan
+    * vr china – kasachstan – kirgisien
+    * vr china – kasachstan – russland
+    * vr china – laos – vietnam
+    * vr china – mongolei – russland (osten)
+    * vr china – mongolei – russland (westen)
+    * vr china – nord-korea – russland in der region primorje
+    * palästina – israel – jordanien (nord)
+    * palästina – israel – jordanien (süden)
+    * irak – iran – türkei
+    * irak – jordanien – syrien
+    * irak – syrien – türkei
+    * israel – jordanien – syrien
+    * israel – libanon – syrien: mount hermon
+    * kasachstan – kirgisien – usbekistan
+    * kasachstan – usbekistan – turkmenistan
+    * kirgisien – usbekistan – tadschikistan
+
+die dreiländerecke vr china – kasachstan – russland sowie vr china – mongolei – russland liegen im altai nur 50 kilometer voneinander entfernt.
+
+ehemalige dreiländerecke [bearbeiten]
+
+infolge von grenzverschiebungen kommt es vor, dass dreiländerecke zu normalen staatsgrenzen werden, aber dennoch ein markanter punkt bleiben:
+
+europa [bearbeiten]
+
+    * italien – schweiz – österreich; bis zur abtretung südtirols von österreich an italien, nähe stilfserjoch auf der dreisprachenspitze. es ist heute ein „dreispracheneck“ geblieben mit italienisch (lombardei), deutsch (südtirol) und rätoromanisch (schweiz).
+    * br deutschland – ddr – tschechoslowakei; bis zur wiedervereinigung an der stelle, wo bayern, sachsen und böhmen (tschechien) aufeinander treffen, es handelt sich um einen punkt in der nähe der orte regnitzlosau, landkreis hof, bayern; eichigt, vogtlandkreis, sachsen; und hranice u aše, okres cheb, heute tschechische republik.
+
+siehe auch [bearbeiten]
+commons commons: dreiländereck – bilder, videos und audiodateien
+
+    * dreikaisereck
+    * vierländereck
+    * dreiherrenstein
+    * tanzen im dreiländereck
+    * dreigräben
+
+weblinks [bearbeiten]
+
+    * liste aller dreiländer als kml-datei mit koordinaten
+
+von „http://de.wikipedia.org/wiki/dreil%c3%a4ndereck“
+kategorien: politische geographie | grenze

data/spec/shared/code_point_spec.rb

@@ -8,9 +8,19 @@ require 'spec_helper'
 include TwitterCldr::Shared
 
 describe CodePoint do
+  def clear
+    CodePoint.instance_variable_set(:@composition_exclusion_cache, nil)
+    CodePoint.instance_variable_set(:@canonical_compositions, nil)
+    CodePoint.instance_variable_set(:@block_cache, nil)
+    CodePoint.instance_variable_set(:@blocks, nil)
+  end
+
+  after(:each) { clear }
+  before(:each) { clear }
+
   describe "#initialize" do
     let(:unicode_data) { ['17D1', 'KHMER SIGN VIRIAM', 'Mn', '0', 'NSM', decomposition, "", "", "", 'N', "", "", "", "", ""] }
-    let(:code_point)   { CodePoint.new(*unicode_data) }
+    let(:code_point)   { CodePoint.new(unicode_data) }
 
     context 'when decomposition is canonical' do
       let(:decomposition) { '0028 007A 0029' }
@@ -59,17 +69,13 @@ describe CodePoint do
         code_point.should_not be_compatibility_decomposition
       end
     end
-
-    it 'raises ArgumentError if decomposition has invalid format' do
-
-    end
   end
 
   describe "#find" do
     it "retrieves information for any valid code point" do
       data = CodePoint.find(0x301)
       data.should be_a(CodePoint)
-      data.values.length.should == 15
+      data.fields.length.should == 15
     end
 
     it "returns nil if the information is not found" do
@@ -107,20 +113,45 @@ describe CodePoint do
     end
   end
 
+  describe "#code_points_for{index}" do
+    it "returns code points for the given general unicode property name" do
+      cps = CodePoint.code_points_for_category(:Cc)
+      cps.should be_a(Array)
+      cps.first.should == (0..31)
+
+      cps = CodePoint.code_points_for_bidi_class(:BN)
+      cps.should be_a(Array)
+      cps.first.should == (0..8)
+
+      cps = CodePoint.code_points_for_bidi_mirrored(:N)
+      cps.should be_a(Array)
+      cps.first.should == (0..39)
+    end
+  end
+
+  describe "#code_points_for_property_value" do
+    it "returns code points for the given unicode property and value" do
+      cps = CodePoint.code_points_for_line_break(:CM)
+      cps.should be_a(Array)
+      cps.first.should == (0..8)
+
+      cps = CodePoint.code_points_for_sentence_break(:Extend)
+      cps.should be_a(Array)
+      cps.first.should == (768..879)
+
+      cps = CodePoint.code_points_for_word_break(:Hebrew_Letter)
+      cps.should be_a(Array)
+      cps.first.should == (1488..1514)
+    end
+  end
+
   describe "#for_canonical_decomposition" do
     let(:canonical_compositions) { { [123, 456] => 789 } }
 
     before(:each) do
-      # clear the decomposition map after each test so mocks/stubs work
-      CodePoint.instance_variable_set(:@canonical_compositions, nil)
       stub(CodePoint).find { |code_point| "I'm code point #{code_point}" }
     end
 
-    after(:all) do
-      # clear the decomposition map after each test so mocks/stubs work
-      CodePoint.instance_variable_set(:@canonical_compositions, nil)
-    end
-
     context "with a stubbed decomposition map" do
       before(:each) do
         mock(TwitterCldr).get_resource(:unicode_data, :canonical_compositions) { canonical_compositions }
@@ -144,7 +175,6 @@ describe CodePoint do
 
   describe "#hangul_type" do
     before(:each) do
-      # CodePoint.instance_variable_set(:'@hangul_type_cache', {})
       stub(CodePoint).hangul_blocks {
         {
           :lparts       => [1..10],

data/spec/shared/numbering_system_spec.rb

@@ -0,0 +1,41 @@
+# encoding: UTF-8
+
+# Copyright 2012 Twitter, Inc
+# http://www.apache.org/licenses/LICENSE-2.0
+
+require 'spec_helper'
+
+include TwitterCldr::Shared
+
+describe NumberingSystem do
+  describe "#for_name" do
+    it "should return the correct numbering system for the given name" do
+      NumberingSystem.for_name("latn").digits.should == %w(0 1 2 3 4 5 6 7 8 9)
+      NumberingSystem.for_name("arab").digits.should == %w(٠ ١ ٢ ٣ ٤ ٥ ٦ ٧ ٨ ٩)
+    end
+
+    it "should raise an error if the system is not numeric" do
+      lambda { NumberingSystem.for_name("roman") }.should raise_error(UnsupportedNumberingSystemError)
+    end
+  end
+
+  describe "#transliterate" do
+    context "with the arabic numbering system" do
+      let(:system) { NumberingSystem.for_name("arab") }
+
+      it "replaces ascii numeral characters with arabic ones" do
+        system.transliterate(123).should match_normalized("١٢٣")
+        system.transliterate(947).should match_normalized("٩٤٧")
+      end
+    end
+
+    context "with the Han decimal system" do
+      let(:system) { NumberingSystem.for_name("hanidec") }
+
+      it "replaces ascii numeral characters with Han ones" do
+        system.transliterate(123).should match_normalized("一二三")
+        system.transliterate(947).should match_normalized("九四七")
+      end
+    end
+  end
+end

data/spec/shared/territories_spec.rb

@@ -17,14 +17,14 @@ describe Territories do
     end
 
     it "should use alternate/short names" do
-      Territories.translate_territory("Congo [DRC]", :en, :es).should match_normalized("Congo [República Democrática del Congo]")
-      Territories.translate_territory("Congo [Republic]", :en, :es).should match_normalized("Congo [República]")
+      Territories.translate_territory("Congo (DRC)", :en, :es).should match_normalized("Congo (República Democrática del Congo)")
+      Territories.translate_territory("Congo (Republic)", :en, :es).should match_normalized("Congo (República)")
       Territories.translate_territory("East Timor", :en, :es).should match_normalized("Timor Oriental")
-      Territories.translate_territory("Falkland Islands [Islas Malvinas]", :en, :es).should match_normalized("Islas Malvinas [Islas Falkland]")
+      Territories.translate_territory("Falkland Islands (Islas Malvinas)", :en, :es).should match_normalized("Islas Malvinas (Islas Falkland)")
       Territories.translate_territory("Hong Kong", :en, :es).should match_normalized("Hong Kong")
       Territories.translate_territory("Ivory Coast", :en, :es).should match_normalized("Costa de Marfil")
       Territories.translate_territory("Macau", :en, :es).should match_normalized("Macao")
-      Territories.translate_territory("Macedonia [FYROM]", :en, :es).should match_normalized("Macedonia [ERYM]")
+      Territories.translate_territory("Macedonia (FYROM)", :en, :es).should match_normalized("Macedonia (ERYM)")
     end
 
     it "should be capitalization agnostic" do
@@ -56,12 +56,12 @@ describe Territories do
   describe "#from_territory_code_for_locale" do
     it "should return the territory in the correct locale for the given locale code (i.e. RU in English should be Russia)" do
       Territories.from_territory_code_for_locale(:ES, :en).should match_normalized("Spain")
-      Territories.from_territory_code_for_locale(:GB, :es).should match_normalized("Reino Unido")
+      Territories.from_territory_code_for_locale(:GB, :es).should match_normalized("UK")
     end
 
     it "should work with lower-case country codes as well" do
       Territories.from_territory_code_for_locale(:es, :en).should match_normalized("Spain")
-      Territories.from_territory_code_for_locale(:gb, :es).should match_normalized("Reino Unido")
+      Territories.from_territory_code_for_locale(:gb, :es).should match_normalized("UK")
     end
 
     it "should work with Traditional Chinese" do
@@ -116,5 +116,13 @@ describe Territories do
     end
   end
 
+  describe "#deep_normalize_territory_code_keys" do
+    Territories.deep_normalize_territory_code_keys(
+      { "is" => [ { "US" => "United States",
+                    5 => "Suður-Ameríka" },
+                  { "009" => "Eyjaálfa" } ] }
+    ).should == { :is => [ { :us => "United States" }, { } ] }
+  end
+
 end
 

data/spec/shared/unicode_regex_spec.rb

@@ -0,0 +1,203 @@
+# encoding: UTF-8
+
+# Copyright 2012 Twitter, Inc
+# http://www.apache.org/licenses/LICENSE-2.0
+
+require 'spec_helper'
+
+include TwitterCldr::Shared
+
+describe UnicodeRegex do
+  def compile(str, symbol_table = nil)
+    UnicodeRegex.compile(str, "", symbol_table)
+  end
+
+  let(:symbol_table) do
+    tokenizer = TwitterCldr::Tokenizers::UnicodeRegexTokenizer.new
+    table = TwitterCldr::Parsers::SymbolTable.new({
+      "$FOO" => tokenizer.tokenize("[g-k]"),
+      "$BAR" => tokenizer.tokenize("[p-s]")
+    })
+  end
+
+  context "basic operations" do
+    let(:regex) { compile("[abc]") }
+
+    describe "#compile" do
+      it "should return a UnicodeRegex, parsed and ready to go" do
+        regex.should be_a(UnicodeRegex)
+      end
+    end
+
+    describe "#to_regexp_str" do
+      it "should return the string representation of this regex" do
+        regex.to_regexp_str.should == "(?:[\\141-\\143])"
+      end
+    end
+
+    describe "#to_regexp" do
+      it "should return a ruby Regexp" do
+        if RUBY_VERSION <= "1.8.7"
+          regex.to_regexp.should be_a(Oniguruma::ORegexp)
+        else
+          regex.to_regexp.should be_a(Regexp)
+        end
+      end
+
+      it "should properly turn various basic regexes into strings" do
+        compile("^abc$").to_regexp_str.should == "^(?:\\141)(?:\\142)(?:\\143)$"
+        compile("a(b)c").to_regexp_str.should == "(?:\\141)((?:\\142))(?:\\143)"
+        compile("a(?:b)c").to_regexp_str.should == "(?:\\141)(?:(?:\\142))(?:\\143)"
+        compile("a{1,3}").to_regexp_str.should == "(?:\\141){1,3}"
+        compile("[abc]").to_regexp_str.should == "(?:[\\141-\\143])"
+      end
+
+      it "should properly turn various complex regexes into strings" do
+        compile("[a-z0-9]").to_regexp_str.should == "(?:[\\60-\\71]|[\\141-\\172])"
+        compile("[\\u0067-\\u0071]").to_regexp_str.should == "(?:[\\147-\\161])"
+      end
+
+      it "should properly substitute variables" do
+        compile("$FOO$BAR", symbol_table).to_regexp_str.should == "(?:[\\147-\\153])(?:[\\160-\\163])"
+      end
+    end
+  end
+
+  context "with a few variables" do
+    describe "#match" do
+      it "should substitute variables from the symbol table" do
+        regex = compile("$FOO $BAR", symbol_table)
+        regex.should exactly_match("h r")
+        regex.should exactly_match("j q")
+        regex.should_not exactly_match("h t")
+        regex.should_not exactly_match("c s")
+      end
+    end
+  end
+
+  context "matching basics" do
+    describe "#match" do
+      it "should match a regex with no char class" do
+        regex = compile("^abc$")
+        regex.should exactly_match("abc")
+        regex.should_not exactly_match("cba")
+      end
+
+      it "should match a regex with a capturing group" do
+        regex = compile("a(b)c")
+        match = regex.match("abc")
+        match.should_not be_nil
+        match.captures[0].should == "b"
+      end
+
+      it "should match a regex with a non-capturing group" do
+        regex = compile("a(?:b)c")
+        match = regex.match("abc")
+        match.should_not be_nil
+        match.captures.should == []
+      end
+
+      it "should match a regex with a quantifier" do
+        regex = compile("a{1,3}")
+        regex.should exactly_match("a")
+        regex.should exactly_match("aa")
+        regex.should exactly_match("aaa")
+        regex.should_not exactly_match("aaaa")
+        regex.should_not exactly_match("b")
+      end
+
+      it "should match a regex with a basic char class" do
+        regex = compile("[abc]")
+        regex.should exactly_match("a")
+        regex.should exactly_match("b")
+        regex.should exactly_match("c")
+        regex.should_not exactly_match("ab")
+        regex.should_not exactly_match("d")
+      end
+    end
+  end
+
+  context "matching complex character classes" do
+    describe "#match" do
+      it "should match a regex with a char class containing a range" do
+        regex = compile("[a-z0-9]")
+        regex.should exactly_match("a")
+        regex.should exactly_match("m")
+        regex.should exactly_match("z")
+        regex.should exactly_match("0")
+        regex.should exactly_match("3")
+        regex.should exactly_match("9")
+        regex.should_not exactly_match("a0")
+        regex.should_not exactly_match("m4")
+      end
+
+      it "should match a regex with a char class containing a unicode range" do
+        regex = compile("[\\u0067-\\u0071]")  # g-q
+        regex.should exactly_match("g")
+        regex.should exactly_match("q")
+        regex.should exactly_match("h")
+        regex.should_not exactly_match("z")
+      end
+
+      it "should match a regex containing a character set" do
+        regex = compile("[\\p{Zs}]")
+        regex.should exactly_match([160].pack("U*"))  # non-breaking space
+        regex.should exactly_match([5760].pack("U*"))  # ogham space mark
+        regex.should_not exactly_match("a")
+      end
+
+      it "should match a regex containing a negated character set" do
+        regex = compile("[\\P{Zs}]")
+        regex.should exactly_match("a")
+        regex.should_not exactly_match([160].pack("U*"))
+        regex.should_not exactly_match([5760].pack("U*"))
+      end
+
+      it "should match a regex containing a character set (alternate syntax)" do
+        regex = compile("[[:Zs:]]")
+        regex.should exactly_match([160].pack("U*"))  # non-breaking space
+        regex.should exactly_match([5760].pack("U*"))  # ogham space mark
+        regex.should_not exactly_match("a")
+      end
+
+      it "should match a regex containing a negated character set (alternate syntax)" do
+        regex = compile("[[:^Zs:]]")
+        regex.should exactly_match("a")
+        regex.should_not exactly_match([160].pack("U*"))
+        regex.should_not exactly_match([5760].pack("U*"))
+      end
+
+      it "should match a regex with a character set and some quantifiers" do
+        regex = compile("[\\u0067-\\u0071]+")
+        regex.should exactly_match("gg")
+        regex.should exactly_match("gh")
+        regex.should exactly_match("qjk")
+        regex.should_not exactly_match("")
+      end
+
+      it "should match a regex that uses special switches inside the char class" do
+        regex = compile("[\\w]+")
+        regex.should exactly_match("a")
+        regex.should exactly_match("abc")
+        regex.should exactly_match("a0b_1c2")
+        regex.should_not exactly_match("$@#")
+      end
+
+      it "should match a regex that uses negated special switches inside the char class" do
+        regex = compile("[\\W]+")
+        regex.should_not exactly_match("a")
+        regex.should_not exactly_match("abc")
+        regex.should_not exactly_match("a0b_1c2")
+        regex.should exactly_match("$@#")
+      end
+
+      it "should match a regex with a complicated expression inside the char class" do
+        # not [separators U space-tilde] diff [letters diff numbers]  (diff is commutative)
+        regex = compile("[^[\\p{Z}\\u0020-\\u007f]-[\\p{L}]-[\\p{N}]]")
+        regex.should exactly_match(" ")
+        regex.should exactly_match(",")
+        regex.should_not exactly_match("a")
+      end
+    end
+  end
+end

data/spec/spec_helper.rb

@@ -6,6 +6,12 @@
 require 'rspec'
 require 'rspec/autorun' # somehow makes rcov work with rspec
 require 'twitter_cldr'
+require 'pry-nav'
+
+if RUBY_VERSION <= "1.8.7"
+  $KCODE = "UTF-8"
+  require 'oniguruma'
+end
 
 if ENV['SCOV']
   require 'simplecov'
@@ -62,6 +68,17 @@ RSpec::Matchers.define :match_normalized do |expected|
   end
 end
 
+RSpec::Matchers.define :exactly_match do |expected|
+  match do |actual|
+    if actual.respond_to?(:match)
+      m = actual.match(expected)
+      m.to_a.first == expected
+    else
+      expected === actual
+    end
+  end
+end
+
 def check_token_list(got, expected)
   got.size.should == expected.size
   expected.each_with_index do |exp_hash, index|