twitter_cldr 3.0.0.beta1 → 3.0.0

data/lib/twitter_cldr/shared/break_iterator.rb

@@ -0,0 +1,213 @@
+# encoding: UTF-8
+
+# Copyright 2012 Twitter, Inc
+# http://www.apache.org/licenses/LICENSE-2.0
+
+module TwitterCldr
+  module Shared
+    class BreakIterator
+
+      attr_reader :locale, :use_uli_exceptions
+
+      def initialize(locale = TwitterCldr.locale, options = {})
+        @use_uli_exceptions = !!options.fetch(:use_uli_exceptions, true)
+        @locale = locale
+      end
+
+      def each_sentence(str, &block)
+        each_boundary(str, "sentence", &block)
+      end
+
+      def each_word(str, &block)
+        raise NotImplementedError.new("Word segmentation is not currently supported.")
+      end
+
+      def each_line(str, &block)
+        raise NotImplementedError.new("Line segmentation is not currently supported.")
+      end
+
+      private
+
+      def boundary_name_for(str)
+        str.gsub(/(?:^|\_)([A-Za-z])/) { |s| $1.upcase } + "Break"
+      end
+
+      def each_boundary(str, boundary_type)
+        if block_given?
+          rules = compile_rules_for(locale, boundary_type)
+          match = nil
+          last_offset = 0
+          current_position = 0
+          search_str = str.dup
+
+          until search_str.size == 0
+            rule = rules.find { |rule| match = rule.match(search_str) }
+
+            if rule.boundary_symbol == :break
+              break_offset = current_position + match.boundary_offset
+              yield str[last_offset...break_offset]
+              last_offset = break_offset
+            end
+
+            search_str = search_str[match.boundary_offset..-1]
+            current_position += match.boundary_offset
+          end
+
+          if last_offset < (str.size - 1)
+            yield str[last_offset..-1]
+          end
+        else
+          to_enum(__method__, str, boundary_type)
+        end
+      end
+
+      # See the comment above exceptions_for. Basically, we only support exceptions
+      # for the "sentence" boundary type since the ULI JSON data doesn't distinguish
+      # between boundary types.
+      def compile_exception_rule_for(locale, boundary_type, boundary_name)
+        if boundary_type == "sentence"
+          cache_key = TwitterCldr::Utils.compute_cache_key(locale, boundary_type)
+          self.class.exceptions_cache[cache_key] ||= begin
+            exceptions = exceptions_for(locale, boundary_name)
+            regex_contents = exceptions.map { |exc| Regexp.escape(exc) }.join("|")
+            segmentation_parser.parse(
+              segmentation_tokenizer.tokenize("(?:#{regex_contents}) ×")
+            )
+          end
+        end
+      end
+
+      def self.exceptions_cache
+        @exceptions_cache ||= {}
+      end
+
+      # Grabs rules from segment_root, applies custom tailorings (our own, NOT from CLDR),
+      # and optionally integrates ULI exceptions.
+      def compile_rules_for(locale, boundary_type)
+        rules = self.class.rule_cache[boundary_type] ||= begin
+          boundary_name = boundary_name_for(boundary_type)
+          boundary_data = resource_for(boundary_name)
+          symbol_table = symbol_table_for(boundary_data)
+          root_rules = rules_for(boundary_data, symbol_table)
+
+          tailoring_boundary_data = tailoring_resource_for(locale, boundary_name)
+          tailoring_rules = rules_for(tailoring_boundary_data, symbol_table)
+          merge_rules(root_rules, tailoring_rules)
+        end
+
+        if use_uli_exceptions
+          exception_rule = compile_exception_rule_for(locale, boundary_type, boundary_name)
+          rules = rules.dup  # avoid modifying the cached rules
+          rules.insert(0, exception_rule)
+        end
+
+        rules
+      end
+
+      # replaces ruleset1's rules with rules with the same id from ruleset2
+      def merge_rules(ruleset1, ruleset2)
+        result = ruleset1.dup
+        ruleset2.each do |new_rule|
+          if existing_idx = result.find_index { |rule| rule.id == new_rule.id }
+            result[existing_idx] = new_rule
+          end
+        end
+        result
+      end
+
+      def self.rule_cache
+        @rule_cache ||= {}
+      end
+
+      def symbol_table_for(boundary_data)
+        table = TwitterCldr::Parsers::SymbolTable.new
+        boundary_data[:variables].each do |variable|
+          id = variable[:id].to_s
+          tokens = segmentation_tokenizer.tokenize(variable[:value])
+          # note: variables can be redefined (add replaces if key already exists)
+          table.add(id, resolve_symbols(tokens, table))
+        end
+        table
+      end
+
+      def resolve_symbols(tokens, symbol_table)
+        tokens.inject([]) do |ret, token|
+          if token.type == :variable
+            ret += symbol_table.fetch(token.value)
+          else
+            ret << token
+          end
+          ret
+        end
+      end
+
+      def rules_for(boundary_data, symbol_table)
+        boundary_data[:rules].map do |rule|
+          r = segmentation_parser.parse(
+            segmentation_tokenizer.tokenize(rule[:value]), {
+              :symbol_table => symbol_table
+            }
+          )
+
+          r.string = rule[:value]
+          r.id = rule[:id]
+          r
+        end
+      end
+
+      def self.segmentation_tokenizer
+        @segmentation_tokenizer ||= TwitterCldr::Tokenizers::SegmentationTokenizer.new
+      end
+
+      def segmentation_tokenizer
+        self.class.segmentation_tokenizer
+      end
+
+      def self.segmentation_parser
+        @segmentation_parser ||= TwitterCldr::Parsers::SegmentationParser.new
+      end
+
+      def segmentation_parser
+        self.class.segmentation_parser
+      end
+
+      def resource_for(boundary_name)
+        self.class.root_resource[:segments][boundary_name.to_sym]
+      end
+
+      def tailoring_resource_for(locale, boundary_name)
+        cache_key = TwitterCldr::Utils.compute_cache_key(locale, boundary_name)
+        self.class.tailoring_resource_cache[cache_key] ||= begin
+          res = TwitterCldr.get_resource("shared", "segments", "tailorings", locale)
+          res[locale][:segments][boundary_name.to_sym]
+        end
+      end
+
+      def self.tailoring_resource_cache
+        @tailoring_resource_cache ||= {}
+      end
+
+      def self.root_resource
+        @root_resource ||= TwitterCldr.get_resource("shared", "segments", "segments_root")
+      end
+
+      # The boundary_name param is not currently used since the ULI JSON resource that
+      # exceptions are generated from does not distinguish between boundary types. The
+      # XML version does, however, so the JSON will hopefully catch up at some point and
+      # we can make use of this second parameter. For the time being, compile_exception_rule_for
+      # (which calls this function) assumes a "sentence" boundary type.
+      def exceptions_for(locale, boundary_name)
+        self.class.exceptions_resource_cache[locale] ||= begin
+          TwitterCldr.get_resource("uli", "segments", locale)[locale][:exceptions]
+        rescue ArgumentError
+          []
+        end
+      end
+
+      def self.exceptions_resource_cache
+        @exceptions_resource_cache ||= {}
+      end
+
+    end
+  end
+end

data/lib/twitter_cldr/shared/calendar.rb

@@ -38,53 +38,77 @@ module TwitterCldr
       end
 
       def months(names_form = :wide, format = DEFAULT_FORMAT)
-        data = get_with_names_form(:months, names_form, format)
-        data && data.sort_by { |m| m.first }.map { |m| m.last }
+        cache_field_data(:months, names_form, format) do
+          data = get_with_names_form(:months, names_form, format)
+          data && data.sort_by { |m| m.first }.map { |m| m.last }
+        end
       end
 
       def weekdays(names_form = :wide, format = DEFAULT_FORMAT)
-        get_with_names_form(:days, names_form, format)
+        cache_field_data(:weekdays, names_form, format) do
+          get_with_names_form(:days, names_form, format)
+        end
       end
 
       def fields
-        get_data(:fields)
+        cache_field_data(:fields) do
+          get_data(:fields)
+        end
       end
 
       def quarters(names_form = :wide, format = DEFAULT_FORMAT)
-        get_with_names_form(:quarters, names_form, format)
+        cache_field_data(:quarters, names_form, format) do
+          get_with_names_form(:quarters, names_form, format)
+        end
       end
 
       def periods(names_form = :wide, format = DEFAULT_PERIOD_FORMAT)
-        get_with_names_form(:periods, names_form, format)
+        cache_field_data(:periods, names_form, format) do
+          get_with_names_form(:periods, names_form, format)
+        end
       end
 
       def eras(names_form = :name)
-        get_data(:eras)[names_form]
+        cache_field_data(:eras, names_form) do
+          get_data(:eras)[names_form]
+        end
       end
 
       def date_order(options = {})
-        get_order_for(TwitterCldr::Tokenizers::DateTokenizer, options)
+        get_order_for(TwitterCldr::DataReaders::DateDataReader, options)
       end
 
       def time_order(options = {})
-        get_order_for(TwitterCldr::Tokenizers::TimeTokenizer, options)
+        get_order_for(TwitterCldr::DataReaders::TimeDataReader, options)
       end
 
       def datetime_order(options = {})
-        get_order_for(TwitterCldr::Tokenizers::DateTimeTokenizer, options)
+        get_order_for(TwitterCldr::DataReaders::DateTimeDataReader, options)
       end
 
       private
 
+      def cache_field_data(field, names_form = nil, format = nil)
+        cache_key = TwitterCldr::Utils.compute_cache_key(locale, field, names_form, format)
+        field_cache[cache_key] ||= begin
+          yield
+        end
+      end
+
+      def field_cache
+        @@field_cache ||= {}
+      end
+
       def calendar_cache
         @@calendar_cache ||= {}
       end
 
-      def get_order_for(const, options)
-        opts = options.merge(:locale => @locale)
-        cache_key = TwitterCldr::Utils.compute_cache_key([const.to_s] + opts.keys.sort + opts.values.sort)
+      def get_order_for(data_reader_const, options)
+        key_array = [data_reader_const.to_s, @locale] + options.keys.sort + options.values.sort
+        cache_key = TwitterCldr::Utils.compute_cache_key(key_array)
         calendar_cache.fetch(cache_key) do |key|
-          tokens = const.new(opts).tokens
+          data_reader = data_reader_const.new(@locale, options)
+          tokens = data_reader.tokenizer.tokenize(data_reader.pattern)
           calendar_cache[cache_key] = resolve_methods(methods_for_tokens(tokens))
         end
       end

data/lib/twitter_cldr/shared/casefolder.rb

@@ -0,0 +1,210 @@
+# encoding: UTF-8
+
+# Copyright 2012 Twitter, Inc
+# http://www.apache.org/licenses/LICENSE-2.0
+
+module TwitterCldr
+  module Shared
+    class Casefolder
+      class << self
+
+        CASEFOLDING_REGEX_C = /\341\271\246|\317\236|\341\273\264|\342\204\252|\321\254|\352\235\273|\352\231\240|\342\263\206|\306\251|\323\272|\342\204\253|\304\234|\341\271\250|\317\240|\321\256|\341\273\266|\352\235\275|\352\231\242|\342\263\210|\323\274|\304\236|\352\235\276|\341\271\252|\306\254|\317\242|\310\272|\321\260|\341\273\270|\352\231\244|\342\263\212|\323\276|\310\273|\304\240|\352\236\200|\341\271\254|\306\256|\317\244|\321\262|\341\273\272|\352\231\246|\342\263\214|\306\257|\324\200|\310\275|\304\242|\352\236\202|\341\271\256|\317\246|\310\276|\342\204\262|\321\264|\341\273\274|\352\231\250|\342\263\216|\306\261|\324\202|\304\244|\352\236\204|\341\271\260|\306\262|\317\250|\321\266|\341\273\276|\352\231\252|\342\263\220|\306\263|\324\204|\341\202\240|\311\201|\304\246|\352\236\206|\317\252|\341\271\262|\321\270|\341\202\241|\352\231\254|\342\263\222|\306\265|\324\206|\311\203|\304\250|\341\202\242|\317\254|\341\271\264|\311\204|\321\272|\341\202\243|\342\263\224|\306\267|\324\210|\311\205|\304\252|\341\202\244|\306\270|\317\256|\341\271\266|\311\206|\321\274|\341\202\245|\352\236\213|\342\263\226|\324\212|\304\254|\341\202\246|\317\260|\341\271\270|\311\210|\321\276|\341\202\247|\352\236\215|\342\263\230|\324\214|\317\261|\304\256|\341\202\250|\306\274|\341\271\272|\311\212|\322\200|\341\274\210|\341\202\251|\342\263\232|\324\216|\341\274\211|\341\202\252|\352\236\220|\317\264|\341\271\274|\311\214|\341\274\212|\341\202\253|\342\263\234|\324\220|\317\265|\304\262|\341\274\213|\341\202\254|\352\236\222|\341\271\276|\341\274\214|\341\202\255|\311\216|\342\263\236|\324\222|\317\267|\304\264|\341\274\215|\341\202\256|\341\272\200|\341\274\216|\341\202\257|\342\263\240|\324\224|\317\271|\304\266|\341\274\217|\341\202\260|\307\204|\317\272|\341\272\202|\341\202\261|\342\263\242|\307\205|\324\226|\341\202\262|\341\272\204|\304\271|\322\212|\341\202\263|\307\207|\324\230|\317\275|\315\260|\341\202\264|\307\210|\317\276|\341\272\206|\304\273|\322\214|\341\202\265|\352\232\200|\324\232|\317\277|\315\262|\341\202\266|\320\200|\341\272\210|\307\212|\304\275|\322\216|\341\202\267|\352\232\202|\324\234|\320\201|\307\213|\341\202\270|\320\202|\341\272\212|\304\277|\322\220|\341\274\230|\341\202\271|\352\232\204|\320\203|\307\215|\324\236|\341\274\231|\315\266|\341\202\272|\352\236\240|\342\263\253|\320\204|\341\272\214|\305\201|\322\222|\341\274\232|\341\202\273|\352\232\206|\320\205|\307\217|\324\240|\341\274\233|\341\202\274|\341\270\200|\352\236\242|\342\263\255|\302\265|\320\206|\341\272\216|\342\261\240|\305\203|\322\224|\341\274\234|\341\202\275|\352\232\210|\320\207|\307\221|\324\242|\341\274\235|\341\202\276|\341\270\202|\352\236\244|\320\210|\341\272\220|\342\261\242|\305\205|\322\226|\341\202\277|\352\232\212|\320\211|\307\223|\324\244|\342\261\243|\341\203\200|\341\270\204|\352\236\246|\320\212|\341\272\222|\342\261\244|\322\230|\341\203\201|\305\207|\352\232\214|\342\263\262|\320\213|\307\225|\324\246|\341\203\202|\341\270\206|\352\236\250|\320\214|\341\272\224|\322\232|\341\203\203|\352\232\216|\320\215|\307\227|\342\261\247|\341\203\204|\341\270\210|\305\212|\352\236\252|\320\216|\341\203\205|\322\234|\352\232\220|\320\217|\307\231|\342\261\251|\341\270\212|\305\214|\320\220|\341\203\207|\322\236|\352\232\222|\303\200|\320\221|\307\233|\342\261\253|\341\270\214|\305\216|\303\201|\320\222|\341\274\250|\322\240|\352\232\224|\303\202|\320\223|\341\272\233|\352\234\242|\342\261\255|\341\274\251|\316\206|\341\270\216|\305\220|\303\203|\320\224|\307\236|\342\261\256|\341\274\252|\342\205\240|\322\242|\352\232\226|\341\276\270|\320\225|\303\204|\360\220\220\200|\352\234\244|\342\261\257|\341\274\253|\316\210|\341\270\220|\342\205\241|\305\222|\341\276\271|\320\226|\307\240|\324\261|\303\205|\360\220\220\201|\342\261\260|\341\274\254|\316\211|\341\203\215|\342\205\242|\322\244|\320\227|\324\262|\303\206|\341\276\272|\360\220\220\202|\352\234\246|\341\274\255|\316\212|\341\270\222|\342\205\243|\305\224|\341\272\240|\307\242|\324\263|\303\207|\341\276\273|\320\230|\360\220\220\203|\342\261\262|\341\274\256|\342\205\244|\322\246|\324\264|\303\210|\320\231|\360\220\220\204|\352\234\250|\341\274\257|\316\214|\341\270\224|\342\205\245|\342\222\266|\305\226|\341\272\242|\307\244|\324\265|\303\211|\320\232|\360\220\220\205|\342\205\246|\342\222\267|\322\250|\324\266|\303\212|\341\276\276|\320\233|\360\220\220\206|\352\234\252|\342\261\265|\316\216|\341\270\226|\342\205\247|\342\222\270|\305\230|\341\272\244|\307\246|\324\267|\303\213|\320\234|\360\220\220\207|\316\217|\342\205\250|\342\222\271|\322\252|\324\270|\303\214|\320\235|\360\220\220\210|\352\234\254|\341\270\230|\342\205\251|\342\222\272|\305\232|\341\272\246|\307\250|\324\271|\303\215|\320\236|\360\220\220\211|\316\221|\342\205\252|\342\222\273|\322\254|\324\272|\303\216|\320\237|\360\220\220\212|\352\234\256|\316\222|\341\270\232|\342\205\253|\342\222\274|\305\234|\101|\341\272\250|\307\252|\324\273|\303\217|\320\240|\360\220\220\213|\316\223|\342\205\254|\342\222\275|\322\256|\102|\324\274|\303\220|\320\241|\360\220\220\214|\316\224|\341\270\234|\342\205\255|\342\222\276|\305\236|\103|\341\272\252|\307\254|\324\275|\303\221|\320\242|\360\220\220\215|\342\205\256|\342\222\277|\322\260|\104|\341\274\270|\316\225|\324\276|\303\222|\320\243|\360\220\220\216|\352\234\262|\341\270\236|\342\205\257|\342\223\200|\305\240|\105|\341\274\271|\316\226|\341\272\254|\307\256|\324\277|\303\223|\320\244|\360\220\220\217|\342\261\276|\342\223\201|\322\262|\106|\341\274\272|\316\227|\325\200|\303\224|\341\277\210|\320\245|\360\220\220\220|\352\234\264|\342\261\277|\341\270\240|\342\223\202|\305\242|\107|\341\274\273|\316\230|\341\272\256|\325\201|\303\225|\341\277\211|\320\246|\360\220\220\221|\342\262\200|\342\223\203|\322\264|\110|\341\274\274|\316\231|\307\261|\325\202|\303\226|\341\277\212|\320\247|\360\220\220\222|\352\234\266|\341\270\242|\342\223\204|\305\244|\111|\341\274\275|\316\232|\341\272\260|\307\262|\325\203|\341\277\213|\320\250|\360\220\220\223|\342\262\202|\342\223\205|\322\266|\112|\341\274\276|\316\233|\325\204|\303\230|\320\251|\360\220\220\224|\352\234\270|\341\270\244|\342\223\206|\305\246|\113|\341\274\277|\316\234|\341\272\262|\307\264|\325\205|\303\231|\320\252|\360\220\220\225|\342\262\204|\342\223\207|\322\270|\114|\316\235|\325\206|\303\232|\320\253|\360\220\220\226|\352\234\272|\341\270\246|\342\223\210|\305\250|\115|\316\236|\307\266|\325\207|\303\233|\320\254|\341\272\264|\360\220\220\227|\342\262\206|\342\223\211|\322\272|\116|\316\237|\307\267|\325\210|\303\234|\320\255|\360\220\220\230|\352\234\274|\341\270\250|\342\223\212|\305\252|\117|\316\240|\307\270|\325\211|\303\235|\320\256|\341\272\266|\360\220\220\231|\342\262\210|\342\223\213|\322\274|\120|\316\241|\325\212|\303\236|\320\257|\360\220\220\232|\352\234\276|\341\270\252|\342\223\214|\305\254|\121|\357\274\241|\307\272|\325\213|\341\272\270|\360\220\220\233|\342\262\212|\342\223\215|\322\276|\122|\316\243|\357\274\242|\325\214|\360\220\220\234|\352\235\200|\341\270\254|\342\223\216|\305\256|\123|\316\244|\357\274\243|\307\274|\325\215|\341\272\272|\360\220\220\235|\342\262\214|\342\223\217|\323\200|\124|\341\275\210|\316\245|\357\274\244|\325\216|\360\220\220\236|\352\235\202|\341\270\256|\305\260|\323\201|\125|\341\275\211|\316\246|\357\274\245|\342\260\200|\307\276|\325\217|\341\272\274|\360\220\220\237|\342\262\216|\126|\341\275\212|\316\247|\357\274\246|\342\260\201|\325\220|\341\277\230|\360\220\220\240|\352\235\204|\341\270\260|\305\262|\323\203|\127|\341\275\213|\316\250|\357\274\247|\310\200|\325\221|\341\277\231|\341\272\276|\342\260\202|\360\220\220\241|\342\262\220|\130|\341\275\214|\316\251|\357\274\250|\325\222|\341\277\232|\342\260\203|\360\220\220\242|\352\235\206|\342\206\203|\305\264|\323\205|\131|\341\275\215|\316\252|\341\270\262|\357\274\251|\310\202|\325\223|\341\277\233|\341\273\200|\342\260\204|\360\220\220\243|\342\262\222|\132|\316\253|\357\274\252|\325\224|\342\260\205|\360\220\220\244|\352\235\210|\305\266|\323\207|\341\270\264|\357\274\253|\310\204|\325\225|\341\273\202|\342\260\206|\360\220\220\245|\342\262\224|\357\274\254|\325\226|\342\260\207|\360\220\220\246|\352\235\212|\305\270|\323\211|\341\270\266|\357\274\255|\310\206|\341\273\204|\342\260\210|\360\220\220\247|\342\262\226|\305\271|\357\274\256|\342\260\211|\352\235\214|\323\213|\341\270\270|\357\274\257|\310\210|\341\273\206|\342\260\212|\342\262\230|\305\273|\357\274\260|\342\260\213|\352\235\216|\323\215|\341\270\272|\357\274\261|\310\212|\341\273\210|\342\260\214|\342\262\232|\305\275|\357\274\262|\342\260\215|\352\235\220|\341\270\274|\357\274\263|\341\273\212|\342\260\216|\310\214|\342\262\234|\305\277|\323\220|\357\274\264|\342\260\217|\352\235\222|\341\275\231|\341\270\276|\357\274\265|\341\273\214|\342\260\220|\310\216|\342\262\236|\306\201|\323\222|\357\274\266|\341\277\250|\342\260\221|\352\235\224|\306\202|\341\275\233|\341\271\200|\357\274\267|\341\277\251|\341\273\216|\342\260\222|\310\220|\342\262\240|\323\224|\357\274\270|\341\277\252|\342\260\223|\352\235\226|\306\204|\341\275\235|\341\271\202|\357\274\271|\341\277\253|\341\273\220|\342\260\224|\310\222|\342\262\242|\323\226|\357\274\272|\341\277\254|\342\260\225|\352\235\230|\306\206|\341\275\237|\341\271\204|\341\273\222|\342\260\226|\310\224|\342\262\244|\306\207|\323\230|\342\260\227|\352\235\232|\341\271\206|\341\273\224|\342\260\230|\310\226|\352\231\200|\342\262\246|\323\232|\306\211|\342\260\231|\352\235\234|\341\271\210|\306\212|\341\273\226|\342\260\232|\310\230|\352\231\202|\342\262\250|\306\213|\323\234|\342\260\233|\352\235\236|\317\202|\341\271\212|\341\273\230|\342\260\234|\310\232|\352\231\204|\342\262\252|\323\236|\304\200|\342\260\235|\352\235\240|\341\271\214|\306\216|\341\273\232|\342\260\236|\310\234|\352\231\206|\342\262\254|\341\275\250|\306\217|\323\240|\342\260\237|\304\202|\352\235\242|\341\275\251|\341\271\216|\306\220|\342\260\240|\341\273\234|\310\236|\352\231\210|\342\262\256|\341\275\252|\306\221|\323\242|\342\260\241|\304\204|\341\277\270|\352\235\244|\341\275\253|\341\271\220|\342\260\242|\341\277\271|\341\273\236|\310\240|\352\231\212|\342\262\260|\341\275\254|\306\223|\323\244|\342\260\243|\341\277\272|\304\206|\352\235\246|\341\275\255|\341\271\222|\306\224|\342\260\244|\341\273\240|\310\242|\341\277\273|\352\231\214|\342\262\262|\341\275\256|\323\246|\342\260\245|\304\210|\352\235\250|\341\275\257|\341\271\224|\306\226|\342\260\246|\341\273\242|\310\244|\352\231\216|\342\262\264|\306\227|\323\250|\342\260\247|\304\212|\352\235\252|\341\271\226|\306\230|\342\260\250|\341\273\244|\310\246|\352\231\220|\342\262\266|\317\217|\323\252|\342\260\251|\304\214|\352\235\254|\317\220|\341\271\230|\342\260\252|\341\273\246|\310\250|\352\231\222|\342\262\270|\317\221|\323\254|\342\260\253|\304\216|\352\235\256|\341\271\232|\306\234|\342\260\254|\341\273\250|\315\205|\310\252|\321\240|\352\231\224|\342\262\272|\306\235|\323\256|\342\260\255|\304\220|\341\271\234|\342\260\256|\341\273\252|\310\254|\321\242|\352\231\226|\342\262\274|\317\225|\306\237|\323\260|\304\222|\341\271\236|\306\240|\317\226|\341\273\254|\310\256|\321\244|\352\231\230|\342\262\276|\323\262|\304\224|\341\271\240|\306\242|\317\230|\341\273\256|\310\260|\321\246|\352\231\232|\342\263\200|\323\264|\304\226|\341\271\242|\306\244|\317\232|\341\273\260|\310\262|\342\204\246|\321\250|\352\231\234|\342\263\202|\323\266|\304\230|\341\271\244|\306\246|\317\234|\341\273\262|\321\252|\352\235\271|\352\231\236|\342\263\204|\306\247|\323\270|\304\232/
+        CASEFOLDING_REGEX_F = /\341\277\263|\341\276\224|\341\276\201|\326\207|\341\276\247|\357\254\225|\357\254\202|\341\277\227|\341\277\204|\316\220|\341\275\222|\341\276\236|\304\260|\341\276\213|\341\277\264|\341\276\202|\341\276\250|\341\272\236|\341\276\225|\357\254\226|\357\254\203|\341\276\237|\341\276\214|\341\276\262|\341\277\242|\341\276\274|\341\276\203|\341\276\251|\341\276\226|\357\254\227|\357\254\204|\341\277\206|\341\276\263|\341\272\226|\341\276\215|\307\260|\341\275\224|\341\276\240|\341\277\266|\341\277\243|\341\276\252|\341\276\227|\341\276\204|\357\254\205|\341\277\207|\341\276\264|\341\272\227|\341\276\216|\341\276\241|\341\277\267|\341\277\244|\316\260|\341\276\230|\341\276\205|\341\276\253|\357\254\206|\341\275\226|\341\276\242|\341\272\230|\341\276\217|\341\277\222|\341\276\231|\303\237|\341\276\206|\341\276\254|\341\276\266|\341\276\243|\341\272\231|\341\276\220|\341\277\246|\341\277\223|\341\276\207|\341\276\255|\341\276\232|\341\276\267|\305\211|\341\276\244|\341\272\232|\341\276\221|\341\277\247|\341\276\210|\341\276\256|\341\276\233|\341\276\222|\341\276\245|\357\254\223|\357\254\200|\341\277\202|\341\276\211|\341\276\257|\341\275\220|\341\276\234|\341\277\262|\341\277\214|\341\276\223|\341\276\200|\341\276\246|\357\254\224|\357\254\201|\341\277\274|\341\277\226|\341\277\203|\341\276\235|\341\276\212/
+        CASEFOLDING_REGEX_S = /\341\276\232|\341\276\217|\341\277\214|\341\276\253|\341\276\212|\341\276\274|\341\276\233|\341\272\236|\341\276\254|\341\276\213|\341\276\234|\341\276\255|\341\276\214|\341\276\250|\341\276\235|\341\276\256|\341\276\230|\341\276\215|\341\276\251|\341\276\236|\341\276\210|\341\277\274|\341\276\257|\341\276\231|\341\276\216|\341\276\252|\341\276\237|\341\276\211/
+        CASEFOLDING_REGEX_T = /\304\260|\111/
+
+        CASEFOLDING_HASH = {
+          8065=>[7937, 953], 7782=>[7783], 990=>[991], 1415=>[1381, 1410], 7924=>[7925], 8490=>[107], 1132=>[1133], 8066=>[7938, 953], 
+          42875=>[42876], 425=>[643], 1274=>[1275], 42592=>[42593], 11462=>[11463], 8491=>[229], 284=>[285], 8067=>[7939, 953], 
+          7784=>[7785], 992=>[993], 1134=>[1135], 7926=>[7927], 8068=>[7940, 953], 42877=>[7545], 1276=>[1277], 42594=>[42595], 
+          11464=>[11465], 286=>[287], 8069=>[7941, 953], 7786=>[7787], 42878=>[42879], 428=>[429], 994=>[995], 570=>[11365], 
+          1136=>[1137], 7928=>[7929], 8070=>[7942, 953], 1278=>[1279], 42596=>[42597], 11466=>[11467], 571=>[572], 288=>[289], 
+          8071=>[7943, 953], 7788=>[7789], 42880=>[42881], 430=>[648], 996=>[997], 1138=>[1139], 7930=>[7931], 8072=>[8064], 
+          431=>[432], 1280=>[1281], 42598=>[42599], 11468=>[11469], 573=>[410], 290=>[291], 8073=>[8065], 7790=>[7791], 
+          42882=>[42883], 998=>[999], 574=>[11366], 8498=>[8526], 1140=>[1141], 7932=>[7933], 8074=>[8066], 433=>[650], 
+          1282=>[1283], 42600=>[42601], 11470=>[11471], 292=>[293], 8075=>[8067], 7792=>[7793], 42884=>[42885], 434=>[651], 
+          1000=>[1001], 1142=>[1143], 7934=>[7935], 8076=>[8068], 435=>[436], 1284=>[1285], 42602=>[42603], 11472=>[11473], 
+          4256=>[11520], 577=>[578], 294=>[295], 8077=>[8069], 42886=>[42887], 1002=>[1003], 7794=>[7795], 1144=>[1145], 
+          4257=>[11521], 8078=>[8070], 437=>[438], 1286=>[1287], 42604=>[42605], 11474=>[11475], 579=>[384], 296=>[297], 
+          4258=>[11522], 8079=>[8071], 1004=>[1005], 7796=>[7797], 580=>[649], 1146=>[1147], 4259=>[11523], 8080=>[7968, 953], 
+          439=>[658], 1288=>[1289], 11476=>[11477], 64256=>[102, 102], 581=>[652], 298=>[299], 4260=>[11524], 8081=>[7969, 953], 
+          440=>[441], 1006=>[1007], 7798=>[7799], 64257=>[102, 105], 582=>[583], 1148=>[1149], 4261=>[11525], 8082=>[7970, 953], 
+          42891=>[42892], 1290=>[1291], 11478=>[11479], 64258=>[102, 108], 300=>[301], 4262=>[11526], 8083=>[7971, 953], 1008=>[954], 
+          7800=>[7801], 64259=>[102, 102, 105], 584=>[585], 1150=>[1151], 4263=>[11527], 8084=>[7972, 953], 42893=>[613], 1292=>[1293], 
+          1009=>[961], 11480=>[11481], 64260=>[102, 102, 108], 302=>[303], 4264=>[11528], 8085=>[7973, 953], 444=>[445], 7802=>[7803], 
+          64261=>[115, 116], 586=>[587], 1152=>[1153], 7944=>[7936], 4265=>[11529], 8086=>[7974, 953], 1294=>[1295], 11482=>[11483], 
+          64262=>[115, 116], 304=>[105, 775], 7945=>[7937], 4266=>[11530], 8087=>[7975, 953], 42896=>[42897], 1012=>[952], 7804=>[7805], 
+          588=>[589], 7946=>[7938], 4267=>[11531], 8088=>[8080], 1296=>[1297], 1013=>[949], 11484=>[11485], 306=>[307], 
+          7947=>[7939], 4268=>[11532], 8089=>[8081], 42898=>[42899], 7806=>[7807], 7948=>[7940], 4269=>[11533], 590=>[591], 
+          8090=>[8082], 1298=>[1299], 1015=>[1016], 11486=>[11487], 308=>[309], 7949=>[7941], 4270=>[11534], 8091=>[8083], 
+          7808=>[7809], 7950=>[7942], 4271=>[11535], 8092=>[8084], 1300=>[1301], 1017=>[1010], 11488=>[11489], 310=>[311], 
+          7951=>[7943], 4272=>[11536], 8093=>[8085], 452=>[454], 1018=>[1019], 7810=>[7811], 4273=>[11537], 8094=>[8086], 
+          453=>[454], 1302=>[1303], 11490=>[11491], 4274=>[11538], 8095=>[8087], 7812=>[7813], 313=>[314], 1162=>[1163], 
+          4275=>[11539], 8096=>[8032, 953], 455=>[457], 1304=>[1305], 1021=>[891], 880=>[881], 4276=>[11540], 8097=>[8033, 953], 
+          456=>[457], 1022=>[892], 7814=>[7815], 315=>[316], 1164=>[1165], 4277=>[11541], 8098=>[8034, 953], 1306=>[1307], 
+          42624=>[42625], 1023=>[893], 882=>[883], 4278=>[11542], 8099=>[8035, 953], 1024=>[1104], 7816=>[7817], 458=>[460], 
+          64275=>[1396, 1398], 317=>[318], 1166=>[1167], 4279=>[11543], 8100=>[8036, 953], 1308=>[1309], 42626=>[42627], 1025=>[1105], 
+          459=>[460], 64276=>[1396, 1381], 4280=>[11544], 8101=>[8037, 953], 1026=>[1106], 7818=>[7819], 64277=>[1396, 1387], 319=>[320], 
+          1168=>[1169], 7960=>[7952], 4281=>[11545], 8102=>[8038, 953], 42628=>[42629], 1027=>[1107], 461=>[462], 1310=>[1311], 
+          64278=>[1406, 1398], 7961=>[7953], 886=>[887], 4282=>[11546], 8103=>[8039, 953], 1028=>[1108], 11499=>[11500], 7820=>[7821], 
+          42912=>[42913], 64279=>[1396, 1389], 321=>[322], 1170=>[1171], 7962=>[7954], 4283=>[11547], 8104=>[8096], 42630=>[42631], 
+          1029=>[1109], 463=>[464], 1312=>[1313], 7963=>[7955], 4284=>[11548], 7680=>[7681], 8105=>[8097], 181=>[956], 
+          1030=>[1110], 11501=>[11502], 7822=>[7823], 42914=>[42915], 323=>[324], 1172=>[1173], 7964=>[7956], 11360=>[11361], 
+          4285=>[11549], 8106=>[8098], 42632=>[42633], 1031=>[1111], 465=>[466], 1314=>[1315], 7965=>[7957], 4286=>[11550], 
+          7682=>[7683], 8107=>[8099], 1032=>[1112], 7824=>[7825], 42916=>[42917], 325=>[326], 1174=>[1175], 11362=>[619], 
+          4287=>[11551], 8108=>[8100], 42634=>[42635], 1033=>[1113], 467=>[468], 1316=>[1317], 11363=>[7549], 4288=>[11552], 
+          7684=>[7685], 8109=>[8101], 1034=>[1114], 7826=>[7827], 42918=>[42919], 1176=>[1177], 11364=>[637], 4289=>[11553], 
+          327=>[328], 8110=>[8102], 42636=>[42637], 1035=>[1115], 11506=>[11507], 469=>[470], 1318=>[1319], 4290=>[11554], 
+          7686=>[7687], 8111=>[8103], 1036=>[1116], 7828=>[7829], 42920=>[42921], 329=>[700, 110], 1178=>[1179], 4291=>[11555], 
+          42638=>[42639], 1037=>[1117], 471=>[472], 11367=>[11368], 4292=>[11556], 7688=>[7689], 330=>[331], 7830=>[104, 817], 
+          1038=>[1118], 42922=>[614], 4293=>[11557], 1180=>[1181], 7831=>[116, 776], 8114=>[8048, 953], 1039=>[1119], 473=>[474], 
+          42640=>[42641], 11369=>[11370], 7690=>[7691], 332=>[333], 7832=>[119, 778], 8115=>[945, 953], 1040=>[1072], 4295=>[11559], 
+          1182=>[1183], 7833=>[121, 778], 8116=>[940, 953], 192=>[224], 1041=>[1073], 475=>[476], 42642=>[42643], 11371=>[11372], 
+          7692=>[7693], 334=>[335], 7834=>[97, 702], 193=>[225], 1042=>[1074], 7976=>[7968], 1184=>[1185], 8118=>[945, 834], 
+          194=>[226], 1043=>[1075], 7835=>[7777], 42644=>[42645], 7977=>[7969], 902=>[940], 11373=>[593], 7694=>[7695], 
+          42786=>[42787], 336=>[337], 8119=>[945, 834, 953], 195=>[227], 1044=>[1076], 478=>[479], 7978=>[7970], 11374=>[625], 
+          8544=>[8560], 1186=>[1187], 8120=>[8112], 1045=>[1077], 42646=>[42647], 196=>[228], 7979=>[7971], 904=>[941], 
+          11375=>[592], 7696=>[7697], 8545=>[8561], 42788=>[42789], 66560=>[66600], 338=>[339], 7838=>[223], 8121=>[8113], 
+          1046=>[1078], 480=>[481], 1329=>[1377], 197=>[229], 7980=>[7972], 905=>[942], 11376=>[594], 4301=>[11565], 
+          8546=>[8562], 66561=>[66601], 1188=>[1189], 1047=>[1079], 1330=>[1378], 198=>[230], 8122=>[8048], 7981=>[7973], 
+          906=>[943], 7698=>[7699], 8547=>[8563], 42790=>[42791], 66562=>[66602], 340=>[341], 7840=>[7841], 482=>[483], 
+          1331=>[1379], 199=>[231], 8123=>[8049], 1048=>[1080], 7982=>[7974], 11378=>[11379], 8548=>[8564], 66563=>[66603], 
+          1190=>[1191], 8124=>[8115], 1332=>[1380], 200=>[232], 1049=>[1081], 7983=>[7975], 908=>[972], 7700=>[7701], 
+          8549=>[8565], 9398=>[9424], 42792=>[42793], 66564=>[66604], 342=>[343], 7842=>[7843], 484=>[485], 1333=>[1381], 
+          201=>[233], 1050=>[1082], 8550=>[8566], 9399=>[9425], 66565=>[66605], 1192=>[1193], 1334=>[1382], 202=>[234], 
+          8126=>[953], 1051=>[1083], 910=>[973], 11381=>[11382], 7702=>[7703], 8551=>[8567], 9400=>[9426], 42794=>[42795], 
+          66566=>[66606], 344=>[345], 7844=>[7845], 486=>[487], 1335=>[1383], 203=>[235], 1052=>[1084], 911=>[974], 
+          8552=>[8568], 9401=>[9427], 66567=>[66607], 1194=>[1195], 1336=>[1384], 204=>[236], 1053=>[1085], 912=>[953, 776, 769], 
+          7704=>[7705], 8553=>[8569], 9402=>[9428], 42796=>[42797], 66568=>[66608], 346=>[347], 7846=>[7847], 488=>[489], 
+          1337=>[1385], 205=>[237], 1054=>[1086], 913=>[945], 8554=>[8570], 9403=>[9429], 66569=>[66609], 1196=>[1197], 
+          8130=>[8052, 953], 1338=>[1386], 206=>[238], 1055=>[1087], 914=>[946], 7706=>[7707], 8555=>[8571], 9404=>[9430], 
+          42798=>[42799], 66570=>[66610], 348=>[349], 65=>[97], 8131=>[951, 953], 7848=>[7849], 490=>[491], 1339=>[1387], 
+          207=>[239], 1056=>[1088], 915=>[947], 8556=>[8572], 9405=>[9431], 66571=>[66611], 1198=>[1199], 66=>[98], 
+          8132=>[942, 953], 1340=>[1388], 208=>[240], 1057=>[1089], 916=>[948], 7708=>[7709], 8557=>[8573], 9406=>[9432], 
+          66572=>[66612], 350=>[351], 67=>[99], 7850=>[7851], 492=>[493], 1341=>[1389], 209=>[241], 1058=>[1090], 
+          8558=>[8574], 9407=>[9433], 66573=>[66613], 1200=>[1201], 68=>[100], 7992=>[7984], 917=>[949], 8134=>[951, 834], 
+          1342=>[1390], 210=>[242], 1059=>[1091], 7710=>[7711], 8559=>[8575], 9408=>[9434], 42802=>[42803], 66574=>[66614], 
+          352=>[353], 69=>[101], 7993=>[7985], 918=>[950], 8135=>[951, 834, 953], 7852=>[7853], 494=>[495], 1343=>[1391], 
+          211=>[243], 1060=>[1092], 11390=>[575], 9409=>[9435], 66575=>[66615], 1202=>[1203], 70=>[102], 7994=>[7986], 
+          919=>[951], 1344=>[1392], 212=>[244], 8136=>[8050], 1061=>[1093], 11391=>[576], 7712=>[7713], 9410=>[9436], 
+          42804=>[42805], 66576=>[66616], 354=>[355], 71=>[103], 7995=>[7987], 920=>[952], 496=>[106, 780], 7854=>[7855], 
+          1345=>[1393], 213=>[245], 8137=>[8051], 1062=>[1094], 11392=>[11393], 9411=>[9437], 66577=>[66617], 1204=>[1205], 
+          72=>[104], 7996=>[7988], 921=>[953], 497=>[499], 1346=>[1394], 214=>[246], 8138=>[8052], 1063=>[1095], 
+          7714=>[7715], 9412=>[9438], 42806=>[42807], 66578=>[66618], 356=>[357], 73=>[105], 7997=>[7989], 922=>[954], 
+          7856=>[7857], 498=>[499], 1347=>[1395], 8139=>[8053], 1064=>[1096], 11394=>[11395], 9413=>[9439], 66579=>[66619], 
+          1206=>[1207], 74=>[106], 7998=>[7990], 923=>[955], 8140=>[8131], 1348=>[1396], 216=>[248], 1065=>[1097], 
+          7716=>[7717], 9414=>[9440], 42808=>[42809], 66580=>[66620], 358=>[359], 75=>[107], 7999=>[7991], 924=>[956], 
+          7858=>[7859], 500=>[501], 1349=>[1397], 217=>[249], 1066=>[1098], 11396=>[11397], 9415=>[9441], 66581=>[66621], 
+          1208=>[1209], 76=>[108], 925=>[957], 1350=>[1398], 218=>[250], 1067=>[1099], 7718=>[7719], 9416=>[9442], 
+          42810=>[42811], 66582=>[66622], 360=>[361], 77=>[109], 926=>[958], 502=>[405], 1351=>[1399], 219=>[251], 
+          1068=>[1100], 7860=>[7861], 9417=>[9443], 66583=>[66623], 1210=>[1211], 78=>[110], 927=>[959], 11398=>[11399], 
+          503=>[447], 1352=>[1400], 220=>[252], 1069=>[1101], 7720=>[7721], 9418=>[9444], 42812=>[42813], 66584=>[66624], 
+          362=>[363], 79=>[111], 928=>[960], 504=>[505], 1353=>[1401], 221=>[253], 1070=>[1102], 7862=>[7863], 
+          9419=>[9445], 66585=>[66625], 1212=>[1213], 80=>[112], 929=>[961], 11400=>[11401], 8146=>[953, 776, 768], 1354=>[1402], 
+          222=>[254], 1071=>[1103], 7722=>[7723], 9420=>[9446], 42814=>[42815], 66586=>[66626], 364=>[365], 81=>[113], 
+          8147=>[953, 776, 769], 223=>[115, 115], 506=>[507], 1355=>[1403], 65313=>[65345], 7864=>[7865], 9421=>[9447], 66587=>[66627], 
+          1214=>[1215], 82=>[114], 931=>[963], 11402=>[11403], 1356=>[1404], 65314=>[65346], 7724=>[7725], 9422=>[9448], 
+          42816=>[42817], 66588=>[66628], 366=>[367], 83=>[115], 932=>[964], 508=>[509], 1357=>[1405], 65315=>[65347], 
+          7866=>[7867], 9423=>[9449], 66589=>[66629], 1216=>[1231], 84=>[116], 8008=>[8000], 933=>[965], 11404=>[11405], 
+          8150=>[953, 834], 1358=>[1406], 65316=>[65348], 7726=>[7727], 42818=>[42819], 66590=>[66630], 368=>[369], 1217=>[1218], 
+          85=>[117], 8009=>[8001], 934=>[966], 8151=>[953, 776, 834], 11264=>[11312], 510=>[511], 1359=>[1407], 65317=>[65349], 
+          7868=>[7869], 66591=>[66631], 86=>[118], 8010=>[8002], 935=>[967], 11406=>[11407], 11265=>[11313], 1360=>[1408], 
+          8152=>[8144], 65318=>[65350], 7728=>[7729], 42820=>[42821], 66592=>[66632], 370=>[371], 1219=>[1220], 87=>[119], 
+          8011=>[8003], 936=>[968], 512=>[513], 1361=>[1409], 8153=>[8145], 65319=>[65351], 7870=>[7871], 11266=>[11314], 
+          66593=>[66633], 88=>[120], 8012=>[8004], 937=>[969], 11408=>[11409], 1362=>[1410], 8154=>[8054], 65320=>[65352], 
+          11267=>[11315], 8579=>[8580], 42822=>[42823], 66594=>[66634], 372=>[373], 1221=>[1222], 89=>[121], 8013=>[8005], 
+          938=>[970], 7730=>[7731], 514=>[515], 1363=>[1411], 8155=>[8055], 65321=>[65353], 7872=>[7873], 11268=>[11316], 
+          66595=>[66635], 90=>[122], 939=>[971], 11410=>[11411], 1364=>[1412], 65322=>[65354], 11269=>[11317], 42824=>[42825], 
+          66596=>[66636], 374=>[375], 1223=>[1224], 7732=>[7733], 516=>[517], 1365=>[1413], 65323=>[65355], 7874=>[7875], 
+          11270=>[11318], 8016=>[965, 787], 66597=>[66637], 11412=>[11413], 1366=>[1414], 65324=>[65356], 11271=>[11319], 42826=>[42827], 
+          66598=>[66638], 376=>[255], 1225=>[1226], 7734=>[7735], 518=>[519], 65325=>[65357], 7876=>[7877], 11272=>[11320], 
+          8018=>[965, 787, 768], 66599=>[66639], 377=>[378], 11414=>[11415], 65326=>[65358], 11273=>[11321], 944=>[965, 776, 769], 42828=>[42829], 
+          1227=>[1228], 7736=>[7737], 520=>[521], 65327=>[65359], 7878=>[7879], 11274=>[11322], 8020=>[965, 787, 769], 379=>[380], 
+          11416=>[11417], 8162=>[965, 776, 768], 65328=>[65360], 11275=>[11323], 42830=>[42831], 1229=>[1230], 7738=>[7739], 8163=>[965, 776, 769], 
+          522=>[523], 65329=>[65361], 7880=>[7881], 11276=>[11324], 8022=>[965, 787, 834], 381=>[382], 11418=>[11419], 8164=>[961, 787], 
+          65330=>[65362], 11277=>[11325], 42832=>[42833], 7740=>[7741], 65331=>[65363], 7882=>[7883], 11278=>[11326], 524=>[525], 
+          383=>[115], 1232=>[1233], 11420=>[11421], 8166=>[965, 834], 65332=>[65364], 11279=>[11327], 42834=>[42835], 8025=>[8017], 
+          7742=>[7743], 8167=>[965, 776, 834], 526=>[527], 11280=>[11328], 7884=>[7885], 65333=>[65365], 1234=>[1235], 385=>[595], 
+          11422=>[11423], 11281=>[11329], 8168=>[8160], 65334=>[65366], 7744=>[7745], 8027=>[8019], 386=>[387], 42836=>[42837], 
+          528=>[529], 11282=>[11330], 7886=>[7887], 8169=>[8161], 65335=>[65367], 1236=>[1237], 11424=>[11425], 11283=>[11331], 
+          8170=>[8058], 65336=>[65368], 7746=>[7747], 8029=>[8021], 388=>[389], 42838=>[42839], 530=>[531], 11284=>[11332], 
+          7888=>[7889], 8171=>[8059], 65337=>[65369], 1238=>[1239], 11426=>[11427], 11285=>[11333], 8172=>[8165], 65338=>[65370], 
+          7748=>[7749], 8031=>[8023], 390=>[596], 42840=>[42841], 532=>[533], 11286=>[11334], 7890=>[7891], 1240=>[1241], 
+          391=>[392], 11428=>[11429], 11287=>[11335], 7750=>[7751], 42842=>[42843], 534=>[535], 11288=>[11336], 7892=>[7893], 
+          393=>[598], 1242=>[1243], 11430=>[11431], 42560=>[42561], 11289=>[11337], 394=>[599], 7752=>[7753], 42844=>[42845], 
+          536=>[537], 11290=>[11338], 7894=>[7895], 1244=>[1245], 395=>[396], 11432=>[11433], 42562=>[42563], 8178=>[8060, 953], 
+          11291=>[11339], 7754=>[7755], 962=>[963], 42846=>[42847], 8179=>[969, 953], 538=>[539], 11292=>[11340], 7896=>[7897], 
+          1246=>[1247], 11434=>[11435], 42564=>[42565], 8180=>[974, 953], 11293=>[11341], 256=>[257], 398=>[477], 7756=>[7757], 
+          42848=>[42849], 540=>[541], 11294=>[11342], 7898=>[7899], 1248=>[1249], 399=>[601], 8040=>[8032], 11436=>[11437], 
+          42566=>[42567], 8182=>[969, 834], 258=>[259], 11295=>[11343], 400=>[603], 7758=>[7759], 8041=>[8033], 42850=>[42851], 
+          8183=>[969, 834, 953], 542=>[543], 7900=>[7901], 11296=>[11344], 1250=>[1251], 401=>[402], 8042=>[8034], 11438=>[11439], 
+          42568=>[42569], 8184=>[8056], 260=>[261], 11297=>[11345], 7760=>[7761], 8043=>[8035], 42852=>[42853], 544=>[414], 
+          7902=>[7903], 8185=>[8057], 11298=>[11346], 1252=>[1253], 403=>[608], 8044=>[8036], 11440=>[11441], 42570=>[42571], 
+          262=>[263], 8186=>[8060], 11299=>[11347], 404=>[611], 7762=>[7763], 8045=>[8037], 42854=>[42855], 8187=>[8061], 
+          546=>[547], 7904=>[7905], 11300=>[11348], 1254=>[1255], 8046=>[8038], 11442=>[11443], 42572=>[42573], 8188=>[8179], 
+          264=>[265], 11301=>[11349], 406=>[617], 7764=>[7765], 8047=>[8039], 42856=>[42857], 548=>[549], 7906=>[7907], 
+          11302=>[11350], 1256=>[1257], 407=>[616], 11444=>[11445], 42574=>[42575], 266=>[267], 11303=>[11351], 408=>[409], 
+          7766=>[7767], 42858=>[42859], 550=>[551], 7908=>[7909], 11304=>[11352], 1258=>[1259], 975=>[983], 11446=>[11447], 
+          42576=>[42577], 268=>[269], 11305=>[11353], 7768=>[7769], 976=>[946], 42860=>[42861], 552=>[553], 7910=>[7911], 
+          11306=>[11354], 1260=>[1261], 977=>[952], 11448=>[11449], 42578=>[42579], 270=>[271], 11307=>[11355], 412=>[623], 
+          7770=>[7771], 42862=>[42863], 1120=>[1121], 554=>[555], 837=>[953], 7912=>[7913], 11308=>[11356], 1262=>[1263], 
+          413=>[626], 11450=>[11451], 42580=>[42581], 272=>[273], 11309=>[11357], 7772=>[7773], 1122=>[1123], 556=>[557], 
+          7914=>[7915], 11310=>[11358], 1264=>[1265], 415=>[629], 981=>[966], 11452=>[11453], 42582=>[42583], 274=>[275], 
+          982=>[960], 416=>[417], 7774=>[7775], 1124=>[1125], 558=>[559], 7916=>[7917], 1266=>[1267], 11454=>[11455], 
+          42584=>[42585], 276=>[277], 984=>[985], 418=>[419], 7776=>[7777], 1126=>[1127], 560=>[561], 7918=>[7919], 
+          1268=>[1269], 11456=>[11457], 42586=>[42587], 278=>[279], 986=>[987], 420=>[421], 7778=>[7779], 1128=>[1129], 
+          8486=>[969], 562=>[563], 7920=>[7921], 1270=>[1271], 11458=>[11459], 42588=>[42589], 280=>[281], 988=>[989], 
+          422=>[640], 7780=>[7781], 1130=>[1131], 7922=>[7923], 8064=>[7936, 953], 1272=>[1273], 423=>[424], 11460=>[11461], 
+          42590=>[42591], 42873=>[42874], 282=>[283]
+        }
+        CASEFOLDING_HASH_T = CASEFOLDING_HASH.merge(
+          {
+            73=>[305], 304=>[105]
+          }
+        )
+
+        def simple_casefold(str, t = false)
+          perform_casefold(str, simple_casefold_regex, t)
+        end
+
+        def full_casefold(str, t = false)
+          perform_casefold(str, full_casefold_regex, t)
+        end
+
+        alias :casefold :full_casefold
+
+        def common_casefold(str)
+          perform_casefold(str, CASEFOLDING_REGEX_C, false)
+        end
+
+        private
+
+        def perform_casefold(str, regex, t)
+          regex = regex_with_t(regex) if t
+          casefolding_hash = t ? CASEFOLDING_HASH_T : CASEFOLDING_HASH
+
+          str.gsub(regex) do |s|
+            s.unpack("U*").inject([]) do |ret, ss|
+              ret + casefolding_hash[ss]
+            end.pack("U*")
+          end
+        end
+
+        def simple_casefold_regex
+          @simple_casefold_regex ||= Regexp.union(CASEFOLDING_REGEX_C, CASEFOLDING_REGEX_S)
+        end
+
+        def full_casefold_regex
+          @full_casefold_regex ||= Regexp.union(CASEFOLDING_REGEX_C, CASEFOLDING_REGEX_F)
+        end
+
+        def regex_with_t(regex)
+          @regex_with_t_cache ||= {}
+          @regex_with_t_cache[regex.source] ||=
+            Regexp.union(regex, CASEFOLDING_REGEX_T)
+        end
+
+      end
+    end
+  end
+end