twitter_cldr 3.0.2 → 3.0.3
Sign up to get free protection for your applications and to get access to all the features.
- checksums.yaml +4 -4
- data/Gemfile +10 -3
- data/History.txt +4 -0
- data/README.md +2 -2
- data/lib/twitter_cldr/parsers/unicode_regex/literal.rb +1 -1
- data/lib/twitter_cldr/resources/casefolder.rb.erb +12 -8
- data/lib/twitter_cldr/resources/readme_renderer.rb +2 -2
- data/lib/twitter_cldr/shared/casefolder.rb +153 -150
- data/lib/twitter_cldr/tokenizers/numbers/rbnf_tokenizer.rb +36 -31
- data/lib/twitter_cldr/tokenizers/tokenizer.rb +4 -5
- data/lib/twitter_cldr/version.rb +1 -1
- data/spec/parsers/unicode_regex/character_class_spec.rb +1 -0
- data/spec/spec_helper.rb +8 -1
- data/spec/tokenizers/calendars/datetime_tokenizer_spec.rb +1 -0
- metadata +81 -79
checksums.yaml
CHANGED
@@ -1,7 +1,7 @@
|
|
1
1
|
---
|
2
2
|
SHA1:
|
3
|
-
metadata.gz:
|
4
|
-
data.tar.gz:
|
3
|
+
metadata.gz: 3724c4298d198dc34908dd336418c19edde6f09e
|
4
|
+
data.tar.gz: 72c50812ce644c70245b774155212becde60020e
|
5
5
|
SHA512:
|
6
|
-
metadata.gz:
|
7
|
-
data.tar.gz:
|
6
|
+
metadata.gz: 4c11d5870b7b355a40cff2348892eabac422f33a01e28ba5db006af38b59e8543fa97d42b9f516ad8e87f18358eb258338e7cd7aa27df9687f5dd583cfe28c9e
|
7
|
+
data.tar.gz: 3ef234d9ff5a630854d83010f63be2302d60ff130b75577ed6bd5a8cf4000bb44277dcd464ac2023960aa079ea81477695d0b9593f79355c5d59b76e77e9d599
|
data/Gemfile
CHANGED
@@ -4,10 +4,17 @@ gemspec
|
|
4
4
|
|
5
5
|
group :development, :test do
|
6
6
|
gem 'rake'
|
7
|
-
gem 'pry'
|
8
|
-
gem 'pry-nav'
|
9
7
|
|
10
|
-
|
8
|
+
platform :mri do
|
9
|
+
gem 'pry'
|
10
|
+
gem 'pry-nav'
|
11
|
+
end
|
12
|
+
|
13
|
+
platform :rbx do
|
14
|
+
gem 'rubinius-debugger'
|
15
|
+
end
|
16
|
+
|
17
|
+
if RUBY_VERSION >= "1.9" && RUBY_PLATFORM != "java" && RUBY_ENGINE != "rbx"
|
11
18
|
gem 'ruby-prof'
|
12
19
|
end
|
13
20
|
|
data/History.txt
CHANGED
data/README.md
CHANGED
@@ -472,7 +472,7 @@ postal_code.regexp # /\d{5}([ \-]\d{4})?/
|
|
472
472
|
Get a sample of valid postal codes with the `#sample` method:
|
473
473
|
|
474
474
|
```ruby
|
475
|
-
postal_code.sample(5) # ["
|
475
|
+
postal_code.sample(5) # ["50043", "13363-8821", "70461", "34021-2280", "82049"]
|
476
476
|
```
|
477
477
|
|
478
478
|
### Phone Codes
|
@@ -809,7 +809,7 @@ TwitterCldr.locale # will return :ru
|
|
809
809
|
|
810
810
|
## Compatibility
|
811
811
|
|
812
|
-
TwitterCLDR is fully compatible with Ruby 1.8.7, 1.9.3, 2.0.0,
|
812
|
+
TwitterCLDR is fully compatible with Ruby 1.8.7, 1.9.3, 2.0.0, 2.1.0, and Rubinius (v2.2.7). We are considering dropping support for Ruby 1.8. If you still need to use TwitterCLDR in a Ruby 1.8 environment, please let us know as soon as possible. Please note that certain TwitterCLDR features require additional dependencies or considerations when run on Ruby 1.8. Refer to the sections above for details.
|
813
813
|
|
814
814
|
#### Notes on Ruby 1.8
|
815
815
|
|
@@ -8,10 +8,10 @@ module TwitterCldr
|
|
8
8
|
class Casefolder
|
9
9
|
class << self
|
10
10
|
|
11
|
-
|
12
|
-
|
13
|
-
|
14
|
-
|
11
|
+
CASEFOLDING_SOURCE_C = "<%= casefolding_char_class_for("C") %>"
|
12
|
+
CASEFOLDING_SOURCE_F = "<%= casefolding_char_class_for("F") %>"
|
13
|
+
CASEFOLDING_SOURCE_S = "<%= casefolding_char_class_for("S") %>"
|
14
|
+
CASEFOLDING_SOURCE_T = "<%= casefolding_char_class_for("T") %>"
|
15
15
|
|
16
16
|
CASEFOLDING_HASH = <%= inspect_hash_in_lines(casefolding_hash_for(["C", "F", "S"]), 8, 5) %>
|
17
17
|
CASEFOLDING_HASH_T = CASEFOLDING_HASH.merge(
|
@@ -46,16 +46,20 @@ module TwitterCldr
|
|
46
46
|
end
|
47
47
|
|
48
48
|
def simple_casefold_regex
|
49
|
-
@simple_casefold_regex ||= Regexp.
|
49
|
+
@simple_casefold_regex ||= Regexp.new("#{CASEFOLDING_SOURCE_C}|#{CASEFOLDING_SOURCE_S}")
|
50
50
|
end
|
51
51
|
|
52
52
|
def full_casefold_regex
|
53
|
-
@full_casefold_regex ||= Regexp.
|
53
|
+
@full_casefold_regex ||= Regexp.new("#{CASEFOLDING_SOURCE_C}|#{CASEFOLDING_SOURCE_F}")
|
54
54
|
end
|
55
55
|
|
56
56
|
def regex_with_t(regex)
|
57
|
-
|
58
|
-
Regexp.
|
57
|
+
regex_with_t_cache[regex.source] ||=
|
58
|
+
Regexp.new("#{regex.source}|#{CASEFOLDING_SOURCE_T}")
|
59
|
+
end
|
60
|
+
|
61
|
+
def regex_with_t_cache
|
62
|
+
@regex_with_t_cache ||= {}
|
59
63
|
end
|
60
64
|
|
61
65
|
end
|
@@ -46,7 +46,7 @@ module TwitterCldr
|
|
46
46
|
expected = expected.localize.normalize(:using => :NFKC).to_s
|
47
47
|
end
|
48
48
|
|
49
|
-
unless
|
49
|
+
unless objs_equal?(got, expected)
|
50
50
|
line_num = line_num_from_stack_trace(Kernel.caller)
|
51
51
|
assertion_failures << ReadmeAssertionFailure.new(
|
52
52
|
"Expected `#{got.inspect}` to be `#{expected.inspect}` in README on line #{line_num}",
|
@@ -57,7 +57,7 @@ module TwitterCldr
|
|
57
57
|
got
|
58
58
|
end
|
59
59
|
|
60
|
-
def
|
60
|
+
def objs_equal?(obj1, obj2)
|
61
61
|
case obj1
|
62
62
|
when Array
|
63
63
|
obj1 - obj2 == []
|
@@ -8,154 +8,154 @@ module TwitterCldr
|
|
8
8
|
class Casefolder
|
9
9
|
class << self
|
10
10
|
|
11
|
-
CASEFOLDING_REGEX_C = /\341\271\246|\317\236|\341\273\264|\342\204\252|\321\254|\352\235\273|\352\231\240|\342\263\206|\306\251|\323\272|\342\204\253|\304\234|\341\271\250|\317\240|\321\256|\341\273\266|\352\235\275|\352\231\242|\342\263\210|\323\274|\304\236|\352\235\276|\341\271\252|\306\254|\317\242|\310\272|\321\260|\341\273\270|\352\231\244|\342\263\212|\323\276|\310\273|\304\240|\352\236\200|\341\271\254|\306\256|\317\244|\321\262|\341\273\272|\352\231\246|\342\263\214|\306\257|\324\200|\310\275|\304\242|\352\236\202|\341\271\256|\317\246|\310\276|\342\204\262|\321\264|\341\273\274|\352\231\250|\342\263\216|\306\261|\324\202|\304\244|\352\236\204|\341\271\260|\306\262|\317\250|\321\266|\341\273\276|\352\231\252|\342\263\220|\306\263|\324\204|\341\202\240|\311\201|\304\246|\352\236\206|\317\252|\341\271\262|\321\270|\341\202\241|\352\231\254|\342\263\222|\306\265|\324\206|\311\203|\304\250|\341\202\242|\317\254|\341\271\264|\311\204|\321\272|\341\202\243|\342\263\224|\306\267|\324\210|\311\205|\304\252|\341\202\244|\306\270|\317\256|\341\271\266|\311\206|\321\274|\341\202\245|\352\236\213|\342\263\226|\324\212|\304\254|\341\202\246|\317\260|\341\271\270|\311\210|\321\276|\341\202\247|\352\236\215|\342\263\230|\324\214|\317\261|\304\256|\341\202\250|\306\274|\341\271\272|\311\212|\322\200|\341\274\210|\341\202\251|\342\263\232|\324\216|\341\274\211|\341\202\252|\352\236\220|\317\264|\341\271\274|\311\214|\341\274\212|\341\202\253|\342\263\234|\324\220|\317\265|\304\262|\341\274\213|\341\202\254|\352\236\222|\341\271\276|\341\274\214|\341\202\255|\311\216|\342\263\236|\324\222|\317\267|\304\264|\341\274\215|\341\202\256|\341\272\200|\341\274\216|\341\202\257|\342\263\240|\324\224|\317\271|\304\266|\341\274\217|\341\202\260|\307\204|\317\272|\341\272\202|\341\202\261|\342\263\242|\307\205|\324\226|\341\202\262|\341\272\204|\304\271|\322\212|\341\202\263|\307\207|\324\230|\317\275|\315\260|\341\202\264|\307\210|\317\276|\341\272\206|\304\273|\322\214|\341\202\265|\352\232\200|\324\232|\317\277|\315\262|\341\202\266|\320\200|\341\272\210|\307\212|\304\275|\322\216|\341\202\267|\352\232\202|\324\234|\320\201|\307\213|\341\202\270|\320\202|\341\272\212|\304\277|\322\220|\341\274\230|\341\202\271|\352\232\204|\320\203|\307\215|\324\236|\341\274\231|\315\266|\341\202\272|\352\236\240|\342\263\253|\320\204|\341\272\214|\305\201|\322\222|\341\274\232|\341\202\273|\352\232\206|\320\205|\307\217|\324\240|\341\274\233|\341\202\274|\341\270\200|\352\236\242|\342\263\255|\302\265|\320\206|\341\272\216|\342\261\240|\305\203|\322\224|\341\274\234|\341\202\275|\352\232\210|\320\207|\307\221|\324\242|\341\274\235|\341\202\276|\341\270\202|\352\236\244|\320\210|\341\272\220|\342\261\242|\305\205|\322\226|\341\202\277|\352\232\212|\320\211|\307\223|\324\244|\342\261\243|\341\203\200|\341\270\204|\352\236\246|\320\212|\341\272\222|\342\261\244|\322\230|\341\203\201|\305\207|\352\232\214|\342\263\262|\320\213|\307\225|\324\246|\341\203\202|\341\270\206|\352\236\250|\320\214|\341\272\224|\322\232|\341\203\203|\352\232\216|\320\215|\307\227|\342\261\247|\341\203\204|\341\270\210|\305\212|\352\236\252|\320\216|\341\203\205|\322\234|\352\232\220|\320\217|\307\231|\342\261\251|\341\270\212|\305\214|\320\220|\341\203\207|\322\236|\352\232\222|\303\200|\320\221|\307\233|\342\261\253|\341\270\214|\305\216|\303\201|\320\222|\341\274\250|\322\240|\352\232\224|\303\202|\320\223|\341\272\233|\352\234\242|\342\261\255|\341\274\251|\316\206|\341\270\216|\305\220|\303\203|\320\224|\307\236|\342\261\256|\341\274\252|\342\205\240|\322\242|\352\232\226|\341\276\270|\320\225|\303\204|\360\220\220\200|\352\234\244|\342\261\257|\341\274\253|\316\210|\341\270\220|\342\205\241|\305\222|\341\276\271|\320\226|\307\240|\324\261|\303\205|\360\220\220\201|\342\261\260|\341\274\254|\316\211|\341\203\215|\342\205\242|\322\244|\320\227|\324\262|\303\206|\341\276\272|\360\220\220\202|\352\234\246|\341\274\255|\316\212|\341\270\222|\342\205\243|\305\224|\341\272\240|\307\242|\324\263|\303\207|\341\276\273|\320\230|\360\220\220\203|\342\261\262|\341\274\256|\342\205\244|\322\246|\324\264|\303\210|\320\231|\360\220\220\204|\352\234\250|\341\274\257|\316\214|\341\270\224|\342\205\245|\342\222\266|\305\226|\341\272\242|\307\244|\324\265|\303\211|\320\232|\360\220\220\205|\342\205\246|\342\222\267|\322\250|\324\266|\303\212|\341\276\276|\320\233|\360\220\220\206|\352\234\252|\342\261\265|\316\216|\341\270\226|\342\205\247|\342\222\270|\305\230|\341\272\244|\307\246|\324\267|\303\213|\320\234|\360\220\220\207|\316\217|\342\205\250|\342\222\271|\322\252|\324\270|\303\214|\320\235|\360\220\220\210|\352\234\254|\341\270\230|\342\205\251|\342\222\272|\305\232|\341\272\246|\307\250|\324\271|\303\215|\320\236|\360\220\220\211|\316\221|\342\205\252|\342\222\273|\322\254|\324\272|\303\216|\320\237|\360\220\220\212|\352\234\256|\316\222|\341\270\232|\342\205\253|\342\222\274|\305\234|\101|\341\272\250|\307\252|\324\273|\303\217|\320\240|\360\220\220\213|\316\223|\342\205\254|\342\222\275|\322\256|\102|\324\274|\303\220|\320\241|\360\220\220\214|\316\224|\341\270\234|\342\205\255|\342\222\276|\305\236|\103|\341\272\252|\307\254|\324\275|\303\221|\320\242|\360\220\220\215|\342\205\256|\342\222\277|\322\260|\104|\341\274\270|\316\225|\324\276|\303\222|\320\243|\360\220\220\216|\352\234\262|\341\270\236|\342\205\257|\342\223\200|\305\240|\105|\341\274\271|\316\226|\341\272\254|\307\256|\324\277|\303\223|\320\244|\360\220\220\217|\342\261\276|\342\223\201|\322\262|\106|\341\274\272|\316\227|\325\200|\303\224|\341\277\210|\320\245|\360\220\220\220|\352\234\264|\342\261\277|\341\270\240|\342\223\202|\305\242|\107|\341\274\273|\316\230|\341\272\256|\325\201|\303\225|\341\277\211|\320\246|\360\220\220\221|\342\262\200|\342\223\203|\322\264|\110|\341\274\274|\316\231|\307\261|\325\202|\303\226|\341\277\212|\320\247|\360\220\220\222|\352\234\266|\341\270\242|\342\223\204|\305\244|\111|\341\274\275|\316\232|\341\272\260|\307\262|\325\203|\341\277\213|\320\250|\360\220\220\223|\342\262\202|\342\223\205|\322\266|\112|\341\274\276|\316\233|\325\204|\303\230|\320\251|\360\220\220\224|\352\234\270|\341\270\244|\342\223\206|\305\246|\113|\341\274\277|\316\234|\341\272\262|\307\264|\325\205|\303\231|\320\252|\360\220\220\225|\342\262\204|\342\223\207|\322\270|\114|\316\235|\325\206|\303\232|\320\253|\360\220\220\226|\352\234\272|\341\270\246|\342\223\210|\305\250|\115|\316\236|\307\266|\325\207|\303\233|\320\254|\341\272\264|\360\220\220\227|\342\262\206|\342\223\211|\322\272|\116|\316\237|\307\267|\325\210|\303\234|\320\255|\360\220\220\230|\352\234\274|\341\270\250|\342\223\212|\305\252|\117|\316\240|\307\270|\325\211|\303\235|\320\256|\341\272\266|\360\220\220\231|\342\262\210|\342\223\213|\322\274|\120|\316\241|\325\212|\303\236|\320\257|\360\220\220\232|\352\234\276|\341\270\252|\342\223\214|\305\254|\121|\357\274\241|\307\272|\325\213|\341\272\270|\360\220\220\233|\342\262\212|\342\223\215|\322\276|\122|\316\243|\357\274\242|\325\214|\360\220\220\234|\352\235\200|\341\270\254|\342\223\216|\305\256|\123|\316\244|\357\274\243|\307\274|\325\215|\341\272\272|\360\220\220\235|\342\262\214|\342\223\217|\323\200|\124|\341\275\210|\316\245|\357\274\244|\325\216|\360\220\220\236|\352\235\202|\341\270\256|\305\260|\323\201|\125|\341\275\211|\316\246|\357\274\245|\342\260\200|\307\276|\325\217|\341\272\274|\360\220\220\237|\342\262\216|\126|\341\275\212|\316\247|\357\274\246|\342\260\201|\325\220|\341\277\230|\360\220\220\240|\352\235\204|\341\270\260|\305\262|\323\203|\127|\341\275\213|\316\250|\357\274\247|\310\200|\325\221|\341\277\231|\341\272\276|\342\260\202|\360\220\220\241|\342\262\220|\130|\341\275\214|\316\251|\357\274\250|\325\222|\341\277\232|\342\260\203|\360\220\220\242|\352\235\206|\342\206\203|\305\264|\323\205|\131|\341\275\215|\316\252|\341\270\262|\357\274\251|\310\202|\325\223|\341\277\233|\341\273\200|\342\260\204|\360\220\220\243|\342\262\222|\132|\316\253|\357\274\252|\325\224|\342\260\205|\360\220\220\244|\352\235\210|\305\266|\323\207|\341\270\264|\357\274\253|\310\204|\325\225|\341\273\202|\342\260\206|\360\220\220\245|\342\262\224|\357\274\254|\325\226|\342\260\207|\360\220\220\246|\352\235\212|\305\270|\323\211|\341\270\266|\357\274\255|\310\206|\341\273\204|\342\260\210|\360\220\220\247|\342\262\226|\305\271|\357\274\256|\342\260\211|\352\235\214|\323\213|\341\270\270|\357\274\257|\310\210|\341\273\206|\342\260\212|\342\262\230|\305\273|\357\274\260|\342\260\213|\352\235\216|\323\215|\341\270\272|\357\274\261|\310\212|\341\273\210|\342\260\214|\342\262\232|\305\275|\357\274\262|\342\260\215|\352\235\220|\341\270\274|\357\274\263|\341\273\212|\342\260\216|\310\214|\342\262\234|\305\277|\323\220|\357\274\264|\342\260\217|\352\235\222|\341\275\231|\341\270\276|\357\274\265|\341\273\214|\342\260\220|\310\216|\342\262\236|\306\201|\323\222|\357\274\266|\341\277\250|\342\260\221|\352\235\224|\306\202|\341\275\233|\341\271\200|\357\274\267|\341\277\251|\341\273\216|\342\260\222|\310\220|\342\262\240|\323\224|\357\274\270|\341\277\252|\342\260\223|\352\235\226|\306\204|\341\275\235|\341\271\202|\357\274\271|\341\277\253|\341\273\220|\342\260\224|\310\222|\342\262\242|\323\226|\357\274\272|\341\277\254|\342\260\225|\352\235\230|\306\206|\341\275\237|\341\271\204|\341\273\222|\342\260\226|\310\224|\342\262\244|\306\207|\323\230|\342\260\227|\352\235\232|\341\271\206|\341\273\224|\342\260\230|\310\226|\352\231\200|\342\262\246|\323\232|\306\211|\342\260\231|\352\235\234|\341\271\210|\306\212|\341\273\226|\342\260\232|\310\230|\352\231\202|\342\262\250|\306\213|\323\234|\342\260\233|\352\235\236|\317\202|\341\271\212|\341\273\230|\342\260\234|\310\232|\352\231\204|\342\262\252|\323\236|\304\200|\342\260\235|\352\235\240|\341\271\214|\306\216|\341\273\232|\342\260\236|\310\234|\352\231\206|\342\262\254|\341\275\250|\306\217|\323\240|\342\260\237|\304\202|\352\235\242|\341\275\251|\341\271\216|\306\220|\342\260\240|\341\273\234|\310\236|\352\231\210|\342\262\256|\341\275\252|\306\221|\323\242|\342\260\241|\304\204|\341\277\270|\352\235\244|\341\275\253|\341\271\220|\342\260\242|\341\277\271|\341\273\236|\310\240|\352\231\212|\342\262\260|\341\275\254|\306\223|\323\244|\342\260\243|\341\277\272|\304\206|\352\235\246|\341\275\255|\341\271\222|\306\224|\342\260\244|\341\273\240|\310\242|\341\277\273|\352\231\214|\342\262\262|\341\275\256|\323\246|\342\260\245|\304\210|\352\235\250|\341\275\257|\341\271\224|\306\226|\342\260\246|\341\273\242|\310\244|\352\231\216|\342\262\264|\306\227|\323\250|\342\260\247|\304\212|\352\235\252|\341\271\226|\306\230|\342\260\250|\341\273\244|\310\246|\352\231\220|\342\262\266|\317\217|\323\252|\342\260\251|\304\214|\352\235\254|\317\220|\341\271\230|\342\260\252|\341\273\246|\310\250|\352\231\222|\342\262\270|\317\221|\323\254|\342\260\253|\304\216|\352\235\256|\341\271\232|\306\234|\342\260\254|\341\273\250|\315\205|\310\252|\321\240|\352\231\224|\342\262\272|\306\235|\323\256|\342\260\255|\304\220|\341\271\234|\342\260\256|\341\273\252|\310\254|\321\242|\352\231\226|\342\262\274|\317\225|\306\237|\323\260|\304\222|\341\271\236|\306\240|\317\226|\341\273\254|\310\256|\321\244|\352\231\230|\342\262\276|\323\262|\304\224|\341\271\240|\306\242|\317\230|\341\273\256|\310\260|\321\246|\352\231\232|\342\263\200|\323\264|\304\226|\341\271\242|\306\244|\317\232|\341\273\260|\310\262|\342\204\246|\321\250|\352\231\234|\342\263\202|\323\266|\304\230|\341\271\244|\306\246|\317\234|\341\273\262|\321\252|\352\235\271|\352\231\236|\342\263\204|\306\247|\323\270|\304\232/
|
12
|
-
|
13
|
-
|
14
|
-
|
11
|
+
CASEFOLDING_SOURCE_C = "\101|\102|\103|\104|\105|\106|\107|\110|\111|\112|\113|\114|\115|\116|\117|\120|\121|\122|\123|\124|\125|\126|\127|\130|\131|\132|\302\265|\303\200|\303\201|\303\202|\303\203|\303\204|\303\205|\303\206|\303\207|\303\210|\303\211|\303\212|\303\213|\303\214|\303\215|\303\216|\303\217|\303\220|\303\221|\303\222|\303\223|\303\224|\303\225|\303\226|\303\230|\303\231|\303\232|\303\233|\303\234|\303\235|\303\236|\304\200|\304\202|\304\204|\304\206|\304\210|\304\212|\304\214|\304\216|\304\220|\304\222|\304\224|\304\226|\304\230|\304\232|\304\234|\304\236|\304\240|\304\242|\304\244|\304\246|\304\250|\304\252|\304\254|\304\256|\304\262|\304\264|\304\266|\304\271|\304\273|\304\275|\304\277|\305\201|\305\203|\305\205|\305\207|\305\212|\305\214|\305\216|\305\220|\305\222|\305\224|\305\226|\305\230|\305\232|\305\234|\305\236|\305\240|\305\242|\305\244|\305\246|\305\250|\305\252|\305\254|\305\256|\305\260|\305\262|\305\264|\305\266|\305\270|\305\271|\305\273|\305\275|\305\277|\306\201|\306\202|\306\204|\306\206|\306\207|\306\211|\306\212|\306\213|\306\216|\306\217|\306\220|\306\221|\306\223|\306\224|\306\226|\306\227|\306\230|\306\234|\306\235|\306\237|\306\240|\306\242|\306\244|\306\246|\306\247|\306\251|\306\254|\306\256|\306\257|\306\261|\306\262|\306\263|\306\265|\306\267|\306\270|\306\274|\307\204|\307\205|\307\207|\307\210|\307\212|\307\213|\307\215|\307\217|\307\221|\307\223|\307\225|\307\227|\307\231|\307\233|\307\236|\307\240|\307\242|\307\244|\307\246|\307\250|\307\252|\307\254|\307\256|\307\261|\307\262|\307\264|\307\266|\307\267|\307\270|\307\272|\307\274|\307\276|\310\200|\310\202|\310\204|\310\206|\310\210|\310\212|\310\214|\310\216|\310\220|\310\222|\310\224|\310\226|\310\230|\310\232|\310\234|\310\236|\310\240|\310\242|\310\244|\310\246|\310\250|\310\252|\310\254|\310\256|\310\260|\310\262|\310\272|\310\273|\310\275|\310\276|\311\201|\311\203|\311\204|\311\205|\311\206|\311\210|\311\212|\311\214|\311\216|\315\205|\315\260|\315\262|\315\266|\316\206|\316\210|\316\211|\316\212|\316\214|\316\216|\316\217|\316\221|\316\222|\316\223|\316\224|\316\225|\316\226|\316\227|\316\230|\316\231|\316\232|\316\233|\316\234|\316\235|\316\236|\316\237|\316\240|\316\241|\316\243|\316\244|\316\245|\316\246|\316\247|\316\250|\316\251|\316\252|\316\253|\317\202|\317\217|\317\220|\317\221|\317\225|\317\226|\317\230|\317\232|\317\234|\317\236|\317\240|\317\242|\317\244|\317\246|\317\250|\317\252|\317\254|\317\256|\317\260|\317\261|\317\264|\317\265|\317\267|\317\271|\317\272|\317\275|\317\276|\317\277|\320\200|\320\201|\320\202|\320\203|\320\204|\320\205|\320\206|\320\207|\320\210|\320\211|\320\212|\320\213|\320\214|\320\215|\320\216|\320\217|\320\220|\320\221|\320\222|\320\223|\320\224|\320\225|\320\226|\320\227|\320\230|\320\231|\320\232|\320\233|\320\234|\320\235|\320\236|\320\237|\320\240|\320\241|\320\242|\320\243|\320\244|\320\245|\320\246|\320\247|\320\250|\320\251|\320\252|\320\253|\320\254|\320\255|\320\256|\320\257|\321\240|\321\242|\321\244|\321\246|\321\250|\321\252|\321\254|\321\256|\321\260|\321\262|\321\264|\321\266|\321\270|\321\272|\321\274|\321\276|\322\200|\322\212|\322\214|\322\216|\322\220|\322\222|\322\224|\322\226|\322\230|\322\232|\322\234|\322\236|\322\240|\322\242|\322\244|\322\246|\322\250|\322\252|\322\254|\322\256|\322\260|\322\262|\322\264|\322\266|\322\270|\322\272|\322\274|\322\276|\323\200|\323\201|\323\203|\323\205|\323\207|\323\211|\323\213|\323\215|\323\220|\323\222|\323\224|\323\226|\323\230|\323\232|\323\234|\323\236|\323\240|\323\242|\323\244|\323\246|\323\250|\323\252|\323\254|\323\256|\323\260|\323\262|\323\264|\323\266|\323\270|\323\272|\323\274|\323\276|\324\200|\324\202|\324\204|\324\206|\324\210|\324\212|\324\214|\324\216|\324\220|\324\222|\324\224|\324\226|\324\230|\324\232|\324\234|\324\236|\324\240|\324\242|\324\244|\324\246|\324\261|\324\262|\324\263|\324\264|\324\265|\324\266|\324\267|\324\270|\324\271|\324\272|\324\273|\324\274|\324\275|\324\276|\324\277|\325\200|\325\201|\325\202|\325\203|\325\204|\325\205|\325\206|\325\207|\325\210|\325\211|\325\212|\325\213|\325\214|\325\215|\325\216|\325\217|\325\220|\325\221|\325\222|\325\223|\325\224|\325\225|\325\226|\341\202\240|\341\202\241|\341\202\242|\341\202\243|\341\202\244|\341\202\245|\341\202\246|\341\202\247|\341\202\250|\341\202\251|\341\202\252|\341\202\253|\341\202\254|\341\202\255|\341\202\256|\341\202\257|\341\202\260|\341\202\261|\341\202\262|\341\202\263|\341\202\264|\341\202\265|\341\202\266|\341\202\267|\341\202\270|\341\202\271|\341\202\272|\341\202\273|\341\202\274|\341\202\275|\341\202\276|\341\202\277|\341\203\200|\341\203\201|\341\203\202|\341\203\203|\341\203\204|\341\203\205|\341\203\207|\341\203\215|\341\270\200|\341\270\202|\341\270\204|\341\270\206|\341\270\210|\341\270\212|\341\270\214|\341\270\216|\341\270\220|\341\270\222|\341\270\224|\341\270\226|\341\270\230|\341\270\232|\341\270\234|\341\270\236|\341\270\240|\341\270\242|\341\270\244|\341\270\246|\341\270\250|\341\270\252|\341\270\254|\341\270\256|\341\270\260|\341\270\262|\341\270\264|\341\270\266|\341\270\270|\341\270\272|\341\270\274|\341\270\276|\341\271\200|\341\271\202|\341\271\204|\341\271\206|\341\271\210|\341\271\212|\341\271\214|\341\271\216|\341\271\220|\341\271\222|\341\271\224|\341\271\226|\341\271\230|\341\271\232|\341\271\234|\341\271\236|\341\271\240|\341\271\242|\341\271\244|\341\271\246|\341\271\250|\341\271\252|\341\271\254|\341\271\256|\341\271\260|\341\271\262|\341\271\264|\341\271\266|\341\271\270|\341\271\272|\341\271\274|\341\271\276|\341\272\200|\341\272\202|\341\272\204|\341\272\206|\341\272\210|\341\272\212|\341\272\214|\341\272\216|\341\272\220|\341\272\222|\341\272\224|\341\272\233|\341\272\240|\341\272\242|\341\272\244|\341\272\246|\341\272\250|\341\272\252|\341\272\254|\341\272\256|\341\272\260|\341\272\262|\341\272\264|\341\272\266|\341\272\270|\341\272\272|\341\272\274|\341\272\276|\341\273\200|\341\273\202|\341\273\204|\341\273\206|\341\273\210|\341\273\212|\341\273\214|\341\273\216|\341\273\220|\341\273\222|\341\273\224|\341\273\226|\341\273\230|\341\273\232|\341\273\234|\341\273\236|\341\273\240|\341\273\242|\341\273\244|\341\273\246|\341\273\250|\341\273\252|\341\273\254|\341\273\256|\341\273\260|\341\273\262|\341\273\264|\341\273\266|\341\273\270|\341\273\272|\341\273\274|\341\273\276|\341\274\210|\341\274\211|\341\274\212|\341\274\213|\341\274\214|\341\274\215|\341\274\216|\341\274\217|\341\274\230|\341\274\231|\341\274\232|\341\274\233|\341\274\234|\341\274\235|\341\274\250|\341\274\251|\341\274\252|\341\274\253|\341\274\254|\341\274\255|\341\274\256|\341\274\257|\341\274\270|\341\274\271|\341\274\272|\341\274\273|\341\274\274|\341\274\275|\341\274\276|\341\274\277|\341\275\210|\341\275\211|\341\275\212|\341\275\213|\341\275\214|\341\275\215|\341\275\231|\341\275\233|\341\275\235|\341\275\237|\341\275\250|\341\275\251|\341\275\252|\341\275\253|\341\275\254|\341\275\255|\341\275\256|\341\275\257|\341\276\270|\341\276\271|\341\276\272|\341\276\273|\341\276\276|\341\277\210|\341\277\211|\341\277\212|\341\277\213|\341\277\230|\341\277\231|\341\277\232|\341\277\233|\341\277\250|\341\277\251|\341\277\252|\341\277\253|\341\277\254|\341\277\270|\341\277\271|\341\277\272|\341\277\273|\342\204\246|\342\204\252|\342\204\253|\342\204\262|\342\205\240|\342\205\241|\342\205\242|\342\205\243|\342\205\244|\342\205\245|\342\205\246|\342\205\247|\342\205\250|\342\205\251|\342\205\252|\342\205\253|\342\205\254|\342\205\255|\342\205\256|\342\205\257|\342\206\203|\342\222\266|\342\222\267|\342\222\270|\342\222\271|\342\222\272|\342\222\273|\342\222\274|\342\222\275|\342\222\276|\342\222\277|\342\223\200|\342\223\201|\342\223\202|\342\223\203|\342\223\204|\342\223\205|\342\223\206|\342\223\207|\342\223\210|\342\223\211|\342\223\212|\342\223\213|\342\223\214|\342\223\215|\342\223\216|\342\223\217|\342\260\200|\342\260\201|\342\260\202|\342\260\203|\342\260\204|\342\260\205|\342\260\206|\342\260\207|\342\260\210|\342\260\211|\342\260\212|\342\260\213|\342\260\214|\342\260\215|\342\260\216|\342\260\217|\342\260\220|\342\260\221|\342\260\222|\342\260\223|\342\260\224|\342\260\225|\342\260\226|\342\260\227|\342\260\230|\342\260\231|\342\260\232|\342\260\233|\342\260\234|\342\260\235|\342\260\236|\342\260\237|\342\260\240|\342\260\241|\342\260\242|\342\260\243|\342\260\244|\342\260\245|\342\260\246|\342\260\247|\342\260\250|\342\260\251|\342\260\252|\342\260\253|\342\260\254|\342\260\255|\342\260\256|\342\261\240|\342\261\242|\342\261\243|\342\261\244|\342\261\247|\342\261\251|\342\261\253|\342\261\255|\342\261\256|\342\261\257|\342\261\260|\342\261\262|\342\261\265|\342\261\276|\342\261\277|\342\262\200|\342\262\202|\342\262\204|\342\262\206|\342\262\210|\342\262\212|\342\262\214|\342\262\216|\342\262\220|\342\262\222|\342\262\224|\342\262\226|\342\262\230|\342\262\232|\342\262\234|\342\262\236|\342\262\240|\342\262\242|\342\262\244|\342\262\246|\342\262\250|\342\262\252|\342\262\254|\342\262\256|\342\262\260|\342\262\262|\342\262\264|\342\262\266|\342\262\270|\342\262\272|\342\262\274|\342\262\276|\342\263\200|\342\263\202|\342\263\204|\342\263\206|\342\263\210|\342\263\212|\342\263\214|\342\263\216|\342\263\220|\342\263\222|\342\263\224|\342\263\226|\342\263\230|\342\263\232|\342\263\234|\342\263\236|\342\263\240|\342\263\242|\342\263\253|\342\263\255|\342\263\262|\352\231\200|\352\231\202|\352\231\204|\352\231\206|\352\231\210|\352\231\212|\352\231\214|\352\231\216|\352\231\220|\352\231\222|\352\231\224|\352\231\226|\352\231\230|\352\231\232|\352\231\234|\352\231\236|\352\231\240|\352\231\242|\352\231\244|\352\231\246|\352\231\250|\352\231\252|\352\231\254|\352\232\200|\352\232\202|\352\232\204|\352\232\206|\352\232\210|\352\232\212|\352\232\214|\352\232\216|\352\232\220|\352\232\222|\352\232\224|\352\232\226|\352\234\242|\352\234\244|\352\234\246|\352\234\250|\352\234\252|\352\234\254|\352\234\256|\352\234\262|\352\234\264|\352\234\266|\352\234\270|\352\234\272|\352\234\274|\352\234\276|\352\235\200|\352\235\202|\352\235\204|\352\235\206|\352\235\210|\352\235\212|\352\235\214|\352\235\216|\352\235\220|\352\235\222|\352\235\224|\352\235\226|\352\235\230|\352\235\232|\352\235\234|\352\235\236|\352\235\240|\352\235\242|\352\235\244|\352\235\246|\352\235\250|\352\235\252|\352\235\254|\352\235\256|\352\235\271|\352\235\273|\352\235\275|\352\235\276|\352\236\200|\352\236\202|\352\236\204|\352\236\206|\352\236\213|\352\236\215|\352\236\220|\352\236\222|\352\236\240|\352\236\242|\352\236\244|\352\236\246|\352\236\250|\352\236\252|\357\274\241|\357\274\242|\357\274\243|\357\274\244|\357\274\245|\357\274\246|\357\274\247|\357\274\250|\357\274\251|\357\274\252|\357\274\253|\357\274\254|\357\274\255|\357\274\256|\357\274\257|\357\274\260|\357\274\261|\357\274\262|\357\274\263|\357\274\264|\357\274\265|\357\274\266|\357\274\267|\357\274\270|\357\274\271|\357\274\272|\360\220\220\200|\360\220\220\201|\360\220\220\202|\360\220\220\203|\360\220\220\204|\360\220\220\205|\360\220\220\206|\360\220\220\207|\360\220\220\210|\360\220\220\211|\360\220\220\212|\360\220\220\213|\360\220\220\214|\360\220\220\215|\360\220\220\216|\360\220\220\217|\360\220\220\220|\360\220\220\221|\360\220\220\222|\360\220\220\223|\360\220\220\224|\360\220\220\225|\360\220\220\226|\360\220\220\227|\360\220\220\230|\360\220\220\231|\360\220\220\232|\360\220\220\233|\360\220\220\234|\360\220\220\235|\360\220\220\236|\360\220\220\237|\360\220\220\240|\360\220\220\241|\360\220\220\242|\360\220\220\243|\360\220\220\244|\360\220\220\245|\360\220\220\246|\360\220\220\247"
|
12
|
+
CASEFOLDING_SOURCE_F = "\303\237|\304\260|\305\211|\307\260|\316\220|\316\260|\326\207|\341\272\226|\341\272\227|\341\272\230|\341\272\231|\341\272\232|\341\272\236|\341\275\220|\341\275\222|\341\275\224|\341\275\226|\341\276\200|\341\276\201|\341\276\202|\341\276\203|\341\276\204|\341\276\205|\341\276\206|\341\276\207|\341\276\210|\341\276\211|\341\276\212|\341\276\213|\341\276\214|\341\276\215|\341\276\216|\341\276\217|\341\276\220|\341\276\221|\341\276\222|\341\276\223|\341\276\224|\341\276\225|\341\276\226|\341\276\227|\341\276\230|\341\276\231|\341\276\232|\341\276\233|\341\276\234|\341\276\235|\341\276\236|\341\276\237|\341\276\240|\341\276\241|\341\276\242|\341\276\243|\341\276\244|\341\276\245|\341\276\246|\341\276\247|\341\276\250|\341\276\251|\341\276\252|\341\276\253|\341\276\254|\341\276\255|\341\276\256|\341\276\257|\341\276\262|\341\276\263|\341\276\264|\341\276\266|\341\276\267|\341\276\274|\341\277\202|\341\277\203|\341\277\204|\341\277\206|\341\277\207|\341\277\214|\341\277\222|\341\277\223|\341\277\226|\341\277\227|\341\277\242|\341\277\243|\341\277\244|\341\277\246|\341\277\247|\341\277\262|\341\277\263|\341\277\264|\341\277\266|\341\277\267|\341\277\274|\357\254\200|\357\254\201|\357\254\202|\357\254\203|\357\254\204|\357\254\205|\357\254\206|\357\254\223|\357\254\224|\357\254\225|\357\254\226|\357\254\227"
|
13
|
+
CASEFOLDING_SOURCE_S = "\341\272\236|\341\276\210|\341\276\211|\341\276\212|\341\276\213|\341\276\214|\341\276\215|\341\276\216|\341\276\217|\341\276\230|\341\276\231|\341\276\232|\341\276\233|\341\276\234|\341\276\235|\341\276\236|\341\276\237|\341\276\250|\341\276\251|\341\276\252|\341\276\253|\341\276\254|\341\276\255|\341\276\256|\341\276\257|\341\276\274|\341\277\214|\341\277\274"
|
14
|
+
CASEFOLDING_SOURCE_T = "\111|\304\260"
|
15
15
|
|
16
16
|
CASEFOLDING_HASH = {
|
17
|
-
|
18
|
-
|
19
|
-
|
20
|
-
|
21
|
-
|
22
|
-
|
23
|
-
|
24
|
-
|
25
|
-
|
26
|
-
|
27
|
-
|
28
|
-
|
29
|
-
|
30
|
-
|
31
|
-
|
32
|
-
|
33
|
-
|
34
|
-
|
35
|
-
|
36
|
-
|
37
|
-
|
38
|
-
|
39
|
-
|
40
|
-
|
41
|
-
|
42
|
-
|
43
|
-
|
44
|
-
|
45
|
-
|
46
|
-
|
47
|
-
|
48
|
-
|
49
|
-
|
50
|
-
|
51
|
-
|
52
|
-
|
53
|
-
|
54
|
-
|
55
|
-
|
56
|
-
|
57
|
-
|
58
|
-
|
59
|
-
|
60
|
-
|
61
|
-
|
62
|
-
|
63
|
-
|
64
|
-
|
65
|
-
|
66
|
-
|
67
|
-
|
68
|
-
|
69
|
-
|
70
|
-
|
71
|
-
|
72
|
-
|
73
|
-
|
74
|
-
|
75
|
-
|
76
|
-
|
77
|
-
|
78
|
-
|
79
|
-
|
80
|
-
|
81
|
-
|
82
|
-
|
83
|
-
|
84
|
-
|
85
|
-
|
86
|
-
|
87
|
-
|
88
|
-
|
89
|
-
|
90
|
-
|
91
|
-
|
92
|
-
|
93
|
-
|
94
|
-
|
95
|
-
|
96
|
-
|
97
|
-
|
98
|
-
|
99
|
-
|
100
|
-
|
101
|
-
|
102
|
-
|
103
|
-
|
104
|
-
|
105
|
-
|
106
|
-
|
107
|
-
|
108
|
-
|
109
|
-
|
110
|
-
|
111
|
-
|
112
|
-
|
113
|
-
|
114
|
-
|
115
|
-
|
116
|
-
|
117
|
-
|
118
|
-
|
119
|
-
|
120
|
-
|
121
|
-
|
122
|
-
|
123
|
-
|
124
|
-
|
125
|
-
|
126
|
-
|
127
|
-
|
128
|
-
|
129
|
-
|
130
|
-
|
131
|
-
|
132
|
-
|
133
|
-
|
134
|
-
|
135
|
-
|
136
|
-
|
137
|
-
|
138
|
-
|
139
|
-
|
140
|
-
|
141
|
-
|
142
|
-
|
143
|
-
|
144
|
-
|
145
|
-
|
146
|
-
|
147
|
-
|
148
|
-
|
149
|
-
|
150
|
-
|
151
|
-
|
152
|
-
|
153
|
-
|
154
|
-
|
155
|
-
|
156
|
-
|
157
|
-
|
158
|
-
|
17
|
+
65=>[97], 66=>[98], 67=>[99], 68=>[100], 69=>[101], 70=>[102], 71=>[103], 72=>[104],
|
18
|
+
73=>[105], 74=>[106], 75=>[107], 76=>[108], 77=>[109], 78=>[110], 79=>[111], 80=>[112],
|
19
|
+
81=>[113], 82=>[114], 83=>[115], 84=>[116], 85=>[117], 86=>[118], 87=>[119], 88=>[120],
|
20
|
+
89=>[121], 90=>[122], 181=>[956], 192=>[224], 193=>[225], 194=>[226], 195=>[227], 196=>[228],
|
21
|
+
197=>[229], 198=>[230], 199=>[231], 200=>[232], 201=>[233], 202=>[234], 203=>[235], 204=>[236],
|
22
|
+
205=>[237], 206=>[238], 207=>[239], 208=>[240], 209=>[241], 210=>[242], 211=>[243], 212=>[244],
|
23
|
+
213=>[245], 214=>[246], 216=>[248], 217=>[249], 218=>[250], 219=>[251], 220=>[252], 221=>[253],
|
24
|
+
222=>[254], 256=>[257], 258=>[259], 260=>[261], 262=>[263], 264=>[265], 266=>[267], 268=>[269],
|
25
|
+
270=>[271], 272=>[273], 274=>[275], 276=>[277], 278=>[279], 280=>[281], 282=>[283], 284=>[285],
|
26
|
+
286=>[287], 288=>[289], 290=>[291], 292=>[293], 294=>[295], 296=>[297], 298=>[299], 300=>[301],
|
27
|
+
302=>[303], 306=>[307], 308=>[309], 310=>[311], 313=>[314], 315=>[316], 317=>[318], 319=>[320],
|
28
|
+
321=>[322], 323=>[324], 325=>[326], 327=>[328], 330=>[331], 332=>[333], 334=>[335], 336=>[337],
|
29
|
+
338=>[339], 340=>[341], 342=>[343], 344=>[345], 346=>[347], 348=>[349], 350=>[351], 352=>[353],
|
30
|
+
354=>[355], 356=>[357], 358=>[359], 360=>[361], 362=>[363], 364=>[365], 366=>[367], 368=>[369],
|
31
|
+
370=>[371], 372=>[373], 374=>[375], 376=>[255], 377=>[378], 379=>[380], 381=>[382], 383=>[115],
|
32
|
+
385=>[595], 386=>[387], 388=>[389], 390=>[596], 391=>[392], 393=>[598], 394=>[599], 395=>[396],
|
33
|
+
398=>[477], 399=>[601], 400=>[603], 401=>[402], 403=>[608], 404=>[611], 406=>[617], 407=>[616],
|
34
|
+
408=>[409], 412=>[623], 413=>[626], 415=>[629], 416=>[417], 418=>[419], 420=>[421], 422=>[640],
|
35
|
+
423=>[424], 425=>[643], 428=>[429], 430=>[648], 431=>[432], 433=>[650], 434=>[651], 435=>[436],
|
36
|
+
437=>[438], 439=>[658], 440=>[441], 444=>[445], 452=>[454], 453=>[454], 455=>[457], 456=>[457],
|
37
|
+
458=>[460], 459=>[460], 461=>[462], 463=>[464], 465=>[466], 467=>[468], 469=>[470], 471=>[472],
|
38
|
+
473=>[474], 475=>[476], 478=>[479], 480=>[481], 482=>[483], 484=>[485], 486=>[487], 488=>[489],
|
39
|
+
490=>[491], 492=>[493], 494=>[495], 497=>[499], 498=>[499], 500=>[501], 502=>[405], 503=>[447],
|
40
|
+
504=>[505], 506=>[507], 508=>[509], 510=>[511], 512=>[513], 514=>[515], 516=>[517], 518=>[519],
|
41
|
+
520=>[521], 522=>[523], 524=>[525], 526=>[527], 528=>[529], 530=>[531], 532=>[533], 534=>[535],
|
42
|
+
536=>[537], 538=>[539], 540=>[541], 542=>[543], 544=>[414], 546=>[547], 548=>[549], 550=>[551],
|
43
|
+
552=>[553], 554=>[555], 556=>[557], 558=>[559], 560=>[561], 562=>[563], 570=>[11365], 571=>[572],
|
44
|
+
573=>[410], 574=>[11366], 577=>[578], 579=>[384], 580=>[649], 581=>[652], 582=>[583], 584=>[585],
|
45
|
+
586=>[587], 588=>[589], 590=>[591], 837=>[953], 880=>[881], 882=>[883], 886=>[887], 902=>[940],
|
46
|
+
904=>[941], 905=>[942], 906=>[943], 908=>[972], 910=>[973], 911=>[974], 913=>[945], 914=>[946],
|
47
|
+
915=>[947], 916=>[948], 917=>[949], 918=>[950], 919=>[951], 920=>[952], 921=>[953], 922=>[954],
|
48
|
+
923=>[955], 924=>[956], 925=>[957], 926=>[958], 927=>[959], 928=>[960], 929=>[961], 931=>[963],
|
49
|
+
932=>[964], 933=>[965], 934=>[966], 935=>[967], 936=>[968], 937=>[969], 938=>[970], 939=>[971],
|
50
|
+
962=>[963], 975=>[983], 976=>[946], 977=>[952], 981=>[966], 982=>[960], 984=>[985], 986=>[987],
|
51
|
+
988=>[989], 990=>[991], 992=>[993], 994=>[995], 996=>[997], 998=>[999], 1000=>[1001], 1002=>[1003],
|
52
|
+
1004=>[1005], 1006=>[1007], 1008=>[954], 1009=>[961], 1012=>[952], 1013=>[949], 1015=>[1016], 1017=>[1010],
|
53
|
+
1018=>[1019], 1021=>[891], 1022=>[892], 1023=>[893], 1024=>[1104], 1025=>[1105], 1026=>[1106], 1027=>[1107],
|
54
|
+
1028=>[1108], 1029=>[1109], 1030=>[1110], 1031=>[1111], 1032=>[1112], 1033=>[1113], 1034=>[1114], 1035=>[1115],
|
55
|
+
1036=>[1116], 1037=>[1117], 1038=>[1118], 1039=>[1119], 1040=>[1072], 1041=>[1073], 1042=>[1074], 1043=>[1075],
|
56
|
+
1044=>[1076], 1045=>[1077], 1046=>[1078], 1047=>[1079], 1048=>[1080], 1049=>[1081], 1050=>[1082], 1051=>[1083],
|
57
|
+
1052=>[1084], 1053=>[1085], 1054=>[1086], 1055=>[1087], 1056=>[1088], 1057=>[1089], 1058=>[1090], 1059=>[1091],
|
58
|
+
1060=>[1092], 1061=>[1093], 1062=>[1094], 1063=>[1095], 1064=>[1096], 1065=>[1097], 1066=>[1098], 1067=>[1099],
|
59
|
+
1068=>[1100], 1069=>[1101], 1070=>[1102], 1071=>[1103], 1120=>[1121], 1122=>[1123], 1124=>[1125], 1126=>[1127],
|
60
|
+
1128=>[1129], 1130=>[1131], 1132=>[1133], 1134=>[1135], 1136=>[1137], 1138=>[1139], 1140=>[1141], 1142=>[1143],
|
61
|
+
1144=>[1145], 1146=>[1147], 1148=>[1149], 1150=>[1151], 1152=>[1153], 1162=>[1163], 1164=>[1165], 1166=>[1167],
|
62
|
+
1168=>[1169], 1170=>[1171], 1172=>[1173], 1174=>[1175], 1176=>[1177], 1178=>[1179], 1180=>[1181], 1182=>[1183],
|
63
|
+
1184=>[1185], 1186=>[1187], 1188=>[1189], 1190=>[1191], 1192=>[1193], 1194=>[1195], 1196=>[1197], 1198=>[1199],
|
64
|
+
1200=>[1201], 1202=>[1203], 1204=>[1205], 1206=>[1207], 1208=>[1209], 1210=>[1211], 1212=>[1213], 1214=>[1215],
|
65
|
+
1216=>[1231], 1217=>[1218], 1219=>[1220], 1221=>[1222], 1223=>[1224], 1225=>[1226], 1227=>[1228], 1229=>[1230],
|
66
|
+
1232=>[1233], 1234=>[1235], 1236=>[1237], 1238=>[1239], 1240=>[1241], 1242=>[1243], 1244=>[1245], 1246=>[1247],
|
67
|
+
1248=>[1249], 1250=>[1251], 1252=>[1253], 1254=>[1255], 1256=>[1257], 1258=>[1259], 1260=>[1261], 1262=>[1263],
|
68
|
+
1264=>[1265], 1266=>[1267], 1268=>[1269], 1270=>[1271], 1272=>[1273], 1274=>[1275], 1276=>[1277], 1278=>[1279],
|
69
|
+
1280=>[1281], 1282=>[1283], 1284=>[1285], 1286=>[1287], 1288=>[1289], 1290=>[1291], 1292=>[1293], 1294=>[1295],
|
70
|
+
1296=>[1297], 1298=>[1299], 1300=>[1301], 1302=>[1303], 1304=>[1305], 1306=>[1307], 1308=>[1309], 1310=>[1311],
|
71
|
+
1312=>[1313], 1314=>[1315], 1316=>[1317], 1318=>[1319], 1329=>[1377], 1330=>[1378], 1331=>[1379], 1332=>[1380],
|
72
|
+
1333=>[1381], 1334=>[1382], 1335=>[1383], 1336=>[1384], 1337=>[1385], 1338=>[1386], 1339=>[1387], 1340=>[1388],
|
73
|
+
1341=>[1389], 1342=>[1390], 1343=>[1391], 1344=>[1392], 1345=>[1393], 1346=>[1394], 1347=>[1395], 1348=>[1396],
|
74
|
+
1349=>[1397], 1350=>[1398], 1351=>[1399], 1352=>[1400], 1353=>[1401], 1354=>[1402], 1355=>[1403], 1356=>[1404],
|
75
|
+
1357=>[1405], 1358=>[1406], 1359=>[1407], 1360=>[1408], 1361=>[1409], 1362=>[1410], 1363=>[1411], 1364=>[1412],
|
76
|
+
1365=>[1413], 1366=>[1414], 4256=>[11520], 4257=>[11521], 4258=>[11522], 4259=>[11523], 4260=>[11524], 4261=>[11525],
|
77
|
+
4262=>[11526], 4263=>[11527], 4264=>[11528], 4265=>[11529], 4266=>[11530], 4267=>[11531], 4268=>[11532], 4269=>[11533],
|
78
|
+
4270=>[11534], 4271=>[11535], 4272=>[11536], 4273=>[11537], 4274=>[11538], 4275=>[11539], 4276=>[11540], 4277=>[11541],
|
79
|
+
4278=>[11542], 4279=>[11543], 4280=>[11544], 4281=>[11545], 4282=>[11546], 4283=>[11547], 4284=>[11548], 4285=>[11549],
|
80
|
+
4286=>[11550], 4287=>[11551], 4288=>[11552], 4289=>[11553], 4290=>[11554], 4291=>[11555], 4292=>[11556], 4293=>[11557],
|
81
|
+
4295=>[11559], 4301=>[11565], 7680=>[7681], 7682=>[7683], 7684=>[7685], 7686=>[7687], 7688=>[7689], 7690=>[7691],
|
82
|
+
7692=>[7693], 7694=>[7695], 7696=>[7697], 7698=>[7699], 7700=>[7701], 7702=>[7703], 7704=>[7705], 7706=>[7707],
|
83
|
+
7708=>[7709], 7710=>[7711], 7712=>[7713], 7714=>[7715], 7716=>[7717], 7718=>[7719], 7720=>[7721], 7722=>[7723],
|
84
|
+
7724=>[7725], 7726=>[7727], 7728=>[7729], 7730=>[7731], 7732=>[7733], 7734=>[7735], 7736=>[7737], 7738=>[7739],
|
85
|
+
7740=>[7741], 7742=>[7743], 7744=>[7745], 7746=>[7747], 7748=>[7749], 7750=>[7751], 7752=>[7753], 7754=>[7755],
|
86
|
+
7756=>[7757], 7758=>[7759], 7760=>[7761], 7762=>[7763], 7764=>[7765], 7766=>[7767], 7768=>[7769], 7770=>[7771],
|
87
|
+
7772=>[7773], 7774=>[7775], 7776=>[7777], 7778=>[7779], 7780=>[7781], 7782=>[7783], 7784=>[7785], 7786=>[7787],
|
88
|
+
7788=>[7789], 7790=>[7791], 7792=>[7793], 7794=>[7795], 7796=>[7797], 7798=>[7799], 7800=>[7801], 7802=>[7803],
|
89
|
+
7804=>[7805], 7806=>[7807], 7808=>[7809], 7810=>[7811], 7812=>[7813], 7814=>[7815], 7816=>[7817], 7818=>[7819],
|
90
|
+
7820=>[7821], 7822=>[7823], 7824=>[7825], 7826=>[7827], 7828=>[7829], 7835=>[7777], 7840=>[7841], 7842=>[7843],
|
91
|
+
7844=>[7845], 7846=>[7847], 7848=>[7849], 7850=>[7851], 7852=>[7853], 7854=>[7855], 7856=>[7857], 7858=>[7859],
|
92
|
+
7860=>[7861], 7862=>[7863], 7864=>[7865], 7866=>[7867], 7868=>[7869], 7870=>[7871], 7872=>[7873], 7874=>[7875],
|
93
|
+
7876=>[7877], 7878=>[7879], 7880=>[7881], 7882=>[7883], 7884=>[7885], 7886=>[7887], 7888=>[7889], 7890=>[7891],
|
94
|
+
7892=>[7893], 7894=>[7895], 7896=>[7897], 7898=>[7899], 7900=>[7901], 7902=>[7903], 7904=>[7905], 7906=>[7907],
|
95
|
+
7908=>[7909], 7910=>[7911], 7912=>[7913], 7914=>[7915], 7916=>[7917], 7918=>[7919], 7920=>[7921], 7922=>[7923],
|
96
|
+
7924=>[7925], 7926=>[7927], 7928=>[7929], 7930=>[7931], 7932=>[7933], 7934=>[7935], 7944=>[7936], 7945=>[7937],
|
97
|
+
7946=>[7938], 7947=>[7939], 7948=>[7940], 7949=>[7941], 7950=>[7942], 7951=>[7943], 7960=>[7952], 7961=>[7953],
|
98
|
+
7962=>[7954], 7963=>[7955], 7964=>[7956], 7965=>[7957], 7976=>[7968], 7977=>[7969], 7978=>[7970], 7979=>[7971],
|
99
|
+
7980=>[7972], 7981=>[7973], 7982=>[7974], 7983=>[7975], 7992=>[7984], 7993=>[7985], 7994=>[7986], 7995=>[7987],
|
100
|
+
7996=>[7988], 7997=>[7989], 7998=>[7990], 7999=>[7991], 8008=>[8000], 8009=>[8001], 8010=>[8002], 8011=>[8003],
|
101
|
+
8012=>[8004], 8013=>[8005], 8025=>[8017], 8027=>[8019], 8029=>[8021], 8031=>[8023], 8040=>[8032], 8041=>[8033],
|
102
|
+
8042=>[8034], 8043=>[8035], 8044=>[8036], 8045=>[8037], 8046=>[8038], 8047=>[8039], 8120=>[8112], 8121=>[8113],
|
103
|
+
8122=>[8048], 8123=>[8049], 8126=>[953], 8136=>[8050], 8137=>[8051], 8138=>[8052], 8139=>[8053], 8152=>[8144],
|
104
|
+
8153=>[8145], 8154=>[8054], 8155=>[8055], 8168=>[8160], 8169=>[8161], 8170=>[8058], 8171=>[8059], 8172=>[8165],
|
105
|
+
8184=>[8056], 8185=>[8057], 8186=>[8060], 8187=>[8061], 8486=>[969], 8490=>[107], 8491=>[229], 8498=>[8526],
|
106
|
+
8544=>[8560], 8545=>[8561], 8546=>[8562], 8547=>[8563], 8548=>[8564], 8549=>[8565], 8550=>[8566], 8551=>[8567],
|
107
|
+
8552=>[8568], 8553=>[8569], 8554=>[8570], 8555=>[8571], 8556=>[8572], 8557=>[8573], 8558=>[8574], 8559=>[8575],
|
108
|
+
8579=>[8580], 9398=>[9424], 9399=>[9425], 9400=>[9426], 9401=>[9427], 9402=>[9428], 9403=>[9429], 9404=>[9430],
|
109
|
+
9405=>[9431], 9406=>[9432], 9407=>[9433], 9408=>[9434], 9409=>[9435], 9410=>[9436], 9411=>[9437], 9412=>[9438],
|
110
|
+
9413=>[9439], 9414=>[9440], 9415=>[9441], 9416=>[9442], 9417=>[9443], 9418=>[9444], 9419=>[9445], 9420=>[9446],
|
111
|
+
9421=>[9447], 9422=>[9448], 9423=>[9449], 11264=>[11312], 11265=>[11313], 11266=>[11314], 11267=>[11315], 11268=>[11316],
|
112
|
+
11269=>[11317], 11270=>[11318], 11271=>[11319], 11272=>[11320], 11273=>[11321], 11274=>[11322], 11275=>[11323], 11276=>[11324],
|
113
|
+
11277=>[11325], 11278=>[11326], 11279=>[11327], 11280=>[11328], 11281=>[11329], 11282=>[11330], 11283=>[11331], 11284=>[11332],
|
114
|
+
11285=>[11333], 11286=>[11334], 11287=>[11335], 11288=>[11336], 11289=>[11337], 11290=>[11338], 11291=>[11339], 11292=>[11340],
|
115
|
+
11293=>[11341], 11294=>[11342], 11295=>[11343], 11296=>[11344], 11297=>[11345], 11298=>[11346], 11299=>[11347], 11300=>[11348],
|
116
|
+
11301=>[11349], 11302=>[11350], 11303=>[11351], 11304=>[11352], 11305=>[11353], 11306=>[11354], 11307=>[11355], 11308=>[11356],
|
117
|
+
11309=>[11357], 11310=>[11358], 11360=>[11361], 11362=>[619], 11363=>[7549], 11364=>[637], 11367=>[11368], 11369=>[11370],
|
118
|
+
11371=>[11372], 11373=>[593], 11374=>[625], 11375=>[592], 11376=>[594], 11378=>[11379], 11381=>[11382], 11390=>[575],
|
119
|
+
11391=>[576], 11392=>[11393], 11394=>[11395], 11396=>[11397], 11398=>[11399], 11400=>[11401], 11402=>[11403], 11404=>[11405],
|
120
|
+
11406=>[11407], 11408=>[11409], 11410=>[11411], 11412=>[11413], 11414=>[11415], 11416=>[11417], 11418=>[11419], 11420=>[11421],
|
121
|
+
11422=>[11423], 11424=>[11425], 11426=>[11427], 11428=>[11429], 11430=>[11431], 11432=>[11433], 11434=>[11435], 11436=>[11437],
|
122
|
+
11438=>[11439], 11440=>[11441], 11442=>[11443], 11444=>[11445], 11446=>[11447], 11448=>[11449], 11450=>[11451], 11452=>[11453],
|
123
|
+
11454=>[11455], 11456=>[11457], 11458=>[11459], 11460=>[11461], 11462=>[11463], 11464=>[11465], 11466=>[11467], 11468=>[11469],
|
124
|
+
11470=>[11471], 11472=>[11473], 11474=>[11475], 11476=>[11477], 11478=>[11479], 11480=>[11481], 11482=>[11483], 11484=>[11485],
|
125
|
+
11486=>[11487], 11488=>[11489], 11490=>[11491], 11499=>[11500], 11501=>[11502], 11506=>[11507], 42560=>[42561], 42562=>[42563],
|
126
|
+
42564=>[42565], 42566=>[42567], 42568=>[42569], 42570=>[42571], 42572=>[42573], 42574=>[42575], 42576=>[42577], 42578=>[42579],
|
127
|
+
42580=>[42581], 42582=>[42583], 42584=>[42585], 42586=>[42587], 42588=>[42589], 42590=>[42591], 42592=>[42593], 42594=>[42595],
|
128
|
+
42596=>[42597], 42598=>[42599], 42600=>[42601], 42602=>[42603], 42604=>[42605], 42624=>[42625], 42626=>[42627], 42628=>[42629],
|
129
|
+
42630=>[42631], 42632=>[42633], 42634=>[42635], 42636=>[42637], 42638=>[42639], 42640=>[42641], 42642=>[42643], 42644=>[42645],
|
130
|
+
42646=>[42647], 42786=>[42787], 42788=>[42789], 42790=>[42791], 42792=>[42793], 42794=>[42795], 42796=>[42797], 42798=>[42799],
|
131
|
+
42802=>[42803], 42804=>[42805], 42806=>[42807], 42808=>[42809], 42810=>[42811], 42812=>[42813], 42814=>[42815], 42816=>[42817],
|
132
|
+
42818=>[42819], 42820=>[42821], 42822=>[42823], 42824=>[42825], 42826=>[42827], 42828=>[42829], 42830=>[42831], 42832=>[42833],
|
133
|
+
42834=>[42835], 42836=>[42837], 42838=>[42839], 42840=>[42841], 42842=>[42843], 42844=>[42845], 42846=>[42847], 42848=>[42849],
|
134
|
+
42850=>[42851], 42852=>[42853], 42854=>[42855], 42856=>[42857], 42858=>[42859], 42860=>[42861], 42862=>[42863], 42873=>[42874],
|
135
|
+
42875=>[42876], 42877=>[7545], 42878=>[42879], 42880=>[42881], 42882=>[42883], 42884=>[42885], 42886=>[42887], 42891=>[42892],
|
136
|
+
42893=>[613], 42896=>[42897], 42898=>[42899], 42912=>[42913], 42914=>[42915], 42916=>[42917], 42918=>[42919], 42920=>[42921],
|
137
|
+
42922=>[614], 65313=>[65345], 65314=>[65346], 65315=>[65347], 65316=>[65348], 65317=>[65349], 65318=>[65350], 65319=>[65351],
|
138
|
+
65320=>[65352], 65321=>[65353], 65322=>[65354], 65323=>[65355], 65324=>[65356], 65325=>[65357], 65326=>[65358], 65327=>[65359],
|
139
|
+
65328=>[65360], 65329=>[65361], 65330=>[65362], 65331=>[65363], 65332=>[65364], 65333=>[65365], 65334=>[65366], 65335=>[65367],
|
140
|
+
65336=>[65368], 65337=>[65369], 65338=>[65370], 66560=>[66600], 66561=>[66601], 66562=>[66602], 66563=>[66603], 66564=>[66604],
|
141
|
+
66565=>[66605], 66566=>[66606], 66567=>[66607], 66568=>[66608], 66569=>[66609], 66570=>[66610], 66571=>[66611], 66572=>[66612],
|
142
|
+
66573=>[66613], 66574=>[66614], 66575=>[66615], 66576=>[66616], 66577=>[66617], 66578=>[66618], 66579=>[66619], 66580=>[66620],
|
143
|
+
66581=>[66621], 66582=>[66622], 66583=>[66623], 66584=>[66624], 66585=>[66625], 66586=>[66626], 66587=>[66627], 66588=>[66628],
|
144
|
+
66589=>[66629], 66590=>[66630], 66591=>[66631], 66592=>[66632], 66593=>[66633], 66594=>[66634], 66595=>[66635], 66596=>[66636],
|
145
|
+
66597=>[66637], 66598=>[66638], 66599=>[66639], 223=>[115, 115], 304=>[105, 775], 329=>[700, 110], 496=>[106, 780], 912=>[953, 776, 769],
|
146
|
+
944=>[965, 776, 769], 1415=>[1381, 1410], 7830=>[104, 817], 7831=>[116, 776], 7832=>[119, 778], 7833=>[121, 778], 7834=>[97, 702], 7838=>[223],
|
147
|
+
8016=>[965, 787], 8018=>[965, 787, 768], 8020=>[965, 787, 769], 8022=>[965, 787, 834], 8064=>[7936, 953], 8065=>[7937, 953], 8066=>[7938, 953], 8067=>[7939, 953],
|
148
|
+
8068=>[7940, 953], 8069=>[7941, 953], 8070=>[7942, 953], 8071=>[7943, 953], 8072=>[8064], 8073=>[8065], 8074=>[8066], 8075=>[8067],
|
149
|
+
8076=>[8068], 8077=>[8069], 8078=>[8070], 8079=>[8071], 8080=>[7968, 953], 8081=>[7969, 953], 8082=>[7970, 953], 8083=>[7971, 953],
|
150
|
+
8084=>[7972, 953], 8085=>[7973, 953], 8086=>[7974, 953], 8087=>[7975, 953], 8088=>[8080], 8089=>[8081], 8090=>[8082], 8091=>[8083],
|
151
|
+
8092=>[8084], 8093=>[8085], 8094=>[8086], 8095=>[8087], 8096=>[8032, 953], 8097=>[8033, 953], 8098=>[8034, 953], 8099=>[8035, 953],
|
152
|
+
8100=>[8036, 953], 8101=>[8037, 953], 8102=>[8038, 953], 8103=>[8039, 953], 8104=>[8096], 8105=>[8097], 8106=>[8098], 8107=>[8099],
|
153
|
+
8108=>[8100], 8109=>[8101], 8110=>[8102], 8111=>[8103], 8114=>[8048, 953], 8115=>[945, 953], 8116=>[940, 953], 8118=>[945, 834],
|
154
|
+
8119=>[945, 834, 953], 8124=>[8115], 8130=>[8052, 953], 8131=>[951, 953], 8132=>[942, 953], 8134=>[951, 834], 8135=>[951, 834, 953], 8140=>[8131],
|
155
|
+
8146=>[953, 776, 768], 8147=>[953, 776, 769], 8150=>[953, 834], 8151=>[953, 776, 834], 8162=>[965, 776, 768], 8163=>[965, 776, 769], 8164=>[961, 787], 8166=>[965, 834],
|
156
|
+
8167=>[965, 776, 834], 8178=>[8060, 953], 8179=>[969, 953], 8180=>[974, 953], 8182=>[969, 834], 8183=>[969, 834, 953], 8188=>[8179], 64256=>[102, 102],
|
157
|
+
64257=>[102, 105], 64258=>[102, 108], 64259=>[102, 102, 105], 64260=>[102, 102, 108], 64261=>[115, 116], 64262=>[115, 116], 64275=>[1396, 1398], 64276=>[1396, 1381],
|
158
|
+
64277=>[1396, 1387], 64278=>[1406, 1398], 64279=>[1396, 1389]
|
159
159
|
}
|
160
160
|
CASEFOLDING_HASH_T = CASEFOLDING_HASH.merge(
|
161
161
|
{
|
@@ -191,17 +191,20 @@ module TwitterCldr
|
|
191
191
|
end
|
192
192
|
|
193
193
|
def simple_casefold_regex
|
194
|
-
@simple_casefold_regex ||= Regexp.
|
194
|
+
@simple_casefold_regex ||= Regexp.new("#{CASEFOLDING_SOURCE_C}|#{CASEFOLDING_SOURCE_S}")
|
195
195
|
end
|
196
196
|
|
197
197
|
def full_casefold_regex
|
198
|
-
@full_casefold_regex ||= Regexp.
|
198
|
+
@full_casefold_regex ||= Regexp.new("#{CASEFOLDING_SOURCE_C}|#{CASEFOLDING_SOURCE_F}")
|
199
199
|
end
|
200
200
|
|
201
201
|
def regex_with_t(regex)
|
202
|
+
regex_with_t_cache[regex.source] ||=
|
203
|
+
Regexp.new("#{regex.source}|#{CASEFOLDING_SOURCE_T}")
|
204
|
+
end
|
205
|
+
|
206
|
+
def regex_with_t_cache
|
202
207
|
@regex_with_t_cache ||= {}
|
203
|
-
@regex_with_t_cache[regex.source] ||=
|
204
|
-
Regexp.union(regex, CASEFOLDING_REGEX_T)
|
205
208
|
end
|
206
209
|
|
207
210
|
end
|
@@ -14,38 +14,43 @@ module TwitterCldr
|
|
14
14
|
private
|
15
15
|
|
16
16
|
def tokenizer
|
17
|
-
|
18
|
-
|
19
|
-
|
20
|
-
|
21
|
-
|
22
|
-
|
23
|
-
|
24
|
-
|
25
|
-
|
26
|
-
|
27
|
-
|
28
|
-
|
29
|
-
|
30
|
-
|
31
|
-
|
32
|
-
|
33
|
-
|
34
|
-
|
35
|
-
|
36
|
-
|
37
|
-
|
38
|
-
|
39
|
-
|
40
|
-
|
41
|
-
|
42
|
-
|
43
|
-
|
44
|
-
@tokenizer ||= Tokenizer.new(
|
45
|
-
recognizers + [
|
46
|
-
TokenRecognizer.new(:plaintext, //) # catch-all
|
17
|
+
@tokenizer ||= begin
|
18
|
+
# i.e. %spellout-numbering, %%2d-year
|
19
|
+
rule_regex = if RUBY_VERSION <= "1.8.7"
|
20
|
+
/%%?[\w\-]+/u
|
21
|
+
else
|
22
|
+
Regexp.new("%%?[[:word:]\-]+")
|
23
|
+
end
|
24
|
+
|
25
|
+
recognizers = [
|
26
|
+
# special rule descriptors
|
27
|
+
TokenRecognizer.new(:negative, /-x/),
|
28
|
+
TokenRecognizer.new(:improper_fraction, /x\.x/),
|
29
|
+
TokenRecognizer.new(:proper_fraction, /0\.x/),
|
30
|
+
TokenRecognizer.new(:master, /x\.0/),
|
31
|
+
|
32
|
+
# normal rule descriptors
|
33
|
+
TokenRecognizer.new(:equals, /=/),
|
34
|
+
TokenRecognizer.new(:rule, rule_regex),
|
35
|
+
TokenRecognizer.new(:right_arrow, />/),
|
36
|
+
TokenRecognizer.new(:left_arrow, /</),
|
37
|
+
TokenRecognizer.new(:open_bracket, /\[/),
|
38
|
+
TokenRecognizer.new(:close_bracket, /\]/),
|
39
|
+
TokenRecognizer.new(:decimal, /[0#][0#,\.]+/),
|
40
|
+
|
41
|
+
# ending
|
42
|
+
TokenRecognizer.new(:semicolon, /;/),
|
47
43
|
]
|
48
|
-
|
44
|
+
|
45
|
+
splitter_source = recognizers.map { |r| r.regex.source }.join("|")
|
46
|
+
splitter = Regexp.new("(#{splitter_source})")
|
47
|
+
|
48
|
+
Tokenizer.new(
|
49
|
+
recognizers + [
|
50
|
+
TokenRecognizer.new(:plaintext, //) # catch-all
|
51
|
+
], splitter
|
52
|
+
)
|
53
|
+
end
|
49
54
|
end
|
50
55
|
|
51
56
|
end
|
@@ -100,11 +100,10 @@ module TwitterCldr
|
|
100
100
|
private
|
101
101
|
|
102
102
|
def splitter
|
103
|
-
@splitter ||= (@custom_splitter ||
|
104
|
-
|
105
|
-
|
106
|
-
|
107
|
-
))
|
103
|
+
@splitter ||= (@custom_splitter || begin
|
104
|
+
sources = recognizers.map { |rec| rec.regex.source }
|
105
|
+
Regexp.new("(" + sources.join("|") + ")")
|
106
|
+
end)
|
108
107
|
end
|
109
108
|
|
110
109
|
def clear_splitter
|
data/lib/twitter_cldr/version.rb
CHANGED
data/spec/spec_helper.rb
CHANGED
@@ -6,7 +6,14 @@
|
|
6
6
|
require 'rspec'
|
7
7
|
require 'rspec/autorun' # somehow makes rcov work with rspec
|
8
8
|
require 'twitter_cldr'
|
9
|
-
|
9
|
+
|
10
|
+
if defined?(RUBY_ENGINE)
|
11
|
+
if RUBY_ENGINE == "rbx"
|
12
|
+
require 'rubinius/debugger'
|
13
|
+
elsif RUBY_ENGINE == "ruby"
|
14
|
+
require 'pry-nav'
|
15
|
+
end
|
16
|
+
end
|
10
17
|
|
11
18
|
if RUBY_VERSION <= "1.8.7"
|
12
19
|
$KCODE = "UTF-8"
|
metadata
CHANGED
@@ -1,77 +1,65 @@
|
|
1
1
|
--- !ruby/object:Gem::Specification
|
2
2
|
name: twitter_cldr
|
3
3
|
version: !ruby/object:Gem::Version
|
4
|
-
version: 3.0.
|
4
|
+
version: 3.0.3
|
5
5
|
platform: ruby
|
6
6
|
authors:
|
7
7
|
- Cameron Dutro
|
8
|
-
autorequire:
|
8
|
+
autorequire:
|
9
9
|
bindir: bin
|
10
10
|
cert_chain: []
|
11
|
-
date: 2014-05-
|
11
|
+
date: 2014-05-27 00:00:00.000000000 Z
|
12
12
|
dependencies:
|
13
13
|
- !ruby/object:Gem::Dependency
|
14
14
|
name: json
|
15
|
-
version_requirements: !ruby/object:Gem::Requirement
|
16
|
-
requirements:
|
17
|
-
- - '>='
|
18
|
-
- !ruby/object:Gem::Version
|
19
|
-
version: '0'
|
20
15
|
requirement: !ruby/object:Gem::Requirement
|
21
16
|
requirements:
|
22
17
|
- - '>='
|
23
18
|
- !ruby/object:Gem::Version
|
24
19
|
version: '0'
|
25
|
-
prerelease: false
|
26
20
|
type: :runtime
|
27
|
-
|
28
|
-
name: camertron-eprun
|
21
|
+
prerelease: false
|
29
22
|
version_requirements: !ruby/object:Gem::Requirement
|
30
23
|
requirements:
|
31
24
|
- - '>='
|
32
25
|
- !ruby/object:Gem::Version
|
33
26
|
version: '0'
|
27
|
+
- !ruby/object:Gem::Dependency
|
28
|
+
name: camertron-eprun
|
34
29
|
requirement: !ruby/object:Gem::Requirement
|
35
30
|
requirements:
|
36
31
|
- - '>='
|
37
32
|
- !ruby/object:Gem::Version
|
38
33
|
version: '0'
|
39
|
-
prerelease: false
|
40
34
|
type: :runtime
|
41
|
-
|
42
|
-
name: tzinfo
|
35
|
+
prerelease: false
|
43
36
|
version_requirements: !ruby/object:Gem::Requirement
|
44
37
|
requirements:
|
45
38
|
- - '>='
|
46
39
|
- !ruby/object:Gem::Version
|
47
40
|
version: '0'
|
41
|
+
- !ruby/object:Gem::Dependency
|
42
|
+
name: tzinfo
|
48
43
|
requirement: !ruby/object:Gem::Requirement
|
49
44
|
requirements:
|
50
45
|
- - '>='
|
51
46
|
- !ruby/object:Gem::Version
|
52
47
|
version: '0'
|
53
|
-
prerelease: false
|
54
48
|
type: :runtime
|
55
|
-
|
49
|
+
prerelease: false
|
50
|
+
version_requirements: !ruby/object:Gem::Requirement
|
51
|
+
requirements:
|
52
|
+
- - '>='
|
53
|
+
- !ruby/object:Gem::Version
|
54
|
+
version: '0'
|
55
|
+
description: Ruby implementation of the ICU (International Components for Unicode)
|
56
|
+
that uses the Common Locale Data Repository to format dates, plurals, and more.
|
56
57
|
email:
|
57
58
|
- cdutro@twitter.com
|
58
59
|
executables: []
|
59
60
|
extensions: []
|
60
61
|
extra_rdoc_files: []
|
61
62
|
files:
|
62
|
-
- lib/twitter_cldr.rb
|
63
|
-
- lib/twitter_cldr/collation.rb
|
64
|
-
- lib/twitter_cldr/core_ext.rb
|
65
|
-
- lib/twitter_cldr/data_readers.rb
|
66
|
-
- lib/twitter_cldr/formatters.rb
|
67
|
-
- lib/twitter_cldr/localized.rb
|
68
|
-
- lib/twitter_cldr/normalization.rb
|
69
|
-
- lib/twitter_cldr/parsers.rb
|
70
|
-
- lib/twitter_cldr/resources.rb
|
71
|
-
- lib/twitter_cldr/shared.rb
|
72
|
-
- lib/twitter_cldr/tokenizers.rb
|
73
|
-
- lib/twitter_cldr/utils.rb
|
74
|
-
- lib/twitter_cldr/version.rb
|
75
63
|
- lib/twitter_cldr/collation/collator.rb
|
76
64
|
- lib/twitter_cldr/collation/implicit_collation_elements.rb
|
77
65
|
- lib/twitter_cldr/collation/sort_key_builder.rb
|
@@ -79,6 +67,8 @@ files:
|
|
79
67
|
- lib/twitter_cldr/collation/trie_builder.rb
|
80
68
|
- lib/twitter_cldr/collation/trie_loader.rb
|
81
69
|
- lib/twitter_cldr/collation/trie_with_fallback.rb
|
70
|
+
- lib/twitter_cldr/collation.rb
|
71
|
+
- lib/twitter_cldr/core_ext.rb
|
82
72
|
- lib/twitter_cldr/data_readers/additional_date_format_selector.rb
|
83
73
|
- lib/twitter_cldr/data_readers/calendar_data_reader.rb
|
84
74
|
- lib/twitter_cldr/data_readers/data_reader.rb
|
@@ -87,32 +77,34 @@ files:
|
|
87
77
|
- lib/twitter_cldr/data_readers/number_data_reader.rb
|
88
78
|
- lib/twitter_cldr/data_readers/time_data_reader.rb
|
89
79
|
- lib/twitter_cldr/data_readers/timespan_data_reader.rb
|
90
|
-
- lib/twitter_cldr/
|
91
|
-
- lib/twitter_cldr/formatters/list_formatter.rb
|
92
|
-
- lib/twitter_cldr/formatters/numbers.rb
|
93
|
-
- lib/twitter_cldr/formatters/plurals.rb
|
80
|
+
- lib/twitter_cldr/data_readers.rb
|
94
81
|
- lib/twitter_cldr/formatters/calendars/date_time_formatter.rb
|
95
82
|
- lib/twitter_cldr/formatters/calendars/timespan_formatter.rb
|
96
|
-
- lib/twitter_cldr/formatters/
|
97
|
-
- lib/twitter_cldr/formatters/
|
98
|
-
- lib/twitter_cldr/formatters/numbers/number_formatter.rb
|
99
|
-
- lib/twitter_cldr/formatters/numbers/percent_formatter.rb
|
100
|
-
- lib/twitter_cldr/formatters/numbers/rbnf.rb
|
83
|
+
- lib/twitter_cldr/formatters/formatter.rb
|
84
|
+
- lib/twitter_cldr/formatters/list_formatter.rb
|
101
85
|
- lib/twitter_cldr/formatters/numbers/abbreviated/abbreviated_number_formatter.rb
|
102
86
|
- lib/twitter_cldr/formatters/numbers/abbreviated/long_decimal_formatter.rb
|
103
87
|
- lib/twitter_cldr/formatters/numbers/abbreviated/short_decimal_formatter.rb
|
88
|
+
- lib/twitter_cldr/formatters/numbers/currency_formatter.rb
|
89
|
+
- lib/twitter_cldr/formatters/numbers/decimal_formatter.rb
|
104
90
|
- lib/twitter_cldr/formatters/numbers/helpers/base.rb
|
105
91
|
- lib/twitter_cldr/formatters/numbers/helpers/fraction.rb
|
106
92
|
- lib/twitter_cldr/formatters/numbers/helpers/integer.rb
|
93
|
+
- lib/twitter_cldr/formatters/numbers/number_formatter.rb
|
94
|
+
- lib/twitter_cldr/formatters/numbers/percent_formatter.rb
|
107
95
|
- lib/twitter_cldr/formatters/numbers/rbnf/formatters.rb
|
96
|
+
- lib/twitter_cldr/formatters/numbers/rbnf/post_processors/chinese.rb
|
108
97
|
- lib/twitter_cldr/formatters/numbers/rbnf/rule.rb
|
109
98
|
- lib/twitter_cldr/formatters/numbers/rbnf/rule_group.rb
|
110
99
|
- lib/twitter_cldr/formatters/numbers/rbnf/rule_parser.rb
|
111
100
|
- lib/twitter_cldr/formatters/numbers/rbnf/rule_set.rb
|
112
101
|
- lib/twitter_cldr/formatters/numbers/rbnf/substitution.rb
|
113
|
-
- lib/twitter_cldr/formatters/numbers/rbnf
|
102
|
+
- lib/twitter_cldr/formatters/numbers/rbnf.rb
|
103
|
+
- lib/twitter_cldr/formatters/numbers.rb
|
114
104
|
- lib/twitter_cldr/formatters/plurals/plural_formatter.rb
|
115
105
|
- lib/twitter_cldr/formatters/plurals/rules.rb
|
106
|
+
- lib/twitter_cldr/formatters/plurals.rb
|
107
|
+
- lib/twitter_cldr/formatters.rb
|
116
108
|
- lib/twitter_cldr/localized/localized_array.rb
|
117
109
|
- lib/twitter_cldr/localized/localized_date.rb
|
118
110
|
- lib/twitter_cldr/localized/localized_datetime.rb
|
@@ -123,17 +115,20 @@ files:
|
|
123
115
|
- lib/twitter_cldr/localized/localized_symbol.rb
|
124
116
|
- lib/twitter_cldr/localized/localized_time.rb
|
125
117
|
- lib/twitter_cldr/localized/localized_timespan.rb
|
118
|
+
- lib/twitter_cldr/localized.rb
|
119
|
+
- lib/twitter_cldr/normalization.rb
|
126
120
|
- lib/twitter_cldr/parsers/number_parser.rb
|
127
121
|
- lib/twitter_cldr/parsers/parser.rb
|
128
122
|
- lib/twitter_cldr/parsers/segmentation_parser.rb
|
129
123
|
- lib/twitter_cldr/parsers/symbol_table.rb
|
130
|
-
- lib/twitter_cldr/parsers/unicode_regex_parser.rb
|
131
124
|
- lib/twitter_cldr/parsers/unicode_regex/character_class.rb
|
132
125
|
- lib/twitter_cldr/parsers/unicode_regex/character_range.rb
|
133
126
|
- lib/twitter_cldr/parsers/unicode_regex/character_set.rb
|
134
127
|
- lib/twitter_cldr/parsers/unicode_regex/component.rb
|
135
128
|
- lib/twitter_cldr/parsers/unicode_regex/literal.rb
|
136
129
|
- lib/twitter_cldr/parsers/unicode_regex/unicode_string.rb
|
130
|
+
- lib/twitter_cldr/parsers/unicode_regex_parser.rb
|
131
|
+
- lib/twitter_cldr/parsers.rb
|
137
132
|
- lib/twitter_cldr/resources/bidi_test_importer.rb
|
138
133
|
- lib/twitter_cldr/resources/canonical_compositions_updater.rb
|
139
134
|
- lib/twitter_cldr/resources/casefolder.rb.erb
|
@@ -153,11 +148,12 @@ files:
|
|
153
148
|
- lib/twitter_cldr/resources/readme_renderer.rb
|
154
149
|
- lib/twitter_cldr/resources/regexp_ast_generator.rb
|
155
150
|
- lib/twitter_cldr/resources/tailoring_importer.rb
|
151
|
+
- lib/twitter_cldr/resources/uli/segment_exceptions_importer.rb
|
156
152
|
- lib/twitter_cldr/resources/uli.rb
|
157
153
|
- lib/twitter_cldr/resources/unicode_data_importer.rb
|
158
154
|
- lib/twitter_cldr/resources/unicode_importer.rb
|
159
155
|
- lib/twitter_cldr/resources/unicode_properties_importer.rb
|
160
|
-
- lib/twitter_cldr/resources
|
156
|
+
- lib/twitter_cldr/resources.rb
|
161
157
|
- lib/twitter_cldr/shared/bidi.rb
|
162
158
|
- lib/twitter_cldr/shared/break_iterator.rb
|
163
159
|
- lib/twitter_cldr/shared/calendar.rb
|
@@ -174,30 +170,29 @@ files:
|
|
174
170
|
- lib/twitter_cldr/shared/territories.rb
|
175
171
|
- lib/twitter_cldr/shared/timezones.rb
|
176
172
|
- lib/twitter_cldr/shared/unicode_regex.rb
|
177
|
-
- lib/twitter_cldr/
|
178
|
-
- lib/twitter_cldr/tokenizers/pattern_tokenizer.rb
|
179
|
-
- lib/twitter_cldr/tokenizers/token.rb
|
180
|
-
- lib/twitter_cldr/tokenizers/tokenizer.rb
|
173
|
+
- lib/twitter_cldr/shared.rb
|
181
174
|
- lib/twitter_cldr/tokenizers/calendars/date_time_tokenizer.rb
|
182
175
|
- lib/twitter_cldr/tokenizers/calendars/date_tokenizer.rb
|
183
176
|
- lib/twitter_cldr/tokenizers/calendars/time_tokenizer.rb
|
184
177
|
- lib/twitter_cldr/tokenizers/calendars/timespan_tokenizer.rb
|
178
|
+
- lib/twitter_cldr/tokenizers/composite_token.rb
|
185
179
|
- lib/twitter_cldr/tokenizers/numbers/number_tokenizer.rb
|
186
180
|
- lib/twitter_cldr/tokenizers/numbers/rbnf_tokenizer.rb
|
181
|
+
- lib/twitter_cldr/tokenizers/pattern_tokenizer.rb
|
187
182
|
- lib/twitter_cldr/tokenizers/segmentation/segmentation_tokenizer.rb
|
183
|
+
- lib/twitter_cldr/tokenizers/token.rb
|
184
|
+
- lib/twitter_cldr/tokenizers/tokenizer.rb
|
188
185
|
- lib/twitter_cldr/tokenizers/unicode_regex/unicode_regex_tokenizer.rb
|
186
|
+
- lib/twitter_cldr/tokenizers.rb
|
189
187
|
- lib/twitter_cldr/utils/code_points.rb
|
190
188
|
- lib/twitter_cldr/utils/interpolation.rb
|
191
189
|
- lib/twitter_cldr/utils/range_set.rb
|
192
190
|
- lib/twitter_cldr/utils/regexp_ast.rb
|
193
191
|
- lib/twitter_cldr/utils/regexp_sampler.rb
|
194
192
|
- lib/twitter_cldr/utils/yaml.rb
|
195
|
-
-
|
196
|
-
-
|
197
|
-
-
|
198
|
-
- spec/spec_helper.rb
|
199
|
-
- spec/twitter_cldr_spec.rb
|
200
|
-
- spec/utils_spec.rb
|
193
|
+
- lib/twitter_cldr/utils.rb
|
194
|
+
- lib/twitter_cldr/version.rb
|
195
|
+
- lib/twitter_cldr.rb
|
201
196
|
- spec/bidi/bidi_spec.rb
|
202
197
|
- spec/bidi/classpath_bidi_test.txt
|
203
198
|
- spec/collation/collation_spec.rb
|
@@ -206,11 +201,6 @@ files:
|
|
206
201
|
- spec/collation/implicit_collation_elements_spec.rb
|
207
202
|
- spec/collation/sort_key_builder_spec.rb
|
208
203
|
- spec/collation/tailoring_spec.rb
|
209
|
-
- spec/collation/trie_builder_spec.rb
|
210
|
-
- spec/collation/trie_dumps_spec.rb
|
211
|
-
- spec/collation/trie_loader_spec.rb
|
212
|
-
- spec/collation/trie_spec.rb
|
213
|
-
- spec/collation/trie_with_fallback_spec.rb
|
214
204
|
- spec/collation/tailoring_tests/af.txt
|
215
205
|
- spec/collation/tailoring_tests/ar.txt
|
216
206
|
- spec/collation/tailoring_tests/ca.txt
|
@@ -245,23 +235,28 @@ files:
|
|
245
235
|
- spec/collation/tailoring_tests/ur.txt
|
246
236
|
- spec/collation/tailoring_tests/zh-Hant.txt
|
247
237
|
- spec/collation/tailoring_tests/zh.txt
|
238
|
+
- spec/collation/trie_builder_spec.rb
|
239
|
+
- spec/collation/trie_dumps_spec.rb
|
240
|
+
- spec/collation/trie_loader_spec.rb
|
241
|
+
- spec/collation/trie_spec.rb
|
242
|
+
- spec/collation/trie_with_fallback_spec.rb
|
243
|
+
- spec/core_ext_spec.rb
|
248
244
|
- spec/data_readers/additional_date_format_selector_spec.rb
|
249
245
|
- spec/data_readers/date_time_data_reader_spec.rb
|
250
246
|
- spec/data_readers/number_data_reader_spec.rb
|
251
247
|
- spec/data_readers/timespan_data_reader.rb
|
252
|
-
- spec/formatters/list_formatter_spec.rb
|
253
248
|
- spec/formatters/calendars/datetime_formatter_spec.rb
|
254
|
-
- spec/formatters/
|
255
|
-
- spec/formatters/numbers/decimal_formatter_spec.rb
|
256
|
-
- spec/formatters/numbers/number_formatter_spec.rb
|
257
|
-
- spec/formatters/numbers/percent_formatter_spec.rb
|
249
|
+
- spec/formatters/list_formatter_spec.rb
|
258
250
|
- spec/formatters/numbers/abbreviated/abbreviated_number_formatter_spec.rb
|
259
251
|
- spec/formatters/numbers/abbreviated/long_decimal_formatter_spec.rb
|
260
252
|
- spec/formatters/numbers/abbreviated/short_decimal_formatter_spec.rb
|
253
|
+
- spec/formatters/numbers/currency_formatter_spec.rb
|
254
|
+
- spec/formatters/numbers/decimal_formatter_spec.rb
|
261
255
|
- spec/formatters/numbers/helpers/fraction_spec.rb
|
262
256
|
- spec/formatters/numbers/helpers/integer_spec.rb
|
257
|
+
- spec/formatters/numbers/number_formatter_spec.rb
|
258
|
+
- spec/formatters/numbers/percent_formatter_spec.rb
|
263
259
|
- spec/formatters/numbers/rbnf/allowed_failures.yml
|
264
|
-
- spec/formatters/numbers/rbnf/rbnf_spec.rb
|
265
260
|
- spec/formatters/numbers/rbnf/locales/af/rbnf_test.yml
|
266
261
|
- spec/formatters/numbers/rbnf/locales/ar/rbnf_test.yml
|
267
262
|
- spec/formatters/numbers/rbnf/locales/be/rbnf_test.yml
|
@@ -312,6 +307,7 @@ files:
|
|
312
307
|
- spec/formatters/numbers/rbnf/locales/vi/rbnf_test.yml
|
313
308
|
- spec/formatters/numbers/rbnf/locales/zh/rbnf_test.yml
|
314
309
|
- spec/formatters/numbers/rbnf/locales/zh-Hant/rbnf_test.yml
|
310
|
+
- spec/formatters/numbers/rbnf/rbnf_spec.rb
|
315
311
|
- spec/formatters/plurals/plural_formatter_spec.rb
|
316
312
|
- spec/formatters/plurals/rules_spec.rb
|
317
313
|
- spec/localized/localized_array_spec.rb
|
@@ -324,16 +320,18 @@ files:
|
|
324
320
|
- spec/localized/localized_symbol_spec.rb
|
325
321
|
- spec/localized/localized_time_spec.rb
|
326
322
|
- spec/localized/localized_timespan_spec.rb
|
323
|
+
- spec/normalization_spec.rb
|
327
324
|
- spec/parsers/number_parser_spec.rb
|
328
325
|
- spec/parsers/parser_spec.rb
|
329
326
|
- spec/parsers/segmentation_parser_spec.rb
|
330
327
|
- spec/parsers/symbol_table_spec.rb
|
331
|
-
- spec/parsers/unicode_regex_parser_spec.rb
|
332
328
|
- spec/parsers/unicode_regex/character_class_spec.rb
|
333
329
|
- spec/parsers/unicode_regex/character_range_spec.rb
|
334
330
|
- spec/parsers/unicode_regex/character_set_spec.rb
|
335
331
|
- spec/parsers/unicode_regex/literal_spec.rb
|
336
332
|
- spec/parsers/unicode_regex/unicode_string_spec.rb
|
333
|
+
- spec/parsers/unicode_regex_parser_spec.rb
|
334
|
+
- spec/readme_spec.rb
|
337
335
|
- spec/resources/loader_spec.rb
|
338
336
|
- spec/shared/break_iterator_spec.rb
|
339
337
|
- spec/shared/calendar_spec.rb
|
@@ -351,15 +349,17 @@ files:
|
|
351
349
|
- spec/shared/postal_codes_spec.rb
|
352
350
|
- spec/shared/territories_spec.rb
|
353
351
|
- spec/shared/unicode_regex_spec.rb
|
354
|
-
- spec/
|
355
|
-
- spec/tokenizers/token_spec.rb
|
352
|
+
- spec/spec_helper.rb
|
356
353
|
- spec/tokenizers/calendars/date_tokenizer_spec.rb
|
357
354
|
- spec/tokenizers/calendars/datetime_tokenizer_spec.rb
|
358
355
|
- spec/tokenizers/calendars/time_tokenizer_spec.rb
|
359
356
|
- spec/tokenizers/calendars/timespan_tokenizer_spec.rb
|
357
|
+
- spec/tokenizers/composite_token_spec.rb
|
360
358
|
- spec/tokenizers/numbers/number_tokenizer_spec.rb
|
361
359
|
- spec/tokenizers/segmentation/segmentation_tokenizer_spec.rb
|
360
|
+
- spec/tokenizers/token_spec.rb
|
362
361
|
- spec/tokenizers/unicode_regex/unicode_regex_tokenizer_spec.rb
|
362
|
+
- spec/twitter_cldr_spec.rb
|
363
363
|
- spec/utils/code_points_spec.rb
|
364
364
|
- spec/utils/interpolation_spec.rb
|
365
365
|
- spec/utils/range_set_spec.rb
|
@@ -368,6 +368,7 @@ files:
|
|
368
368
|
- spec/utils/yaml/t.gif
|
369
369
|
- spec/utils/yaml/t.yaml
|
370
370
|
- spec/utils/yaml/yaml_spec.rb
|
371
|
+
- spec/utils_spec.rb
|
371
372
|
- resources/collation/FractionalUCA_SHORT.txt
|
372
373
|
- resources/collation/tailoring/af.yml
|
373
374
|
- resources/collation/tailoring/ar.yml
|
@@ -1036,15 +1037,6 @@ files:
|
|
1036
1037
|
- resources/uli/segments/it.yml
|
1037
1038
|
- resources/uli/segments/pt.yml
|
1038
1039
|
- resources/uli/segments/ru.yml
|
1039
|
-
- resources/unicode_data/blocks.yml
|
1040
|
-
- resources/unicode_data/canonical_compositions.yml
|
1041
|
-
- resources/unicode_data/casefolding.yml
|
1042
|
-
- resources/unicode_data/composition_exclusions.yml
|
1043
|
-
- resources/unicode_data/hangul_blocks.yml
|
1044
|
-
- resources/unicode_data/nfc_quick_check.yml
|
1045
|
-
- resources/unicode_data/nfd_quick_check.yml
|
1046
|
-
- resources/unicode_data/nfkc_quick_check.yml
|
1047
|
-
- resources/unicode_data/nfkd_quick_check.yml
|
1048
1040
|
- resources/unicode_data/blocks/aegean_numbers.yml
|
1049
1041
|
- resources/unicode_data/blocks/alchemical_symbols.yml
|
1050
1042
|
- resources/unicode_data/blocks/alphabetic_presentation_forms.yml
|
@@ -1265,10 +1257,19 @@ files:
|
|
1265
1257
|
- resources/unicode_data/blocks/yi_radicals.yml
|
1266
1258
|
- resources/unicode_data/blocks/yi_syllables.yml
|
1267
1259
|
- resources/unicode_data/blocks/yijing_hexagram_symbols.yml
|
1260
|
+
- resources/unicode_data/blocks.yml
|
1261
|
+
- resources/unicode_data/canonical_compositions.yml
|
1262
|
+
- resources/unicode_data/casefolding.yml
|
1263
|
+
- resources/unicode_data/composition_exclusions.yml
|
1264
|
+
- resources/unicode_data/hangul_blocks.yml
|
1268
1265
|
- resources/unicode_data/indices/bidi_class.yml
|
1269
1266
|
- resources/unicode_data/indices/bidi_mirrored.yml
|
1270
1267
|
- resources/unicode_data/indices/category.yml
|
1271
1268
|
- resources/unicode_data/indices/keys.yml
|
1269
|
+
- resources/unicode_data/nfc_quick_check.yml
|
1270
|
+
- resources/unicode_data/nfd_quick_check.yml
|
1271
|
+
- resources/unicode_data/nfkc_quick_check.yml
|
1272
|
+
- resources/unicode_data/nfkd_quick_check.yml
|
1272
1273
|
- resources/unicode_data/properties/line_break.yml
|
1273
1274
|
- resources/unicode_data/properties/sentence_break.yml
|
1274
1275
|
- resources/unicode_data/properties/word_break.yml
|
@@ -1282,7 +1283,7 @@ files:
|
|
1282
1283
|
homepage: http://twitter.com
|
1283
1284
|
licenses: []
|
1284
1285
|
metadata: {}
|
1285
|
-
post_install_message:
|
1286
|
+
post_install_message:
|
1286
1287
|
rdoc_options: []
|
1287
1288
|
require_paths:
|
1288
1289
|
- lib
|
@@ -1297,9 +1298,10 @@ required_rubygems_version: !ruby/object:Gem::Requirement
|
|
1297
1298
|
- !ruby/object:Gem::Version
|
1298
1299
|
version: '0'
|
1299
1300
|
requirements: []
|
1300
|
-
rubyforge_project:
|
1301
|
-
rubygems_version: 2.1.
|
1302
|
-
signing_key:
|
1301
|
+
rubyforge_project:
|
1302
|
+
rubygems_version: 2.1.11
|
1303
|
+
signing_key:
|
1303
1304
|
specification_version: 4
|
1304
|
-
summary: Ruby implementation of the ICU (International Components for Unicode) that
|
1305
|
+
summary: Ruby implementation of the ICU (International Components for Unicode) that
|
1306
|
+
uses the Common Locale Data Repository to format dates, plurals, and more.
|
1305
1307
|
test_files: []
|