RubyGems - twitter_cldr - Versions diffs - 5.2.0 → 5.3.0 - Mend

twitter_cldr 5.2.0 → 5.3.0

Files changed (110) hide show

checksums.yaml +4 -4
data/Gemfile +0 -4
data/Rakefile +19 -8
data/lib/twitter_cldr/normalization.rb +18 -5
data/lib/twitter_cldr/resources.rb +3 -1
data/lib/twitter_cldr/resources/import_resolver.rb +11 -3
data/lib/twitter_cldr/resources/loader.rb +22 -1
data/lib/twitter_cldr/resources/locales_resources_importer.rb +0 -9
data/lib/twitter_cldr/resources/postal_codes_importer.rb +19 -23
data/lib/twitter_cldr/resources/segment_dictionaries_importer.rb +75 -0
data/lib/twitter_cldr/resources/segment_tests_importer.rb +130 -13
data/lib/twitter_cldr/segmentation.rb +25 -10
data/lib/twitter_cldr/segmentation/brahmic_break_engine.rb +200 -0
data/lib/twitter_cldr/segmentation/break_iterator.rb +22 -22
data/lib/twitter_cldr/segmentation/burmese_break_engine.rb +83 -0
data/lib/twitter_cldr/segmentation/category_table.rb +5 -1
data/lib/twitter_cldr/segmentation/cj_break_engine.rb +163 -0
data/lib/twitter_cldr/segmentation/cursor.rb +1 -1
data/lib/twitter_cldr/segmentation/dictionary.rb +84 -0
data/lib/twitter_cldr/segmentation/dictionary_break_engine.rb +34 -0
data/lib/twitter_cldr/segmentation/khmer_break_engine.rb +83 -0
data/lib/twitter_cldr/segmentation/korean_break_engine.rb +30 -0
data/lib/twitter_cldr/segmentation/lao_break_engine.rb +85 -0
data/lib/twitter_cldr/segmentation/line_iterator.rb +23 -0
data/lib/twitter_cldr/segmentation/possible_word.rb +74 -0
data/lib/twitter_cldr/segmentation/possible_word_list.rb +23 -0
data/lib/twitter_cldr/segmentation/rule_set.rb +3 -12
data/lib/twitter_cldr/segmentation/segment_iterator.rb +40 -0
data/lib/twitter_cldr/segmentation/state_machine.rb +2 -8
data/lib/twitter_cldr/segmentation/thai_break_engine.rb +141 -0
data/lib/twitter_cldr/segmentation/unhandled_break_engine.rb +21 -0
data/lib/twitter_cldr/segmentation/word_iterator.rb +170 -0
data/lib/twitter_cldr/shared.rb +1 -0
data/lib/twitter_cldr/shared/caser.rb +3 -3
data/lib/twitter_cldr/shared/unicode_set.rb +77 -0
data/lib/twitter_cldr/utils/range_set.rb +10 -1
data/lib/twitter_cldr/version.rb +1 -1
data/resources/collation/tailoring/km.yml +82 -0
data/resources/collation/tailoring/lo.yml +4 -0
data/resources/collation/tailoring/my.yml +940 -0
data/resources/collation/tries/km.dump +0 -0
data/resources/collation/tries/lo.dump +0 -0
data/resources/collation/tries/my.dump +0 -0
data/resources/locales/km/calendars.yml +373 -0
data/resources/locales/km/currencies.yml +654 -0
data/resources/locales/km/day_periods.yml +96 -0
data/resources/locales/km/fields.yml +495 -0
data/resources/locales/km/languages.yml +397 -0
data/resources/locales/km/layout.yml +5 -0
data/resources/locales/km/lists.yml +37 -0
data/resources/locales/km/numbers.yml +402 -0
data/resources/locales/km/plural_rules.yml +6 -0
data/resources/locales/km/plurals.yml +12 -0
data/resources/locales/km/rbnf.yml +131 -0
data/resources/locales/km/territories.yml +267 -0
data/resources/locales/km/timezones.yml +1471 -0
data/resources/locales/km/units.yml +721 -0
data/resources/locales/lo/calendars.yml +368 -0
data/resources/locales/lo/currencies.yml +918 -0
data/resources/locales/lo/day_periods.yml +96 -0
data/resources/locales/lo/fields.yml +437 -0
data/resources/locales/lo/languages.yml +529 -0
data/resources/locales/lo/layout.yml +5 -0
data/resources/locales/lo/lists.yml +42 -0
data/resources/locales/lo/numbers.yml +476 -0
data/resources/locales/lo/plural_rules.yml +7 -0
data/resources/locales/lo/plurals.yml +14 -0
data/resources/locales/lo/rbnf.yml +119 -0
data/resources/locales/lo/territories.yml +265 -0
data/resources/locales/lo/timezones.yml +1513 -0
data/resources/locales/lo/units.yml +750 -0
data/resources/locales/my/calendars.yml +374 -0
data/resources/locales/my/currencies.yml +697 -0
data/resources/locales/my/day_periods.yml +96 -0
data/resources/locales/my/fields.yml +459 -0
data/resources/locales/my/languages.yml +420 -0
data/resources/locales/my/layout.yml +5 -0
data/resources/locales/my/lists.yml +43 -0
data/resources/locales/my/numbers.yml +417 -0
data/resources/locales/my/plural_rules.yml +6 -0
data/resources/locales/my/plurals.yml +12 -0
data/resources/locales/my/rbnf.yml +145 -0
data/resources/locales/my/territories.yml +265 -0
data/resources/locales/my/timezones.yml +1479 -0
data/resources/locales/my/units.yml +759 -0
data/resources/locales/th/plurals.yml +1 -1
data/resources/shared/segments/dictionaries/burmesedict.dump +0 -0
data/resources/shared/segments/dictionaries/cjdict.dump +0 -0
data/resources/shared/segments/dictionaries/khmerdict.dump +0 -0
data/resources/shared/segments/dictionaries/laodict.dump +0 -0
data/resources/shared/segments/dictionaries/thaidict.dump +0 -0
data/resources/shared/segments/tests/dictionary_tests/combined.yml +1253 -0
data/resources/shared/segments/tests/dictionary_tests/km.yml +204 -0
data/resources/shared/segments/tests/dictionary_tests/ko.yml +171 -0
data/resources/shared/segments/tests/dictionary_tests/lo.yml +236 -0
data/resources/shared/segments/tests/dictionary_tests/my.yml +249 -0
data/resources/shared/segments/tests/dictionary_tests/th.yml +201 -0
data/resources/shared/segments/tests/dictionary_tests/zh.yml +206 -0
data/resources/shared/segments/tests/line_break_test.yml +68 -68
data/resources/shared/segments/tests/sentence_break_test.yml +52 -52
data/resources/supported_locales.yml +3 -0
data/spec/formatters/numbers/rbnf/locales/km/rbnf_test.yml +706 -0
data/spec/formatters/numbers/rbnf/locales/lo/rbnf_test.yml +706 -0
data/spec/formatters/numbers/rbnf/locales/my/rbnf_test.yml +706 -0
data/spec/segmentation/dictionary_break_spec.rb +42 -0
data/spec/segmentation/rule_set_spec.rb +3 -1
data/spec/timezones/tests/km.yml +12475 -0
data/spec/timezones/tests/lo.yml +12475 -0
data/spec/timezones/tests/my.yml +12475 -0
metadata +87 -3

data/resources/shared/segments/tests/dictionary_tests/my.yml ADDED

@@ -0,0 +1,249 @@
+---
+:locale: my
+:text: 'ကိန်းဆိုသည်မှာ ရေတွက်ရန်နှင့် တိုင်းတာရန် အတွက် အသုံးပြုသော သင်္ချာဆိုင်ရာ
+  အရာဝတ္ထုတစ်ခု ဖြစ်သည်။ သင်္ချာပညာတွင် ကိန်းဂဏန်းများ၏ အဓိပ္ပာယ်ဖွင့်ဆိုချက်ကို တဖြည်းဖြည်း
+  ချဲ့ကားလာခဲ့သဖြင့် နှစ်ပေါင်းများစွာ ကြာသောအခါတွင် သုည၊ အနှုတ်ကိန်းများ (negative
+  numbers)၊ ရာရှင်နယ်ကိန်း (rational number) ခေါ် အပိုင်းကိန်းများ၊ အီရာရှင်နယ်ကိန်း
+  (irrational number) ခေါ် အပိုင်းကိန်းမဟုတ်သောကိန်းများ နှင့် ကွန်ပလက်စ်ကိန်း (complex
+  number) ခေါ် ကိန်းရှုပ်များ စသည်ဖြင့် ပါဝင်လာကြသည်။ သင်္ချာဆိုင်ရာ တွက်ချက်မှုများ
+  (mathematical operations) တွင် ဂဏန်းတစ်ခု သို့မဟုတ် တစ်ခုထက်ပိုသော ဂဏန်းများကို
+  အဝင်ကိန်းအဖြစ် လက်ခံကြပြီး ဂဏန်းတစ်ခုကို အထွက်ကိန်း အဖြစ် ပြန်ထုတ်ပေးသည်။ ယူနရီ
+  တွက်ချက်မှု (unary operation) ခေါ် တစ်လုံးသွင်းတွက်ချက်မှုတွင် ဂဏန်းတစ်ခုကို အဝင်ကိန်း
+  အဖြစ် လက်ခံပြီး ဂဏန်းတစ်ခုကို အထွက်ကိန်း အဖြစ် ထုတ်ပေးသည်။ '
+:segments:
+- ကိန်း
+- ဆိုသည်
+- မှာ
+- " "
+- ရေတွက်
+- ရန်
+- နှင့်
+- " "
+- တိုင်းတာ
+- ရန်
+- " "
+- အတွက်
+- " "
+- အသုံးပြု
+- သော
+- " "
+- သင်္ချာ
+- ဆိုင်ရာ
+- " "
+- အရာ
+- ဝတ္ထု
+- တစ်
+- ခု
+- " "
+- ဖြစ်သည်
+- "။"
+- " "
+- သင်္ချာ
+- ပညာ
+- တွင်
+- " "
+- ကိန်းဂဏန်း
+- များ
+- "၏"
+- " "
+- အဓိပ္ပာယ်
+- ဖွင့်
+- ဆို
+- ချက်
+- ကို
+- " "
+- တဖြည်းဖြည်း
+- " "
+- ချဲ့
+- ကား
+- လာ
+- ခဲ့
+- သဖြင့်
+- " "
+- နှစ်
+- ပေါင်း
+- များ
+- စွာ
+- " "
+- ကြာ
+- သောအခါ
+- တွင်
+- " "
+- သုည
+- "၊"
+- " "
+- အ
+- နှုတ်
+- ကိန်း
+- များ
+- " "
+- "("
+- negative
+- " "
+- numbers
+- ")"
+- "၊"
+- " "
+- ရာရှင်
+- နယ်
+- ကိန်း
+- " "
+- "("
+- rational
+- " "
+- number
+- ")"
+- " "
+- ခေါ်
+- " "
+- အပိုင်းကိန်း
+- များ
+- "၊"
+- " "
+- အီ
+- ရာရှင်
+- နယ်
+- ကိန်း
+- " "
+- "("
+- irrational
+- " "
+- number
+- ")"
+- " "
+- ခေါ်
+- " "
+- အပိုင်းကိန်း
+- မဟုတ်
+- သော
+- ကိန်း
+- များ
+- " "
+- နှင့်
+- " "
+- ကွန်
+- ပ
+- လ
+- က်
+- စ်
+- ကိန်း
+- " "
+- "("
+- complex
+- " "
+- number
+- ")"
+- " "
+- ခေါ်
+- " "
+- ကိန်း
+- ရှုပ်
+- များ
+- " "
+- စသည်ဖြင့်
+- " "
+- ပါဝင်
+- လာ
+- ကြ
+- သည်
+- "။"
+- " "
+- သင်္ချာ
+- ဆိုင်ရာ
+- " "
+- တွက်ချက်
+- မှု
+- များ
+- " "
+- "("
+- mathematical
+- " "
+- operations
+- ")"
+- " "
+- တွင်
+- " "
+- ဂဏန်း
+- တစ်
+- ခု
+- " "
+- သို့မဟုတ်
+- " "
+- တစ်
+- ခု
+- ထက်
+- ပိုသော
+- " "
+- ဂဏန်း
+- များ
+- ကို
+- " "
+- အဝင်
+- ကိန်း
+- အဖြစ်
+- " "
+- လက်ခံ
+- ကြ
+- ပြီး
+- " "
+- ဂဏန်း
+- တစ်
+- ခု
+- ကို
+- " "
+- အထွက်
+- ကိန်း
+- " "
+- အဖြစ်
+- " "
+- ပြန်
+- ထုတ်ပေးသည်
+- "။"
+- " "
+- ယူ
+- န
+- ရီ
+- " "
+- တွက်ချက်
+- မှု
+- " "
+- "("
+- unary
+- " "
+- operation
+- ")"
+- " "
+- ခေါ်
+- " "
+- တစ်လုံး
+- သွင်း
+- တွက်ချက်
+- မှု
+- တွင်
+- " "
+- ဂဏန်း
+- တစ်
+- ခု
+- ကို
+- " "
+- အဝင်
+- ကိန်း
+- " "
+- အဖြစ်
+- " "
+- လက်ခံ
+- ပြီး
+- " "
+- ဂဏန်း
+- တစ်
+- ခု
+- ကို
+- " "
+- အထွက်
+- ကိန်း
+- " "
+- အဖြစ်
+- " "
+- ထုတ်ပေးသည်
+- "။"
+- " "

data/resources/shared/segments/tests/dictionary_tests/th.yml ADDED

@@ -0,0 +1,201 @@
+---
+:locale: th
+:text: 'ธงไชย แมคอินไตย์ ชื่อเล่น เบิร์ด (เกิด 8 ธันวาคม พ.ศ. 2501) เป็นนักร้อง นักแสดงชาวไทย
+  ได้รับขนานนามว่าเป็น "ซูเปอร์สตาร์เมืองไทย" โดยคนไทยรู้จักกันดี เรียกกันว่า : พี่เบิร์ด
+  แรกเข้าวงการบันเทิงเป็นนักแสดงสมทบ ต่อมาได้รับบทพระเอก โดยภาพยนตร์ที่สร้างชื่อเสียงให้กับเขาที่สุดเรื่อง
+  ด้วยรักคือรัก ส่วนละครที่สร้างชื่อเสียงที่สุดของเขาคือบท "โกโบริ" ในละครคู่กรรม
+  ด้านวงการเพลงซึ่งเป็นอาชีพหลักเขาเริ่มต้นจากการประกวดร้องเพลงของสยามกลการ ต่อมาเป็นนักร้องในสังกัดบริษัท
+  จีเอ็มเอ็ม แกรมมี่ จำกัด (มหาชน) ซึ่งประสบความสำเร็จสูงสุดของประเทศไทยมียอดจำหน่ายอยู่ในระดับแนวหน้าของทวีปเอเชียยอดรวมกว่า
+  25 ล้านชุด'
+:segments:
+- ธง
+- ไชย
+- " "
+- แม
+- คอิน
+- ไตย์
+- " "
+- ชื่อ
+- เล่น
+- " "
+- เบิร์ด
+- " "
+- "("
+- เกิด
+- " "
+- '8'
+- " "
+- ธันวาคม
+- " "
+- พ.ศ
+- "."
+- " "
+- '2501'
+- ")"
+- " "
+- เป็น
+- นัก
+- ร้อง
+- " "
+- นัก
+- แสดง
+- ชาว
+- ไทย
+- " "
+- ได้
+- รับ
+- ขนาน
+- นาม
+- ว่า
+- เป็น
+- " "
+- "\""
+- ซู
+- เปอร์
+- ส
+- ตาร์
+- เมือง
+- ไทย
+- "\""
+- " "
+- โดย
+- คน
+- ไทย
+- รู้จัก
+- กัน
+- ดี
+- " "
+- เรียก
+- กัน
+- ว่า
+- " "
+- ":"
+- " "
+- พี่
+- เบิร์ด
+- " "
+- แรก
+- เข้า
+- วงการ
+- บันเทิง
+- เป็น
+- นัก
+- แสดง
+- สมทบ
+- " "
+- ต่อ
+- มา
+- ได้
+- รับ
+- บท
+- พระเอก
+- " "
+- โดย
+- ภาพยนตร์
+- ที่
+- สร้าง
+- ชื่อ
+- เสียง
+- ให้
+- กับ
+- เขา
+- ที่สุด
+- เรื่อง
+- " "
+- ด้วย
+- รัก
+- คือ
+- รัก
+- " "
+- ส่วน
+- ละคร
+- ที่
+- สร้าง
+- ชื่อ
+- เสียง
+- ที่สุด
+- ของ
+- เขา
+- คือ
+- บท
+- " "
+- "\""
+- โก
+- โบ
+- ริ
+- "\""
+- " "
+- ใน
+- ละคร
+- คู่
+- กรรม
+- " "
+- ด้าน
+- วงการ
+- เพลง
+- ซึ่ง
+- เป็น
+- อาชีพ
+- หลัก
+- เขา
+- เริ่ม
+- ต้น
+- จาก
+- การ
+- ประกวด
+- ร้อง
+- เพลง
+- ของ
+- สยาม
+- กล
+- การ
+- " "
+- ต่อ
+- มา
+- เป็น
+- นัก
+- ร้อง
+- ใน
+- สังกัด
+- บริษัท
+- " "
+- จี
+- เอ็ม
+- เอ็ม
+- " "
+- แก
+- รม
+- มี่
+- " "
+- จำกัด
+- " "
+- "("
+- มหาชน
+- ")"
+- " "
+- ซึ่ง
+- ประสบ
+- ความ
+- สำเร็จ
+- สูงสุด
+- ของ
+- ประเทศไทย
+- มี
+- ยอด
+- จำหน่าย
+- อยู่
+- ใน
+- ระดับ
+- แนว
+- หน้า
+- ของ
+- ทวีป
+- เอเชีย
+- ยอด
+- รวม
+- กว่า
+- " "
+- '25'
+- " "
+- ล้าน
+- ชุด

data/resources/shared/segments/tests/dictionary_tests/zh.yml ADDED

@@ -0,0 +1,206 @@
+---
+:locale: zh
+:text: 無畏號航空母艦是一艘隸屬於美國海軍的航空母艦，為艾塞克斯級航空母艦的三號艦。無畏號於1941年開始建造，1943年下水服役，開始參與太平洋戰爭。戰後無畏號退役封存，在韓戰後開始進行SCB-27C改建，又在期間重編為攻擊航母，於1954年在大西洋艦隊重新服役。稍後無畏號又進行SCB-125現代化改建，增設斜角飛行甲板。1962年無畏號重編為反潛航母，舷號改為CVS-11，繼續留在大西洋及地中海執勤。稍後無畏號參與美國的太空計畫，分別擔任水星-宇宙神7號及雙子座3號的救援船。1966年至1969年，無畏號曾三次前往西太平洋，參與越戰。無畏號在1974年退役，並一度預備出售拆解；但在民間組織努力下，海軍在1981年將無畏號捐贈到紐約作博物館艦。1986年，無畏號獲評為美國國家歷史地標。
+:segments:
+- 無畏
+- 號
+- 航空母艦
+- 是
+- 一艘
+- 隸屬於
+- 美國
+- 海軍
+- 的
+- 航空母艦
+- "，"
+- 為
+- 艾
+- 塞
+- 克斯
+- 級
+- 航空母艦
+- 的
+- 三號
+- 艦
+- "。"
+- 無畏
+- 號
+- 於
+- '1941'
+- 年
+- 開始
+- 建造
+- "，"
+- '1943'
+- 年
+- 下水
+- 服役
+- "，"
+- 開始
+- 參與
+- 太平洋
+- 戰爭
+- "。"
+- 戰後
+- 無畏
+- 號
+- 退役
+- 封存
+- "，"
+- 在
+- 韓戰
+- 後
+- 開始
+- 進行
+- SCB
+- "-"
+- 27C
+- 改建
+- "，"
+- 又在
+- 期間
+- 重
+- 編
+- 為
+- 攻擊
+- 航
+- 母
+- "，"
+- 於
+- '1954'
+- 年
+- 在
+- 大西洋
+- 艦隊
+- 重新
+- 服役
+- "。"
+- 稍後
+- 無畏
+- 號
+- 又
+- 進行
+- SCB
+- "-"
+- '125'
+- 現代化
+- 改建
+- "，"
+- 增設
+- 斜角
+- 飛行
+- 甲板
+- "。"
+- '1962'
+- 年
+- 無畏
+- 號
+- 重
+- 編
+- 為
+- 反潛
+- 航
+- 母
+- "，"
+- 舷
+- 號
+- 改為
+- CVS
+- "-"
+- '11'
+- "，"
+- 繼續
+- 留在
+- 大西洋
+- 及
+- 地中海
+- 執勤
+- "。"
+- 稍後
+- 無畏
+- 號
+- 參與
+- 美國
+- 的
+- 太空
+- 計畫
+- "，"
+- 分別
+- 擔任
+- 水星
+- "-"
+- 宇宙
+- 神
+- '7'
+- 號
+- 及
+- 雙子座
+- '3'
+- 號
+- 的
+- 救援
+- 船
+- "。"
+- '1966'
+- 年
+- 至
+- '1969'
+- 年
+- "，"
+- 無畏
+- 號
+- 曾
+- 三次
+- 前往
+- 西太平洋
+- "，"
+- 參與
+- 越戰
+- "。"
+- 無畏
+- 號
+- 在
+- '1974'
+- 年
+- 退役
+- "，"
+- 並
+- 一度
+- 預備
+- 出售
+- 拆解
+- "；"
+- 但在
+- 民間
+- 組織
+- 努力
+- 下
+- "，"
+- 海軍
+- 在
+- '1981'
+- 年
+- 將
+- 無畏
+- 號
+- 捐贈
+- 到
+- 紐約
+- 作
+- 博物館
+- 艦
+- "。"
+- '1986'
+- 年
+- "，"
+- 無畏
+- 號
+- 獲
+- 評
+- 為
+- 美國
+- 國家
+- 歷史
+- 地
+- 標
+- "。"