i18n_data 0.8.0 → 0.13.0

data/cache/file_data_provider/languages-ZH_TW.txt

@@ -1,60 +1,57 @@
 AA;;阿法爾語
 AB;;亞布卡薩語
-AF;;南非語
+AF;;南非荷蘭文
 AK;;迦納語
-SQ;;阿爾巴尼亞語
 AM;;阿姆哈拉語
 AR;;阿拉伯語
 AN;;阿拉貢語
-HY;;亞美尼亞語
 AS;;阿薩姆語
 AV;;阿瓦爾語
-AE;;阿維斯塔語
+AE;;阿維斯語
 AY;;亞摩拉語
 AZ;;亞塞拜然語
 BA;;巴什喀爾語
 BM;;班巴拉語
-EU;;巴斯克語
-BE;;白俄語
+BE;;白俄羅斯語
 BN;;孟加拉語
-BH;;比哈諸語言
+BH;;比哈爾語系
 BI;;比斯拉馬語
+BO;;藏語
 BS;;波士尼亞語
 BR;;布里敦語
 BG;;保加利亞語
-MY;;緬甸語
 CA;;加泰羅尼亞語
+CS;;捷克語
 CH;;查莫羅語
 CE;;車臣語
-ZH;;漢語
 CU;;Church Slavic; Old Slavonic; Church Slavonic; Old Bulgarian; Old Church Slavonic
 CV;;楚瓦什語
 KW;;康沃爾語
 CO;;科西嘉語
 CR;;克里語
-CS;;捷克語
+CY;;威爾斯語
 DA;;丹麥語
+DE;;德語
 DV;;迪維西語
-NL;;荷蘭語
 DZ;;宗卡語(不丹)
-EN;;英語
+EL;;現代希臘語 (1453-)
+EN;;英文
 EO;;世界語
 ET;;愛沙尼亞語
+EU;;巴斯克語
 EE;;埃維語
 FO;;法羅群島語
+FA;;波斯語
 FJ;;斐濟語
 FI;;芬蘭語
 FR;;法語
 FY;;西夫里斯蘭語
 FF;;富拉語
-KA;;喬治亞語
-DE;;德語
 GD;;蓋爾語
 GA;;愛爾蘭語
 GL;;加里斯亞語
 GV;;馬恩語
-EL;;現代希臘語 (1453-)
-GN;;瓜拉尼語(西印度)
+GN;;巴拉圭瓜拉尼
 GU;;古吉拉特語
 HT;;克里奧爾語(海地)
 HA;;豪撒語(蘇丹)
@@ -64,8 +61,8 @@ HI;;印地語(北印度)
 HO;;希里莫圖語
 HR;;克羅埃西亞語
 HU;;匈牙利語
+HY;;亞美尼亞語
 IG;;伊布語
-IS;;冰島語
 IO;;伊多語
 II;;四川彝語
 IU;;伊努特語
@@ -73,12 +70,14 @@ IE;;國際語
 IA;;拉丁國際語
 ID;;印尼語
 IK;;依努庇克語
+IS;;冰島語
 IT;;義大利語
 JV;;爪哇語
 JA;;日語
 KL;;格陵蘭語
-KN;;卡納達語(西南印度)
+KN;;卡納達語
 KS;;喀什米爾語
+KA;;喬治亞語
 KR;;卡努里語
 KK;;哈薩克語
 KM;;中央高棉語
@@ -99,43 +98,43 @@ LT;;立陶宛語
 LB;;盧森堡語
 LU;;盧巴-加丹加語
 LG;;干達語
-MK;;馬其頓語
 MH;;馬紹爾語
 ML;;馬來亞拉姆語
-MI;;毛利語
-MR;;馬拉提語(中西印度)
-MS;;馬來語
+MR;;馬拉提語
+MK;;馬其頓語
 MG;;馬達加斯加語
 MT;;馬爾他語
-MO;;摩爾達維亞語
 MN;;蒙古語
-NA;;諾魯語
+MI;;毛利語
+MS;;馬來語
+MY;;緬甸語
+NA;;諾魯
 NV;;納瓦霍語
 NR;;南恩德貝勒語
 ND;;北恩德貝勒語
 NG;;恩敦加語
 NE;;尼泊爾語
+NL;;荷蘭語
 NN;;新挪威語
 NB;;書面挪威語
 NO;;挪威語
 NY;;契切瓦語
-OC;;奧克西坦語 (1500 之後)
+OC;;奧克西坦語 (1500 之後);普羅旺斯語
 OJ;;奧杰布瓦語
-OR;;歐利亞語(印度)
+OR;;歐利亞語
 OM;;奧洛莫語
 OS;;奧塞提語
 PA;;旁遮普語
-FA;;波斯語
 PI;;巴利語
 PL;;波蘭語
 PT;;葡萄牙語
 PS;;普什圖語
-QU;;印加語
+QU;;克丘亞語
 RM;;里托羅曼語
-RO;;羅馬尼亞語
+RO;;羅馬尼亞語;莫爾達維亞語;摩爾多瓦語
 RN;;克倫地語
-RU;;俄語
-SG;;桑戈語(中非)
+RU;;俄羅斯語
+SG;;桑戈語
 SA;;梵語
 SI;;僧加羅語(錫蘭)
 SK;;斯洛伐克語
@@ -143,14 +142,15 @@ SL;;斯洛維尼亞語
 SE;;北薩米語
 SM;;薩摩亞語
 SN;;紹納語
-SD;;信德語(印度)
+SD;;信德語
 SO;;索馬利語
 ST;;南索托語
 ES;;西班牙語
+SQ;;阿爾巴尼亞語
 SC;;薩丁尼亞語
 SR;;塞爾維亞語
 SS;;斯瓦齊語
-SU;;巽他語
+SU;;巽丹語
 SW;;史瓦西里語
 SV;;瑞典語
 TY;;大溪地語
@@ -160,14 +160,13 @@ TE;;特拉古語
 TG;;塔吉克語
 TL;;塔加拉語
 TH;;泰語
-BO;;藏語
 TI;;提格利尼亞語
 TO;;東加語(東加群島)
 TN;;茨瓦納語
 TS;;宋加語
 TK;;土庫曼語
 TR;;土耳其語
-TW;;奇族語(迦那)
+TW;;奇族語
 UG;;維吾爾語
 UK;;烏克蘭語
 UR;;烏爾都語
@@ -175,11 +174,11 @@ UZ;;烏茲別克語
 VE;;溫達語
 VI;;越南語
 VO;;沃拉普克語
-CY;;威爾斯語
-WA;;瓦隆語(比利時)
+WA;;瓦隆語
 WO;;渥魯夫語
 XH;;科薩語
 YI;;意第緒語
 YO;;約魯巴語
 ZA;;壯語
+ZH;;中文
 ZU;;祖魯語

data/cache/file_data_provider/languages-ZU.txt

@@ -2,11 +2,9 @@ AA;;Afar
 AB;;Isi-Azerbaijani
 AF;;Isibhunu
 AK;;Isi-Azerbaijani
-SQ;;Isi-Azerbaijani
 AM;;isi-Arabhu
 AR;;isi-Arabhu
 AN;;Aragonese
-HY;;Isi-Romayinani
 AS;;Assamese
 AV;;isi-Arabhu
 AE;;Avestan
@@ -14,46 +12,45 @@ AY;;Aymara
 AZ;;Isi-Azerbaijani
 BA;;Bashkir
 BM;;Bambara
-EU;;Isi-Basque
 BE;;Isi-Buligariyana
 BN;;Bengali
 BH;;Isi-Koreyani
 BI;;Bislama
+BO;;Tibetan
 BS;;Isi-Romayinani
 BR;;Isi-Bretoni
 BG;;Isi-Buligariyana
-MY;;Burmese
 CA;;Catalan; Valencian
+CS;;Isi Czechiya
 CH;;Chamorro
 CE;;Isi Czechiya
-ZH;;Isi-Shayina
 CU;;Church Slavic; Old Slavonic; Church Slavonic; Old Bulgarian; Old Church Slavonic
 CV;;Chuvash
 KW;;Isi-Irishi
 CO;;Isi-Bosniyani
 CR;;isi-Grike
-CS;;Isi Czechiya
+CY;;Isi Welsh
 DA;;Isi-Danishi
+DE;;isi-Jalimani
 DV;;Divehi; Dhivehi; Maldivian
-NL;;Dutch; Flemish
 DZ;;Dzongkha
+EL;;Greek, Modern (1453-)
 EN;;Isi-Ngisi (UK)
 EO;;Isi-Esperanto
 ET;;Isi-Estoniyani
+EU;;Isi-Basque
 EE;;Ewe
 FO;;Faroese
+FA;;Isi-Sebhiyani
 FJ;;Fijian
 FI;;Isi-Finishi
 FR;;Isi-Frentshi
 FY;;Isi-Ukraniyani
 FF;;Fulah
-KA;;isi-Jalimani
-DE;;isi-Jalimani
 GD;;Gaelic; Scottish Gaelic
 GA;;Isi-Irishi
 GL;;Isi-Galashiyani
 GV;;Manx
-EL;;Greek, Modern (1453-)
 GN;;Isi-Buligariyana
 GU;;Gujarati
 HT;;Haitian; Haitian Creole
@@ -64,8 +61,8 @@ HI;;Hindi
 HO;;Isi-Thekishi
 HR;;Isi-Croshiyani
 HU;;Isi-Hangariyani
+HY;;Isi-Romayinani
 IG;;Igbo
-IS;;isi-Icilendikhi
 IO;;Ido
 II;;Isi-Lithuwaniya
 IU;;Inuktitut
@@ -73,12 +70,14 @@ IE;;Interlingue; Occidental
 IA;;Interlingua (International Auxiliary Language Association)
 ID;;Indoneshiya
 IK;;Inupiaq
+IS;;isi-Icilendikhi
 IT;;Isi-Taliyane
 JV;;Isi-Jaliphani
 JA;;Isi-Jaliphani
 KL;;Kalaallisut; Greenlandic
 KN;;Kannada
 KS;;Kashmiri
+KA;;isi-Jalimani
 KR;;isi-Kedishi
 KK;;Kazakh
 KM;;Central Khmer
@@ -99,40 +98,40 @@ LT;;Isi-Lithuwaniya
 LB;;Luxembourgish; Letzeburgesch
 LU;;Luba-Katanga
 LG;;Ganda
-MK;;Isi-Makhedoniya
 MH;;Isi-Malithalise
 ML;;Malayalam
-MI;;Isi-Mawori
 MR;;Isi-Mawori
-MS;;Malay
+MK;;Isi-Makhedoniya
 MG;;Malagasy
 MT;;Isi-Malithalise
-MO;;Isi-Lavithiyani
 MN;;Isi-Makhedoniya
+MI;;Isi-Mawori
+MS;;Malay
+MY;;Burmese
 NA;;Nauru
 NV;;Navajo; Navaho
 NR;;Ndebele, South; South Ndebele
 ND;;Ndebele, North; North Ndebele
 NG;;Isi-Bosniyani
 NE;;Nepali
+NL;;Dutch; Flemish
 NN;;Isi-Nowejiyani (Nynorsk)
 NB;;Bokmål, Norwegian; Norwegian Bokmål
 NO;;Isi-Koreyani
 NY;;Chichewa; Chewa; Nyanja
-OC;;Occitan (post 1500)
+OC;;Occitan (post 1500); Provençal
 OJ;;Ojibwa
 OR;;Oriya
 OM;;Oromo
 OS;;Isi-Rashiyani
 PA;;Panjabi; Punjabi
-FA;;Isi-Sebhiyani
 PI;;Isi-Pholishi
 PL;;Isi-Pholishi
 PT;;Isi-Phuthukesi
 PS;;Pushto; Pashto
 QU;;Quechua
 RM;;Isi-Romayinani
-RO;;Isi-Romayinani
+RO;;Isi-Lavithiyani
 RN;;Rundi
 RU;;Isi-Rashiyani
 SG;;Sango
@@ -147,6 +146,7 @@ SD;;Sindhi
 SO;;Somali
 ST;;Sotho, Southern
 ES;;Spanish; Castilian
+SQ;;Isi-Azerbaijani
 SC;;Isi-Makhedoniya
 SR;;Isi-Sebhiyani
 SS;;Swati
@@ -160,7 +160,6 @@ TE;;Telugu
 TG;;Isi-Thayi
 TL;;Tagalog
 TH;;Isi-Thayi
-BO;;Tibetan
 TI;;Isi-Thekishi
 TO;;Tonga (Tonga Islands)
 TN;;Tswana
@@ -175,11 +174,11 @@ UZ;;Uzbek
 VE;;Venda
 VI;;Isi-Vitheyinamise
 VO;;Volapük
-CY;;Isi Welsh
 WA;;Isi-Waloni
 WO;;Wolof
 XH;;Isi-Xhosa
 YI;;Yiddish
 YO;;Yoruba
 ZA;;Zhuang; Chuang
+ZH;;Isi-Shayina
 ZU;;Isi-Zulu

data/lib/i18n_data/live_data_provider.rb

@@ -1,20 +1,20 @@
-require 'open-uri'
-require 'rexml/document'
+require 'json'
 
 module I18nData
   # fetches data online from debian git
   module LiveDataProvider
     extend self
 
-    XML_CODES = {
-      :countries => 'iso_3166/iso_3166.xml',
-      :languages => 'iso_639/iso_639.xml'
+    JSON_CODES = {
+      :countries => 'data/iso_3166-1.json',
+      :languages => 'data/iso_639-2.json'
     }
+
     TRANSLATIONS = {
-      :countries => 'iso_3166/',
-      :languages => 'iso_639/'
+      :countries => 'iso_3166-1/',
+      :languages => 'iso_639-2/'
     }
-    REPO = "git://anonscm.debian.org/iso-codes/pkg-iso-codes.git"
+    REPO = "https://salsa.debian.org/iso-codes-team/iso-codes.git"
     CLONE_DEST = "/tmp/i18n_data_iso_clone"
 
     def codes(type, language_code)
@@ -79,9 +79,9 @@ module I18nData
     def english_languages
       @english_languages ||= begin
         codes = {}
-        xml(:languages).elements.each('*/iso_639_entry') do |entry|
-          name = entry.attributes['name'].to_s
-          code = entry.attributes['iso_639_1_code'].to_s.upcase
+        json(:languages)['639-2'].each do |entry|
+          name = entry['name'].to_s
+          code = entry['alpha_2'].to_s.upcase
           next if code.empty? or name.empty?
           codes[code] = name
         end
@@ -92,10 +92,9 @@ module I18nData
     def english_countries
       @english_countries ||= begin
         codes = {}
-        xml(:countries).elements.each('*/iso_3166_entry') do |entry|
-          name = entry.attributes['name'].to_s
-          name = "Taiwan" if name == "Taiwan, Province of China"
-          code = entry.attributes['alpha_2_code'].to_s.upcase
+        json(:countries)['3166-1'].each do |entry|
+          name = (entry['common_name'] || entry['name']).to_s
+          code = entry['alpha_2'].to_s.upcase
           codes[code] = name
         end
         codes
@@ -115,8 +114,8 @@ module I18nData
       File.read("#{CLONE_DEST}/#{url}")
     end
 
-    def xml(type)
-      REXML::Document.new(get(XML_CODES[type]))
+    def json(type)
+      JSON.parse(get(JSON_CODES[type]))
     end
   end
 end

data/lib/i18n_data/version.rb

@@ -1,3 +1,3 @@
 module I18nData
-  VERSION = Version = "0.8.0"
+  VERSION = Version = "0.13.0"
 end

data/lib/i18n_data.rb

@@ -47,13 +47,9 @@ module I18nData
 
     private
 
-    def fetch(*args)
-      @cache ||= {}
-      if @cache.key?(args)
-        @cache[args]
-      else
-        @cache[args] = yield
-      end
+    def fetch(type, language_code)
+      @cache ||= Hash.new { |h, k| h[k] = {} }
+      @cache[type].fetch(language_code) { @cache[type][language_code] = yield }
     end
 
     # hardcode languages that do not have a default type
@@ -69,20 +65,33 @@ module I18nData
       search = search.strip
 
       # common languages first <-> faster in majority of cases
-      common_languages = ['EN','ES','FR','DE','ZH']
-      langs = (common_languages + (languages.keys - common_languages))
-
-      langs.each do |lang|
-        begin
-          send(type, lang).each do |code, name|
-            # supports "Dutch" and "Dutch; Flemish", checks for inclusion first -> faster
-            match_found = (name.include?(search) and name.split(';').map{|s| s.strip }.include?(search))
-            return code if match_found
+      language_codes = ['EN','ES','FR','DE','ZH'] | available_language_codes
+
+      language_codes.each do |language_code|
+        options =
+          begin
+            send(type, language_code)
+          rescue NoTranslationAvailable
+            next
           end
-        rescue NoTranslationAvailable
+
+        options.each do |code, name|
+          # support "Dutch" and "Dutch; Flemish", checks for inclusion first to skip the splitting
+          # then check for exact match
+          return code if name.include?(search) && (name == search || name.split('; ').include?(search))
         end
       end
-      nil
+
+      nil # not found
+    end
+
+    # NOTE: this is not perfect since the used provider might have more or less languages available
+    # but it's better than just using the available english language codes
+    def available_language_codes
+      @available_languges ||= begin
+        files = Dir[File.expand_path("../../cache/file_data_provider/languages-*", __FILE__)]
+        files.map! { |f| f[/languages-(.*)\./, 1] }
+      end
     end
   end
 end