cchardet 0.2.0

This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
Files changed (317) hide show
  1. checksums.yaml +7 -0
  2. data/.gitignore +8 -0
  3. data/.gitmodules +3 -0
  4. data/.rubocop.yml +11 -0
  5. data/CHANGELOG.md +5 -0
  6. data/Gemfile +10 -0
  7. data/README.md +35 -0
  8. data/Rakefile +15 -0
  9. data/cchardet.gemspec +30 -0
  10. data/ext/cchardet/extconf.rb +26 -0
  11. data/ext/uchardet/.gitignore +1 -0
  12. data/ext/uchardet/.gitlab-ci.yml +106 -0
  13. data/ext/uchardet/AUTHORS +16 -0
  14. data/ext/uchardet/CMakeLists.txt +74 -0
  15. data/ext/uchardet/COPYING +1316 -0
  16. data/ext/uchardet/INSTALL +26 -0
  17. data/ext/uchardet/README.md +295 -0
  18. data/ext/uchardet/build-mac/uchardet.cpp +7 -0
  19. data/ext/uchardet/build-mac/uchardet.xcodeproj/project.pbxproj +543 -0
  20. data/ext/uchardet/build-mac/uchardet.xcodeproj/project.xcworkspace/contents.xcworkspacedata +7 -0
  21. data/ext/uchardet/build-mac/uchardet.xcodeproj/project.xcworkspace/xcshareddata/uchardet.xccheckout +41 -0
  22. data/ext/uchardet/build-mac/uchardet.xcodeproj/xcshareddata/xcschemes/uchardet-ios.xcscheme +77 -0
  23. data/ext/uchardet/build-mac/uchardet.xcodeproj/xcshareddata/xcschemes/uchardet.xcscheme +77 -0
  24. data/ext/uchardet/doc/CMakeLists.txt +6 -0
  25. data/ext/uchardet/doc/README.maintainer +59 -0
  26. data/ext/uchardet/doc/uchardet.1 +18 -0
  27. data/ext/uchardet/script/BuildLangModel.py +533 -0
  28. data/ext/uchardet/script/BuildLangModelLogs/LangArabicModel.log +142 -0
  29. data/ext/uchardet/script/BuildLangModelLogs/LangCroatianModel.log +157 -0
  30. data/ext/uchardet/script/BuildLangModelLogs/LangCzechModel.log +161 -0
  31. data/ext/uchardet/script/BuildLangModelLogs/LangDanishModel.log +158 -0
  32. data/ext/uchardet/script/BuildLangModelLogs/LangEsperantoModel.log +110 -0
  33. data/ext/uchardet/script/BuildLangModelLogs/LangEstonianModel.log +159 -0
  34. data/ext/uchardet/script/BuildLangModelLogs/LangFinnishModel.log +156 -0
  35. data/ext/uchardet/script/BuildLangModelLogs/LangFrenchModel.log +116 -0
  36. data/ext/uchardet/script/BuildLangModelLogs/LangGermanModel.log +159 -0
  37. data/ext/uchardet/script/BuildLangModelLogs/LangGreekModel.log +272 -0
  38. data/ext/uchardet/script/BuildLangModelLogs/LangHungarianModel.log +109 -0
  39. data/ext/uchardet/script/BuildLangModelLogs/LangIrishModel.log +156 -0
  40. data/ext/uchardet/script/BuildLangModelLogs/LangItalianModel.log +162 -0
  41. data/ext/uchardet/script/BuildLangModelLogs/LangLatvianModel.log +162 -0
  42. data/ext/uchardet/script/BuildLangModelLogs/LangLithuanianModel.log +162 -0
  43. data/ext/uchardet/script/BuildLangModelLogs/LangMalteseModel.log +147 -0
  44. data/ext/uchardet/script/BuildLangModelLogs/LangPolishModel.log +154 -0
  45. data/ext/uchardet/script/BuildLangModelLogs/LangPortugueseModel.log +166 -0
  46. data/ext/uchardet/script/BuildLangModelLogs/LangRomanianModel.log +153 -0
  47. data/ext/uchardet/script/BuildLangModelLogs/LangSlovakModel.log +158 -0
  48. data/ext/uchardet/script/BuildLangModelLogs/LangSloveneModel.log +148 -0
  49. data/ext/uchardet/script/BuildLangModelLogs/LangSpanishModel.log +109 -0
  50. data/ext/uchardet/script/BuildLangModelLogs/LangSwedishModel.log +151 -0
  51. data/ext/uchardet/script/BuildLangModelLogs/LangThaiModel.log +141 -0
  52. data/ext/uchardet/script/BuildLangModelLogs/LangTurkishModel.log +113 -0
  53. data/ext/uchardet/script/BuildLangModelLogs/LangVietnameseModel.log +121 -0
  54. data/ext/uchardet/script/README +63 -0
  55. data/ext/uchardet/script/charsets/codepoints.py +53 -0
  56. data/ext/uchardet/script/charsets/db.py +73 -0
  57. data/ext/uchardet/script/charsets/ibm852.py +72 -0
  58. data/ext/uchardet/script/charsets/iso-8859-1.py +85 -0
  59. data/ext/uchardet/script/charsets/iso-8859-10.py +73 -0
  60. data/ext/uchardet/script/charsets/iso-8859-11.py +77 -0
  61. data/ext/uchardet/script/charsets/iso-8859-13.py +72 -0
  62. data/ext/uchardet/script/charsets/iso-8859-15.py +80 -0
  63. data/ext/uchardet/script/charsets/iso-8859-16.py +83 -0
  64. data/ext/uchardet/script/charsets/iso-8859-2.py +73 -0
  65. data/ext/uchardet/script/charsets/iso-8859-3.py +75 -0
  66. data/ext/uchardet/script/charsets/iso-8859-4.py +73 -0
  67. data/ext/uchardet/script/charsets/iso-8859-6.py +73 -0
  68. data/ext/uchardet/script/charsets/iso-8859-7.py +73 -0
  69. data/ext/uchardet/script/charsets/iso-8859-9.py +76 -0
  70. data/ext/uchardet/script/charsets/mac-centraleurope.py +72 -0
  71. data/ext/uchardet/script/charsets/tis-620.py +77 -0
  72. data/ext/uchardet/script/charsets/viscii.py +72 -0
  73. data/ext/uchardet/script/charsets/windows-1250.py +75 -0
  74. data/ext/uchardet/script/charsets/windows-1252.py +76 -0
  75. data/ext/uchardet/script/charsets/windows-1253.py +72 -0
  76. data/ext/uchardet/script/charsets/windows-1256.py +75 -0
  77. data/ext/uchardet/script/charsets/windows-1257.py +72 -0
  78. data/ext/uchardet/script/charsets/windows-1258.py +72 -0
  79. data/ext/uchardet/script/debug.sh +9 -0
  80. data/ext/uchardet/script/header-template.cpp +38 -0
  81. data/ext/uchardet/script/langs/ar.py +59 -0
  82. data/ext/uchardet/script/langs/cs.py +80 -0
  83. data/ext/uchardet/script/langs/da.py +69 -0
  84. data/ext/uchardet/script/langs/de.py +69 -0
  85. data/ext/uchardet/script/langs/el.py +55 -0
  86. data/ext/uchardet/script/langs/eo.py +67 -0
  87. data/ext/uchardet/script/langs/es.py +69 -0
  88. data/ext/uchardet/script/langs/et.py +57 -0
  89. data/ext/uchardet/script/langs/fi.py +60 -0
  90. data/ext/uchardet/script/langs/fr.py +79 -0
  91. data/ext/uchardet/script/langs/ga.py +60 -0
  92. data/ext/uchardet/script/langs/hr.py +59 -0
  93. data/ext/uchardet/script/langs/hu.py +66 -0
  94. data/ext/uchardet/script/langs/it.py +56 -0
  95. data/ext/uchardet/script/langs/lt.py +70 -0
  96. data/ext/uchardet/script/langs/lv.py +69 -0
  97. data/ext/uchardet/script/langs/mt.py +80 -0
  98. data/ext/uchardet/script/langs/pl.py +81 -0
  99. data/ext/uchardet/script/langs/pt.py +80 -0
  100. data/ext/uchardet/script/langs/ro.py +65 -0
  101. data/ext/uchardet/script/langs/sk.py +80 -0
  102. data/ext/uchardet/script/langs/sl.py +59 -0
  103. data/ext/uchardet/script/langs/sv.py +56 -0
  104. data/ext/uchardet/script/langs/th.py +55 -0
  105. data/ext/uchardet/script/langs/tr.py +67 -0
  106. data/ext/uchardet/script/langs/vi.py +64 -0
  107. data/ext/uchardet/script/release.sh +8 -0
  108. data/ext/uchardet/script/win32.sh +7 -0
  109. data/ext/uchardet/src/Big5Freq.tab +943 -0
  110. data/ext/uchardet/src/CMakeLists.txt +160 -0
  111. data/ext/uchardet/src/CharDistribution.cpp +109 -0
  112. data/ext/uchardet/src/CharDistribution.h +242 -0
  113. data/ext/uchardet/src/EUCKRFreq.tab +614 -0
  114. data/ext/uchardet/src/EUCTWFreq.tab +447 -0
  115. data/ext/uchardet/src/GB2312Freq.tab +491 -0
  116. data/ext/uchardet/src/JISFreq.tab +589 -0
  117. data/ext/uchardet/src/JpCntx.cpp +230 -0
  118. data/ext/uchardet/src/JpCntx.h +140 -0
  119. data/ext/uchardet/src/LangModels/LangArabicModel.cpp +267 -0
  120. data/ext/uchardet/src/LangModels/LangBulgarianModel.cpp +249 -0
  121. data/ext/uchardet/src/LangModels/LangCroatianModel.cpp +298 -0
  122. data/ext/uchardet/src/LangModels/LangCzechModel.cpp +285 -0
  123. data/ext/uchardet/src/LangModels/LangDanishModel.cpp +201 -0
  124. data/ext/uchardet/src/LangModels/LangEsperantoModel.cpp +142 -0
  125. data/ext/uchardet/src/LangModels/LangEstonianModel.cpp +268 -0
  126. data/ext/uchardet/src/LangModels/LangFinnishModel.cpp +297 -0
  127. data/ext/uchardet/src/LangModels/LangFrenchModel.cpp +209 -0
  128. data/ext/uchardet/src/LangModels/LangGermanModel.cpp +170 -0
  129. data/ext/uchardet/src/LangModels/LangGreekModel.cpp +231 -0
  130. data/ext/uchardet/src/LangModels/LangHebrewModel.cpp +220 -0
  131. data/ext/uchardet/src/LangModels/LangHungarianModel.cpp +171 -0
  132. data/ext/uchardet/src/LangModels/LangIrishModel.cpp +234 -0
  133. data/ext/uchardet/src/LangModels/LangItalianModel.cpp +269 -0
  134. data/ext/uchardet/src/LangModels/LangLatvianModel.cpp +210 -0
  135. data/ext/uchardet/src/LangModels/LangLithuanianModel.cpp +209 -0
  136. data/ext/uchardet/src/LangModels/LangMalteseModel.cpp +138 -0
  137. data/ext/uchardet/src/LangModels/LangPolishModel.cpp +304 -0
  138. data/ext/uchardet/src/LangModels/LangPortugueseModel.cpp +241 -0
  139. data/ext/uchardet/src/LangModels/LangRomanianModel.cpp +236 -0
  140. data/ext/uchardet/src/LangModels/LangRussianModel.cpp +367 -0
  141. data/ext/uchardet/src/LangModels/LangSlovakModel.cpp +293 -0
  142. data/ext/uchardet/src/LangModels/LangSloveneModel.cpp +264 -0
  143. data/ext/uchardet/src/LangModels/LangSpanishModel.cpp +204 -0
  144. data/ext/uchardet/src/LangModels/LangSwedishModel.cpp +266 -0
  145. data/ext/uchardet/src/LangModels/LangThaiModel.cpp +267 -0
  146. data/ext/uchardet/src/LangModels/LangTurkishModel.cpp +175 -0
  147. data/ext/uchardet/src/LangModels/LangVietnameseModel.cpp +249 -0
  148. data/ext/uchardet/src/nsBig5Prober.cpp +88 -0
  149. data/ext/uchardet/src/nsBig5Prober.h +75 -0
  150. data/ext/uchardet/src/nsCharSetProber.cpp +125 -0
  151. data/ext/uchardet/src/nsCharSetProber.h +77 -0
  152. data/ext/uchardet/src/nsCodingStateMachine.h +105 -0
  153. data/ext/uchardet/src/nsEUCJPProber.cpp +99 -0
  154. data/ext/uchardet/src/nsEUCJPProber.h +79 -0
  155. data/ext/uchardet/src/nsEUCKRProber.cpp +91 -0
  156. data/ext/uchardet/src/nsEUCKRProber.h +81 -0
  157. data/ext/uchardet/src/nsEUCTWProber.cpp +91 -0
  158. data/ext/uchardet/src/nsEUCTWProber.h +75 -0
  159. data/ext/uchardet/src/nsEscCharsetProber.cpp +101 -0
  160. data/ext/uchardet/src/nsEscCharsetProber.h +70 -0
  161. data/ext/uchardet/src/nsEscSM.cpp +267 -0
  162. data/ext/uchardet/src/nsGB2312Prober.cpp +96 -0
  163. data/ext/uchardet/src/nsGB2312Prober.h +77 -0
  164. data/ext/uchardet/src/nsHebrewProber.cpp +194 -0
  165. data/ext/uchardet/src/nsHebrewProber.h +177 -0
  166. data/ext/uchardet/src/nsLatin1Prober.cpp +182 -0
  167. data/ext/uchardet/src/nsLatin1Prober.h +73 -0
  168. data/ext/uchardet/src/nsMBCSGroupProber.cpp +242 -0
  169. data/ext/uchardet/src/nsMBCSGroupProber.h +81 -0
  170. data/ext/uchardet/src/nsMBCSSM.cpp +513 -0
  171. data/ext/uchardet/src/nsPkgInt.h +89 -0
  172. data/ext/uchardet/src/nsSBCSGroupProber.cpp +343 -0
  173. data/ext/uchardet/src/nsSBCSGroupProber.h +71 -0
  174. data/ext/uchardet/src/nsSBCharSetProber.cpp +160 -0
  175. data/ext/uchardet/src/nsSBCharSetProber.h +258 -0
  176. data/ext/uchardet/src/nsSJISProber.cpp +98 -0
  177. data/ext/uchardet/src/nsSJISProber.h +81 -0
  178. data/ext/uchardet/src/nsUTF8Prober.cpp +87 -0
  179. data/ext/uchardet/src/nsUTF8Prober.h +66 -0
  180. data/ext/uchardet/src/nsUniversalDetector.cpp +339 -0
  181. data/ext/uchardet/src/nsUniversalDetector.h +91 -0
  182. data/ext/uchardet/src/nscore.h +59 -0
  183. data/ext/uchardet/src/prmem.h +49 -0
  184. data/ext/uchardet/src/symbols.cmake +41 -0
  185. data/ext/uchardet/src/tools/CMakeLists.txt +23 -0
  186. data/ext/uchardet/src/tools/uchardet.cpp +254 -0
  187. data/ext/uchardet/src/uchardet.cpp +274 -0
  188. data/ext/uchardet/src/uchardet.h +136 -0
  189. data/ext/uchardet/test/CMakeLists.txt +47 -0
  190. data/ext/uchardet/test/ar/iso-8859-6.txt +3 -0
  191. data/ext/uchardet/test/ar/utf-8.txt +3 -0
  192. data/ext/uchardet/test/ar/windows-1256.txt +3 -0
  193. data/ext/uchardet/test/bg/windows-1251.txt +3 -0
  194. data/ext/uchardet/test/cs/ibm852.txt +4 -0
  195. data/ext/uchardet/test/cs/iso-8859-2.txt +4 -0
  196. data/ext/uchardet/test/cs/mac-centraleurope.txt +4 -0
  197. data/ext/uchardet/test/cs/utf-8.txt +4 -0
  198. data/ext/uchardet/test/cs/windows-1250.txt +4 -0
  199. data/ext/uchardet/test/da/iso-8859-1.txt +7 -0
  200. data/ext/uchardet/test/da/iso-8859-15.txt +10 -0
  201. data/ext/uchardet/test/da/utf-8.txt +10 -0
  202. data/ext/uchardet/test/da/windows-1252.txt +10 -0
  203. data/ext/uchardet/test/de/iso-8859-1.txt +11 -0
  204. data/ext/uchardet/test/de/windows-1252.txt +11 -0
  205. data/ext/uchardet/test/el/iso-8859-7.txt +3 -0
  206. data/ext/uchardet/test/el/utf-8.txt +3 -0
  207. data/ext/uchardet/test/el/windows-1253.txt +5 -0
  208. data/ext/uchardet/test/en/ascii.txt +4 -0
  209. data/ext/uchardet/test/eo/iso-8859-3.txt +7 -0
  210. data/ext/uchardet/test/es/iso-8859-1.txt +5 -0
  211. data/ext/uchardet/test/es/iso-8859-15.txt +5 -0
  212. data/ext/uchardet/test/es/utf-8.txt +5 -0
  213. data/ext/uchardet/test/es/windows-1252.txt +5 -0
  214. data/ext/uchardet/test/et/iso-8859-13.txt +6 -0
  215. data/ext/uchardet/test/et/iso-8859-15.txt +6 -0
  216. data/ext/uchardet/test/et/iso-8859-4.txt +6 -0
  217. data/ext/uchardet/test/et/utf-8.txt +6 -0
  218. data/ext/uchardet/test/et/windows-1252.txt +6 -0
  219. data/ext/uchardet/test/et/windows-1257.txt +6 -0
  220. data/ext/uchardet/test/fi/iso-8859-1.txt +8 -0
  221. data/ext/uchardet/test/fi/utf-8.txt +8 -0
  222. data/ext/uchardet/test/fr/iso-8859-1.txt +5 -0
  223. data/ext/uchardet/test/fr/iso-8859-15.txt +16 -0
  224. data/ext/uchardet/test/fr/utf-16.be +0 -0
  225. data/ext/uchardet/test/fr/utf-32.le +0 -0
  226. data/ext/uchardet/test/fr/utf-8.txt +14 -0
  227. data/ext/uchardet/test/fr/windows-1252.txt +3 -0
  228. data/ext/uchardet/test/ga/iso-8859-1.txt +6 -0
  229. data/ext/uchardet/test/ga/utf-8.txt +6 -0
  230. data/ext/uchardet/test/ga/windows-1252.txt +6 -0
  231. data/ext/uchardet/test/he/iso-8859-8.txt +2 -0
  232. data/ext/uchardet/test/he/utf-8.txt +3 -0
  233. data/ext/uchardet/test/he/windows-1255.txt +1 -0
  234. data/ext/uchardet/test/hr/ibm852.txt +4 -0
  235. data/ext/uchardet/test/hr/iso-8859-13.txt +4 -0
  236. data/ext/uchardet/test/hr/iso-8859-16.txt +4 -0
  237. data/ext/uchardet/test/hr/iso-8859-2.txt +4 -0
  238. data/ext/uchardet/test/hr/mac-centraleurope.txt +4 -0
  239. data/ext/uchardet/test/hr/utf-8.txt +4 -0
  240. data/ext/uchardet/test/hr/windows-1250.txt +4 -0
  241. data/ext/uchardet/test/hu/iso-8859-2.txt +3 -0
  242. data/ext/uchardet/test/hu/windows-1250.txt +1 -0
  243. data/ext/uchardet/test/it/iso-8859-1.txt +18 -0
  244. data/ext/uchardet/test/it/utf-8.txt +18 -0
  245. data/ext/uchardet/test/ja/euc-jp.txt +10 -0
  246. data/ext/uchardet/test/ja/iso-2022-jp.txt +8 -0
  247. data/ext/uchardet/test/ja/shift_jis.txt +1 -0
  248. data/ext/uchardet/test/ja/utf-16be.txt +0 -0
  249. data/ext/uchardet/test/ja/utf-16le.txt +0 -0
  250. data/ext/uchardet/test/ja/utf-8.txt +9 -0
  251. data/ext/uchardet/test/ko/iso-2022-kr.txt +8 -0
  252. data/ext/uchardet/test/ko/uhc.smi +16 -0
  253. data/ext/uchardet/test/ko/utf-16.le +0 -0
  254. data/ext/uchardet/test/ko/utf-32.be +0 -0
  255. data/ext/uchardet/test/ko/utf-8.txt +3 -0
  256. data/ext/uchardet/test/lt/iso-8859-10.txt +3 -0
  257. data/ext/uchardet/test/lt/iso-8859-13.txt +3 -0
  258. data/ext/uchardet/test/lt/iso-8859-4.txt +3 -0
  259. data/ext/uchardet/test/lt/utf-8.txt +3 -0
  260. data/ext/uchardet/test/lv/iso-8859-10.txt +6 -0
  261. data/ext/uchardet/test/lv/iso-8859-13.txt +6 -0
  262. data/ext/uchardet/test/lv/iso-8859-4.txt +6 -0
  263. data/ext/uchardet/test/lv/utf-8.txt +6 -0
  264. data/ext/uchardet/test/mt/iso-8859-3.txt +4 -0
  265. data/ext/uchardet/test/mt/utf-8.txt +4 -0
  266. data/ext/uchardet/test/pl/ibm852.txt +3 -0
  267. data/ext/uchardet/test/pl/iso-8859-13.txt +3 -0
  268. data/ext/uchardet/test/pl/iso-8859-16.txt +3 -0
  269. data/ext/uchardet/test/pl/iso-8859-2.txt +3 -0
  270. data/ext/uchardet/test/pl/mac-centraleurope.txt +3 -0
  271. data/ext/uchardet/test/pl/utf-8.txt +3 -0
  272. data/ext/uchardet/test/pl/windows-1250.txt +3 -0
  273. data/ext/uchardet/test/pt/iso-8859-1.txt +6 -0
  274. data/ext/uchardet/test/pt/utf-8.txt +6 -0
  275. data/ext/uchardet/test/ro/ibm852.txt +9 -0
  276. data/ext/uchardet/test/ro/iso-8859-16.txt +9 -0
  277. data/ext/uchardet/test/ro/utf-8.txt +9 -0
  278. data/ext/uchardet/test/ro/windows-1250.txt +9 -0
  279. data/ext/uchardet/test/ru/ibm855.txt +5 -0
  280. data/ext/uchardet/test/ru/ibm866.txt +11 -0
  281. data/ext/uchardet/test/ru/iso-8859-5.txt +3 -0
  282. data/ext/uchardet/test/ru/koi8-r.txt +1 -0
  283. data/ext/uchardet/test/ru/mac-cyrillic.txt +9 -0
  284. data/ext/uchardet/test/ru/windows-1251.txt +4 -0
  285. data/ext/uchardet/test/sk/ibm852.txt +3 -0
  286. data/ext/uchardet/test/sk/iso-8859-2.txt +3 -0
  287. data/ext/uchardet/test/sk/mac-centraleurope.txt +3 -0
  288. data/ext/uchardet/test/sk/utf-8.txt +3 -0
  289. data/ext/uchardet/test/sk/windows-1250.txt +3 -0
  290. data/ext/uchardet/test/sl/ibm852.txt +9 -0
  291. data/ext/uchardet/test/sl/iso-8859-16.txt +9 -0
  292. data/ext/uchardet/test/sl/iso-8859-2.txt +9 -0
  293. data/ext/uchardet/test/sl/mac-centraleurope.txt +9 -0
  294. data/ext/uchardet/test/sl/utf-8.txt +9 -0
  295. data/ext/uchardet/test/sl/windows-1250.txt +9 -0
  296. data/ext/uchardet/test/sv/iso-8859-1.txt +10 -0
  297. data/ext/uchardet/test/sv/utf-8.txt +10 -0
  298. data/ext/uchardet/test/sv/windows-1252.txt +10 -0
  299. data/ext/uchardet/test/th/iso-8859-11.txt +5 -0
  300. data/ext/uchardet/test/th/tis-620.txt +5 -0
  301. data/ext/uchardet/test/th/utf-8.txt +1 -0
  302. data/ext/uchardet/test/tr/iso-8859-3.txt +13 -0
  303. data/ext/uchardet/test/tr/iso-8859-9.txt +13 -0
  304. data/ext/uchardet/test/uchardet-tests.c +130 -0
  305. data/ext/uchardet/test/vi/utf-8.txt +4 -0
  306. data/ext/uchardet/test/vi/viscii.txt +4 -0
  307. data/ext/uchardet/test/vi/windows-1258.txt +4 -0
  308. data/ext/uchardet/test/zh/big5.txt +1 -0
  309. data/ext/uchardet/test/zh/euc-tw.txt +1 -0
  310. data/ext/uchardet/test/zh/gb18030.txt +1 -0
  311. data/ext/uchardet/test/zh/utf-8.txt +1 -0
  312. data/ext/uchardet/uchardet.doap +51 -0
  313. data/ext/uchardet/uchardet.pc.in +10 -0
  314. data/lib/cchardet.rb +56 -0
  315. data/lib/cchardet/lib_finder.rb +32 -0
  316. data/lib/cchardet/version.rb +5 -0
  317. metadata +362 -0
data/ext/uchardet/test/ja/iso-2022-jp.txt ADDED
@@ -0,0 +1,8 @@
1
+ ISO/IEC 2022$B!J5l>N(B ISO 2022$B!K$O!"(B
2
+
3
+ $BJ8;z=89g$r(B7$B%S%C%HId9f$^$?$O(B8$B%S%C%HId9f$GI=8=$9$k$?$a$N5;=Q!"$*$h$S(B
4
+ $BJ#?t$NJ8;z=89g$rC10l$NJ8;zId9f2=J}<0$K4^$a$k5;=Q(B
5
+
6
+ $B$r5,Dj$9$k(BISO$B5,3J$G$"$k!#(BJIS$B$NBP1~5,3J$O(BJIS X 0202 $B!V>pJs5;=Q(B-$BJ8;zId9f$N9=B$5Z$S3HD%K!!W(B[1]$B!#(BEcma International$B$NBP1~5,3J$O(BECMA-35$B!#(B
7
+
8
+ ISO/IEC 2022 $B$NId9f2=J}<0$O!"0lHL$K!"(B1$BJ8;z$K(B1$B%P%$%H$+(B2$B%P%$%H0J>e$r;H$&2DJQD9$NJ8;zId9f2=J}<0$G$"$k!#$$$/$D$+$NId9f2=I=8=$,(BISO/IEC 2022$B$N5!9=$r;H$C$F$$$k!#$?$H$($P!"(BISO-2022-JP$B$OF|K\8l$G9-$/;H$o$l$F$$$kId9f2=I=8=$G$"$j!"$$$o$f$k!V(BJIS$B%3!<%I!W$H$$$&$N$b$3$l$r;X$9$3$H$,0lHLE*$G$"$k!#(B
data/ext/uchardet/test/ja/shift_jis.txt ADDED
@@ -0,0 +1 @@
1
+ ���{����{����{����{����{����{����{����{����{����{����{����{����{����{����{����{����{����{����{��
data/ext/uchardet/test/ja/utf-16be.txt ADDED
Binary file
data/ext/uchardet/test/ja/utf-16le.txt ADDED
Binary file
data/ext/uchardet/test/ja/utf-8.txt ADDED
@@ -0,0 +1,9 @@
1
+ UTF-8（ユーティーエフはち、ユーティーエフエイト）はISO/IEC 10646 (UCS) とUnicodeで使える8ビット符号単位の文字符号化形式及び文字符号化スキーム。
2
+
3
+ 正式名称は、ISO/IEC 10646では “UCS Transformation Format 8”、Unicodeでは “Unicode Transformation Format-8” という。両者はISO/IEC 10646とUnicodeのコード重複範囲で互換性がある。RFCにも仕様がある[1]。
4
+
5
+ 2バイト目以降に「/」などのASCII文字が現れないように工夫されていることから、UTF-FSS (File System Safe) ともいわれる。旧名称はUTF-2。
6
+
7
+ データ交換方式、ファイル形式として、一般的にUTF-8は使われる傾向にある。
8
+
9
+ 当初は、ベル研究所においてPlan 9で用いるエンコードとして、ロブ・パイクによる設計指針のもと、ケン・トンプソンによって考案された
data/ext/uchardet/test/ko/iso-2022-kr.txt ADDED
@@ -0,0 +1,8 @@
1
+ $)CISO/IEC 20224B
2
+
3
+ 9.@Z A}GU@; 7:qF. :NH# 6G4B 8:qF. :NH#7N G%GvGO1b @'GQ 1b<z
4
+ 5Q @L;s@G 9.@Z A}GU@; GO3*@G 9.@Z :NH#H- 9f=D@87N 8p5N G%GvGO4B 1b<z
5
+
6
+ @; 1TA$GO4B ISO G%AX@L4Y.
7
+
8
+ ISO/IEC 2022@G :NH#H- 9f=D@: Ek;s 9.@Z GO3*?! 19Y@LF.3* 29Y@LF. @L;s@; >24B 0!:/ 9.@Z :NH#H- 9f=D@L8g GQ19>n@G 0f?l EUC-KR@L @L :NH#H- 9f=D@; ;g?kGQ4Y.
data/ext/uchardet/test/ko/uhc.smi ADDED
@@ -0,0 +1,16 @@
1
+ <SAMI>
2
+ <HEAD>
3
+ <TITLE>EUC-KR.smi</TITLE>
4
+ <STYLE TYPE="text/css">
5
+ </STYLE>
6
+ </HEAD>
7
+ <BODY>
8
+ <SYNC Start=0000><P>EUC-KR
9
+ <SYNC Start=1000><P>EUC-KR�� KS X 1001�� KS X 1003�� ����ϴ� 8��Ʈ ���� ���ڵ�����, EUC�� �����̸� ��ǥ���� �ѱ� �ϼ��� ���ڵ��̱� ������ ���� �ϼ����̶�� �Ҹ���.
10
+ <SYNC Start=2000><P>EUC-KR ���ڵ��� ������ ���� �����ȴ�.
11
+ <SYNC Start=3000><P>128���� ���� ����Ʈ�� KS X 1003�� ����Ѵ�.
12
+ <SYNC Start=4000><P>128���� ũ�ų� ���� ����Ʈ�� KS X 1001�� ����Ѵ�. �� ���ڴ� ��� ���� 128�� ���� �ڵ尪�� ����Ͽ� 2����Ʈ�� ǥ���ȴ�.
13
+ <SYNC Start=5000><P>���� KS X 1001�� 40-27�� ���� "��"��� ���ڴ� EUC-KR���� C0 A7��� ����Ʈ ���� ǥ���ȴ�.
14
+ <SYNC Start=6000><P>KS X 1001���� �ѱ� ä�� ���ڸ� ����Ͽ� �԰��� ���� ���տ� ���Ե��� ���� �ѱ��� ǥ���ϴ� Ȯ�� ����� ������, ��κ��� ��� �� ����� EUC-KR���� ������ �ʰ� ��� CP949�� ���� �ٸ� ����� ����Ͽ� KS X 1001 �ٱ��� ���� �ѱ��� ǥ���Ѵ�.
15
+ </BODY>
16
+ </SAMI>
data/ext/uchardet/test/ko/utf-16.le ADDED
Binary file
data/ext/uchardet/test/ko/utf-32.be ADDED
Binary file
data/ext/uchardet/test/ko/utf-8.txt ADDED
@@ -0,0 +1,3 @@
1
+ UTF-8은 유니코드를 위한 가변 길이 문자 인코딩 방식 중 하나로, 켄 톰프슨과 롭 파이크가 만들었다. 본래는 FSS-UTF(File System Safe UCS/Unicode Transformation Format)라는 이름으로 제안되었다.
2
+
3
+ UTF-8 인코딩은 유니코드 한 문자를 나타내기 위해 1바이트에서 4바이트까지를 사용한다. 예를 들어서, U+0000부터 U+007F 범위에 있는 ASCII 문자들은 UTF-8에서 1바이트만으로 표시된다. 4바이트로 표현되는 문자는 모두 기본 다국어 평면(BMP) 바깥의 유니코드 문자이며, 거의 사용되지 않는다. UTF-16과 UTF-8 중 어느 인코딩이 더 적은 바이트를 사용하는지는 문자열에서 사용된 코드 포인트에 따라 달라지며, 실제로 DEFLATE와 같은 일반적인 압축 알고리즘을 사용할 경우 이 차이는 무시할 수 있을 정도이다. 이러한 압축 알고리즘을 사용하기 힘들고 크기가 중요할 경우 유니코드 표준 압축 방식을 대신 사용할 수 있다.
data/ext/uchardet/test/lt/iso-8859-10.txt ADDED
@@ -0,0 +1,3 @@
1
+ Vincentas van Gogas (ol. Vincent van Gogh, 1853 m. kovo 30 d. Grot Zunderte,
2
+ Nyderlandai - 1890 m. liepos 29 d. Overe prie Uazos, Pranc�zija) - oland�
3
+ tapytojas ir grafikas, postimpresionistas.
data/ext/uchardet/test/lt/iso-8859-13.txt ADDED
@@ -0,0 +1,3 @@
1
+ Vincentas van Gogas (ol. Vincent van Gogh, 1853 m. kovo 30 d. Grot Zunderte,
2
+ Nyderlandai - 1890 m. liepos 29 d. Overe prie Uazos, Pranc�zija) - oland�
3
+ tapytojas ir grafikas, postimpresionistas.
data/ext/uchardet/test/lt/iso-8859-4.txt ADDED
@@ -0,0 +1,3 @@
1
+ Vincentas van Gogas (ol. Vincent van Gogh, 1853 m. kovo 30 d. Grot Zunderte,
2
+ Nyderlandai - 1890 m. liepos 29 d. Overe prie Uazos, Pranc�zija) - oland�
3
+ tapytojas ir grafikas, postimpresionistas.
data/ext/uchardet/test/lt/utf-8.txt ADDED
@@ -0,0 +1,3 @@
1
+ Vincentas van Gogas (ol. Vincent van Gogh, 1853 m. kovo 30 d. Grot Zunderte,
2
+ Nyderlandai – 1890 m. liepos 29 d. Overe prie Uazos, Prancūzija) – olandų
3
+ tapytojas ir grafikas, postimpresionistas.
data/ext/uchardet/test/lv/iso-8859-10.txt ADDED
@@ -0,0 +1,6 @@
1
+ Vinsents Villems van Gogs (n�derlandie�u: Vincent Willem van Gogh, dzimis 1853.
2
+ gada 30. mart�, miris 1890. gada 29. j�lij�) bija n�derlandie�u gleznot�js,
3
+ postimpresionisma p�rst�vis. Kopum� van Gogs rad�ja vair�k nek� 2000 darbu, to
4
+ skait� 900 gleznu un 1100 z�m�jumu un ski�u. Savus slaven�kos darbus vi� rad�ja
5
+ p�d�jo divu dz�ves gadu laik�. Tiek uzskat�ts, ka van Gogs b�tiski ir ietekm�jis
6
+ 20. gadsimta m�kslu, tostarp ekspresionismu un fovismu.
data/ext/uchardet/test/lv/iso-8859-13.txt ADDED
@@ -0,0 +1,6 @@
1
+ Vinsents Villems van Gogs (n�derlandie�u: Vincent Willem van Gogh, dzimis 1853.
2
+ gada 30. mart�, miris 1890. gada 29. j�lij�) bija n�derlandie�u gleznot�js,
3
+ postimpresionisma p�rst�vis. Kopum� van Gogs rad�ja vair�k nek� 2000 darbu, to
4
+ skait� 900 gleznu un 1100 z�m�jumu un ski�u. Savus slaven�kos darbus vi�� rad�ja
5
+ p�d�jo divu dz�ves gadu laik�. Tiek uzskat�ts, ka van Gogs b�tiski ir ietekm�jis
6
+ 20. gadsimta m�kslu, tostarp ekspresionismu un fovismu.
data/ext/uchardet/test/lv/iso-8859-4.txt ADDED
@@ -0,0 +1,6 @@
1
+ Vinsents Villems van Gogs (n�derlandie�u: Vincent Willem van Gogh, dzimis 1853.
2
+ gada 30. mart�, miris 1890. gada 29. j�lij�) bija n�derlandie�u gleznot�js,
3
+ postimpresionisma p�rst�vis. Kopum� van Gogs rad�ja vair�k nek� 2000 darbu, to
4
+ skait� 900 gleznu un 1100 z�m�jumu un ski�u. Savus slaven�kos darbus vi� rad�ja
5
+ p�d�jo divu dz�ves gadu laik�. Tiek uzskat�ts, ka van Gogs b�tiski ir ietekm�jis
6
+ 20. gadsimta m�kslu, tostarp ekspresionismu un fovismu.
data/ext/uchardet/test/lv/utf-8.txt ADDED
@@ -0,0 +1,6 @@
1
+ Vinsents Villems van Gogs (nīderlandiešu: Vincent Willem van Gogh, dzimis 1853.
2
+ gada 30. martā, miris 1890. gada 29. jūlijā) bija nīderlandiešu gleznotājs,
3
+ postimpresionisma pārstāvis. Kopumā van Gogs radīja vairāk nekā 2000 darbu, to
4
+ skaitā 900 gleznu un 1100 zīmējumu un skiču. Savus slavenākos darbus viņš radīja
5
+ pēdējo divu dzīves gadu laikā. Tiek uzskatīts, ka van Gogs būtiski ir ietekmējis
6
+ 20. gadsimta mākslu, tostarp ekspresionismu un fovismu.
data/ext/uchardet/test/mt/iso-8859-3.txt ADDED
@@ -0,0 +1,4 @@
1
+ Franza (Fran�i�:France), uffi�jalment ir-Repubblika Fran�i�a (Fran�i�:
2
+ R�publique fran�aise), hi pajji� fl-Ewropa tal-Punent. Il-belt belt kapitali
3
+ tag�ha hi Pari�i. Hi membru tal-Unjoni Ewropea. Franza hi maqsuma f'22 r�gions
4
+ li huma suddivi�i f' d�partements.
data/ext/uchardet/test/mt/utf-8.txt ADDED
@@ -0,0 +1,4 @@
1
+ Franza (Franċiż:France), uffiċjalment ir-Repubblika Franċiża (Franċiż:
2
+ République française), hi pajjiż fl-Ewropa tal-Punent. Il-belt belt kapitali
3
+ tagħha hi Pariġi. Hi membru tal-Unjoni Ewropea. Franza hi maqsuma f'22 régions
4
+ li huma suddiviżi f' départements.
data/ext/uchardet/test/pl/ibm852.txt ADDED
@@ -0,0 +1,3 @@
1
+ Zofia (Sonka) Holsza�ska herbu Hippocentaurus (ur. ok. 1405, zm. 21 wrze�nia 1461 w Krakowie)
2
+ ksi��niczka litewska, kr�lowa Polski, od 1422 roku czwarta i ostatnia �ona W�adys�awa II
3
+ Jagie��y.
data/ext/uchardet/test/pl/iso-8859-13.txt ADDED
@@ -0,0 +1,3 @@
1
+ Zofia (Sonka) Holsza�ska herbu Hippocentaurus (ur. ok. 1405, zm. 21 wrze�nia 1461 w Krakowie)
2
+ ksi��niczka litewska, kr�lowa Polski, od 1422 roku czwarta i ostatnia �ona W�adys�awa II
3
+ Jagie��y.
data/ext/uchardet/test/pl/iso-8859-16.txt ADDED
@@ -0,0 +1,3 @@
1
+ Zofia (Sonka) Holsza�ska herbu Hippocentaurus (ur. ok. 1405, zm. 21 wrze�nia 1461 w Krakowie)
2
+ ksi��niczka litewska, kr�lowa Polski, od 1422 roku czwarta i ostatnia �ona W�adys�awa II
3
+ Jagie��y.
data/ext/uchardet/test/pl/iso-8859-2.txt ADDED
@@ -0,0 +1,3 @@
1
+ Zofia (Sonka) Holsza�ska herbu Hippocentaurus (ur. ok. 1405, zm. 21 wrze�nia 1461 w Krakowie)
2
+ ksi�niczka litewska, kr�lowa Polski, od 1422 roku czwarta i ostatnia �ona W�adys�awa II
3
+ Jagie��y.
data/ext/uchardet/test/pl/mac-centraleurope.txt ADDED
@@ -0,0 +1,3 @@
1
+ Zofia (Sonka) Holsza�ska herbu Hippocentaurus (ur. ok. 1405, zm. 21 wrze�nia 1461 w Krakowie)
2
+ ksi��niczka litewska, kr�lowa Polski, od 1422 roku czwarta i ostatnia �ona W�adys�awa II
3
+ Jagie��y.
data/ext/uchardet/test/pl/utf-8.txt ADDED
@@ -0,0 +1,3 @@
1
+ Zofia (Sonka) Holszańska herbu Hippocentaurus (ur. ok. 1405, zm. 21 września 1461 w Krakowie)
2
+ księżniczka litewska, królowa Polski, od 1422 roku czwarta i ostatnia żona Władysława II
3
+ Jagiełły.
data/ext/uchardet/test/pl/windows-1250.txt ADDED
@@ -0,0 +1,3 @@
1
+ Zofia (Sonka) Holsza�ska herbu Hippocentaurus (ur. ok. 1405, zm. 21 wrze�nia 1461 w Krakowie)
2
+ ksi�niczka litewska, kr�lowa Polski, od 1422 roku czwarta i ostatnia �ona W�adys�awa II
3
+ Jagie��y.
data/ext/uchardet/test/pt/iso-8859-1.txt ADDED
@@ -0,0 +1,6 @@
1
+ Albertossauro (Albertosaurus sp., que significa "lagarto de Alberta" no Canad�),
2
+ foi um g�nero de dinossauro carn�voro e b�pede presente no fim do per�odo
3
+ Cret�ceo. Media cerca de 8 a 9 metros de comprimento, 3 metros de altura e
4
+ pesava menos de 2 toneladas. O Albertossauro viveu na Am�rica do Norte e foi
5
+ descoberto no ano de 1884 por Joseph Burr Tyrrell em Alberta, no Canad�, local
6
+ ao qual deve seu nome.
data/ext/uchardet/test/pt/utf-8.txt ADDED
@@ -0,0 +1,6 @@
1
+ Albertossauro (Albertosaurus sp., que significa "lagarto de Alberta" no Canadá),
2
+ foi um género de dinossauro carnívoro e bípede presente no fim do período
3
+ Cretáceo. Media cerca de 8 a 9 metros de comprimento, 3 metros de altura e
4
+ pesava menos de 2 toneladas. O Albertossauro viveu na América do Norte e foi
5
+ descoberto no ano de 1884 por Joseph Burr Tyrrell em Alberta, no Canadá, local
6
+ ao qual deve seu nome.
data/ext/uchardet/test/ro/ibm852.txt ADDED
@@ -0,0 +1,9 @@
1
+ Danemarca (�n danez� Sunet Danmark), oficial Regatul Danemarcei (�n
2
+ danez� Sunet Kongeriget Danmark), este un stat suveran din
3
+ Europa de Nord, av�nd si dou� t�ri constituente de peste m�ri, care fac parte
4
+ integrant� din regat: Insulele Feroe �n Atlanticul de Nord si Groenlanda �n
5
+ America de Nord. Danemarca propriu-zis�[a] este cea mai de sud dintre t�rile
6
+ nordice, aflat� la sud-vest de Suedia si la sud de Norvegia, �nvecin�ndu-se la
7
+ sud cu Germania. Tara const� dintr-o peninsul� mare, Iutlanda, si mai multe
8
+ insule, dintre care cele mai mari sunt Zealand, Funen, Lolland, Falster si
9
+ Bornholm, precum si sute de insulite denumite �n general ,,Arhipelagul Danez".
data/ext/uchardet/test/ro/iso-8859-16.txt ADDED
@@ -0,0 +1,9 @@
1
+ Danemarca (�n danez� Sunet Danmark), oficial Regatul Danemarcei (�n
2
+ danez� Sunet Kongeriget Danmark), este un stat suveran din
3
+ Europa de Nord, av�nd �i dou� ��ri constituente de peste m�ri, care fac parte
4
+ integrant� din regat: Insulele Feroe �n Atlanticul de Nord �i Groenlanda �n
5
+ America de Nord. Danemarca propriu-zis�[a] este cea mai de sud dintre ��rile
6
+ nordice, aflat� la sud-vest de Suedia �i la sud de Norvegia, �nvecin�ndu-se la
7
+ sud cu Germania. �ara const� dintr-o peninsul� mare, Iutlanda, �i mai multe
8
+ insule, dintre care cele mai mari sunt Zealand, Funen, Lolland, Falster �i
9
+ Bornholm, precum �i sute de insuli�e denumite �n general �Arhipelagul Danez�.
data/ext/uchardet/test/ro/utf-8.txt ADDED
@@ -0,0 +1,9 @@
1
+ Danemarca (în daneză Sunet Danmark), oficial Regatul Danemarcei (în
2
+ daneză Sunet Kongeriget Danmark), este un stat suveran din
3
+ Europa de Nord, având și două țări constituente de peste mări, care fac parte
4
+ integrantă din regat: Insulele Feroe în Atlanticul de Nord și Groenlanda în
5
+ America de Nord. Danemarca propriu-zisă[a] este cea mai de sud dintre țările
6
+ nordice, aflată la sud-vest de Suedia și la sud de Norvegia, învecinându-se la
7
+ sud cu Germania. Țara constă dintr-o peninsulă mare, Iutlanda, și mai multe
8
+ insule, dintre care cele mai mari sunt Zealand, Funen, Lolland, Falster și
9
+ Bornholm, precum și sute de insulițe denumite în general „Arhipelagul Danez”.
data/ext/uchardet/test/ro/windows-1250.txt ADDED
@@ -0,0 +1,9 @@
1
+ Danemarca (�n danez� Sunet Danmark), oficial Regatul Danemarcei (�n
2
+ danez� Sunet Kongeriget Danmark), este un stat suveran din
3
+ Europa de Nord, av�nd si dou� t�ri constituente de peste m�ri, care fac parte
4
+ integrant� din regat: Insulele Feroe �n Atlanticul de Nord si Groenlanda �n
5
+ America de Nord. Danemarca propriu-zis�[a] este cea mai de sud dintre t�rile
6
+ nordice, aflat� la sud-vest de Suedia si la sud de Norvegia, �nvecin�ndu-se la
7
+ sud cu Germania. Tara const� dintr-o peninsul� mare, Iutlanda, si mai multe
8
+ insule, dintre care cele mai mari sunt Zealand, Funen, Lolland, Falster si
9
+ Bornholm, precum si sute de insulite denumite �n general �Arhipelagul Danez�.
data/ext/uchardet/test/ru/ibm855.txt ADDED
@@ -0,0 +1,5 @@
1
+ CP855 -- Ʒ��з���Ơ� �֦��� ���Է�� ��� MS-DOS � �֦֢�� �� �بᠤ����� ����. ��М���� �� ������ �� Ԡ��� ISO 8859-5.
2
+
3
+ ը�֬�� ������ ���������Р�� � �ᢷ�, Ӡƨ��Է� � ��Ь�᷷, �� � ���㷷 Ԩ ���Р��.
4
+
5
+ ݨ��� �����Ԡ �֦��ֽ 堢з�� ���ؠ���� � ASCII. ���Р �֦ ����ҷ ֢��Ԡ���� ����Ԡ�������� �֦ ����� � �Է�֦�.
data/ext/uchardet/test/ru/ibm866.txt ADDED
@@ -0,0 +1,11 @@
1
+ <<����ୠ⨢��� ����஢��>> (<<����ୠ⨢��� ����஢�� ����>>) -- �᭮������ ��
2
+ CP437 ������� ��࠭��, ��� �� ᯥ���᪨� ��ய��᪨� ᨬ���� �� ��ன
3
+ �������� �������� �� ��ਫ����, ��⠢��� �ᥢ������᪨� ᨬ���� ���஭��묨.
4
+ �������⥫쭮, �� �� ����� ��� �ணࠬ�, �ᯮ������ ��� ࠡ��� ⥪�⮢�
5
+ ����, � ⠪�� ���ᯥ稢��� �ᯮ�짮����� � ��� ᨬ����� ��ਫ����.
6
+
7
+ �����᪨ ����⢮���� ����� ��ਠ�⮢ ����ୠ⨢��� ����஢��, �� ��
8
+ ࠧ���� ������� ⮫쪮 ������ 0xF0 -- 0xFF (240--255). �ᯮ�짮������
9
+ �ᥢ������� ���䨪����-ᠬ������, ��ᠢ訥�� ������ᨬ� ���묨
10
+ �ணࠬ���⠬�, �����࠭���� �� ��������� � �१ ।��� ���������
11
+ 業���.
data/ext/uchardet/test/ru/iso-8859-5.txt ADDED
@@ -0,0 +1,3 @@
1
+ ISO 8859-5
2
+ 8-������ ������� �������� �� ��������� ������� ������� ��������� ISO-8859 ��� ������������� ���������.
3
+ ISO 8859-5 ���� ������� �� ���� "�������� ���������" (��� ������� ����� ��������� ���� ������������, �� ����������� ��������� �).
data/ext/uchardet/test/ru/koi8-r.txt ADDED
@@ -0,0 +1 @@
1
+ ���-8 (��� ������ �����������, 8 �����), KOI8 - ������������� ������� ��������, ����������� � ASCII. ����������� ��� ����������� ���� ������������� ���������. ���� ������ �������������� ��� �������� ������� ��������� � Unix-����������� �� � � ����������� �����, ������ ����� � 2010 ����, � ���������������� �������, ���������� ������� �� ������������.
data/ext/uchardet/test/ru/mac-cyrillic.txt ADDED
@@ -0,0 +1,9 @@
1
+ ��������� MacCyrillic ������������ ������ �� ����������� nj��������.
2
+
3
+ ��������� ���������� ������������� � ��������� ����������� �������� ���
4
+ ��������� �������� �������� ����� �������� ��������; ����� ����, ������������
5
+ ��� �������������� �����, ����������� ��� ������ ����������� (����� �),
6
+ ������������, ������������ � ��������� ������.
7
+
8
+ ������ ����� ������� ��������� (��������) ��������� ������������� ���������
9
+ ASCII. ����� ��� ������� ���������� ����������������� ��� ����� � �������.
data/ext/uchardet/test/ru/windows-1251.txt ADDED
@@ -0,0 +1,4 @@
1
+ Windows-1251
2
+ ����� �������� � ���������, ���������� ����������� 8-������ ���������� ��� ���� ������� ������ Microsoft Windows. ���������� �������� ������� �������������. ���� ������� �� ���� ���������, ���������������� � ������ ������������� ������������� Windows � 1990�1991 ��. ��������� ��������������� ����������, �������� � ����������� ��������� Microsoft. �������������� ������� ��������� ������ ��������� �� ��������������� ���� � ������� (� ���������, ��� ���� ������������ ����� ������ ������).
3
+
4
+ Windows-1251 ������� ���������� �� ������ 8-������ ������������� ��������� (����� ��� CP866, KOI8-R � ISO 8859-5) �������� ����������� ���� ��������, �������������� � ������� ����������� ��� �������� ������ (����������� ������ ������ ��������); ��� ����� �������� ��� ������� ��� ������ ���������� ������: �����������, ������������, ���������, ������������ � �����������.
data/ext/uchardet/test/sk/ibm852.txt ADDED
@@ -0,0 +1,3 @@
1
+ Jupiter je piata plan�ta v porad� od Slnka, najv���ia a najhmotnej�ia plan�ta
2
+ na�ej slne�nej s�stavy. Je pomenovan� po r�mskom bohovi Jupiterovi. Symbolom
3
+ plan�ty je �tylizovan� zn�zornenie Jupiterovho bo�sk�ho blesku.
data/ext/uchardet/test/sk/iso-8859-2.txt ADDED
@@ -0,0 +1,3 @@
1
+ Jupiter je piata plan�ta v porad� od Slnka, najv��ia a najhmotnej�ia plan�ta
2
+ na�ej slne�nej s�stavy. Je pomenovan� po r�mskom bohovi Jupiterovi. Symbolom
3
+ plan�ty je �tylizovan� zn�zornenie Jupiterovho bo�sk�ho blesku.
data/ext/uchardet/test/sk/mac-centraleurope.txt ADDED
@@ -0,0 +1,3 @@
1
+ Jupiter je piata plan�ta v porad� od Slnka, najv���ia a najhmotnej�ia plan�ta
2
+ na�ej slne�nej s�stavy. Je pomenovan� po r�mskom bohovi Jupiterovi. Symbolom
3
+ plan�ty je �tylizovan� zn�zornenie Jupiterovho bo�sk�ho blesku.
data/ext/uchardet/test/sk/utf-8.txt ADDED
@@ -0,0 +1,3 @@
1
+ Jupiter je piata planéta v poradí od Slnka, najväčšia a najhmotnejšia planéta
2
+ našej slnečnej sústavy. Je pomenovaný po rímskom bohovi Jupiterovi. Symbolom
3
+ planéty je štylizované znázornenie Jupiterovho božského blesku.
data/ext/uchardet/test/sk/windows-1250.txt ADDED
@@ -0,0 +1,3 @@
1
+ Jupiter je piata plan�ta v porad� od Slnka, najv��ia a najhmotnej�ia plan�ta
2
+ na�ej slne�nej s�stavy. Je pomenovan� po r�mskom bohovi Jupiterovi. Symbolom
3
+ plan�ty je �tylizovan� zn�zornenie Jupiterovho bo�sk�ho blesku.
data/ext/uchardet/test/sl/ibm852.txt ADDED
@@ -0,0 +1,9 @@
1
+ Naselj�vi plan�t je planet ali naravni satelit (redkeje tudi asteroid[1]), ki je
2
+ zmo�en razviti in ohranjati �ivljenje.
3
+
4
+ Ker je obstoj nezemeljskega �ivljenja trenutno negotov, je raziskovanje
5
+ naseljivih planetov v glavnem ekstrapolacija razmer na Zemlji in zna�ilnosti
6
+ Sonca in celotnega Oson�ja, ki govorijo v prid razvitju �ivljenja. �e posebej so
7
+ pomembni faktorji, ki so ohranili zapletene, mnogoceli�ne organizme in ne le
8
+ preprosta, enoceli�na �iva bitja, mikroorganizme. Raziskovanje in teorija v tej
9
+ smeri je del planetologije in razvijajo�e astrobiologije.
data/ext/uchardet/test/sl/iso-8859-16.txt ADDED
@@ -0,0 +1,9 @@
1
+ Naselj�vi plan�t je planet ali naravni satelit (redkeje tudi asteroid[1]), ki je
2
+ zmo�en razviti in ohranjati �ivljenje.
3
+
4
+ Ker je obstoj nezemeljskega �ivljenja trenutno negotov, je raziskovanje
5
+ naseljivih planetov v glavnem ekstrapolacija razmer na Zemlji in zna�ilnosti
6
+ Sonca in celotnega Oson�ja, ki govorijo v prid razvitju �ivljenja. �e posebej so
7
+ pomembni faktorji, ki so ohranili zapletene, mnogoceli�ne organizme in ne le
8
+ preprosta, enoceli�na �iva bitja, mikroorganizme. Raziskovanje in teorija v tej
9
+ smeri je del planetologije in razvijajo�e astrobiologije.
data/ext/uchardet/test/sl/iso-8859-2.txt ADDED
@@ -0,0 +1,9 @@
1
+ Naselj�vi plan�t je planet ali naravni satelit (redkeje tudi asteroid[1]), ki je
2
+ zmo�en razviti in ohranjati �ivljenje.
3
+
4
+ Ker je obstoj nezemeljskega �ivljenja trenutno negotov, je raziskovanje
5
+ naseljivih planetov v glavnem ekstrapolacija razmer na Zemlji in zna�ilnosti
6
+ Sonca in celotnega Oson�ja, ki govorijo v prid razvitju �ivljenja. �e posebej so
7
+ pomembni faktorji, ki so ohranili zapletene, mnogoceli�ne organizme in ne le
8
+ preprosta, enoceli�na �iva bitja, mikroorganizme. Raziskovanje in teorija v tej
9
+ smeri je del planetologije in razvijajo�e astrobiologije.
data/ext/uchardet/test/sl/mac-centraleurope.txt ADDED
@@ -0,0 +1,9 @@
1
+ Naselj�vi plan�t je planet ali naravni satelit (redkeje tudi asteroid[1]), ki je
2
+ zmo�en razviti in ohranjati �ivljenje.
3
+
4
+ Ker je obstoj nezemeljskega �ivljenja trenutno negotov, je raziskovanje
5
+ naseljivih planetov v glavnem ekstrapolacija razmer na Zemlji in zna�ilnosti
6
+ Sonca in celotnega Oson�ja, ki govorijo v prid razvitju �ivljenja. �e posebej so
7
+ pomembni faktorji, ki so ohranili zapletene, mnogoceli�ne organizme in ne le
8
+ preprosta, enoceli�na �iva bitja, mikroorganizme. Raziskovanje in teorija v tej
9
+ smeri je del planetologije in razvijajo�e astrobiologije.
data/ext/uchardet/test/sl/utf-8.txt ADDED
@@ -0,0 +1,9 @@
1
+ Naseljívi planét je planet ali naravni satelit (redkeje tudi asteroid[1]), ki je
2
+ zmožen razviti in ohranjati življenje.
3
+
4
+ Ker je obstoj nezemeljskega življenja trenutno negotov, je raziskovanje
5
+ naseljivih planetov v glavnem ekstrapolacija razmer na Zemlji in značilnosti
6
+ Sonca in celotnega Osončja, ki govorijo v prid razvitju življenja. Še posebej so
7
+ pomembni faktorji, ki so ohranili zapletene, mnogocelične organizme in ne le
8
+ preprosta, enocelična živa bitja, mikroorganizme. Raziskovanje in teorija v tej
9
+ smeri je del planetologije in razvijajoče astrobiologije.
data/ext/uchardet/test/sl/windows-1250.txt ADDED
@@ -0,0 +1,9 @@
1
+ Naselj�vi plan�t je planet ali naravni satelit (redkeje tudi asteroid[1]), ki je
2
+ zmo�en razviti in ohranjati �ivljenje.
3
+
4
+ Ker je obstoj nezemeljskega �ivljenja trenutno negotov, je raziskovanje
5
+ naseljivih planetov v glavnem ekstrapolacija razmer na Zemlji in zna�ilnosti
6
+ Sonca in celotnega Oson�ja, ki govorijo v prid razvitju �ivljenja. �e posebej so
7
+ pomembni faktorji, ki so ohranili zapletene, mnogoceli�ne organizme in ne le
8
+ preprosta, enoceli�na �iva bitja, mikroorganizme. Raziskovanje in teorija v tej
9
+ smeri je del planetologije in razvijajo�e astrobiologije.
data/ext/uchardet/test/sv/iso-8859-1.txt ADDED
@@ -0,0 +1,10 @@
1
+ M�lle �r en t�tort p� Kullahalv�n i Brunnby socken i H�gan�s kommun, Sk�ne l�n.
2
+
3
+ Samh�llet var fr�n b�rjan ett fiskel�ge, men kom att spela en stor roll i den
4
+ framv�xande turismen i Sverige i slutet av 1800-talet. Till detta bidrog - och
5
+ bidrar - M�lles natursk�na l�ge invid �resunds norra utlopp, med Kullaberg som
6
+ bakgrund. Gemensamhetsbad f�r m�n och kvinnor introducerades i Ransvik i b�rjan
7
+ av 1900-talet. Storhetstiden som turistort intr�ffade strax f�re f�rsta
8
+ v�rldskriget, men �ven under mellankrigstiden var turiststr�mmarna stora.
9
+ Fortfarande �r M�lle en popul�r turistort med en tredubbling av inv�narantalet
10
+ under sommarm�naderna.
data/ext/uchardet/test/sv/utf-8.txt ADDED
@@ -0,0 +1,10 @@
1
+ Mölle är en tätort på Kullahalvön i Brunnby socken i Höganäs kommun, Skåne län.
2
+
3
+ Samhället var från början ett fiskeläge, men kom att spela en stor roll i den
4
+ framväxande turismen i Sverige i slutet av 1800-talet. Till detta bidrog – och
5
+ bidrar – Mölles natursköna läge invid Öresunds norra utlopp, med Kullaberg som
6
+ bakgrund. Gemensamhetsbad för män och kvinnor introducerades i Ransvik i början
7
+ av 1900-talet. Storhetstiden som turistort inträffade strax före första
8
+ världskriget, men även under mellankrigstiden var turistströmmarna stora.
9
+ Fortfarande är Mölle en populär turistort med en tredubbling av invånarantalet
10
+ under sommarmånaderna.
data/ext/uchardet/test/sv/windows-1252.txt ADDED
@@ -0,0 +1,10 @@
1
+ M�lle �r en t�tort p� Kullahalv�n i Brunnby socken i H�gan�s kommun, Sk�ne l�n.
2
+
3
+ Samh�llet var fr�n b�rjan ett fiskel�ge, men kom att spela en stor roll i den
4
+ framv�xande turismen i Sverige i slutet av 1800-talet. Till detta bidrog � och
5
+ bidrar � M�lles natursk�na l�ge invid �resunds norra utlopp, med Kullaberg som
6
+ bakgrund. Gemensamhetsbad f�r m�n och kvinnor introducerades i Ransvik i b�rjan
7
+ av 1900-talet. Storhetstiden som turistort intr�ffade strax f�re f�rsta
8
+ v�rldskriget, men �ven under mellankrigstiden var turiststr�mmarna stora.
9
+ Fortfarande �r M�lle en popul�r turistort med en tredubbling av inv�narantalet
10
+ under sommarm�naderna.
data/ext/uchardet/test/th/iso-8859-11.txt ADDED
@@ -0,0 +1,5 @@
1
+ TIS-620
2
+
3
+ ��ҵðҹ��Ե�ѳ���ص��ˡ��� 620-2533, �͡.620-2533, ���ͷ�����ѡ�ѹ�������� TIS-620 �繪ش�ѡ����ҵðҹ�ص��ˡ����ͧ�� �ժ��������� ��������Ѻ�ѡ����·����Ѻ����������
4
+
5
+ ���� TIS-620 ����������´��������� ISO-8859-11 �ҡ ᵡ��ҧ�ѹ����§��� ISO-8859-11 ��˹���� A0 �� "�����äẺ���Ѵ��" (no-break space) ��ǹ TIS-620 �������ʧǹ���˹� A0 ������ ���������˹����� � ���
data/ext/uchardet/test/th/tis-620.txt ADDED
@@ -0,0 +1,5 @@
1
+ TIS-620
2
+
3
+ �ҵðҹ��Ե�ѳ���ص��ˡ��� 620-2533, �͡.620-2533, ���ͷ�����ѡ�ѹ�������� TIS-620 �繪ش�ѡ����ҵðҹ�ص��ˡ����ͧ�� �ժ��������� ��������Ѻ�ѡ����·����Ѻ����������
4
+
5
+ ���� TIS-620 ����������´��������� ISO-8859-11 �ҡ ᵡ��ҧ�ѹ����§��� ISO-8859-11 ��˹���� A0 �� "�����äẺ���Ѵ��" (no-break space) ��ǹ TIS-620 �������ʧǹ���˹� A0 ������ ���������˹����� � ���
data/ext/uchardet/test/th/utf-8.txt ADDED
@@ -0,0 +1 @@
1
+ ยูนิโคด (อังกฤษ: Unicode) คือมาตรฐานอุตสาหกรรมที่ช่วยให้คอมพิวเตอร์แสดงผลและจัดการข้อความธรรมดาที่ใช้ในระบบการเขียนของภาษาส่วนใหญ่ในโลกได้อย่างสอดคล้องกัน ยูนิโคดประกอบด้วยรายการอักขระที่แสดงผลได้มากกว่า 100,000 ตัว พัฒนาต่อยอดมาจากมาตรฐานชุดอักขระสากล (Universal Character Set: UCS) และมีการตีพิมพ์ลงในหนังสือ The Unicode Standard เป็นแผนผังรหัสเพื่อใช้เป็นรายการอ้างอิง นอกจากนั้นยังมีการอธิบายวิธีการที่ใช้เข้ารหัสและการนำเสนอมาตรฐานของการเข้ารหัสอักขระอีกจำนวนหนึ่ง การเรียงลำดับอักษร กฎเกณฑ์ของการรวมและการแยกอักขระ รวมไปถึงลำดับการแสดงผลของอักขระสองทิศทาง (เช่นอักษรอาหรับหรืออักษรฮีบรูที่เขียนจากขวาไปซ้าย)
data/ext/uchardet/test/tr/iso-8859-3.txt ADDED
@@ -0,0 +1,13 @@
1
+ T�rk�e, T�rk dili ya da T�rkiye T�rk�esi, bat�da Balkanlar'dan ba�lay�p do�uda
2
+ Hazar Denizi sahas�na kadar konu�ulan Altay dillerinden biridir. Ya��, en eski
3
+ hesaplara g�re 8500 olan T�rk�e, bug�n ya�ayan D�nya dilleri aras�nda en eski
4
+ yaz�l� belgelere sahip olan dildir. Bu belgeler, �ivi yaz�l� S�merce
5
+ tabletlerdeki al�nt� kelimelerdir.[12] T�rk yaz� dilleri i�inde O�uz sahas� yaz�
6
+ dillerinden Osmanl� T�rk�esinin devam�n� olu�turur. Ba�ta T�rkiye olmak �zere
7
+ eski Osmanl� �mparatorlu�u co�rafyas�nda konu�ulan T�rk�e, d�nyada en fazla
8
+ konu�ulan 5. dildir. T�rk�e sondan eklemeli bir dildir.[13] Bundan �t�r�
9
+ kullan�lan herhangi bir eylem �zerinden istenildi�i kadar s�zc�k
10
+ t�retilebilir.[14] T�rkiye T�rk�esi bu y�n�nden dolay� di�er T�rk dilleriyle
11
+ ortak ya da ayr�k bulunan onlarca eke sahiptir.[15] T�rk�e �ok geni�
12
+ kullan�m�yla birlikte zengin bir dil olmas�n�n yan� s�ra, genel itibar�yla
13
+ "�zne-nesne-y�klem" bi�imindeki c�mle kurulu�una sahiptir.
data/ext/uchardet/test/tr/iso-8859-9.txt ADDED
@@ -0,0 +1,13 @@
1
+ T�rk�e, T�rk dili ya da T�rkiye T�rk�esi, bat�da Balkanlar'dan ba�lay�p do�uda
2
+ Hazar Denizi sahas�na kadar konu�ulan Altay dillerinden biridir. Ya��, en eski
3
+ hesaplara g�re 8500 olan T�rk�e, bug�n ya�ayan D�nya dilleri aras�nda en eski
4
+ yaz�l� belgelere sahip olan dildir. Bu belgeler, �ivi yaz�l� S�merce
5
+ tabletlerdeki al�nt� kelimelerdir.[12] T�rk yaz� dilleri i�inde O�uz sahas� yaz�
6
+ dillerinden Osmanl� T�rk�esinin devam�n� olu�turur. Ba�ta T�rkiye olmak �zere
7
+ eski Osmanl� �mparatorlu�u co�rafyas�nda konu�ulan T�rk�e, d�nyada en fazla
8
+ konu�ulan 5. dildir. T�rk�e sondan eklemeli bir dildir.[13] Bundan �t�r�
9
+ kullan�lan herhangi bir eylem �zerinden istenildi�i kadar s�zc�k
10
+ t�retilebilir.[14] T�rkiye T�rk�esi bu y�n�nden dolay� di�er T�rk dilleriyle
11
+ ortak ya da ayr�k bulunan onlarca eke sahiptir.[15] T�rk�e �ok geni�
12
+ kullan�m�yla birlikte zengin bir dil olmas�n�n yan� s�ra, genel itibar�yla
13
+ "�zne-nesne-y�klem" bi�imindeki c�mle kurulu�una sahiptir.