talentbox-unidecoder 1.1.2

This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
Files changed (189) hide show
  1. data/Changelog.md +16 -0
  2. data/README.md +51 -0
  3. data/Rakefile +28 -0
  4. data/lib/unidecoder.rb +98 -0
  5. data/lib/unidecoder/data/x00.yml +257 -0
  6. data/lib/unidecoder/data/x01.yml +257 -0
  7. data/lib/unidecoder/data/x02.yml +256 -0
  8. data/lib/unidecoder/data/x03.yml +256 -0
  9. data/lib/unidecoder/data/x04.yml +256 -0
  10. data/lib/unidecoder/data/x05.yml +256 -0
  11. data/lib/unidecoder/data/x06.yml +256 -0
  12. data/lib/unidecoder/data/x07.yml +256 -0
  13. data/lib/unidecoder/data/x09.yml +256 -0
  14. data/lib/unidecoder/data/x0a.yml +256 -0
  15. data/lib/unidecoder/data/x0b.yml +256 -0
  16. data/lib/unidecoder/data/x0c.yml +256 -0
  17. data/lib/unidecoder/data/x0d.yml +256 -0
  18. data/lib/unidecoder/data/x0e.yml +256 -0
  19. data/lib/unidecoder/data/x0f.yml +256 -0
  20. data/lib/unidecoder/data/x10.yml +256 -0
  21. data/lib/unidecoder/data/x11.yml +256 -0
  22. data/lib/unidecoder/data/x12.yml +257 -0
  23. data/lib/unidecoder/data/x13.yml +256 -0
  24. data/lib/unidecoder/data/x14.yml +257 -0
  25. data/lib/unidecoder/data/x15.yml +257 -0
  26. data/lib/unidecoder/data/x16.yml +256 -0
  27. data/lib/unidecoder/data/x17.yml +256 -0
  28. data/lib/unidecoder/data/x18.yml +256 -0
  29. data/lib/unidecoder/data/x1e.yml +256 -0
  30. data/lib/unidecoder/data/x1f.yml +256 -0
  31. data/lib/unidecoder/data/x20.yml +256 -0
  32. data/lib/unidecoder/data/x21.yml +256 -0
  33. data/lib/unidecoder/data/x22.yml +256 -0
  34. data/lib/unidecoder/data/x23.yml +256 -0
  35. data/lib/unidecoder/data/x24.yml +256 -0
  36. data/lib/unidecoder/data/x25.yml +256 -0
  37. data/lib/unidecoder/data/x26.yml +256 -0
  38. data/lib/unidecoder/data/x27.yml +256 -0
  39. data/lib/unidecoder/data/x28.yml +257 -0
  40. data/lib/unidecoder/data/x2e.yml +256 -0
  41. data/lib/unidecoder/data/x2f.yml +256 -0
  42. data/lib/unidecoder/data/x30.yml +256 -0
  43. data/lib/unidecoder/data/x31.yml +256 -0
  44. data/lib/unidecoder/data/x32.yml +256 -0
  45. data/lib/unidecoder/data/x33.yml +256 -0
  46. data/lib/unidecoder/data/x4d.yml +256 -0
  47. data/lib/unidecoder/data/x4e.yml +257 -0
  48. data/lib/unidecoder/data/x4f.yml +257 -0
  49. data/lib/unidecoder/data/x50.yml +257 -0
  50. data/lib/unidecoder/data/x51.yml +257 -0
  51. data/lib/unidecoder/data/x52.yml +257 -0
  52. data/lib/unidecoder/data/x53.yml +257 -0
  53. data/lib/unidecoder/data/x54.yml +257 -0
  54. data/lib/unidecoder/data/x55.yml +257 -0
  55. data/lib/unidecoder/data/x56.yml +257 -0
  56. data/lib/unidecoder/data/x57.yml +257 -0
  57. data/lib/unidecoder/data/x58.yml +257 -0
  58. data/lib/unidecoder/data/x59.yml +257 -0
  59. data/lib/unidecoder/data/x5a.yml +257 -0
  60. data/lib/unidecoder/data/x5b.yml +257 -0
  61. data/lib/unidecoder/data/x5c.yml +257 -0
  62. data/lib/unidecoder/data/x5d.yml +257 -0
  63. data/lib/unidecoder/data/x5e.yml +257 -0
  64. data/lib/unidecoder/data/x5f.yml +257 -0
  65. data/lib/unidecoder/data/x60.yml +257 -0
  66. data/lib/unidecoder/data/x61.yml +257 -0
  67. data/lib/unidecoder/data/x62.yml +257 -0
  68. data/lib/unidecoder/data/x63.yml +257 -0
  69. data/lib/unidecoder/data/x64.yml +257 -0
  70. data/lib/unidecoder/data/x65.yml +257 -0
  71. data/lib/unidecoder/data/x66.yml +257 -0
  72. data/lib/unidecoder/data/x67.yml +257 -0
  73. data/lib/unidecoder/data/x68.yml +257 -0
  74. data/lib/unidecoder/data/x69.yml +257 -0
  75. data/lib/unidecoder/data/x6a.yml +257 -0
  76. data/lib/unidecoder/data/x6b.yml +257 -0
  77. data/lib/unidecoder/data/x6c.yml +257 -0
  78. data/lib/unidecoder/data/x6d.yml +257 -0
  79. data/lib/unidecoder/data/x6e.yml +257 -0
  80. data/lib/unidecoder/data/x6f.yml +257 -0
  81. data/lib/unidecoder/data/x70.yml +257 -0
  82. data/lib/unidecoder/data/x71.yml +257 -0
  83. data/lib/unidecoder/data/x72.yml +257 -0
  84. data/lib/unidecoder/data/x73.yml +257 -0
  85. data/lib/unidecoder/data/x74.yml +257 -0
  86. data/lib/unidecoder/data/x75.yml +257 -0
  87. data/lib/unidecoder/data/x76.yml +257 -0
  88. data/lib/unidecoder/data/x77.yml +257 -0
  89. data/lib/unidecoder/data/x78.yml +257 -0
  90. data/lib/unidecoder/data/x79.yml +257 -0
  91. data/lib/unidecoder/data/x7a.yml +257 -0
  92. data/lib/unidecoder/data/x7b.yml +257 -0
  93. data/lib/unidecoder/data/x7c.yml +257 -0
  94. data/lib/unidecoder/data/x7d.yml +257 -0
  95. data/lib/unidecoder/data/x7e.yml +257 -0
  96. data/lib/unidecoder/data/x7f.yml +257 -0
  97. data/lib/unidecoder/data/x80.yml +257 -0
  98. data/lib/unidecoder/data/x81.yml +257 -0
  99. data/lib/unidecoder/data/x82.yml +257 -0
  100. data/lib/unidecoder/data/x83.yml +257 -0
  101. data/lib/unidecoder/data/x84.yml +257 -0
  102. data/lib/unidecoder/data/x85.yml +257 -0
  103. data/lib/unidecoder/data/x86.yml +257 -0
  104. data/lib/unidecoder/data/x87.yml +257 -0
  105. data/lib/unidecoder/data/x88.yml +257 -0
  106. data/lib/unidecoder/data/x89.yml +257 -0
  107. data/lib/unidecoder/data/x8a.yml +257 -0
  108. data/lib/unidecoder/data/x8b.yml +257 -0
  109. data/lib/unidecoder/data/x8c.yml +257 -0
  110. data/lib/unidecoder/data/x8d.yml +257 -0
  111. data/lib/unidecoder/data/x8e.yml +257 -0
  112. data/lib/unidecoder/data/x8f.yml +257 -0
  113. data/lib/unidecoder/data/x90.yml +257 -0
  114. data/lib/unidecoder/data/x91.yml +257 -0
  115. data/lib/unidecoder/data/x92.yml +257 -0
  116. data/lib/unidecoder/data/x93.yml +257 -0
  117. data/lib/unidecoder/data/x94.yml +257 -0
  118. data/lib/unidecoder/data/x95.yml +257 -0
  119. data/lib/unidecoder/data/x96.yml +257 -0
  120. data/lib/unidecoder/data/x97.yml +257 -0
  121. data/lib/unidecoder/data/x98.yml +257 -0
  122. data/lib/unidecoder/data/x99.yml +257 -0
  123. data/lib/unidecoder/data/x9a.yml +257 -0
  124. data/lib/unidecoder/data/x9b.yml +257 -0
  125. data/lib/unidecoder/data/x9c.yml +257 -0
  126. data/lib/unidecoder/data/x9d.yml +257 -0
  127. data/lib/unidecoder/data/x9e.yml +257 -0
  128. data/lib/unidecoder/data/x9f.yml +256 -0
  129. data/lib/unidecoder/data/xa0.yml +257 -0
  130. data/lib/unidecoder/data/xa1.yml +257 -0
  131. data/lib/unidecoder/data/xa2.yml +257 -0
  132. data/lib/unidecoder/data/xa3.yml +257 -0
  133. data/lib/unidecoder/data/xa4.yml +256 -0
  134. data/lib/unidecoder/data/xac.yml +257 -0
  135. data/lib/unidecoder/data/xad.yml +257 -0
  136. data/lib/unidecoder/data/xae.yml +257 -0
  137. data/lib/unidecoder/data/xaf.yml +257 -0
  138. data/lib/unidecoder/data/xb0.yml +257 -0
  139. data/lib/unidecoder/data/xb1.yml +257 -0
  140. data/lib/unidecoder/data/xb2.yml +257 -0
  141. data/lib/unidecoder/data/xb3.yml +257 -0
  142. data/lib/unidecoder/data/xb4.yml +257 -0
  143. data/lib/unidecoder/data/xb5.yml +257 -0
  144. data/lib/unidecoder/data/xb6.yml +257 -0
  145. data/lib/unidecoder/data/xb7.yml +257 -0
  146. data/lib/unidecoder/data/xb8.yml +257 -0
  147. data/lib/unidecoder/data/xb9.yml +257 -0
  148. data/lib/unidecoder/data/xba.yml +257 -0
  149. data/lib/unidecoder/data/xbb.yml +257 -0
  150. data/lib/unidecoder/data/xbc.yml +257 -0
  151. data/lib/unidecoder/data/xbd.yml +257 -0
  152. data/lib/unidecoder/data/xbe.yml +257 -0
  153. data/lib/unidecoder/data/xbf.yml +257 -0
  154. data/lib/unidecoder/data/xc0.yml +257 -0
  155. data/lib/unidecoder/data/xc1.yml +257 -0
  156. data/lib/unidecoder/data/xc2.yml +257 -0
  157. data/lib/unidecoder/data/xc3.yml +257 -0
  158. data/lib/unidecoder/data/xc4.yml +257 -0
  159. data/lib/unidecoder/data/xc5.yml +257 -0
  160. data/lib/unidecoder/data/xc6.yml +257 -0
  161. data/lib/unidecoder/data/xc7.yml +257 -0
  162. data/lib/unidecoder/data/xc8.yml +257 -0
  163. data/lib/unidecoder/data/xc9.yml +257 -0
  164. data/lib/unidecoder/data/xca.yml +257 -0
  165. data/lib/unidecoder/data/xcb.yml +257 -0
  166. data/lib/unidecoder/data/xcc.yml +257 -0
  167. data/lib/unidecoder/data/xcd.yml +257 -0
  168. data/lib/unidecoder/data/xce.yml +257 -0
  169. data/lib/unidecoder/data/xcf.yml +257 -0
  170. data/lib/unidecoder/data/xd0.yml +257 -0
  171. data/lib/unidecoder/data/xd1.yml +257 -0
  172. data/lib/unidecoder/data/xd2.yml +257 -0
  173. data/lib/unidecoder/data/xd3.yml +257 -0
  174. data/lib/unidecoder/data/xd4.yml +257 -0
  175. data/lib/unidecoder/data/xd5.yml +257 -0
  176. data/lib/unidecoder/data/xd6.yml +257 -0
  177. data/lib/unidecoder/data/xd7.yml +256 -0
  178. data/lib/unidecoder/data/xf9.yml +257 -0
  179. data/lib/unidecoder/data/xfa.yml +256 -0
  180. data/lib/unidecoder/data/xfb.yml +257 -0
  181. data/lib/unidecoder/data/xfc.yml +257 -0
  182. data/lib/unidecoder/data/xfd.yml +256 -0
  183. data/lib/unidecoder/data/xfe.yml +257 -0
  184. data/lib/unidecoder/data/xff.yml +257 -0
  185. data/lib/unidecoder/version.rb +9 -0
  186. data/test/unicode_point_suite/basic_latin_test.rb +144 -0
  187. data/test/unicode_point_suite/codepoint_test_helper.rb +28 -0
  188. data/test/unidecoder_test.rb +114 -0
  189. metadata +238 -0
data/lib/unidecoder/data/x12.yml ADDED
@@ -0,0 +1,257 @@
1
+ ---
2
+ - ha
3
+ - hu
4
+ - hi
5
+ - haa
6
+ - hee
7
+ - he
8
+ - ho
9
+ - '[?]'
10
+ - la
11
+ - lu
12
+ - li
13
+ - laa
14
+ - lee
15
+ - le
16
+ - lo
17
+ - lwa
18
+ - hha
19
+ - hhu
20
+ - hhi
21
+ - hhaa
22
+ - hhee
23
+ - hhe
24
+ - hho
25
+ - hhwa
26
+ - ma
27
+ - mu
28
+ - mi
29
+ - maa
30
+ - mee
31
+ - me
32
+ - mo
33
+ - mwa
34
+ - sza
35
+ - szu
36
+ - szi
37
+ - szaa
38
+ - szee
39
+ - sze
40
+ - szo
41
+ - szwa
42
+ - ra
43
+ - ru
44
+ - ri
45
+ - raa
46
+ - ree
47
+ - re
48
+ - ro
49
+ - rwa
50
+ - sa
51
+ - su
52
+ - si
53
+ - saa
54
+ - see
55
+ - se
56
+ - so
57
+ - swa
58
+ - sha
59
+ - shu
60
+ - shi
61
+ - shaa
62
+ - shee
63
+ - she
64
+ - sho
65
+ - shwa
66
+ - qa
67
+ - qu
68
+ - qi
69
+ - qaa
70
+ - qee
71
+ - qe
72
+ - qo
73
+ - '[?]'
74
+ - qwa
75
+ - '[?]'
76
+ - qwi
77
+ - qwaa
78
+ - qwee
79
+ - qwe
80
+ - '[?]'
81
+ - '[?]'
82
+ - qha
83
+ - qhu
84
+ - qhi
85
+ - qhaa
86
+ - qhee
87
+ - qhe
88
+ - qho
89
+ - '[?]'
90
+ - qhwa
91
+ - '[?]'
92
+ - qhwi
93
+ - qhwaa
94
+ - qhwee
95
+ - qhwe
96
+ - '[?]'
97
+ - '[?]'
98
+ - ba
99
+ - bu
100
+ - bi
101
+ - baa
102
+ - bee
103
+ - be
104
+ - bo
105
+ - bwa
106
+ - va
107
+ - vu
108
+ - vi
109
+ - vaa
110
+ - vee
111
+ - ve
112
+ - vo
113
+ - vwa
114
+ - ta
115
+ - tu
116
+ - ti
117
+ - taa
118
+ - tee
119
+ - te
120
+ - to
121
+ - twa
122
+ - ca
123
+ - cu
124
+ - ci
125
+ - caa
126
+ - cee
127
+ - ce
128
+ - co
129
+ - cwa
130
+ - xa
131
+ - xu
132
+ - xi
133
+ - xaa
134
+ - xee
135
+ - xe
136
+ - xo
137
+ - '[?]'
138
+ - xwa
139
+ - '[?]'
140
+ - xwi
141
+ - xwaa
142
+ - xwee
143
+ - xwe
144
+ - '[?]'
145
+ - '[?]'
146
+ - na
147
+ - nu
148
+ - ni
149
+ - naa
150
+ - nee
151
+ - ne
152
+ - no
153
+ - nwa
154
+ - nya
155
+ - nyu
156
+ - nyi
157
+ - nyaa
158
+ - nyee
159
+ - nye
160
+ - nyo
161
+ - nywa
162
+ - "'a"
163
+ - "'u"
164
+ - '[?]'
165
+ - "'aa"
166
+ - "'ee"
167
+ - "'e"
168
+ - "'o"
169
+ - "'wa"
170
+ - ka
171
+ - ku
172
+ - ki
173
+ - kaa
174
+ - kee
175
+ - ke
176
+ - ko
177
+ - '[?]'
178
+ - kwa
179
+ - '[?]'
180
+ - kwi
181
+ - kwaa
182
+ - kwee
183
+ - kwe
184
+ - '[?]'
185
+ - '[?]'
186
+ - kxa
187
+ - kxu
188
+ - kxi
189
+ - kxaa
190
+ - kxee
191
+ - kxe
192
+ - kxo
193
+ - '[?]'
194
+ - kxwa
195
+ - '[?]'
196
+ - kxwi
197
+ - kxwaa
198
+ - kxwee
199
+ - kxwe
200
+ - '[?]'
201
+ - '[?]'
202
+ - wa
203
+ - wu
204
+ - wi
205
+ - waa
206
+ - wee
207
+ - we
208
+ - wo
209
+ - '[?]'
210
+ - '`a'
211
+ - '`u'
212
+ - '`i'
213
+ - '`aa'
214
+ - '`ee'
215
+ - '`e'
216
+ - '`o'
217
+ - '[?]'
218
+ - za
219
+ - zu
220
+ - zi
221
+ - zaa
222
+ - zee
223
+ - ze
224
+ - zo
225
+ - zwa
226
+ - zha
227
+ - zhu
228
+ - zhi
229
+ - zhaa
230
+ - zhee
231
+ - zhe
232
+ - zho
233
+ - zhwa
234
+ - ya
235
+ - yu
236
+ - yi
237
+ - yaa
238
+ - yee
239
+ - ye
240
+ - yo
241
+ - '[?]'
242
+ - da
243
+ - du
244
+ - di
245
+ - daa
246
+ - dee
247
+ - de
248
+ - do
249
+ - dwa
250
+ - dda
251
+ - ddu
252
+ - ddi
253
+ - ddaa
254
+ - ddee
255
+ - dde
256
+ - ddo
257
+ - ddwa
data/lib/unidecoder/data/x13.yml ADDED
@@ -0,0 +1,256 @@
1
+ ---
2
+ - ja
3
+ - ju
4
+ - ji
5
+ - jaa
6
+ - jee
7
+ - je
8
+ - jo
9
+ - jwa
10
+ - ga
11
+ - gu
12
+ - gi
13
+ - gaa
14
+ - gee
15
+ - ge
16
+ - go
17
+ - '[?]'
18
+ - gwa
19
+ - '[?]'
20
+ - gwi
21
+ - gwaa
22
+ - gwee
23
+ - gwe
24
+ - '[?]'
25
+ - '[?]'
26
+ - gga
27
+ - ggu
28
+ - ggi
29
+ - ggaa
30
+ - ggee
31
+ - gge
32
+ - ggo
33
+ - '[?]'
34
+ - tha
35
+ - thu
36
+ - thi
37
+ - thaa
38
+ - thee
39
+ - the
40
+ - tho
41
+ - thwa
42
+ - cha
43
+ - chu
44
+ - chi
45
+ - chaa
46
+ - chee
47
+ - che
48
+ - cho
49
+ - chwa
50
+ - pha
51
+ - phu
52
+ - phi
53
+ - phaa
54
+ - phee
55
+ - phe
56
+ - pho
57
+ - phwa
58
+ - tsa
59
+ - tsu
60
+ - tsi
61
+ - tsaa
62
+ - tsee
63
+ - tse
64
+ - tso
65
+ - tswa
66
+ - tza
67
+ - tzu
68
+ - tzi
69
+ - tzaa
70
+ - tzee
71
+ - tze
72
+ - tzo
73
+ - '[?]'
74
+ - fa
75
+ - fu
76
+ - fi
77
+ - faa
78
+ - fee
79
+ - fe
80
+ - fo
81
+ - fwa
82
+ - pa
83
+ - pu
84
+ - pi
85
+ - paa
86
+ - pee
87
+ - pe
88
+ - po
89
+ - pwa
90
+ - rya
91
+ - mya
92
+ - fya
93
+ - '[?]'
94
+ - '[?]'
95
+ - '[?]'
96
+ - '[?]'
97
+ - '[?]'
98
+ - '[?]'
99
+ - ' '
100
+ - .
101
+ - ','
102
+ - ;
103
+ - ':'
104
+ - ':: '
105
+ - '?'
106
+ - //
107
+ - 1
108
+ - 2
109
+ - 3
110
+ - 4
111
+ - 5
112
+ - 6
113
+ - 7
114
+ - 8
115
+ - 9
116
+ - 10+
117
+ - 20+
118
+ - 30+
119
+ - 40+
120
+ - 50+
121
+ - 60+
122
+ - 70+
123
+ - 80+
124
+ - 90+
125
+ - 100+
126
+ - '10,000+'
127
+ - '[?]'
128
+ - '[?]'
129
+ - '[?]'
130
+ - '[?]'
131
+ - '[?]'
132
+ - '[?]'
133
+ - '[?]'
134
+ - '[?]'
135
+ - '[?]'
136
+ - '[?]'
137
+ - '[?]'
138
+ - '[?]'
139
+ - '[?]'
140
+ - '[?]'
141
+ - '[?]'
142
+ - '[?]'
143
+ - '[?]'
144
+ - '[?]'
145
+ - '[?]'
146
+ - '[?]'
147
+ - '[?]'
148
+ - '[?]'
149
+ - '[?]'
150
+ - '[?]'
151
+ - '[?]'
152
+ - '[?]'
153
+ - '[?]'
154
+ - '[?]'
155
+ - '[?]'
156
+ - '[?]'
157
+ - '[?]'
158
+ - '[?]'
159
+ - '[?]'
160
+ - '[?]'
161
+ - '[?]'
162
+ - a
163
+ - e
164
+ - i
165
+ - o
166
+ - u
167
+ - v
168
+ - ga
169
+ - ka
170
+ - ge
171
+ - gi
172
+ - go
173
+ - gu
174
+ - gv
175
+ - ha
176
+ - he
177
+ - hi
178
+ - ho
179
+ - hu
180
+ - hv
181
+ - la
182
+ - le
183
+ - li
184
+ - lo
185
+ - lu
186
+ - lv
187
+ - ma
188
+ - me
189
+ - mi
190
+ - mo
191
+ - mu
192
+ - na
193
+ - hna
194
+ - nah
195
+ - ne
196
+ - ni
197
+ - no
198
+ - nu
199
+ - nv
200
+ - qua
201
+ - que
202
+ - qui
203
+ - quo
204
+ - quu
205
+ - quv
206
+ - sa
207
+ - s
208
+ - se
209
+ - si
210
+ - so
211
+ - su
212
+ - sv
213
+ - da
214
+ - ta
215
+ - de
216
+ - te
217
+ - di
218
+ - ti
219
+ - do
220
+ - du
221
+ - dv
222
+ - dla
223
+ - tla
224
+ - tle
225
+ - tli
226
+ - tlo
227
+ - tlu
228
+ - tlv
229
+ - tsa
230
+ - tse
231
+ - tsi
232
+ - tso
233
+ - tsu
234
+ - tsv
235
+ - wa
236
+ - we
237
+ - wi
238
+ - wo
239
+ - wu
240
+ - wv
241
+ - ya
242
+ - ye
243
+ - yi
244
+ - yo
245
+ - yu
246
+ - yv
247
+ - '[?]'
248
+ - '[?]'
249
+ - '[?]'
250
+ - '[?]'
251
+ - '[?]'
252
+ - '[?]'
253
+ - '[?]'
254
+ - '[?]'
255
+ - '[?]'
256
+ - '[?]'