talentbox-unidecoder 1.1.2

Sign up to get free protection for your applications and to get access to all the features.
Files changed (189) hide show
  1. data/Changelog.md +16 -0
  2. data/README.md +51 -0
  3. data/Rakefile +28 -0
  4. data/lib/unidecoder.rb +98 -0
  5. data/lib/unidecoder/data/x00.yml +257 -0
  6. data/lib/unidecoder/data/x01.yml +257 -0
  7. data/lib/unidecoder/data/x02.yml +256 -0
  8. data/lib/unidecoder/data/x03.yml +256 -0
  9. data/lib/unidecoder/data/x04.yml +256 -0
  10. data/lib/unidecoder/data/x05.yml +256 -0
  11. data/lib/unidecoder/data/x06.yml +256 -0
  12. data/lib/unidecoder/data/x07.yml +256 -0
  13. data/lib/unidecoder/data/x09.yml +256 -0
  14. data/lib/unidecoder/data/x0a.yml +256 -0
  15. data/lib/unidecoder/data/x0b.yml +256 -0
  16. data/lib/unidecoder/data/x0c.yml +256 -0
  17. data/lib/unidecoder/data/x0d.yml +256 -0
  18. data/lib/unidecoder/data/x0e.yml +256 -0
  19. data/lib/unidecoder/data/x0f.yml +256 -0
  20. data/lib/unidecoder/data/x10.yml +256 -0
  21. data/lib/unidecoder/data/x11.yml +256 -0
  22. data/lib/unidecoder/data/x12.yml +257 -0
  23. data/lib/unidecoder/data/x13.yml +256 -0
  24. data/lib/unidecoder/data/x14.yml +257 -0
  25. data/lib/unidecoder/data/x15.yml +257 -0
  26. data/lib/unidecoder/data/x16.yml +256 -0
  27. data/lib/unidecoder/data/x17.yml +256 -0
  28. data/lib/unidecoder/data/x18.yml +256 -0
  29. data/lib/unidecoder/data/x1e.yml +256 -0
  30. data/lib/unidecoder/data/x1f.yml +256 -0
  31. data/lib/unidecoder/data/x20.yml +256 -0
  32. data/lib/unidecoder/data/x21.yml +256 -0
  33. data/lib/unidecoder/data/x22.yml +256 -0
  34. data/lib/unidecoder/data/x23.yml +256 -0
  35. data/lib/unidecoder/data/x24.yml +256 -0
  36. data/lib/unidecoder/data/x25.yml +256 -0
  37. data/lib/unidecoder/data/x26.yml +256 -0
  38. data/lib/unidecoder/data/x27.yml +256 -0
  39. data/lib/unidecoder/data/x28.yml +257 -0
  40. data/lib/unidecoder/data/x2e.yml +256 -0
  41. data/lib/unidecoder/data/x2f.yml +256 -0
  42. data/lib/unidecoder/data/x30.yml +256 -0
  43. data/lib/unidecoder/data/x31.yml +256 -0
  44. data/lib/unidecoder/data/x32.yml +256 -0
  45. data/lib/unidecoder/data/x33.yml +256 -0
  46. data/lib/unidecoder/data/x4d.yml +256 -0
  47. data/lib/unidecoder/data/x4e.yml +257 -0
  48. data/lib/unidecoder/data/x4f.yml +257 -0
  49. data/lib/unidecoder/data/x50.yml +257 -0
  50. data/lib/unidecoder/data/x51.yml +257 -0
  51. data/lib/unidecoder/data/x52.yml +257 -0
  52. data/lib/unidecoder/data/x53.yml +257 -0
  53. data/lib/unidecoder/data/x54.yml +257 -0
  54. data/lib/unidecoder/data/x55.yml +257 -0
  55. data/lib/unidecoder/data/x56.yml +257 -0
  56. data/lib/unidecoder/data/x57.yml +257 -0
  57. data/lib/unidecoder/data/x58.yml +257 -0
  58. data/lib/unidecoder/data/x59.yml +257 -0
  59. data/lib/unidecoder/data/x5a.yml +257 -0
  60. data/lib/unidecoder/data/x5b.yml +257 -0
  61. data/lib/unidecoder/data/x5c.yml +257 -0
  62. data/lib/unidecoder/data/x5d.yml +257 -0
  63. data/lib/unidecoder/data/x5e.yml +257 -0
  64. data/lib/unidecoder/data/x5f.yml +257 -0
  65. data/lib/unidecoder/data/x60.yml +257 -0
  66. data/lib/unidecoder/data/x61.yml +257 -0
  67. data/lib/unidecoder/data/x62.yml +257 -0
  68. data/lib/unidecoder/data/x63.yml +257 -0
  69. data/lib/unidecoder/data/x64.yml +257 -0
  70. data/lib/unidecoder/data/x65.yml +257 -0
  71. data/lib/unidecoder/data/x66.yml +257 -0
  72. data/lib/unidecoder/data/x67.yml +257 -0
  73. data/lib/unidecoder/data/x68.yml +257 -0
  74. data/lib/unidecoder/data/x69.yml +257 -0
  75. data/lib/unidecoder/data/x6a.yml +257 -0
  76. data/lib/unidecoder/data/x6b.yml +257 -0
  77. data/lib/unidecoder/data/x6c.yml +257 -0
  78. data/lib/unidecoder/data/x6d.yml +257 -0
  79. data/lib/unidecoder/data/x6e.yml +257 -0
  80. data/lib/unidecoder/data/x6f.yml +257 -0
  81. data/lib/unidecoder/data/x70.yml +257 -0
  82. data/lib/unidecoder/data/x71.yml +257 -0
  83. data/lib/unidecoder/data/x72.yml +257 -0
  84. data/lib/unidecoder/data/x73.yml +257 -0
  85. data/lib/unidecoder/data/x74.yml +257 -0
  86. data/lib/unidecoder/data/x75.yml +257 -0
  87. data/lib/unidecoder/data/x76.yml +257 -0
  88. data/lib/unidecoder/data/x77.yml +257 -0
  89. data/lib/unidecoder/data/x78.yml +257 -0
  90. data/lib/unidecoder/data/x79.yml +257 -0
  91. data/lib/unidecoder/data/x7a.yml +257 -0
  92. data/lib/unidecoder/data/x7b.yml +257 -0
  93. data/lib/unidecoder/data/x7c.yml +257 -0
  94. data/lib/unidecoder/data/x7d.yml +257 -0
  95. data/lib/unidecoder/data/x7e.yml +257 -0
  96. data/lib/unidecoder/data/x7f.yml +257 -0
  97. data/lib/unidecoder/data/x80.yml +257 -0
  98. data/lib/unidecoder/data/x81.yml +257 -0
  99. data/lib/unidecoder/data/x82.yml +257 -0
  100. data/lib/unidecoder/data/x83.yml +257 -0
  101. data/lib/unidecoder/data/x84.yml +257 -0
  102. data/lib/unidecoder/data/x85.yml +257 -0
  103. data/lib/unidecoder/data/x86.yml +257 -0
  104. data/lib/unidecoder/data/x87.yml +257 -0
  105. data/lib/unidecoder/data/x88.yml +257 -0
  106. data/lib/unidecoder/data/x89.yml +257 -0
  107. data/lib/unidecoder/data/x8a.yml +257 -0
  108. data/lib/unidecoder/data/x8b.yml +257 -0
  109. data/lib/unidecoder/data/x8c.yml +257 -0
  110. data/lib/unidecoder/data/x8d.yml +257 -0
  111. data/lib/unidecoder/data/x8e.yml +257 -0
  112. data/lib/unidecoder/data/x8f.yml +257 -0
  113. data/lib/unidecoder/data/x90.yml +257 -0
  114. data/lib/unidecoder/data/x91.yml +257 -0
  115. data/lib/unidecoder/data/x92.yml +257 -0
  116. data/lib/unidecoder/data/x93.yml +257 -0
  117. data/lib/unidecoder/data/x94.yml +257 -0
  118. data/lib/unidecoder/data/x95.yml +257 -0
  119. data/lib/unidecoder/data/x96.yml +257 -0
  120. data/lib/unidecoder/data/x97.yml +257 -0
  121. data/lib/unidecoder/data/x98.yml +257 -0
  122. data/lib/unidecoder/data/x99.yml +257 -0
  123. data/lib/unidecoder/data/x9a.yml +257 -0
  124. data/lib/unidecoder/data/x9b.yml +257 -0
  125. data/lib/unidecoder/data/x9c.yml +257 -0
  126. data/lib/unidecoder/data/x9d.yml +257 -0
  127. data/lib/unidecoder/data/x9e.yml +257 -0
  128. data/lib/unidecoder/data/x9f.yml +256 -0
  129. data/lib/unidecoder/data/xa0.yml +257 -0
  130. data/lib/unidecoder/data/xa1.yml +257 -0
  131. data/lib/unidecoder/data/xa2.yml +257 -0
  132. data/lib/unidecoder/data/xa3.yml +257 -0
  133. data/lib/unidecoder/data/xa4.yml +256 -0
  134. data/lib/unidecoder/data/xac.yml +257 -0
  135. data/lib/unidecoder/data/xad.yml +257 -0
  136. data/lib/unidecoder/data/xae.yml +257 -0
  137. data/lib/unidecoder/data/xaf.yml +257 -0
  138. data/lib/unidecoder/data/xb0.yml +257 -0
  139. data/lib/unidecoder/data/xb1.yml +257 -0
  140. data/lib/unidecoder/data/xb2.yml +257 -0
  141. data/lib/unidecoder/data/xb3.yml +257 -0
  142. data/lib/unidecoder/data/xb4.yml +257 -0
  143. data/lib/unidecoder/data/xb5.yml +257 -0
  144. data/lib/unidecoder/data/xb6.yml +257 -0
  145. data/lib/unidecoder/data/xb7.yml +257 -0
  146. data/lib/unidecoder/data/xb8.yml +257 -0
  147. data/lib/unidecoder/data/xb9.yml +257 -0
  148. data/lib/unidecoder/data/xba.yml +257 -0
  149. data/lib/unidecoder/data/xbb.yml +257 -0
  150. data/lib/unidecoder/data/xbc.yml +257 -0
  151. data/lib/unidecoder/data/xbd.yml +257 -0
  152. data/lib/unidecoder/data/xbe.yml +257 -0
  153. data/lib/unidecoder/data/xbf.yml +257 -0
  154. data/lib/unidecoder/data/xc0.yml +257 -0
  155. data/lib/unidecoder/data/xc1.yml +257 -0
  156. data/lib/unidecoder/data/xc2.yml +257 -0
  157. data/lib/unidecoder/data/xc3.yml +257 -0
  158. data/lib/unidecoder/data/xc4.yml +257 -0
  159. data/lib/unidecoder/data/xc5.yml +257 -0
  160. data/lib/unidecoder/data/xc6.yml +257 -0
  161. data/lib/unidecoder/data/xc7.yml +257 -0
  162. data/lib/unidecoder/data/xc8.yml +257 -0
  163. data/lib/unidecoder/data/xc9.yml +257 -0
  164. data/lib/unidecoder/data/xca.yml +257 -0
  165. data/lib/unidecoder/data/xcb.yml +257 -0
  166. data/lib/unidecoder/data/xcc.yml +257 -0
  167. data/lib/unidecoder/data/xcd.yml +257 -0
  168. data/lib/unidecoder/data/xce.yml +257 -0
  169. data/lib/unidecoder/data/xcf.yml +257 -0
  170. data/lib/unidecoder/data/xd0.yml +257 -0
  171. data/lib/unidecoder/data/xd1.yml +257 -0
  172. data/lib/unidecoder/data/xd2.yml +257 -0
  173. data/lib/unidecoder/data/xd3.yml +257 -0
  174. data/lib/unidecoder/data/xd4.yml +257 -0
  175. data/lib/unidecoder/data/xd5.yml +257 -0
  176. data/lib/unidecoder/data/xd6.yml +257 -0
  177. data/lib/unidecoder/data/xd7.yml +256 -0
  178. data/lib/unidecoder/data/xf9.yml +257 -0
  179. data/lib/unidecoder/data/xfa.yml +256 -0
  180. data/lib/unidecoder/data/xfb.yml +257 -0
  181. data/lib/unidecoder/data/xfc.yml +257 -0
  182. data/lib/unidecoder/data/xfd.yml +256 -0
  183. data/lib/unidecoder/data/xfe.yml +257 -0
  184. data/lib/unidecoder/data/xff.yml +257 -0
  185. data/lib/unidecoder/version.rb +9 -0
  186. data/test/unicode_point_suite/basic_latin_test.rb +144 -0
  187. data/test/unicode_point_suite/codepoint_test_helper.rb +28 -0
  188. data/test/unidecoder_test.rb +114 -0
  189. metadata +238 -0
data/lib/unidecoder/data/x1f.yml ADDED
@@ -0,0 +1,256 @@
1
+ ---
2
+ - a
3
+ - a
4
+ - a
5
+ - a
6
+ - a
7
+ - a
8
+ - a
9
+ - a
10
+ - A
11
+ - A
12
+ - A
13
+ - A
14
+ - A
15
+ - A
16
+ - A
17
+ - A
18
+ - e
19
+ - e
20
+ - e
21
+ - e
22
+ - e
23
+ - e
24
+ - '[?]'
25
+ - '[?]'
26
+ - E
27
+ - E
28
+ - E
29
+ - E
30
+ - E
31
+ - E
32
+ - '[?]'
33
+ - '[?]'
34
+ - e
35
+ - e
36
+ - e
37
+ - e
38
+ - e
39
+ - e
40
+ - e
41
+ - e
42
+ - E
43
+ - E
44
+ - E
45
+ - E
46
+ - E
47
+ - E
48
+ - E
49
+ - E
50
+ - i
51
+ - i
52
+ - i
53
+ - i
54
+ - i
55
+ - i
56
+ - i
57
+ - i
58
+ - I
59
+ - I
60
+ - I
61
+ - I
62
+ - I
63
+ - I
64
+ - I
65
+ - I
66
+ - o
67
+ - o
68
+ - o
69
+ - o
70
+ - o
71
+ - o
72
+ - '[?]'
73
+ - '[?]'
74
+ - O
75
+ - O
76
+ - O
77
+ - O
78
+ - O
79
+ - O
80
+ - '[?]'
81
+ - '[?]'
82
+ - u
83
+ - u
84
+ - u
85
+ - u
86
+ - u
87
+ - u
88
+ - u
89
+ - u
90
+ - '[?]'
91
+ - U
92
+ - '[?]'
93
+ - U
94
+ - '[?]'
95
+ - U
96
+ - '[?]'
97
+ - U
98
+ - o
99
+ - o
100
+ - o
101
+ - o
102
+ - o
103
+ - o
104
+ - o
105
+ - o
106
+ - O
107
+ - O
108
+ - O
109
+ - O
110
+ - O
111
+ - O
112
+ - O
113
+ - O
114
+ - a
115
+ - a
116
+ - e
117
+ - e
118
+ - e
119
+ - e
120
+ - i
121
+ - i
122
+ - o
123
+ - o
124
+ - u
125
+ - u
126
+ - o
127
+ - o
128
+ - '[?]'
129
+ - '[?]'
130
+ - a
131
+ - a
132
+ - a
133
+ - a
134
+ - a
135
+ - a
136
+ - a
137
+ - a
138
+ - A
139
+ - A
140
+ - A
141
+ - A
142
+ - A
143
+ - A
144
+ - A
145
+ - A
146
+ - e
147
+ - e
148
+ - e
149
+ - e
150
+ - e
151
+ - e
152
+ - e
153
+ - e
154
+ - E
155
+ - E
156
+ - E
157
+ - E
158
+ - E
159
+ - E
160
+ - E
161
+ - E
162
+ - o
163
+ - o
164
+ - o
165
+ - o
166
+ - o
167
+ - o
168
+ - o
169
+ - o
170
+ - O
171
+ - O
172
+ - O
173
+ - O
174
+ - O
175
+ - O
176
+ - O
177
+ - O
178
+ - a
179
+ - a
180
+ - a
181
+ - a
182
+ - a
183
+ - '[?]'
184
+ - a
185
+ - a
186
+ - A
187
+ - A
188
+ - A
189
+ - A
190
+ - A
191
+ - "'"
192
+ - i
193
+ - "'"
194
+ - '~'
195
+ - '"~'
196
+ - e
197
+ - e
198
+ - e
199
+ - '[?]'
200
+ - e
201
+ - e
202
+ - E
203
+ - E
204
+ - E
205
+ - E
206
+ - E
207
+ - "'`"
208
+ - "''"
209
+ - "'~"
210
+ - i
211
+ - i
212
+ - i
213
+ - i
214
+ - '[?]'
215
+ - '[?]'
216
+ - i
217
+ - i
218
+ - I
219
+ - I
220
+ - I
221
+ - I
222
+ - '[?]'
223
+ - "`'"
224
+ - "`'"
225
+ - '`~'
226
+ - u
227
+ - u
228
+ - u
229
+ - u
230
+ - R
231
+ - R
232
+ - u
233
+ - u
234
+ - U
235
+ - U
236
+ - U
237
+ - U
238
+ - R
239
+ - '"`'
240
+ - "\"'"
241
+ - '`'
242
+ - '[?]'
243
+ - '[?]'
244
+ - o
245
+ - o
246
+ - o
247
+ - '[?]'
248
+ - o
249
+ - o
250
+ - O
251
+ - O
252
+ - O
253
+ - O
254
+ - O
255
+ - "'"
256
+ - '`'
data/lib/unidecoder/data/x20.yml ADDED
@@ -0,0 +1,256 @@
1
+ ---
2
+ - ' '
3
+ - ' '
4
+ - ' '
5
+ - ' '
6
+ - ' '
7
+ - ' '
8
+ - ' '
9
+ - ' '
10
+ - ' '
11
+ - ' '
12
+ - ' '
13
+ - ''
14
+ - ''
15
+ - ''
16
+ - ''
17
+ - ''
18
+ - '-'
19
+ - '-'
20
+ - '-'
21
+ - '--'
22
+ - ---
23
+ - --
24
+ - '||'
25
+ - _
26
+ - "'"
27
+ - "'"
28
+ - ','
29
+ - "'"
30
+ - '"'
31
+ - '"'
32
+ - ',,'
33
+ - '"'
34
+ - +
35
+ - ++
36
+ - '*'
37
+ - '*>'
38
+ - .
39
+ - ..
40
+ - ...
41
+ - .
42
+ - "\n"
43
+ - "\n\n"
44
+ - ''
45
+ - ''
46
+ - ''
47
+ - ''
48
+ - ''
49
+ - ' '
50
+ - '%0'
51
+ - '%00'
52
+ - "'"
53
+ - '"'
54
+ - "'''"
55
+ - '`'
56
+ - '``'
57
+ - '```'
58
+ - '^'
59
+ - <
60
+ - '>'
61
+ - '*'
62
+ - '!!'
63
+ - '?!'
64
+ - -
65
+ - _
66
+ - -
67
+ - '^'
68
+ - '***'
69
+ - --
70
+ - /
71
+ - '-['
72
+ - ']-'
73
+ - '[?]'
74
+ - '?!'
75
+ - '!?'
76
+ - 7
77
+ - PP
78
+ - '(]'
79
+ - '[)'
80
+ - '*'
81
+ - ';'
82
+ - '[?]'
83
+ - '[?]'
84
+ - '[?]'
85
+ - '~'
86
+ - '[?]'
87
+ - '[?]'
88
+ - '[?]'
89
+ - '[?]'
90
+ - '[?]'
91
+ - '[?]'
92
+ - '[?]'
93
+ - '[?]'
94
+ - '[?]'
95
+ - '[?]'
96
+ - '[?]'
97
+ - '[?]'
98
+ - ''
99
+ - '[?]'
100
+ - '[?]'
101
+ - '[?]'
102
+ - '[?]'
103
+ - '[?]'
104
+ - '[?]'
105
+ - '[?]'
106
+ - '[?]'
107
+ - '[?]'
108
+ - ''
109
+ - ''
110
+ - ''
111
+ - ''
112
+ - ''
113
+ - ''
114
+ - 0
115
+ - ''
116
+ - ''
117
+ - ''
118
+ - 4
119
+ - 5
120
+ - 6
121
+ - 7
122
+ - 8
123
+ - 9
124
+ - +
125
+ - -
126
+ - =
127
+ - (
128
+ - )
129
+ - n
130
+ - 0
131
+ - 1
132
+ - 2
133
+ - 3
134
+ - 4
135
+ - 5
136
+ - 6
137
+ - 7
138
+ - 8
139
+ - 9
140
+ - +
141
+ - -
142
+ - =
143
+ - (
144
+ - )
145
+ - '[?]'
146
+ - '[?]'
147
+ - '[?]'
148
+ - '[?]'
149
+ - '[?]'
150
+ - '[?]'
151
+ - '[?]'
152
+ - '[?]'
153
+ - '[?]'
154
+ - '[?]'
155
+ - '[?]'
156
+ - '[?]'
157
+ - '[?]'
158
+ - '[?]'
159
+ - '[?]'
160
+ - '[?]'
161
+ - '[?]'
162
+ - ECU
163
+ - CL
164
+ - Cr
165
+ - FF
166
+ - L
167
+ - mil
168
+ - N
169
+ - Pts
170
+ - Rs
171
+ - W
172
+ - NS
173
+ - D
174
+ - EU
175
+ - K
176
+ - T
177
+ - Dr
178
+ - '[?]'
179
+ - '[?]'
180
+ - '[?]'
181
+ - '[?]'
182
+ - '[?]'
183
+ - '[?]'
184
+ - '[?]'
185
+ - '[?]'
186
+ - '[?]'
187
+ - '[?]'
188
+ - '[?]'
189
+ - '[?]'
190
+ - '[?]'
191
+ - '[?]'
192
+ - '[?]'
193
+ - '[?]'
194
+ - '[?]'
195
+ - '[?]'
196
+ - '[?]'
197
+ - '[?]'
198
+ - '[?]'
199
+ - '[?]'
200
+ - '[?]'
201
+ - '[?]'
202
+ - '[?]'
203
+ - '[?]'
204
+ - '[?]'
205
+ - '[?]'
206
+ - '[?]'
207
+ - '[?]'
208
+ - '[?]'
209
+ - '[?]'
210
+ - ''
211
+ - ''
212
+ - ''
213
+ - ''
214
+ - ''
215
+ - ''
216
+ - ''
217
+ - ''
218
+ - ''
219
+ - ''
220
+ - ''
221
+ - ''
222
+ - ''
223
+ - ''
224
+ - ''
225
+ - ''
226
+ - ''
227
+ - ''
228
+ - ''
229
+ - ''
230
+ - '[?]'
231
+ - '[?]'
232
+ - '[?]'
233
+ - '[?]'
234
+ - '[?]'
235
+ - '[?]'
236
+ - '[?]'
237
+ - '[?]'
238
+ - '[?]'
239
+ - '[?]'
240
+ - '[?]'
241
+ - '[?]'
242
+ - '[?]'
243
+ - '[?]'
244
+ - '[?]'
245
+ - '[?]'
246
+ - '[?]'
247
+ - '[?]'
248
+ - '[?]'
249
+ - '[?]'
250
+ - '[?]'
251
+ - '[?]'
252
+ - '[?]'
253
+ - '[?]'
254
+ - '[?]'
255
+ - '[?]'
256
+ - '[?]'