stringex 1.0.0

data/lib/lucky_sneaks/unidecoder.rb

@@ -0,0 +1,61 @@
+require "yaml"
+
+module LuckySneaks
+  module Unidecoder
+    # Contains Unicode codepoints, loading as needed from YAML files
+    CODEPOINTS = Hash.new { |h, k|
+      h[k] = YAML::load_file(File.join(File.dirname(__FILE__), "unidecoder_data", "#{k}.yml"))
+    } unless defined?(CODEPOINTS)
+  
+    class << self
+      # Returns string with its UTF-8 characters transliterated to ASCII ones
+      # 
+      # You're probably better off just using the added String#to_ascii
+      def decode(string)
+        string.gsub(/[^\x00-\x7f]/u) do |codepoint|
+          unpacked = codepoint.unpack("U")[0]
+          begin
+            CODEPOINTS[code_group(unpacked)][grouped_point(unpacked)]
+          rescue
+            # Hopefully this won't come up much
+            "?"
+          end
+        end
+      end
+      
+      # Returns character for the given Unicode codepoint
+      def encode(codepoint)
+        ["0x#{codepoint}".to_i(16)].pack("U")
+      end
+      
+      # Returns string indicating which file (and line) contains the
+      # transliteration value for the character
+      def in_yaml_file(character)
+        unpacked = character.unpack("U")[0]
+        "#{code_group(unpacked)}.yml (line #{grouped_point(unpacked) + 2})"
+      end
+    
+    private
+      # Returns the Unicode codepoint grouping for the given character
+      def code_group(unpacked_character)
+        "x%02x" % (unpacked_character >> 8)
+      end
+    
+      # Returns the index of the given character in the YAML file for its codepoint group
+      def grouped_point(unpacked_character)
+        unpacked_character & 255
+      end
+    end
+  end
+end
+
+module LuckySneaks
+  module StringExtensions
+    # Returns string with its UTF-8 characters transliterated to ASCII ones. Example: 
+    # 
+    #   "⠋⠗⠁⠝⠉⠑".to_ascii #=> "braille"
+    def to_ascii
+      LuckySneaks::Unidecoder.decode(self)
+    end
+  end
+end

data/lib/lucky_sneaks/unidecoder_data/x00.yml

@@ -0,0 +1,257 @@
+---
+- "\z"
+- "\x01"
+- "\x02"
+- "\x03"
+- "\x04"
+- "\x05"
+- "\x06"
+- "\a"
+- "\x08"
+- '	'
+- "\n"
+- "\v"
+- "\f"
+- "\r"
+- "\x0e"
+- "\x0f"
+- "\x10"
+- "\x11"
+- "\x12"
+- "\x13"
+- "\x14"
+- "\x15"
+- "\x16"
+- "\x17"
+- "\x18"
+- "\x19"
+- "\x1a"
+- "\e"
+- "\x1c"
+- "\x1d"
+- "\x1e"
+- "\x1f"
+- ' '
+- '!'
+- '"'
+- '#'
+- $
+- '%'
+- '&'
+- "'"
+- (
+- )
+- '*'
+- +
+- ','
+- -
+- .
+- /
+- 0
+- 1
+- 2
+- 3
+- 4
+- 5
+- 6
+- 7
+- 8
+- 9
+- ':'
+- ;
+- <
+- =
+- '>'
+- '?'
+- '@'
+- A
+- B
+- C
+- D
+- E
+- F
+- G
+- H
+- I
+- J
+- K
+- L
+- M
+- N
+- O
+- P
+- Q
+- R
+- S
+- T
+- U
+- V
+- W
+- X
+- Y
+- Z
+- ']'
+- \
+- ']'
+- '^'
+- _
+- '`'
+- a
+- b
+- c
+- d
+- e
+- f
+- g
+- h
+- i
+- j
+- k
+- l
+- m
+- n
+- o
+- p
+- q
+- r
+- s
+- t
+- u
+- v
+- w
+- x
+- y
+- z
+- '{'
+- '|'
+- '}'
+- '~'
+- ''
+- ''
+- ''
+- ''
+- ''
+- ''
+- ''
+- ''
+- ''
+- ''
+- ''
+- ''
+- ''
+- ''
+- ''
+- ''
+- ''
+- ''
+- ''
+- ''
+- ''
+- ''
+- ''
+- ''
+- ''
+- ''
+- ''
+- ''
+- ''
+- ''
+- ''
+- ''
+- ''
+- ' '
+- ''
+- C/
+- PS
+- $?
+- Y=
+- '|'
+- SS
+- '"'
+- (c)
+- a
+- <<
+- '!'
+- ''
+- (r)
+- -
+- deg
+- +-
+- 2
+- 3
+- "'"
+- u
+- P
+- '*'
+- ','
+- 1
+- o
+- '>>'
+- 1/4
+- 1/2
+- 3/4
+- ''
+- A
+- A
+- A
+- A
+- A
+- A
+- AE
+- C
+- E
+- E
+- E
+- E
+- I
+- I
+- I
+- I
+- D
+- N
+- O
+- O
+- O
+- O
+- O
+- x
+- O
+- U
+- U
+- U
+- U
+- U
+- Th
+- ss
+- a
+- a
+- a
+- a
+- a
+- a
+- ae
+- c
+- e
+- e
+- e
+- e
+- i
+- i
+- i
+- i
+- d
+- n
+- o
+- o
+- o
+- o
+- o
+- /
+- o
+- u
+- u
+- u
+- u
+- y
+- th
+- y

data/lib/lucky_sneaks/unidecoder_data/x01.yml

@@ -0,0 +1,257 @@
+---
+- A
+- a
+- A
+- a
+- A
+- a
+- C
+- c
+- C
+- c
+- C
+- c
+- C
+- c
+- D
+- d
+- D
+- d
+- E
+- e
+- E
+- e
+- E
+- e
+- E
+- e
+- E
+- e
+- G
+- g
+- G
+- g
+- G
+- g
+- G
+- g
+- H
+- h
+- H
+- h
+- I
+- i
+- I
+- i
+- I
+- i
+- I
+- i
+- I
+- i
+- IJ
+- ''
+- J
+- j
+- K
+- k
+- k
+- L
+- l
+- L
+- l
+- L
+- l
+- L
+- l
+- L
+- l
+- N
+- n
+- N
+- n
+- N
+- n
+- "'n"
+- ng
+- NG
+- O
+- o
+- O
+- o
+- O
+- o
+- OE
+- oe
+- R
+- r
+- R
+- r
+- R
+- r
+- S
+- s
+- S
+- s
+- S
+- s
+- S
+- s
+- T
+- t
+- T
+- t
+- T
+- t
+- U
+- u
+- U
+- u
+- U
+- u
+- U
+- u
+- U
+- u
+- U
+- u
+- W
+- w
+- Y
+- y
+- Y
+- Z
+- z
+- Z
+- z
+- Z
+- z
+- s
+- b
+- B
+- B
+- b
+- 6
+- 6
+- O
+- C
+- c
+- D
+- D
+- D
+- d
+- d
+- 3
+- '@'
+- E
+- F
+- f
+- G
+- G
+- hv
+- I
+- I
+- K
+- k
+- l
+- l
+- W
+- N
+- n
+- O
+- O
+- o
+- OI
+- oi
+- P
+- p
+- YR
+- 2
+- 2
+- SH
+- sh
+- t
+- T
+- t
+- T
+- U
+- u
+- Y
+- V
+- Y
+- y
+- Z
+- z
+- ZH
+- ZH
+- zh
+- zh
+- 2
+- 5
+- 5
+- ts
+- w
+- '|'
+- '||'
+- '|='
+- '!'
+- DZ
+- Dz
+- dz
+- LJ
+- Lj
+- lj
+- NJ
+- Nj
+- nj
+- A
+- a
+- I
+- i
+- O
+- o
+- U
+- u
+- U
+- u
+- U
+- u
+- U
+- u
+- U
+- u
+- '@'
+- A
+- a
+- A
+- a
+- AE
+- ae
+- G
+- g
+- G
+- g
+- K
+- k
+- O
+- o
+- O
+- o
+- ZH
+- zh
+- j
+- DZ
+- D
+- dz
+- G
+- g
+- HV
+- W
+- N
+- n
+- A
+- a
+- AE
+- ae
+- O
+- o