skydb 0.2.1 → 0.2.2

data/lib/skydb/import/transforms/sky.yml

@@ -0,0 +1,20 @@
+fields:
+  object_id: object_id:int
+  timestamp: timestamp:date
+
+translate: |
+  input.each_pair do |k, v|
+    m, prefix, field, data_type  = *k.match(/^(?:(action|data)\.)?(\w+)(?:\:(\w+))?$/)
+    next unless ["object_id", "timestamp"].index(field).nil?
+    
+    output[prefix] ||= {} unless prefix.nil?
+    target = prefix.nil? ? output : output[prefix]
+
+    target[field] = case data_type.to_s.downcase
+    when "int" then v.to_i
+    when "float" then v.to_f
+    when "boolean" then (v.downcase == "true" || v.downcase == "yes" || v.downcase == "y")
+    when "date" then Chronic.parse(v)
+    else v.to_s
+    end
+  end

data/lib/skydb/import/transforms/snowplow.yml

@@ -0,0 +1 @@
+fields:

data/lib/skydb/import/translator.rb

@@ -0,0 +1,119 @@
+require 'chronic'
+
+class SkyDB
+  class Import
+    class Translator
+      ##########################################################################
+      #
+      # Constructor
+      #
+      ##########################################################################
+
+      # Initializes the translator.
+      def initialize(options={})
+        self.input_field = options[:input_field]
+        self.output_field = options[:output_field]
+        self.format = options[:format]
+        self.translate_function = options[:translate_function]
+      end
+    
+
+      ##########################################################################
+      #
+      # Attributes
+      #
+      ##########################################################################
+
+      # The name of the input field to read from.
+      attr_accessor :input_field
+
+      # The name of the output field to write to.
+      attr_accessor :output_field
+
+      # The format of the field (String, Integer, Float, Date).
+      attr_reader :format
+      
+      def format=(value)
+        value = 'string' if value.nil?
+        value = 'int' if value == 'integer'
+        @format = value.to_s.downcase
+      end
+
+      # The translation function to execute. This can be a Proc or it can be
+      # a String that is evaluated into a proc with "input" and "output"
+      # arguments.
+      attr_reader :translate_function
+      
+      def translate_function=(value)
+        # Only allow nils, procs & strings.
+        if !value.nil? && !value.is_a?(Proc) && !value.is_a?(String)
+          raise "Unable to convert #{value.class} to a translation function."
+        end
+        
+        # If this is a string then eval it into a proc.
+        if value.is_a?(String)
+          # If there's no output field set then it's free form.
+          if output_field.nil?
+            @translate_function = eval("lambda { |input,output| #{value} }")
+
+          # If there is an output field set then make the lamda an assignment.
+          else
+            keys = output_field.is_a?(Array) ? output_field : [output_field]
+            keys.map! {|key| "['" + key.gsub("'", "\\'") + "']"}
+            @translate_function = eval("lambda { |input,output| output#{keys.join('')} = #{value.to_s} }")
+          end
+
+        # If this is a proc or a nil then just pass it through.
+        else
+          @translate_function = value
+        end
+      end
+
+
+      ##########################################################################
+      #
+      # Methods
+      #
+      ##########################################################################
+    
+      # Translate a field from the input hash into a field into the
+      # output hash.
+      #
+      # @param [Hash]  the input data.
+      # @param [Hash]  the output data.
+      def translate(input, output)
+        # If a translation function is set then use it.
+        if !translate_function.nil?
+          translate_function.call(input, output)
+
+        # If the input field and output field are set then apply them.
+        elsif !input_field.nil? && !output_field.nil?
+          value = input[input_field]
+
+          # Navigate down to nested output hash if necessary.
+          if output_field.is_a?(Array)
+            output_field[0..-2].each do |field|
+              output[field] = {} unless output.has_key?(field)
+              output = output[field]
+            end
+
+            output_field = self.output_field.last
+          else
+            output_field = self.output_field
+          end
+
+          # Convert type.
+          output[output_field] = case format
+          when "int" then value.to_i
+          when "float" then value.to_f
+          when "boolean" then (value.downcase == "true" || value.downcase == "yes" || value.downcase == "y")
+          when "date" then Chronic.parse(value)
+          else value.to_s
+          end
+        end
+        
+        return nil
+      end
+    end
+  end
+end

data/lib/skydb/message.rb

@@ -18,9 +18,9 @@ class SkyDB
     ##########################################################################
 
     # Initializes the message.
-    def initialize(name)
-      @name = name
-      @table = ""
+    def initialize(message_name)
+      @message_name = message_name
+      @table_name = ""
     end
     
 
@@ -35,18 +35,18 @@ class SkyDB
     ####################################
 
     # The name of message being sent. This is defined by the subclass.
-    attr_reader :name
+    attr_reader :message_name
 
 
     ####################################
-    # Table
+    # Table Name
     ####################################
 
     # The name of the table the message is being sent to/from.
-    attr_accessor :table
+    attr_accessor :table_name
 
-    def table=(value)
-      @table = value.to_s
+    def table_name=(value)
+      @table_name = value.to_s
     end
 
 
@@ -68,8 +68,8 @@ class SkyDB
     # Validates that the message is ready to be sent. If any validation issues
     # are found then an error is raised.
     def validate!
-      if require_table? && (table.nil? || table.empty?)
-        raise SkyDB::TableRequiredError.new('Table required')
+      if require_table? && (table_name.nil? || table_name.empty?)
+        raise SkyDB::TableRequiredError.new('Table name required')
       end
     end
 
@@ -97,8 +97,8 @@ class SkyDB
     def encode_header(buffer)
       buffer << [
         SkyDB::Message::VERSION,
-        name,
-        table
+        message_name,
+        table_name
         ].to_msgpack
     end
 
@@ -123,6 +123,10 @@ class SkyDB
   end
 end
 
+require 'skydb/message/create_table'
+require 'skydb/message/delete_table'
+require 'skydb/message/get_table'
+
 require 'skydb/message/add_action'
 require 'skydb/message/get_action'
 require 'skydb/message/get_actions'
@@ -137,4 +141,5 @@ require 'skydb/message/next_actions'
 require 'skydb/message/lua/aggregate'
 
 require 'skydb/message/ping'
+require 'skydb/message/lookup'
 require 'skydb/message/multi'

data/lib/skydb/message/create_table.rb

@@ -0,0 +1,64 @@
+class SkyDB
+  class Message
+    class CreateTable < SkyDB::Message
+      ########################################################################
+      #
+      # Constructor
+      #
+      ########################################################################
+
+      # Initializes the 'create table' message.
+      #
+      # @param [Table] table  the table to create.
+      def initialize(table=nil, options={})
+        super('create_table')
+        self.table = table
+      end
+
+
+      ##########################################################################
+      #
+      # Attributes
+      #
+      ##########################################################################
+
+      ##################################
+      # Table
+      ##################################
+
+      # The talbe to add.
+      attr_reader :table
+      
+      def table=(value)
+        @table = value.is_a?(Table) ? value : nil
+      end
+
+
+      ##########################################################################
+      #
+      # Methods
+      #
+      ##########################################################################
+
+      ##################################
+      # Validation
+      ##################################
+
+      # A flag stating if the table is required for this type of message.
+      def require_table?
+        return false
+      end
+
+      ####################################
+      # Encoding
+      ####################################
+
+      # Encodes the message body.
+      #
+      # @param [IO] buffer  the buffer to write the header to.
+      def encode_body(buffer)
+        buffer << table.to_msgpack
+      end
+    end
+  end
+end

data/lib/skydb/message/delete_table.rb

@@ -0,0 +1,66 @@
+class SkyDB
+  class Message
+    class DeleteTable < SkyDB::Message
+      ########################################################################
+      #
+      # Constructor
+      #
+      ########################################################################
+
+      # Initializes the 'delete table' message.
+      #
+      # @param [Table] table  the table to delete.
+      def initialize(table=nil, options={})
+        super('delete_table')
+        self.table = table
+      end
+
+
+      ##########################################################################
+      #
+      # Attributes
+      #
+      ##########################################################################
+
+      ##################################
+      # Table
+      ##################################
+
+      # The talbe to add.
+      attr_reader :table
+      
+      def table=(value)
+        @table = value.is_a?(Table) ? value : nil
+      end
+
+
+      ##########################################################################
+      #
+      # Methods
+      #
+      ##########################################################################
+
+      ##################################
+      # Validation
+      ##################################
+
+      # A flag stating if the table is required for this type of message.
+      def require_table?
+        return false
+      end
+
+      ####################################
+      # Encoding
+      ####################################
+
+      # Encodes the message body.
+      #
+      # @param [IO] buffer  the buffer to write the header to.
+      def encode_body(buffer)
+        buffer << {
+          name: table.name
+        }.to_msgpack
+      end
+    end
+  end
+end

data/lib/skydb/message/get_table.rb

@@ -0,0 +1,74 @@
+class SkyDB
+  class Message
+    class GetTable < SkyDB::Message
+      ########################################################################
+      #
+      # Constructor
+      #
+      ########################################################################
+
+      # Initializes the 'get_table' message.
+      #
+      # @param [Fixnum] name  the name of the table to retrieve.
+      def initialize(name=nil, options={})
+        super('get_table')
+        self.name = name
+      end
+
+
+      ##########################################################################
+      #
+      # Attributes
+      #
+      ##########################################################################
+
+      ##################################
+      # Name
+      ##################################
+
+      # The name of the table to retrieve.
+      attr_reader :name
+      
+      def name=(value)
+        @name = value.to_s
+      end
+
+
+      ##########################################################################
+      #
+      # Methods
+      #
+      ##########################################################################
+
+      ##################################
+      # Validation
+      ##################################
+
+      # A flag stating if the table is required for this type of message.
+      def require_table?
+        return false
+      end
+
+      ####################################
+      # Encoding
+      ####################################
+
+      # Encodes the message body.
+      #
+      # @param [IO] buffer  the buffer to write the header to.
+      def encode_body(buffer)
+        buffer << {
+          name: name
+        }.to_msgpack
+      end
+
+      def process_response(response)
+        if !response.nil? && !response['table'].nil?
+          response = SkyDB::Table.new(response['table']['name'])
+        else
+          return nil
+        end
+      end
+    end
+  end
+end

data/lib/skydb/message/lookup.rb

@@ -0,0 +1,79 @@
+class SkyDB
+  class Message
+    class Lookup < SkyDB::Message
+      ########################################################################
+      #
+      # Constructor
+      #
+      ########################################################################
+
+      # Initializes the 'lookup' message.
+      def initialize(options={})
+        super('lookup')
+        self.actions = options[:actions] || []
+        self.properties = options[:properties] || []
+      end
+
+
+      ##########################################################################
+      #
+      # Attributes
+      #
+      ##########################################################################
+
+      ##################################
+      # Actions
+      ##################################
+
+      # A list of actions to lookup.
+      attr_accessor :actions
+
+      # A list of properties to lookup.
+      attr_accessor :properties
+
+
+      ##########################################################################
+      #
+      # Methods
+      #
+      ##########################################################################
+
+      ####################################
+      # Encoding
+      ####################################
+
+      # Encodes the message body.
+      #
+      # @param [IO] buffer  the buffer to write the header to.
+      def encode_body(buffer)
+        buffer << {
+          'actionNames' => actions.map {|action| action.name},
+          'propertyNames' => properties.map {|property| property.name}
+        }.to_msgpack
+      end
+
+      ####################################
+      # Response processing
+      ####################################
+
+      # Updates the action and property identifiers from the returned data.
+      def process_response(response)
+        # Update actions.
+        actions.each_with_index do |action, index|
+          obj = response['actions'][index]
+          action.id = obj.nil? ? 0 : obj['id']
+        end
+        
+        # Update properties.
+        properties.each_with_index do |property, index|
+          obj = response['properties'][index]
+          property.id = obj.nil? ? 0 : obj['id']
+          property.type = obj.nil? ? :object : SkyDB::Property::Type.decode(obj['type'])
+          property.data_type = obj.nil? ? nil : obj['dataType']
+        end
+        
+        return response
+      end
+    end
+  end
+end