rb_conclas 0.1.0

checksums.yaml

@@ -0,0 +1,7 @@
+---
+SHA1:
+  metadata.gz: 1bdc14b341c69336cde461396e2adee385e29b41
+  data.tar.gz: 3659aaaae7ece1c8b3138515cf4f66630b86e727
+SHA512:
+  metadata.gz: a191d21e26b0fd6965e66628c2f79989140bbfa26595615eea36824c941b4962158cb681c13794bf73186c6c768b487023c7f62b9591f3b04af5c879993d7772
+  data.tar.gz: 2bc84f2f326677e978d93233b25c7f51943bafba4589b9d4e795dd5a17114027b7b48f9ee8a02dcaf829fc6c9e8d775927ffe341e257e74747c1fc27102d1a74

data/.gitignore

@@ -0,0 +1,9 @@
+/.bundle/
+/.yardoc
+/Gemfile.lock
+/_yardoc/
+/coverage/
+/doc/
+/pkg/
+/spec/reports/
+/tmp/

data/.rspec

@@ -0,0 +1,2 @@
+--format documentation
+--color

data/.travis.yml

@@ -0,0 +1,4 @@
+language: ruby
+rvm:
+  - 2.3.0
+before_install: gem install bundler -v 1.11.2

data/Gemfile

@@ -0,0 +1,4 @@
+source 'https://rubygems.org'
+
+# Specify your gem's dependencies in rb_conclas.gemspec
+gemspec

data/README.md

@@ -0,0 +1,64 @@
+# rb_conclas
+
+O rb_conclas é um client escrito em Ruby para utilizar o serviço Conclas
+
+# Métodos
+Antes de mais nada, devemos importar a classe Api que possui os dois métodos principais, sendo eles: o **direct_categorise()** e o **indirect_categorise()**. A classe Api fica dentro do módulo *Conclas*. Sendo assim, vejamos o exemplo abaixo:
+
+```ruby
+require 'rb_conclas'
+```
+
+## *indirect_categorise()*
+O método *indirect_categorise()* faz uma requisição no endpoint *categorise* da API. Ele permite que caso os conteúdos ainda não tenham sidos classificados, jogue-os diretamente em uma fila para classificação.
+
+| Parâmetro           | Descrição                                                     | Tipo | Exigido? |
+|---------------------|---------------------------------------------------------------|------|----------|
+| contents            | Passa uma lista de conteúdos utilizados no json da requisição. | Array | Sim      |
+## *direct_categorise()*
+O método *direct_categorise()* faz uma requisição no endpoint *direct_categorise* da API. Este método permite que caso os conteúdos não tenham sido classficados ainda, faça com que esta request seja bloqueada até o conteúdo ser classificado.
+
+| Parâmetro           | Descrição                                                       | Tipo | Exigido? |
+|---------------------|-----------------------------------------------------------------|------|----------|
+| contents            | Passa uma lista de conteúdos utilizados no json da requisição.   | Array | Sim      |
+| callback            | Passa uma url para ser chamada após o término da categorização. | String  | Sim      |
+### Parâmetro *contents*
+O parâmetro *contents* é muito importante para a requisição, pois nele contém os dados a serem analisados pela API. Ele possui uma lista de dicionários, onde cada dicionário pode conter uma doc(uma chave "values") ou uma url(uma chave "url") mas nunca as duas no mesmo dicionário.
+
+A doc nada mais é do que um dicionário, que poderá receber os seguintes valores.
+
+| Parâmetro  | Descrição                                                                             |
+|------------|---------------------------------------------------------------------------------------|
+| short_text | Corresponde a uma breve descrição do conteúdo a ser analisado. Geralmente é o título. |
+| long_text  | Corresponde ao conteúdo a ser analisado.                                              |
+| brands     | Corresponde a marcas que ajudam na categorização do conteúdo.                         |
+## Exemplo de utilização
+
+```ruby
+require 'rb_conclas'
+
+api = Conclas::Api.new("c6887e5fcff94746bc5f-2a931ed27123")
+
+contents = [
+  {
+      "url" => "meusite.com"
+  },
+  {
+      "doc" => {
+        "short_text" => "Título da documento",
+        "long_text" => "Conteúdo do página",
+        "brands" => "apple samsung"
+      }
+  }
+]
+
+api.direct_categorise(contents)
+puts api.result
+```
+Após realizar alguma requisição(seja através do método direct ou indirect) o *rb_conclas* popula algumas variáveis que nos fornecem informações como: headers, código de status e resultado da requisição. Essas propriedades são: **headers**, **result** e **status_code**.
+
+| Propriedade | Descrição                                                                            | Tipo                                          |
+|-------------|--------------------------------------------------------------------------------------|-----------------------------------------------|
+| status_code | Código de status da requisição.(Exemplo, pode retornar 200, caso tudo tenha sido OK) | Fixnum                                           |
+| result      | Resultado da requisição, geralmente vem em forma JSON.                               | Hash                                           |
+| headers     | Mostra os headers da requisição                                                      | Hash |

data/Rakefile

@@ -0,0 +1,6 @@
+require "bundler/gem_tasks"
+require "rspec/core/rake_task"
+
+RSpec::Core::RakeTask.new(:spec)
+
+task :default => :spec

data/bin/console

@@ -0,0 +1,14 @@
+#!/usr/bin/env ruby
+
+require "bundler/setup"
+require "rb_conclas"
+
+# You can add fixtures and/or initialization code here to make experimenting
+# with your gem easier. You can also use a different console, if you like.
+
+# (If you use this, don't forget to add pry to your Gemfile!)
+# require "pry"
+# Pry.start
+
+require "irb"
+IRB.start

data/bin/setup

@@ -0,0 +1,8 @@
+#!/usr/bin/env bash
+set -euo pipefail
+IFS=$'\n\t'
+set -vx
+
+bundle install
+
+# Do any other automated setup that you need to do here

data/lib/rb_conclas/api.rb

@@ -0,0 +1,130 @@
+# coding: utf-8
+
+require 'rb_conclas/core/requester'
+require 'rb_conclas/core/exceptions/client_exceptions'
+require 'rb_conclas/core/conclas_response'
+require 'rb_conclas/utils/json_maker'
+require 'rb_conclas/utils/string_helper'
+require 'json'
+
+BASE_URL = "http://localhost:5000/v1"
+METHODS = {
+  :direct => "/categorise/direct/",
+  :indirect => "/categorise/indirect/"
+}
+
+module Conclas
+  #module to abstract request
+  class Api
+    #include methods of class Request
+    include Core::Requester
+
+    def initialize(token, timeout=60, use_ssl=false)
+      @timeout = timeout
+      if Utils::StringHelper.is_empty token
+        raise EmptyParameterException, "The parameter 'token' needs a value"
+      end
+      @token = token
+      @use_ssl = use_ssl
+      @status_code = nil
+      @headers = nil
+      @result = nil
+      @req = nil
+    end
+
+    #properties
+    def status_code
+      @status_code
+    end
+
+    def headers
+      @headers
+    end
+
+    def result
+      @result
+    end
+
+    #private methods
+    def make_request(url, data)
+      headers = {"Content-Type" => "application/json",
+                  "Authorization" => @token}
+      @req = Core::Requester.post(url, data, headers, @timeout, @use_ssl)
+
+      if check_request
+
+        response = Core::ConclasResponse.new(
+          @req.body, 
+          @req.code, 
+          @req.header.to_hash.inspect)
+
+        if response.request_successful?
+          populate_properties
+        end
+      end
+    end
+
+    def check_request
+      if @req.code.to_i.between?(400, 499)
+        raise Exceptions::HTTPError, "Client Error #{@req.code}(#{@req.message})."
+      elsif @req.code.to_i.between?(500, 600)
+        raise Exceptions::HTTPError, "Server Error #{@req.code}(#{@req.message})."
+      else
+        true
+      end
+    end
+
+    def populate_properties
+      @status_code = @req.code
+      @headers = @req.header.to_hash.inspect
+      @result = JSON.parse(@req.body, :quirks_mode => true)
+    end
+
+    def check_api_args_method(contents, start_from_category=nil, callback=nil)
+      if contents.length == 0 || !contents.is_a?(Array)
+        raise InvalidParameterException, "The parameter 'contents' needs a value"
+      end
+      
+      if contents.length > 1000
+        raise DocMaxException, "The content size exceeded the limit."
+      end
+      #if !start_from_category.nil?
+      #  if Utils::StringHelper.is_empty start_from_category
+      #    raise Exceptions::InvalidParameterException, "The parameter 'start_from_category' needs a value"
+      #  end
+      #end
+
+      if !callback.nil?
+        if Utils::StringHelper.is_empty callback
+          raise Exceptions::InvalidParameterException, "The parameter 'callback' needs a value"
+        end
+      end
+    end
+
+    private :populate_properties, :check_api_args_method, :make_request
+
+
+    #main methods
+    def direct_categorise(contents)
+      check_api_args_method(contents)
+      hashe_data = {:contents => contents}
+      #if !start_from_category.nil?
+      #  hashe_data[:start_from_category] = start_from_category
+      #end
+      json_body_request = Utils::JsonMaker.new(hashe_data).get_json
+      url = BASE_URL + METHODS[:direct]
+      make_request(url, json_body_request)
+    end
+    
+    def indirect_categorise(contents, callback)
+      check_api_args_method(contents, callback)
+      hashe_data = {:contents => contents, :callback => callback}
+      #if !start_from_category.nil?
+      #  hashe_data[:start_from_category] = start_from_category
+      #end
+      json_body_request = Utils::JsonMaker.new(hashe_data).get_json
+      url = BASE_URL + METHODS[:indirect]
+      make_request(url, json_body_request)
+    end
+  end
+end

data/lib/rb_conclas/core/conclas_response.rb

@@ -0,0 +1,45 @@
+# coding: utf-8
+
+require 'rb_conclas/core/exceptions/api_custom_exceptions'
+require 'json'
+
+
+module Conclas
+  module Core
+    class ConclasResponse
+      def initialize(result, status_code, headers)
+        @result = JSON.parse(result, :quirks_mode => true)
+        @status_code = status_code
+        @headers = headers
+      end
+
+      def raise_exception(code)
+        if code == 10
+          raise Exceptions::InvalidTokenException, "Missing token."
+        elsif code == 11
+          raise Exceptions::InvalidTokenException, "Token format is invalid."
+        elsif code == 12
+          raise Exceptions::InvalidTokenException, "Credentials are not correct."
+        elsif code == 13
+          raise Exceptions::InvalidModeException, "Invalid mode request."
+        elsif code == 14
+          raise Exceptions::InvalidBodyException, "Invalid Body Message."
+        elsif code == 15
+          raise Exceptions::InvalidBodyException, "Invalid Body Json format."
+        else
+          raise "Error not categorized"
+        end
+      end
+
+      private :raise_exception
+
+      def request_successful?
+        if @result.key?("errors")
+          code = @result["errors"][0]["code"].to_i
+          raise_exception(code)
+        end
+        true
+      end
+    end
+  end
+end

data/lib/rb_conclas/core/exceptions/api_custom_exceptions.rb

@@ -0,0 +1,11 @@
+# coding: utf-8
+
+module Conclas
+  module Exceptions
+    class InvalidTokenException < StandardError; end
+
+    class InvalidModeException < StandardError; end
+
+    class InvalidBodyException < StandardError; end
+  end
+end

data/lib/rb_conclas/core/exceptions/client_exceptions.rb

@@ -0,0 +1,25 @@
+# coding: utf-8
+
+module Conclas
+  module Exceptions
+    class InvalidParameterException < StandardError; end
+
+    class JsonKeysException < StandardError; end
+
+    class ContentsKeyException < StandardError; end
+
+    class EmptyParameterException < StandardError; end
+
+    class DocMinException < StandardError; end
+
+    class DocMaxException < StandardError; end
+
+    class ParameterTypeError < StandardError; end
+
+    class URLInvalidException < StandardError; end
+
+    class ConclasRequestException < StandardError; end
+
+    class HTTPError < StandardError; end
+  end
+end

data/lib/rb_conclas/core/requester.rb

@@ -0,0 +1,28 @@
+# coding: utf-8
+
+require 'net/http'
+require 'uri'
+require 'json'
+
+module Conclas
+  module Core
+  # class to make requester to server
+    module Requester
+      def self.post(url, data, headers, timeout, use_ssl)
+        begin
+          uri = URI.parse(url) # parse url data(port and host)
+
+          http = Net::HTTP.new(uri.host, uri.port) #create http object with uri data
+          http.use_ssl = use_ssl
+          http.read_timeout = timeout
+          request = Net::HTTP::Post.new(uri.request_uri, initheader = headers)
+          request.body = data
+          http.request(request)
+        rescue Timeout::Error, Errno::EINVAL, Errno::ECONNRESET, EOFError,
+              Net::HTTPBadResponse, Net::ReadTimeout, Net::HTTPHeaderSyntaxError, Net::ProtocolError => e
+          raise e
+        end
+      end
+    end
+  end
+end

data/lib/rb_conclas/utils/json_maker.rb

@@ -0,0 +1,110 @@
+# coding: utf-8
+
+require 'json'
+require 'rb_conclas/core/exceptions/client_exceptions'
+
+module Conclas
+
+  module Utils
+    REGEX = /(^(https?:\/\/(?:www\.|(?!www))|(www\.?))[\w-]+\.[\w]+|(?!w)[\w-]+\.[\w]+)/
+
+    class JsonMaker
+      def initialize(hash_data)
+          @data = hash_data
+      end
+
+      #private methods
+      def validate_key_doc(key_doc)
+        # Validate key "doc"
+        key_doc.each do |key, value|
+          if key != "short_text" && key != "long_text" && key != "brands"
+            raise Exceptions::ContentsKeyException, 'Invalid key "doc".'
+          end
+          if StringHelper.is_empty value
+            raise Exceptions::EmptyParameterException, "The parameter '#{value}' needs a value"
+          end
+        end
+
+        if key_doc.key?("short_text") && key_doc.key?("long_text")
+          doc_len = key_doc["short_text"].length + key_doc["long_text"].length
+          if doc_len < 25
+            raise Exceptions::DocMinException, "The doc is not valid."
+          end
+        end
+        # check short_text
+        if key_doc.key?("short_text")
+          if key_doc["short_text"].length > 1000
+            raise Exceptions::DocMaxException, "The short_text doc is not valid."
+          end
+        end
+        #check long_text
+        if key_doc.key?("long_text")
+          if key_doc["long_text"].length > 20_000
+            raise Exceptions::DocMaxException, "The long_text doc is not valid."
+          end
+        end
+
+        if key_doc.key?("brands")
+          if key_doc["long_text"].length > 5000
+            raise Exceptions::DocMaxException, "The brands doc is not valid."
+          end
+        end
+      end
+
+      def validate_contents
+        # Method to validate contents node
+        @data[:contents].each do |item|
+          if !item.key?("url") && !item.key?("doc")
+            raise Exceptions::ContentsKeyException, "The contents is not valid."
+          end
+          if item.key?("url") && item.key?("doc")
+            raise Exceptions::ContentsKeyException, "There can be the key doc in url in the same hash"
+          end
+
+          if item.key?("url")
+            if StringHelper.is_empty item["url"]
+              raise Exceptions::EmptyParameterException, "The parameter 'url' needs a value"
+            end
+            if not item["url"].is_a?(String)
+              raise Exceptions::ParameterTypeError, "Url must be type string"
+            end
+          end
+
+          if item.key?("doc")
+            if item["doc"].size == 0
+              raise Exceptions::ContentsKeyException, "Key contents invalid"
+            else
+              validate_key_doc(item["doc"])
+            end
+          end
+        end
+      end
+
+      def check_urls
+        # check urls match with regex
+        if @data.key?(:callback)
+          if REGEX =~ @data["callback"] then
+            raise Exceptions::URLInvalidException, "Invalid url callback"
+          end
+        end
+
+        @data[:contents].each do |item|
+          if item.key?("url")
+            if not REGEX =~ item["url"]
+              url = item["url"]
+              raise Exceptions::URLInvalidException, "Invalid url #{url}"
+            end
+          end
+        end
+      end
+
+      private :validate_contents, :validate_key_doc, :check_urls
+
+      def get_json
+        validate_contents
+        check_urls
+        @data.to_json
+      end
+    end
+  end
+end

data/lib/rb_conclas/utils/string_helper.rb

@@ -0,0 +1,14 @@
+# coding: utf-8
+
+require 'json'
+
+module Conclas
+  module Utils
+    class StringHelper
+      def self.is_empty(str)
+        if str.nil? and str.strip.empty? ? true : false
+        end
+      end
+    end
+  end
+end

data/lib/rb_conclas/version.rb

@@ -0,0 +1,3 @@
+module Conclas
+  VERSION = "0.1.0"
+end

data/lib/rb_conclas.rb

@@ -0,0 +1,12 @@
+require "rb_conclas/utils/json_maker"
+require "rb_conclas/utils/string_helper"
+require "rb_conclas/core/conclas_response"
+require "rb_conclas/core/requester"
+require "rb_conclas/core/exceptions/api_custom_exceptions"
+require "rb_conclas/core/exceptions/client_exceptions"
+
+require "rb_conclas/version"
+require "rb_conclas/api"
+
+module Conclas
+end

data/rb_conclas.gemspec

@@ -0,0 +1,25 @@
+# coding: utf-8
+lib = File.expand_path('../lib', __FILE__)
+$LOAD_PATH.unshift(lib) unless $LOAD_PATH.include?(lib)
+require 'rb_conclas/version'
+
+Gem::Specification.new do |spec|
+  spec.name          = "rb_conclas"
+  spec.version       = Conclas::VERSION
+  spec.authors       = ["Will Filho"]
+  spec.email         = ["will@simbioseventures.com"]
+
+  spec.summary       = "Client Ruby Conclas"
+  spec.description   = "The pyconclas is a client written in Python to use the service Conclas."
+  spec.homepage      = "http://rubygems.org/gems/rb_conclas"
+  spec.license       = 'MIT'
+
+  spec.files         = `git ls-files -z`.split("\x0").reject { |f| f.match(%r{^(test|spec|features)/}) }
+  spec.bindir        = "exe"
+  spec.executables   = spec.files.grep(%r{^exe/}) { |f| File.basename(f) }
+  spec.require_paths = ["lib"]
+
+  spec.add_development_dependency "bundler", "~> 1.11"
+  spec.add_development_dependency "rake", "~> 10.0"
+  spec.add_development_dependency "rspec", "~> 3.0"
+end

metadata

@@ -0,0 +1,104 @@
+--- !ruby/object:Gem::Specification
+name: rb_conclas
+version: !ruby/object:Gem::Version
+  version: 0.1.0
+platform: ruby
+authors:
+- Will Filho
+autorequire: 
+bindir: exe
+cert_chain: []
+date: 2016-05-18 00:00:00.000000000 Z
+dependencies:
+- !ruby/object:Gem::Dependency
+  name: bundler
+  requirement: !ruby/object:Gem::Requirement
+    requirements:
+    - - "~>"
+      - !ruby/object:Gem::Version
+        version: '1.11'
+  type: :development
+  prerelease: false
+  version_requirements: !ruby/object:Gem::Requirement
+    requirements:
+    - - "~>"
+      - !ruby/object:Gem::Version
+        version: '1.11'
+- !ruby/object:Gem::Dependency
+  name: rake
+  requirement: !ruby/object:Gem::Requirement
+    requirements:
+    - - "~>"
+      - !ruby/object:Gem::Version
+        version: '10.0'
+  type: :development
+  prerelease: false
+  version_requirements: !ruby/object:Gem::Requirement
+    requirements:
+    - - "~>"
+      - !ruby/object:Gem::Version
+        version: '10.0'
+- !ruby/object:Gem::Dependency
+  name: rspec
+  requirement: !ruby/object:Gem::Requirement
+    requirements:
+    - - "~>"
+      - !ruby/object:Gem::Version
+        version: '3.0'
+  type: :development
+  prerelease: false
+  version_requirements: !ruby/object:Gem::Requirement
+    requirements:
+    - - "~>"
+      - !ruby/object:Gem::Version
+        version: '3.0'
+description: The pyconclas is a client written in Python to use the service Conclas.
+email:
+- will@simbioseventures.com
+executables: []
+extensions: []
+extra_rdoc_files: []
+files:
+- ".gitignore"
+- ".rspec"
+- ".travis.yml"
+- Gemfile
+- README.md
+- Rakefile
+- bin/console
+- bin/setup
+- lib/rb_conclas.rb
+- lib/rb_conclas/api.rb
+- lib/rb_conclas/core/conclas_response.rb
+- lib/rb_conclas/core/exceptions/api_custom_exceptions.rb
+- lib/rb_conclas/core/exceptions/client_exceptions.rb
+- lib/rb_conclas/core/requester.rb
+- lib/rb_conclas/utils/json_maker.rb
+- lib/rb_conclas/utils/string_helper.rb
+- lib/rb_conclas/version.rb
+- rb_conclas.gemspec
+homepage: http://rubygems.org/gems/rb_conclas
+licenses:
+- MIT
+metadata: {}
+post_install_message: 
+rdoc_options: []
+require_paths:
+- lib
+required_ruby_version: !ruby/object:Gem::Requirement
+  requirements:
+  - - ">="
+    - !ruby/object:Gem::Version
+      version: '0'
+required_rubygems_version: !ruby/object:Gem::Requirement
+  requirements:
+  - - ">="
+    - !ruby/object:Gem::Version
+      version: '0'
+requirements: []
+rubyforge_project: 
+rubygems_version: 2.5.1
+signing_key: 
+specification_version: 4
+summary: Client Ruby Conclas
+test_files: []