kandata 0.2.0 → 0.3.0

checksums.yaml

@@ -1,7 +1,7 @@
 ---
 SHA1:
-  metadata.gz: 81234a446c42f891691c7c5d8130512c0a7eaa2b
-  data.tar.gz: 03e57575d6a39b3f056f433fad9cb791ab21dafa
+  metadata.gz: 9841a7b354143f7fbdd512e7e1c84ee3cfe97622
+  data.tar.gz: 8f4a1bab20ab17cde5580e27ca0376edd6e53d42
 SHA512:
-  metadata.gz: 87912e4ff0f911b3da0e8292877615cf5f8e1ad179d02f22f49ceb3e1eddde9b90965b37440a991aefa6131e94996888c6a6f278a918c79b88043537c82bb3ad
-  data.tar.gz: 776f38b3353eab850e80c3af4d887d51947ad69f3329f72f8f8dfb9d225d47534c49229c73d48251e68b4169fb4f608850b571da60f6f129cbb5cf7f8d79ed07
+  metadata.gz: bb5391ce2ee2ac7112ce5320ebf7df616bee2d6baad69636c43342b50840148a465670796816713c7f1304bfc1e53170e6300d344852e75554e3ef5c0d086c2f
+  data.tar.gz: 5b29c796225cc9d6cf73b0fc70c77b5efc305c4c6a93ae2787dfe00d6be119b481b4440abf25148f76751e8496e5cef0a24ca210e55fdb276ce3ad4c991094ed

data/README.md

@@ -1,6 +1,6 @@
 # Kandata
 
-[![CircleCI](https://circleci.com/gh/tamano/kandata.svg?style=svg)](https://circleci.com/gh/tamano/kandata)
+[![CircleCI](https://circleci.com/gh/eLicenseSystems/kandata.svg?style=svg)](https://circleci.com/gh/eLicenseSystems/kandata)
 [![Gem Version](https://badge.fury.io/rb/kandata.svg)](https://badge.fury.io/rb/kandata)
 
 Kandataは、TSVファイルを自分のローカルのMySQLデータベース内に簡単にロードするためのツールです。
@@ -16,6 +16,22 @@ MySQLサーバーがローカルで動作している必要があります。
 
 ## 利用方法
 
+### Rubyスクリプト内から利用する場合
+
+```ruby
+require 'kandata'
+
+# TSVからデータ生成
+# ローカルのMySQLサーバーのKandataデータベース内にuserテーブルを作成して、TSVでデータを流し込む
+my_user = Kandata.build_from_tsv('./user.tsv')
+
+# my_user はActiveRecordをextendしたクラスそのものなので、
+# Railsのモデルクラスのように使って色々出来る。
+# ex) my_user.where(last_login: nil).each do |v| v.disactivate end
+```
+
+### コマンドラインから実行する場合
+
 以下のように実行します。
 
 	$ kandata load_tsv TSVファイル名 [--force]
@@ -37,7 +53,7 @@ MySQLサーバーがローカルで動作している必要があります。
 - 各カラムへのINDEXの追加には対応していません。必要な場合は自分でSQLで`CREATE INDEX`してください。
 
 ## 今後の予定
-- 作成したテーブルに応じたActiveRecordモデルを自動生成できるようにする。
+- ~作成したテーブルに応じたActiveRecordモデルを自動生成できるようにする。~ **done**
     - `require`で非RailsなRubyスクリプトで読み込んで使えるように。
 - 作成したテーブルのバックアップなどの機能を追加する。
 

data/lib/kandata.rb

@@ -16,8 +16,8 @@ class Kandata
   end
 
   # テーブルを作成し、テーブルにデータを読み込み、テーブル名を戻す
-  def self.load_tsv(filename, force_load)
+  def self.load_tsv(filename, force_load, headers = nil)
     client = Kandata::Database.new
-    client.load_tsv(filename, force_load)
+    client.load_tsv(filename, force_load, headers)
   end
 end

data/lib/kandata/database.rb

@@ -3,6 +3,7 @@ require 'mysql2'
 
 class Kandata
   # ActiveRecordを使わないでKandataデータベースにアクセスするためのクラス
+  # ignore :reek:InstanceVariableAssumption:
   class Database < Mysql2::Client
     def initialize
       create_database_if_not_exists
@@ -15,8 +16,8 @@ class Kandata
     end
 
     # ignore :reek:ControlParameter:
-    def load_tsv(filename, force_update)
-      @tsv = Kandata::TsvFile.new(filename)
+    def load_tsv(filename, force_update, headers = nil)
+      @tsv = Kandata::TsvFile.new(filename, headers)
 
       drop_table if force_update
       create_table
@@ -30,18 +31,17 @@ class Kandata
     # ignore :reek:FeatureEnvy:
     def create_database_if_not_exists
       client = Mysql2::Client.new(Kandata::Database::ConnectionInfo.host_and_user)
-      database_name = Kandata::Database::ConnectionInfo.database_name
 
       begin
-        client.query("SHOW CREATE DATABASE #{database_name}")
+        client.query("SHOW CREATE DATABASE `#{database_name}`")
       rescue Mysql2::Error => error
         raise error unless error.message == "Unknown database '#{database_name}'"
-        client.query("CREATE DATABASE #{database_name}")
+        client.query("CREATE DATABASE `#{database_name}`")
       end
     end
 
     def drop_table
-      query("DROP TABLE IF EXISTS #{full_table_name}")
+      query("DROP TABLE IF EXISTS `#{database_name}`.`#{table_name}`")
     end
 
     def create_table
@@ -50,21 +50,30 @@ class Kandata
       # 後で追加するため一旦削除
       columns.delete('id')
 
-      columns_text = columns.map { |column| "#{column} VARCHAR(128)" }.join(',')
+      columns_text = columns.map { |column| "#{column} TEXT" }.join(',')
       columns_text = 'id INTEGER AUTO_INCREMENT NOT NULL PRIMARY KEY,' + columns_text
 
-      query("CREATE TABLE #{full_table_name} (#{columns_text})")
+      query("CREATE TABLE `#{database_name}`.`#{table_name}` (#{columns_text})")
     end
 
     def load_data
-      sql = "LOAD DATA LOCAL INFILE '#{@tsv.filename}' INTO TABLE #{full_table_name} IGNORE 1 LINES "
-      sql += "(#{@tsv.headers.join(',')})"
+      sql = "LOAD DATA LOCAL INFILE '#{@tsv.filename}' INTO TABLE `#{database_name}`.`#{table_name}` IGNORE 1 LINES "
+      sql += "(#{@tsv.headers.map { |column| "`#{column}`" }.join(',')})"
 
       query(sql)
     end
 
     def full_table_name
-      "#{Kandata::Database::ConnectionInfo.database_name}.#{@tsv.table_name}"
+      "#{database_name}.#{table_name}"
+    end
+
+    # ignore :reek:UtilityFunction:
+    def database_name
+      Kandata::Database::ConnectionInfo.database_name
+    end
+
+    def table_name
+      @tsv.table_name if @tsv.present?
     end
   end
 end

data/lib/kandata/database/connection_info.rb

@@ -2,9 +2,11 @@
 
 class Kandata
   class Database
+    # ignore :reek:Attribute:
     class ConnectionInfo
       class << self
-        attr_reader :host, :user_name, :database_name
+        attr_reader :host, :user_name
+        attr_accessor :database_name
       end
 
       @host = 'localhost'

data/lib/kandata/tsv_file.rb

@@ -1,28 +1,37 @@
 # frozen_string_literal: true
+require 'tempfile'
+require 'nkf'
+
 class Kandata
   # 読み込み用TSVファイル
   class TsvFile
-    attr_reader :filename, :headers
+    attr_reader :filename, :table_name, :headers
+
+    RESERVED_COLUMNS = ['type'].freeze
+
+    def initialize(filename, custom_headers = nil)
+      @table_name = File.basename(filename).sub('.tsv', '')
+      validate_table_name
 
-    def initialize(filename)
-      @filename = filename
-      validate_filename
+      # TempFileにファイル内容をコピーしてパスを返す
+      @filename = copy_to_tempfile(filename)
+
+      @headers = custom_headers
+      @headers ||= File.open(@filename, 'r').first(&:readline).chomp.split("\t")
 
-      @headers = File.open(@filename, 'r').first(&:readline).chomp.split("\t")
       validate_headers
     end
 
-    def validate_filename
-      raise 'テーブル名に使用できないファイル名です' unless table_name.match?(/^[0-9a-zA-Z$_]+$/)
+    def validate_table_name
+      raise 'テーブル名に使用できないファイル名です' unless @table_name.match?(/^[0-9a-zA-Z$_]+$/)
       true
     end
 
     def validate_headers
-      duplicated_columns = @headers.group_by { |value| value }.reject { |_key, value| value.one? }.keys
       raise "以下のカラムが複数存在しています #{duplicated_columns}" unless duplicated_columns.empty?
 
-      illegal_named_columns = @headers.reject { |value| value.match?(/^[0-9a-zA-Z$_]+$/) }
-      raise "以下のカラム名は使用できません #{illegal_named_columns}" unless illegal_named_columns.empty?
+      raise "以下のカラム名は使用できません #{invalid_columns}" unless invalid_columns.empty?
+      raise "以下のカラム名は使用できません #{RESERVED_COLUMNS}" if include_reserved_name?
 
       # 現時点では、ミス防止のため、先頭以外にidカラムがあるとエラーとして処理する
       raise '先頭以外にidカラムがあります' if include_id_column? && @headers[0] != 'id'
@@ -30,12 +39,29 @@ class Kandata
       true
     end
 
-    def table_name
-      File.basename(@filename).sub('.tsv', '')
+    def duplicated_columns
+      @headers.group_by { |value| value }.reject { |_key, value| value.one? }.keys
+    end
+
+    def invalid_columns
+      @headers.reject { |value| value.match?(/^[0-9a-zA-Z$_]+$/) }
+    end
+
+    def include_reserved_name?
+      RESERVED_COLUMNS.any? { |name| @headers.include?(name) }
     end
 
     def include_id_column?
       @headers.include?('id')
     end
+
+    private
+
+    def copy_to_tempfile(filename)
+      Tempfile.open(basename: self.class.name) do |file|
+        file.write(NKF.nkf('-w', File.open(filename, 'r').read))
+        file.path
+      end
+    end
   end
 end

data/lib/kandata/version.rb

@@ -1,4 +1,4 @@
 # frozen_string_literal: true
 class Kandata
-  VERSION = '0.2.0'
+  VERSION = '0.3.0'
 end

metadata

@@ -1,14 +1,14 @@
 --- !ruby/object:Gem::Specification
 name: kandata
 version: !ruby/object:Gem::Version
-  version: 0.2.0
+  version: 0.3.0
 platform: ruby
 authors:
 - Yuya TAMANO
 autorequire: 
 bindir: exe
 cert_chain: []
-date: 2018-01-22 00:00:00.000000000 Z
+date: 2018-04-06 00:00:00.000000000 Z
 dependencies:
 - !ruby/object:Gem::Dependency
   name: bundler