sowing 1.0.0 → 1.1.0

checksums.yaml

@@ -1,7 +1,7 @@
 ---
 SHA1:
-  metadata.gz: 7c8dbbbc138c2729840bf2b8785d4b690bee5744
-  data.tar.gz: 61d35ff47329fe1496b5ffdd4e4ba6c1d74aa84f
+  metadata.gz: faf7e09c35174fbde72fba78bfc3a1dc5b8968f6
+  data.tar.gz: a6550d15d1c8aecac286f4ee321e43afa743776b
 SHA512:
-  metadata.gz: f0a66a0a6fa5ebba5517136fd6341578dfe3b14b803da4c6b492bc5299b17c2f57cbae8a51243ff8e76ef2a3f369a7e81935d020b60a16e052c845cf1bb8cd45
-  data.tar.gz: 7b62d543cc02e0a880ce32ad30cfa1caef6bfbed3e2af46646e48b3db2c89d186a6f33f23e8a61ab13569bc506318061ace081a20db79320725e30f9b55bba87
+  metadata.gz: 2226164bac954535578bae7ecccb005167b806e1f8b7f0e3ba63bfd1c23490053806c01b9ebfc187bd30181fec1e7a0f6ab0605c57a23450f45b3e7a6a450bf7
+  data.tar.gz: 037cc850febfe410c29df71d7e88180134f8c0ade5905493b8cb9ec9851cfa8a6becb2930fb1cafe0670ebb12c7986af9a79cdf259a72f2a5e50d68fff433539

data/CHANGELOG.md

@@ -0,0 +1,8 @@
+## v1.1.0
+
+- rename: `create_or_do_nothing` to `create_or_skip`
+- feature: relational data
+
+## v1.0.0
+
+- feature: `create`, `create_or_do_nothing`, `create_or_update`

data/README.ja.md

@@ -0,0 +1,187 @@
+# Sowing
+
+seed データの投入、および data migration 時のデータ投入のためのライブラリ。
+
+## Installation
+
+Add this line to your application's Gemfile:
+
+```ruby
+gem 'sowing'
+```
+
+And then execute:
+
+    $ bundle
+
+Or install it yourself as:
+
+    $ gem install sowing
+
+## コンセプト
+
+- seedに関わらずどこからでも使える
+- CSV, YAML からデータを投入できる
+- 投入しようとするデータが既にある場合、何もしないか更新するか選択できる
+- Relational Data の投入
+- ~~Pure Ruby~~ (現状はまだ Rails 依存のコードがあるが、将来的には Pure Ruby による実装にしたい)
+- inspired by [sprig](https://github.com/vigetlabs/sprig)
+
+## 使い方
+
+Sowing を `db/seeds.rb` で使用する例を説明します。
+
+Directories structure example:
+
+```
+db
+├── seeds
+│   ├── books.yml
+│   └── users.csv
+└── seeds.rb
+```
+
+`db/seeds/users.csv`:
+
+```csv
+first_name,last_name
+Carlotta,Wilkinson
+中平,薫
+```
+
+`db/seeds/books.yml`:
+
+```yaml
+item1:
+  name: 'Refactoring: Improving the Design of Existing Code'
+  author: 'Martin Fowler'
+item2:
+  name: 'Webを支える技術'
+  author: '山本 陽平'
+```
+
+以上のファイルがあるとき `db/seeds.rb` を次のように定義します。
+
+```ruby
+require 'sowing'
+
+runner = Sowing::Runner.new
+
+runner.create(User)
+runner.create(Book)
+```
+
+Sowing では `Sowing::Runner` のインスタンスを使うことでデータ投入を行います。
+`#create` メソッドの引数にデータを投入したい Model を渡すと、 sowing は Model を snake cake の複数形に変換した名前で CSV か YAML ファイル を `db/seeds` 以下に探しに行きます。
+例えば `User` の場合、 `users.(csv|yaml|yml)` を探します。 (見つからない場合例外を出します)
+CSV か YAML ファイルを探索するディレクトリ (data directory) は次の方法で変更できます。
+
+```ruby
+# 方法1: Sowing::Runner.new のオプションで指定する
+sowing = Sowing::Runner.new(data_directory: 'db/seeds/development')
+
+# 方法2: configure を変更する
+Sowing::Configuration.configure do |config|
+  config.default_data_directory = 'db/seeds/development'
+end
+```
+
+### seeds を Rails.env によって変更する
+
+sowing は Rails の `rake db:seed` 機能に関して何もしません。
+単にデータ投入の機能を提供するだけです。
+そのため、 `Rails.env` によってシードデータとして読み込みたいデータを変更したい場合には、次のようにしてください。
+
+Directories structure example:
+
+```
+db
+├── seeds/
+│   ├── development/
+│   │   ├── books.yml
+│   │   └── users.csv
+│   ├── development.rb
+│   ├── production/
+│   ├── production.rb
+│   ├── test/
+│   └── test.rb
+└── seeds.rb
+
+```
+
+```ruby
+# db/seeds.rb
+path = Rails.root.join('db', 'seeds', "#{Rails.env}.rb")
+load path if path.exist?
+
+# db/seeds/development.rb
+require 'sowing'
+
+sowing = Sowing::Runner.new(data_directory: 'db/seeds/development')
+
+sowing.create(User)
+sowing.create(Book)
+```
+
+## Sowing::Runner の機能
+
+`Sowing::Runner` の instance methods には次のものがあります。
+
+### create(klass, filename: nil)
+
+引数に与えた `klass` のデータを新規作成します。
+`filename` を指定しない場合、`klass` をsnake cake の複数形に変換した名前で CSV か YAML ファイル を `db/seeds` 以下に探しに行きます。(例えば、`klass` が `User` の場合、 `users.(csv|yaml|yml)` を探します。)
+`filename` を指定する場合、 `new_users.csv` のように拡張子も含めて指定してください。
+
+### create_or_skip(klass, finding_key, filename: nil)
+
+`#create` とほぼ同じですが、 `finding_key` で指定したカラムでDBを探索して一致するデータが見つかった場合、何もしません。
+同じスクリプトを複数回実行する可能性がある場合、 `create` より `create_or_skip` を使用することを推奨します。
+
+例:
+
+```
+# 1度も下記のスクリプトを実行していないことを前提とする
+
+runner = Sowing::Runner.new
+
+# 1度目のデータ投入なので、users.csv からデータを投入する
+runner.create_or_skip(User, :first_name)
+
+# 上記で投入されたデータが存在するため、何もしない。
+runner.create_or_skip(User, :first_name)
+```
+
+### create_or_update(klass, finding_key, filename: nil)
+
+`#create_or_skip` とほぼ同じですが、`finding_key` で指定したカラムでDBを探索して一致するデータが見つかった場合、
+データを更新します。
+
+例:
+
+```
+# 1度も下記のスクリプトを実行していないことを前提とする
+
+runner = Sowing::Runner.new
+
+# 1度目のデータ投入なので、users.csv からデータを投入する
+runner.create_or_skip(User, :first_name)
+
+# users.csv と update_users.csv で同じ first_name のデータがある場合は update_users.csv の内容で上書きする
+# update_users.csv にしかないデータは新規作成する
+runner.create_or_skip(User, :first_name, filename: 'update_users.csv')
+```
+
+## Development
+
+### Run tests
+
+    $ bundle exec ruby test/run-test.rb
+
+## Contributing
+
+Bug reports and pull requests are welcome on GitHub at https://github.com/kbaba1001/sowing.
+
+## License
+
+MIT

data/README.md

@@ -1,8 +1,6 @@
 # Sowing
 
-Welcome to your new gem! In this directory, you'll find the files you need to be able to package up your Ruby library into a gem. Put your Ruby code in the file `lib/sowing`. To experiment with that code, run `bin/console` for an interactive prompt.
-
-TODO: Delete this and the text above, and describe your gem
+seed data handling for Rails apps.
 
 ## Installation
 
@@ -22,14 +20,73 @@ Or install it yourself as:
 
 ## Usage
 
-TODO: Write usage instructions here
+db/seeds/
+
+```ruby
+require 'sowing'
+
+runner = Sowing::Runner.new
+
+# if exist db/seeds/users.(csv|yaml|yml), read data
+runner.create(User)
+
+runner.create_or_skip(User, :first_name)
+runner.create_or_update(User, :first_name)
+
+# change data root directory
+sowing = Sowing::Runner.new(data_directory: Rails.root.join('db/seeds/development'))
+```
+
+### Relational Data
+
+For example, the following files exist:
+
+`users.csv`
+
+```csv
+first_name,last_name
+Carlotta,Wilkinson
+中平,薫
+```
+
+`profiles.csv`
+
+```csv
+user_id,address,phone
+"first_name: Carlotta, last_name: Wilkinson","2001 N Clark St, Chicago, IL 60614 America","+1 111-222-3333"
+"first_name: 中平, last_name: 薫","東京都新宿区新宿1-1-1","090-1111-2222"
+```
+
+And, the ruby code using sowing:
+
+```ruby
+require 'sowing'
+
+runner = Sowing::Runner.new
+
+runner.create(User)
+runner.create(Profile) do
+  mapping :user_id do |cel|
+    # cel #=> {'first_name' => 'Carlotta', 'last_name' => 'Wilkinson'}
+
+    User.find_by(
+      first_name: cel['first_name'],
+      last_name: cel['last_name']
+    ).id # Must be return user id
+  end
+end
+```
 
 ## Development
 
 ### Run tests
 
-    $ bundle exec rake
+    $ bundle exec ruby test/run-test.rb
 
 ## Contributing
 
-Bug reports and pull requests are welcome on GitHub at https://github.com/[USERNAME]/sowing.
+Bug reports and pull requests are welcome on GitHub at https://github.com/kbaba1001/sowing.
+
+## License
+
+MIT

data/lib/sowing.rb

@@ -1,4 +1,6 @@
 module Sowing
+  class DataFileNotFound < StandardError; end
+  class StrategyNotFound < StandardError; end
 end
 
 require 'pathname'
@@ -8,4 +10,6 @@ require_relative 'sowing/strategies'
 require_relative 'sowing/version'
 
 require_relative 'sowing/configuration'
+require_relative 'sowing/definition_proxy'
+require_relative 'sowing/selector'
 require_relative 'sowing/runner'

data/lib/sowing/definition_proxy.rb

@@ -0,0 +1,11 @@
+class Sowing::DefinitionProxy
+  attr_reader :mappings
+
+  def initialize
+    @mappings = {}
+  end
+
+  def mapping(attr, &block)
+    @mappings[attr.to_s] = block
+  end
+end

data/lib/sowing/runner.rb

@@ -3,57 +3,50 @@ class Sowing::Runner
 
   def initialize(data_directory: nil)
     @data_directory = Pathname(data_directory || Sowing::Configuration.config.default_data_directory)
+    @selector = Sowing::Selector.new(@data_directory)
   end
 
-  def create(klass, filename: nil)
-    find_file(klass, filename: filename) do |file, strategy|
-      strategy.create(klass, file)
+  def create(klass, filename: nil, &block)
+    file, strategy = @selector.find(klass, filename)
+
+    create_rows(file, strategy, &block).each do |row|
+      strategy.create(klass, row)
     end
   end
 
-  def create_or_do_nothing(klass, finding_key, filename: nil)
-    find_file(klass, filename: filename) do |file, strategy|
-      strategy.create_or_do_nothing(klass, file, finding_key)
+  def create_or_skip(klass, finding_key, filename: nil, &block)
+    file, strategy = @selector.find(klass, filename)
+
+    create_rows(file, strategy, &block).each do |row|
+      strategy.create_or_skip(klass, row, finding_key)
     end
   end
 
-  def create_or_update(klass, finding_key, filename: nil)
-    find_file(klass, filename: filename) do |file, strategy|
-      strategy.create_or_update(klass, file, finding_key)
+  def create_or_update(klass, finding_key, filename: nil, &block)
+    file, strategy = @selector.find(klass, filename)
+
+    create_rows(file, strategy, &block).each do |row|
+      strategy.create_or_update(klass, row, finding_key)
     end
   end
 
   private
 
-  def find_file(klass, filename: nil)
-    if filename
-      file = data_directory.join(filename)
-      if file.exist?
-        yield(file, select_strategy(file.extname[1..-1]))
-      else
-        raise "not found: #{file}"
-      end
-
-      return
-    end
+  def create_rows(file, strategy, &block)
+    proxy = Sowing::DefinitionProxy.new
+    proxy.instance_exec(&block) if block_given?
 
-    pathname = data_directory.join(klass.to_s.underscore.pluralize)
-    ext = Sowing::Configuration.config.extensions.find {|ext| Pathname("#{pathname}.#{ext}").exist? }
+    strategy.read_data(file).map {|row|
+      proxy.mappings.each do |key, pproc|
+        # TODO if i can skip, i want to skip. Doing so will increase performance
+        row[key.to_s] = pproc[string_to_hash(row.fetch(key.to_s))]
+      end
 
-    if ext
-      yield(Pathname("#{pathname}.#{ext}"), select_strategy(ext))
-    else
-      raise "not found: #{pathanme}.(#{Sowing::Configuration.config.extensions.join('|')})"
-    end
+      row
+    }
   end
 
-  def select_strategy(ext)
-    strategy_klass = Sowing::Configuration.config.strategies[ext]
-
-    if strategy_klass
-      strategy_klass.new
-    else
-      raise "strategy not found: extension #{ext}"
-    end
+  def string_to_hash(str)
+    str.delete(' ').split(/[:,]/).each_slice(2).to_h
   end
 end

data/lib/sowing/selector.rb

@@ -0,0 +1,45 @@
+class Sowing::Selector
+  attr_reader :data_directory
+
+  def initialize(data_directory)
+    @data_directory = data_directory
+  end
+
+  # @return [Array<Pathname, Sowing::Strategies>]
+  def find(klass, filename = nil)
+    if filename
+      find_file_from_filename(filename)
+    else
+      file_file_from_convention(klass)
+    end
+  end
+
+  private
+
+  def find_file_from_filename(filename)
+    file = data_directory.join(filename)
+
+    raise DataFileNotFound.new("not found: #{file}") unless file.exist?
+
+    [file, select_strategy(file.extname[1..-1])]
+  end
+
+  def file_file_from_convention(klass)
+    pathname = data_directory.join(klass.to_s.underscore.pluralize)
+    ext = Sowing::Configuration.config.extensions.find {|ext| Pathname("#{pathname}.#{ext}").exist? }
+
+    raise DataFileNotFound.new("not found: #{pathanme}.(#{Sowing::Configuration.config.extensions.join('|')})") unless ext
+
+    [Pathname("#{pathname}.#{ext}"), select_strategy(ext)]
+  end
+
+  def select_strategy(ext)
+    strategy_klass = Sowing::Configuration.config.strategies[ext]
+
+    if strategy_klass
+      strategy_klass.new
+    else
+      raise StrategyNotFound.new("strategy not found: extension #{ext}")
+    end
+  end
+end

data/lib/sowing/strategies/abstract_strategy.rb

@@ -1,21 +1,28 @@
 module Sowing
   module Strategies
     class AbstractStrategy
-      def create(klass, csv_filename)
+      def create(klass, row)
         raise NotImplementedError
       end
 
-      def create_or_do_nothing(klass, csv_filename, finding_key)
+      def create_or_skip(klass, row, finding_key)
         raise NotImplementedError
       end
 
-      def create_or_update(klass, csv_filename, finding_key)
+      def create_or_update(klass, row, finding_key)
+        raise NotImplementedError
+      end
+
+      # @return [Enumerable] object
+      def read_data(filename)
         raise NotImplementedError
       end
 
       private
 
       def print_object_info(object)
+        return if ENV['SOWING_QUIET']
+
         print 'create: '
         p object
       end

data/lib/sowing/strategies/active_record_abstract.rb

@@ -1,37 +1,25 @@
 module Sowing
   module Strategies
     class ActiveRecordAbstract < AbstractStrategy
-      def create(klass, filename)
-        read_data(filename).each do |row|
-          object = klass.create!(row.to_hash)
+      def create(klass, row)
+        object = klass.create!(row.to_hash)
 
-          print_object_info(object)
-        end
-      end
-
-      def create_or_do_nothing(klass, filename, finding_key)
-        read_data(filename).each do |row|
-          klass.find_or_initialize_by(finding_key => row[finding_key.to_s]) do |object|
-            object.update!(row.to_hash)
-
-            print_object_info(object)
-          end
-        end
+        print_object_info(object)
       end
 
-      def create_or_update(klass, filename, finding_key)
-        read_data(filename).each do |row|
-          object = klass.find_or_initialize_by(finding_key => row[finding_key.to_s])
+      def create_or_skip(klass, row, finding_key)
+        klass.find_or_initialize_by(finding_key => row[finding_key.to_s]) do |object|
           object.update!(row.to_hash)
 
           print_object_info(object)
         end
       end
 
-      private
+      def create_or_update(klass, row, finding_key)
+        object = klass.find_or_initialize_by(finding_key => row[finding_key.to_s])
+        object.update!(row.to_hash)
 
-      def read_data(filename)
-        raise NotImplementedError
+        print_object_info(object)
       end
     end
   end

data/lib/sowing/strategies/active_record_csv.rb

@@ -3,8 +3,6 @@ require 'csv'
 module Sowing
   module Strategies
     class ActiveRecordCsv < ActiveRecordAbstract
-      private
-
       def read_data(csv_filename)
         CSV.read(csv_filename, headers: true)
       end

data/lib/sowing/strategies/active_record_yaml.rb

@@ -3,8 +3,6 @@ require 'yaml'
 module Sowing
   module Strategies
     class ActiveRecordYaml < ActiveRecordAbstract
-      private
-
       def read_data(yaml_filename)
         YAML.load_file(yaml_filename).values
       end

data/lib/sowing/version.rb

@@ -1,3 +1,3 @@
 module Sowing
-  VERSION = "1.0.0"
+  VERSION = "1.1.0"
 end

metadata

@@ -1,14 +1,14 @@
 --- !ruby/object:Gem::Specification
 name: sowing
 version: !ruby/object:Gem::Version
-  version: 1.0.0
+  version: 1.1.0
 platform: ruby
 authors:
 - kbaba1001
 autorequire: 
 bindir: exe
 cert_chain: []
-date: 2017-07-15 00:00:00.000000000 Z
+date: 2017-08-30 00:00:00.000000000 Z
 dependencies:
 - !ruby/object:Gem::Dependency
   name: activerecord
@@ -144,14 +144,18 @@ extensions: []
 extra_rdoc_files: []
 files:
 - ".gitignore"
+- CHANGELOG.md
 - Gemfile
+- README.ja.md
 - README.md
 - Rakefile
 - bin/console
 - bin/setup
 - lib/sowing.rb
 - lib/sowing/configuration.rb
+- lib/sowing/definition_proxy.rb
 - lib/sowing/runner.rb
+- lib/sowing/selector.rb
 - lib/sowing/strategies.rb
 - lib/sowing/strategies/abstract_strategy.rb
 - lib/sowing/strategies/active_record_abstract.rb