master_data_tool 0.8.0 → 0.9.0

checksums.yaml

@@ -1,7 +1,7 @@
 ---
 SHA256:
-  metadata.gz: 64c169242f5fd0a16a4b5153dc597473146c057ddb72b8a1f8451cd9ec82032f
-  data.tar.gz: 65bd3c7a4bb1537a2853796d1947df6ab0665e9ddb737db6a913b6d21c1626a5
+  metadata.gz: 0c1a8cf7753997cee7c6508d745c9eb9152261ea433dcd0ea436bd9684d2b57c
+  data.tar.gz: ae108bb9da67df2a46e15335cc7930a6568a0e359d599323e24683bc3db761c4
 SHA512:
-  metadata.gz: fe25e52351bd9d13f5fcd718bf21e49f297e82b99462b3666172e514beff19108dd8d49c17c9e91f5e5c6bd77f12b08575086b63f7ac46cf6e1601dafe086484
-  data.tar.gz: e072e9911a9449691480b85ba03dfbfb971cdaa9bc58c8dce5fb4dd60fce86ce2305fc5bcea1e39ef8efd3b4b6a4e6dfcd9a2547f064bcddcc9cf37c00883565
+  metadata.gz: be594e338ccd11ec1bb9621452c6ff1b0834c253326b74b89fd0f4e7285b3f040f5948f69cde7eae6028581503bf37f26ba8ce0950e7543184b529f44ec51e55
+  data.tar.gz: a3ceed39c0d391fb2ec5774371b54f66e25a7d3dc52fff323fd8235edb6e3d750022909782e482fa347ec950b55b2e75722440f3ce613569e7fd134a4b012069

data/README.md

@@ -40,7 +40,9 @@ Or install it yourself as:
 | --dry-run            | true | dry-runモードで実行する（データ変更は行わない）       |
 | --verify             | true | データ投入後に全テーブル・全レコードのバリデーションチェックを行う |
 | --only-import-tables | [] | 指定したテーブルのみデータ投入を行う                |
+| --except-import-tables | [] | 指定したテーブルのデータ投入を行わない               |
 | --only-verify-tables | [] | 指定したテーブルのみ投入後のバリデーションチェックを行う      |
+| --except-verify-tables | [] | 指定したテーブルのバリデーションチェックを行わない         |
 | --skip-no-change     | true | CSVファイルに更新がないテーブルをスキップする          |
 | --silent | false | 結果の出力をやめる                         |
 
@@ -55,7 +57,9 @@ bundle exec thor master_data_tool import \
   --dry-run=true \
   --verify=true \
   --only-import-tables="" \
+  --except-import-tables="" \
   --only-verify-tables="" \
+  --except-verify-tables="" \
   --skip-no-change=true \
   --silent=false
 ```

data/exe/master_data_tool

@@ -12,7 +12,9 @@ module MasterDataTool
     option :dry_run, default: true, type: :boolean
     option :verify, default: true, type: :boolean
     option :only_import_tables, default: [], type: :array
+    option :except_import_tables, default: [], type: :array
     option :only_verify_tables, default: [], type: :array
+    option :except_verify_tables, default: [], type: :array
     option :skip_no_change, default: true, type: :boolean
     option :silent, default: false, type: :boolean
     desc 'import', 'import'
@@ -20,7 +22,9 @@ module MasterDataTool
       dry_run = options[:dry_run]
       verify = options[:verify]
       only_import_tables = options[:only_import_tables]
+      except_import_tables = options[:except_import_tables]
       only_verify_tables = options[:only_verify_tables]
+      except_verify_tables = options[:except_verify_tables]
       skip_no_change = options[:skip_no_change]
       silent = options[:silent]
 
@@ -28,7 +32,9 @@ module MasterDataTool
         dry_run: dry_run,
         verify: verify,
         only_import_tables: only_import_tables,
+        except_import_tables: except_import_tables,
         only_verify_tables: only_verify_tables,
+        except_verify_tables: except_verify_tables,
         skip_no_change: skip_no_change,
         silent: silent
       )

data/lib/master_data_tool/import/executor.rb

@@ -3,11 +3,22 @@
 module MasterDataTool
   module Import
     class Executor
-      def initialize(dry_run: true, verify: true, only_import_tables: [], only_verify_tables: [], skip_no_change: true, silent: false, report_printer: MasterDataTool::Report::DefaultPrinter.new)
+      def initialize(dry_run: true,
+                     verify: true,
+                     only_import_tables: [],
+                     except_import_tables: [],
+                     only_verify_tables: [],
+                     except_verify_tables: [],
+                     skip_no_change: true,
+                     silent: false,
+                     report_printer: MasterDataTool::Report::DefaultPrinter.new)
+
         @dry_run = dry_run
         @verify = verify
         @only_import_tables = Array(only_import_tables)
+        @except_import_tables = Array(except_import_tables)
         @only_verify_tables = Array(only_verify_tables)
+        @except_verify_tables = Array(except_verify_tables)
         @skip_no_change = skip_no_change
         @silent = silent
         @report_printer = report_printer
@@ -49,13 +60,10 @@ module MasterDataTool
         end
       end
 
-      # 1. 変更があるかどうかのチェックをスキップした
-      # 2. 変更があるかどうかのチェックを実行し、変更がないので処理をスキップした
-      # 3. 変更があるかどうかのチェックを実行し、変更があるので実行した
-      # の3パターンがある
       def import_all!(master_data_list)
         master_data_list.each do |master_data|
           next unless master_data.loaded?
+          next if import_skip_table?(master_data.table_name)
 
           report = master_data.import!(dry_run: @dry_run)
           report.print(@report_printer)
@@ -66,7 +74,7 @@ module MasterDataTool
         master_data_list.each do |master_data|
           next if verify_skip_table?(master_data.table_name)
 
-          report = master_data.verify!(dry_run: @dry_run)
+          report = master_data.verify!(ignore_fail: @dry_run)
           report.print(@report_printer)
         end
       end
@@ -74,6 +82,8 @@ module MasterDataTool
       def save_master_data_statuses!(master_data_list)
         records = []
         master_data_list.each do |master_data|
+          next unless master_data.loaded?
+
           records << MasterDataTool::MasterDataStatus.build(master_data.csv_path)
         end
 
@@ -91,29 +101,33 @@ module MasterDataTool
       end
 
       def load_skip_table?(table_name, csv_path)
-        return load_skip_table_when_target_all_table?(table_name) unless @skip_no_change
-
-        load_skip_table_when_target_changed_table?(table_name, csv_path)
-      end
-
-      def load_skip_table_when_target_changed_table?(table_name, csv_path)
-        unless @only_import_tables.empty?
-          return true if @only_import_tables.exclude?(table_name)
-        end
+        return true if import_skip_table?(table_name)
+        return false unless @skip_no_change
 
         !MasterDataTool::MasterDataStatus.master_data_will_change?(csv_path)
       end
 
-      def load_skip_table_when_target_all_table?(table_name)
-        return false if @only_import_tables.empty?
-
-        @only_import_tables.exclude?(table_name)
+      def import_skip_table?(table_name)
+        need_skip_table?(table_name, @only_import_tables, @except_import_tables)
       end
 
       def verify_skip_table?(table_name)
-        return false if @only_verify_tables.empty?
+        need_skip_table?(table_name, @only_verify_tables, @except_verify_tables)
+      end
+
+      # 1. onlyを指定した時点でそのリストに含まれるものだけになるべき
+      # 2. exceptのリストはどんな状況でも除外されるべき
+      # 3. それ以外はすべて実行する
+      def need_skip_table?(table_name, only, except)
+        only_result = only.presence&.include?(table_name)
+        except_result = except.presence&.include?(table_name)
+
+        # onlyが指定された時点でデフォルトはskipとする
+        default = only_result.nil? ? false : true
+        return true if except_result == true
+        return false if only_result == true
 
-        @only_verify_tables.exclude?(table_name)
+        default
       end
 
       def extract_master_data_csv_paths

data/lib/master_data_tool/master_data.rb

@@ -117,12 +117,12 @@ module MasterDataTool
       end
     end
 
-    def verify!(dry_run: true)
+    def verify!(ignore_fail: false)
       MasterDataTool::Report::VerifyReport.new(self).tap do |report|
-        @model_klass.all.find_each do |record|
+        @model_klass.order(id: :asc).all.find_each do |record|
           valid = record.valid?
           report.append(MasterDataTool::Report::VerifyReport.build_verify_record_report(self, record, valid))
-          next if dry_run
+          next if ignore_fail
 
           raise MasterDataTool::VerifyFailed.new("[#{table_name}] id = #{record.id} is invalid") unless valid
         end

data/lib/master_data_tool/report/print_affected_table_report.rb

@@ -5,11 +5,6 @@ module MasterDataTool
     class PrintAffectedTableReport
       include Core
 
-      def initialize(master_data)
-        super(master_data)
-        @reports = []
-      end
-
       def print(printer)
         printer.print(convert_to_ltsv({operation: :affected_table, table_name: @master_data.table_name}))
       end

data/lib/master_data_tool/version.rb

@@ -1,5 +1,5 @@
 # frozen_string_literal: true
 
 module MasterDataTool
-  VERSION = "0.8.0"
+  VERSION = "0.9.0"
 end

data/scripts/setup.sh

@@ -11,7 +11,7 @@ mysql \
   -e "CREATE DATABASE IF NOT EXISTS ${DB_NAME}"
 
 bundle exec ridgepole \
-  -c ${CURRENT}/../spec/dummy-common/config/database.yml \
+  -c ${CURRENT}/../spec/dummy/config/database.yml \
   --apply \
-  -f ${CURRENT}/../spec/dummy-common/db/Schemafile \
+  -f ${CURRENT}/../spec/dummy/db/Schemafile \
   -E test

metadata

@@ -1,14 +1,14 @@
 --- !ruby/object:Gem::Specification
 name: master_data_tool
 version: !ruby/object:Gem::Version
-  version: 0.8.0
+  version: 0.9.0
 platform: ruby
 authors:
 - Takahiro Ooishi
 autorequire:
 bindir: exe
 cert_chain: []
-date: 2022-02-18 00:00:00.000000000 Z
+date: 2022-02-19 00:00:00.000000000 Z
 dependencies:
 - !ruby/object:Gem::Dependency
   name: rspec