flist 0.1.32 → 0.1.33

data/lib/flist/flist.rb

@@ -7,11 +7,11 @@ require 'ykutils/erubyx'
 require 'ykxutils/yamlx'
 
 require_relative 'flist/filelist'
-require_relative 'flist/store'
 
 require 'date'
-
+require 'yaml'
 module Flist
+  # ファイル一覧クラス
   class Flist
     attr_accessor :encx
 
@@ -21,54 +21,78 @@ module Flist
 
     def_delegators(:@dbmgr, :dirz_add)
     def_delegators(:@dbmgr, :output)
-    def_delegators(:@dbmgr, :post_process)
+    def_delegators(:@dbmgr, :dirz_post_process)
+    def_delegators(:@dbmgr, :flistz_post_process)
     def_delegators(:@dbmgr, :post_process)
 
-    # ディレクトリハス、またはファイルパスを表すStructクラスのサブクラス
+    # ファイル情報アイテムクラス（ディレクトリハス、またはファイルパスを表すStructクラスのサブクラス）
     @item_class = Struct.new(:level, :kind, :re, :path)
 
+    # ファイル情報アイテムクラスのインスタンス生成
     def self.make_instance_of_item_class(level, key, regexp, path)
       @item_class.new(level, key, regexp, path)
     end
 
-    def initialize(_kind, hash, _opts)
-      debug_utils_init
+    # 初期化
+    def initialize(hash, opts)
+      # debug_utils_init
       # set_debug(true)
-      set_debug(false)
+      set_debug(opts['verbose'])
 
       @flielists = []
       #      yamlfname = "env-a1.yaml"
-      # 設定ファイル
-      yamlfname = 'env-a2.yaml'
+      # YAML形式ファイル config.yml を読み込み、ファイルシステムの判定に用いる
+      d_puts("opts['config']=#{opts['config']}")
+      d_puts('#=====')
+      config_from_file(opts['config'])
+      # d_p(@config)
+      # opts["env"]
       # determine_filesystemメソッドの返値であるハッシュには、
       # ホームディレクトリ(キー:home)、ドライブ(キー:Cや:d)を表す、UNIX式パスまたは
       # WINDOWS式パスが含まれる。
+      # d_p("opts['env']=#{opts['env']}")
+      d_puts(%(opts["env"]=#{opts['env']}))
+      d_puts(%(@config=#{@config}))
+      @dir = determine_filesystem(opts['env'])
       # ホームディレクトリまたはドライブのトップディレクトリの直下に引数で指定した
       # ファイルが存在し、かつ返値に含まれる絶対パスを用いてアクセス可能
-      @dir = determine_filesystem(yamlfname)
-      d_puts "0 @dir=#{@dir}"
       # @dir[:home]は絶対パスなので、@dir[:home]の直下に変数yamlfnameが存在する
-      fname = File.expand_path(File.join(@dir[:home], yamlfname))
-      scope = self
-      value_hash = {}
+
       # 変数fnameは、Eruby形式のファイルのパスを表す
-      # Erbuy形式のファイルをselfのコンテキストで展開されたものをYAML形式とみなして
+      # Erbuy形式のファイルをscope(コンテキスト)で展開されたものをYAML形式とみなして
       # 解釈して、ハッシュに変換する
+      d_p(@dir)
+      d_p(@dir['home'])
+      d_p(opts['env'])
+      d_puts("@dir=#{@dir}")
+      fname = File.expand_path(opts['env'], @dir['home'])
+      d_p("env fname=#{fname}")
+
+      # scope = Object.new
+      scope = self
+      value_hash = {}
+      # @dir.keys.each do |key|
+      @dir.each do |key, value|
+        #        value_hash[key.to_sym] = @dir[key]
+        value_hash[key.to_sym] = value
+      end
+      d_p(value_hash)
       content = Ykutils::Erubyx.erubi_render_with_template_file(fname, scope, value_hash)
       yaml = Ykxutils.yaml_load_compati(content)
-      # x_get_debug = get_debug
-      d_puts "yaml=#{yaml}"
 
       # 指定エンコードディングに基づいてパスを扱うEncxクラスのインスタンス生成
       Encx::Encx.init('UTF-8')
       @encx = Encx::Encx.encx
 
-      # 引数hashとして渡されたハッシュで指定された設定うぃを用いてDB接続
+      # 引数hashとして渡されたハッシュで指定された設定を用いてDB接続
+      # d_puts("# hash=#{hash}")
       db_dir = hash['db_dir']
+      # d_puts("db_dir=#{db_dir}")
       config_dir = hash['config_dir']
       env = hash['env']
       dbconfig = hash['dbconfig']
-      @output_dir = hash['output_dir']
+      # A method of the `FlistMgr` class.
+      # output_dir = hash['output_dir']
       @pstore_dir = hash['pstore_dir']
 
       dbconfig_path = Arxutils_Sqlite3::Util.make_dbconfig_path(config_dir, dbconfig)
@@ -85,7 +109,9 @@ module Flist
 
       # 検索時のトップディレクトリのハッシュ
       # キーは、トップディレクトリをまとめるグループを表す文字列
+      # d_p("yaml=#{yaml}")
       @topdirhs = yaml['flist']['topdirhs']
+      # d_p("@topdirhs=#{@topdirhs}")
       # ログディレクトリへのパス
       @logdir = yaml['flist']['logdir']
 
@@ -97,37 +123,32 @@ module Flist
       regist_dirz
     end
 
-    # ホームディレクトリ、ドライブのトップディレクトリを表すUNIX式のパス、Windows式のパス
-    # を用意し、
+    # Reading a YAML file and storing the contents in the instance variable `@config`.
+    def
+    config_from_file(fname)
+      # d_p("fname=#{fname}")
+      @config = Ykxutils.yaml_load_file_compati(fname)
+      # d_p(@config)
+    end
+
+    # プラットフォームの判別をし、ホームディレクトリ、ドライブのトップディレクトリ
+    # を表す適切なパスを返す
     def determine_filesystem(fname)
-      [
-        {
-          home: '/mnt/z/BACKUP/ykomi-202008/home',
-          c: '/mnt/c',
-          v: '/mnt/v',
-          x: '/mnt/x',
-          z: '/mnt/z'
-        },
-
-        {
-          home: File.expand_path(Dir.home),
-          c: 'C:',
-          v: 'V:',
-          x: 'X:',
-          z: 'Z:'
-        }
-      ].find do |x|
-        path = File.expand_path(File.join(File.expand_path(x[:home]), fname))
-        d_puts("path=#{path}")
+      d_puts("@config=#{@config}")
+      d_puts('#####################')
+      @config.find do |x|
+        path = File.join(x['home'], fname)
+        # d_p("df path=#{path}")
         File.exist?(path)
       end
     end
 
-    def init_skip_dirs(yaml)
+    # スキップディレクトリ情報の初期化
+    def init_skip_dirs(hash)
       # スキップディレクトリを表すハッシュ
       # キーはスキップディレクトリスキップディレクトリのパスの配列
       @skip_dirs = {}
-      skip_dirs_array = yaml['flist']['skip_dirs_array']
+      skip_dirs_array = hash['flist']['skip_dirs_array']
       skip_dirs_array.each do |x|
         x_str = File.expand_path(x)
         re_esc = Regexp.escape(x_str)
@@ -136,6 +157,7 @@ module Flist
       end
     end
 
+    # システムのトップディレクトリ情報の初期化
     def init_topx(yaml)
       # このシステムのトップディレクトリを表すハッシュ
       # キーは番号、値はトップディレクトリのパスの配列
@@ -148,8 +170,8 @@ module Flist
       @topx[:all] = []
 
       @tops.each do |no, path_array|
-        d_puts "no=#{no}"
-        d_puts "path_array=#{path_array}"
+        # d_puts "no=#{no}"
+        # d_puts "path_array=#{path_array}"
         next unless path_array
 
         path_array.each do |path|
@@ -181,36 +203,36 @@ module Flist
 
     # 設定ファイルの["topdirhs"]で定義された全グループで指定された全ディレクトリ登録
     def regist_dirz
-      d_puts('########## regist_dirz S')
-      d_puts("@topdirhs.size=#{@topdirhs.size}")
+      # d_puts('########## regist_dirz S')
+      # d_puts("@topdirhs.size=#{@topdirhs.size}")
       dirz_array = []
       # 検索時のトップディレクトリのハッシュ
       # キーは、トップディレクトリをまとめるグループを表す文字列
-      @topdirhs.each do |group, v|
-        d_puts("regist_dirz group=#{group}")
-        d_puts("regist_dirz v=#{v}")
+      @topdirhs.each do |_group, v|
+        # d_puts("regist_dirz group=#{group}")
+        # d_puts("regist_dirz v=#{v}")
         # キーはグループに対応するディレクトリ
         v.each do |path, v0|
-          d_puts("regist_dirz path=#{path}")
-          d_puts("regist_dirz v0=#{v0}")
-          d_puts("v0.class=#{v0.class}")
+          # d_puts("regist_dirz path=#{path}")
+          # d_puts("regist_dirz v0=#{v0}")
+          # d_puts("v0.class=#{v0.class}")
           # キーはグループのディレクトリの直下に存在するディレクトリ
           # 値はハッシュ { "dir_id" => ディレクトリ番号, "fname" => ファイル名 }
           v0.each do |dir, v1|
-            d_puts "dir=#{dir}"
-            d_puts "v1=#{v1}"
+            # d_puts "dir=#{dir}"
+            # d_puts "v1=#{v1}"
             x_dir = @encx.convert(dir)
-            d_puts "v1['dir_id']=#{v1['dir_id']}"
+            # d_puts "v1['dir_id']=#{v1['dir_id']}"
             x_str = @encx.convert(v1['fname'])
             full_path = File.expand_path(File.join(x_dir, x_str), path)
-            d_puts "regist_dirz path=#{full_path}"
+            # d_puts "regist_dirz path=#{full_path}"
             dirz = dirz_add(full_path) if File.exist?(full_path)
             dirz_array << dirz
-            d_puts '#~~~~~~'
+            # d_puts '#~~~~~~'
           end
         end
       end
-      d_puts('########## regist_dirz E')
+      # d_puts('########## regist_dirz E')
       dirz_array
     end
 
@@ -222,7 +244,7 @@ module Flist
         x_path = @encx.convert(path)
         # キーはグループのディレクトリの直下に存在するディレクトリ
         hash0.each do |dir, hash1|
-          d_puts "hash1=#{hash1}"
+          # d_puts "hash1=#{hash1}"
           fname = hash1['fname']
           x_fname = @encx.convert(fname)
           x_dir = @encx.convert(dir)
@@ -232,9 +254,9 @@ module Flist
           csvx = Csvx.new(csvpath)
 
           dir_id = hash1['dir_id']
-          d_puts "dir_id=#{dir_id}"
-          d_puts x_path
-          d_puts x_dir
+          # d_puts "dir_id=#{dir_id}"
+          # d_puts x_path
+          # d_puts x_dir
           top_path = File.expand_path(File.join(x_path, x_dir))
           if File.exist?(top_path)
             filelist = Filelist.new(@dbmgr, csvx, @encx, @skip_dirs, dir_id, top_path, 0, group.to_sym)
@@ -249,18 +271,32 @@ module Flist
       end
     end
 
+    # repoグループのファイル一覧
     def listup_repo
       listup_x('repo')
     end
 
+    # simpleグループのファイル一覧
     def listup_simple
       listup_x('simple')
     end
 
+    # simple2グループのファイル一覧
+    def listup_simple2
+      listup_x('simple2')
+    end
+
+    # simple3グループのファイル一覧
+    def listup_simple3
+      listup_x('simple3')
+    end
+
+    # ディレクトリIDが1の場合のDBに格納されたファイル情報取得
     def lx
       Flistz.where(dir_id: 1).select(:id)
     end
 
+    # 指定階層数分の指定ディレクトリ以下のサブディレクトリのリストを得る
     def get_directory_list(dir_path, level)
       # 引数ｓ
       ary = []
@@ -277,6 +313,8 @@ module Flist
       ary
     end
 
+    # 設定ファイルでの["flist"]["tops"]に設定されたディレクトリ以下
+    # のディレクトリのリストを得る
     def listx
       # 設定ファイルでの["flist"]["tops"]に対応するハッシュ
       # ここでは、["flist"]["tops"]のキー（番号）を表す
@@ -291,6 +329,7 @@ module Flist
       end.flatten
     end
 
+    # 全体のログファイルとしてCsvxクラスのインスタンス生成
     def make_csvx
       x_fname = 'all.csv'
       x_logdir = @encx.convert(@logdir)
@@ -298,16 +337,17 @@ module Flist
       Csvx.new(csvpath)
     end
 
+    # 設定ファイルの['flist']['tops]に格納されたトップディレクトリ以下の
+    # ディレクトリ、ファイルのリストを得る
     def list_a
-      d_puts '####### list_a'
+      # d_puts '####### list_a'
       list_x = listx
-      d_puts list_x.size
+      # d_puts list_x.size
 
       csvx = make_csvx
       # 設定ファイルの['flist']['tops]に格納されたトップディレクトリ
       # とその直下のサブディレクトリすべてのパス
       list_x.each do |x|
-        # puts "####### list_a 1 x=#{x}|"
         top_path = @encx.convert(x)
         # dirzテーブルへ登録
         dirz = @dbmgr.dirz_add(top_path)
@@ -316,7 +356,7 @@ module Flist
         level = ary.size
 
         filelist = Filelist.new(@dbmgr, csvx, @encx, @skip_dirs, dirz.id, top_path, level)
-        d_puts("list_a level=#{level} top_path=#{top_path}")
+        # d_puts("list_a level=#{level} top_path=#{top_path}")
         filelist.scanx(top_path, level)
       end
       csvx.finish

data/lib/flist/version.rb

@@ -1,5 +1,5 @@
 # frozen_string_literal: true
 
 module Flist
-  VERSION = '0.1.32'
+  VERSION = '0.1.33'
 end

data/lib/flist.rb

@@ -2,6 +2,8 @@
 # frozen_string_literal: true
 
 require 'arxutils_sqlite3'
+require 'ykutils'
+require 'ykxutils'
 
 require_relative 'dbacrecord'
 require_relative 'flist/version'
@@ -11,12 +13,45 @@ require_relative 'flist/dbutil'
 require_relative 'flist/cli'
 require_relative 'flist/csvx'
 
-require_relative 'flist/flist/store'
 require_relative 'flist/flist/filelist'
 
 module Flist
-  OUTPUT_DIR = 'output'
+  # トップディレクトリ
+  TOP_DIR = Pathname(__FILE__).parent
+  # テンプレートディレクトリへのパス
+  TEMPLATE_DIR = TOP_DIR.join('template')
+  # DB構成格納用ディレクトリ名
+  CONFIG_DIR_NAME = 'config'
+  # コンフィグディレクトリへのパス
+  CONFIG_DIR = Pathname.new(CONFIG_DIR_NAME)
+
+  OUTPUT_DIR_NAME = 'output'
+  OUTPUT_DIR = OUTPUT_DIR_NAME
   # PSTORE_DIR = "pstore"
   PSTORE_DIR = 'pstore'
   PSTORE_KEY = :TOP
+  ERB_CONFIG_YAML_FILE = TEMPLATE_DIR.join('config_yml.erb')
+  SAMPLE_CONFIG_YAML_FILE = CONFIG_DIR.join('config_sample.yml')
+  CONFIG_YAML_FILE = CONFIG_DIR.join('config.yml')
+  EXIT_CODE_INVALID_CODE = 10
+  EXIT_CODE_INVALID_DIR = 20
+
+  class Error < StandardError; end
+
+  class InvalidMakeItemArgsError < ArgumentError
+    # def message
+    # end
+  end
+
+  class InvalidSacnxSubArgumentError < ArgumentError
+  end
+
+  class InvalidDirIdError < ArgumentError
+  end
+
+  class InvalidRepoError < ArgumentError
+  end
+
+  class InvalidCommitError < ArgumentError
+  end
 end

data/lib/template/config_yml.erb

@@ -0,0 +1,15 @@
+---
+-
+  home: '<%= File.expand_path(Dir.home) %>'
+  c: '/mnt/c'
+  e: '/mnt/e'
+  v: '/mnt/e/V'
+  x: '/mnt/e/X'
+  z: '/mnt/z'
+-
+  home: '<%= File.expand_path(Dir.home) %>'
+  c: 'C:'
+  e: 'E:'
+  v: 'E:\V'
+  x: 'E:\X'
+  z: 'Z:'

metadata

@@ -1,14 +1,14 @@
 --- !ruby/object:Gem::Specification
 name: flist
 version: !ruby/object:Gem::Version
-  version: 0.1.32
+  version: 0.1.33
 platform: ruby
 authors:
 - yasuo kominami
 autorequire: 
 bindir: exe
 cert_chain: []
-date: 2022-09-28 00:00:00.000000000 Z
+date: 2022-10-01 00:00:00.000000000 Z
 dependencies:
 - !ruby/object:Gem::Dependency
   name: arxutils_sqlite3
@@ -186,6 +186,7 @@ executables:
 extensions: []
 extra_rdoc_files: []
 files:
+- ".github/workflows/main.yml"
 - ".gitignore"
 - ".rspec"
 - ".rubocop.yml"
@@ -198,6 +199,9 @@ files:
 - bin/console
 - bin/setup
 - config/.gitkeep
+- config/config.yml
+- config/config_sample.yml
+- config/config_yml.sample
 - config/db_scheme.yml
 - config/db_scheme.yml.sample
 - config/dbsetup.rb
@@ -207,13 +211,9 @@ files:
 - config/sqlite3.yml
 - config/tmp/db_scheme.yml
 - db/migrate/010_create_countdatetime.rb
-- db/migrate/020_create_dirz.rb
 - db/migrate/020_create_flistz.rb
-- db/migrate/030_create_flistz.rb
 - db/migrate/030_create_invalidflistz.rb
 - db/migrate/040_create_currentflistz.rb
-- db/migrate/040_create_invalidflistz.rb
-- db/migrate/050_create_currentflistz.rb
 - db/migrate/050_create_dirz.rb
 - db/migrate/060_create_invaliddirz.rb
 - db/migrate/070_create_currentdirz.rb
@@ -222,6 +222,7 @@ files:
 - lib/dbacrecord.rb
 - lib/flist.rb
 - lib/flist/cli.rb
+- lib/flist/config.rb
 - lib/flist/csvx.rb
 - lib/flist/dbutil.rb
 - lib/flist/dbutil/dbmgr.rb
@@ -229,8 +230,8 @@ files:
 - lib/flist/dbutil/flistzmgr.rb
 - lib/flist/flist.rb
 - lib/flist/flist/filelist.rb
-- lib/flist/flist/store.rb
 - lib/flist/version.rb
+- lib/template/config_yml.erb
 homepage: ''
 licenses:
 - MIT

data/db/migrate/020_create_dirz.rb

@@ -1,12 +0,0 @@
-class CreateDirz < ActiveRecord::Migration[6.0]
-  def self.up
-    create_table :dirzs do |t|
-      t.column :path, :string, :null => false
-      t.column :start_datetime, :datetime, :null => false
-    end
-  end
-
-  def self.down
-    drop_table :dirzs
-  end
-end

data/db/migrate/030_create_flistz.rb

@@ -1,22 +0,0 @@
-class CreateFlistz < ActiveRecord::Migration[6.0]
-  def self.up
-    create_table :flistzs do |t|
-      t.column :dir_id, :integer, :null => false
-      t.column :level, :integer, :null => false
-      t.column :kind, :string, :null => false
-      t.column :repo, :string, :null => false
-      t.column :path, :string, :null => false
-      t.column :project, :string, :null => false
-      t.column :desc, :string, :null => false
-      t.column :comment, :string, :null => false
-      t.column :atime, :datetime, :null => false
-      t.column :ctime, :datetime, :null => false
-      t.column :mtime, :datetime, :null => false
-      t.column :start_datetime, :datetime, :null => false
-    end
-  end
-
-  def self.down
-    drop_table :flistzs
-  end
-end

data/db/migrate/040_create_invalidflistz.rb

@@ -1,12 +0,0 @@
-class CreateInvalidflistz < ActiveRecord::Migration[6.0]
-  def self.up
-    create_table :invalidflistzs do |t|
-      t.column :org_id, :int, :null => false
-      t.column :count_id, :int, :null => true
-    end
-  end
-
-  def self.down
-    drop_table :invalidflistzs
-  end
-end

data/db/migrate/050_create_currentflistz.rb

@@ -1,15 +0,0 @@
-class CreateCurrentflistz < ActiveRecord::Migration[6.0]
-  def self.up
-    execute <<-SQL
-      CREATE VIEW currentflistzs AS SELECT id as org_id,
-dir_id , level , kind , repo , path , project , desc , comment , atime , ctime , mtime , start_datetime
-      FROM flistzs where not exists (select * from invalidflistzs where invalidflistzs.org_id = flistzs.id )
-    SQL
-  end
-
-  def self.down
-    execute <<-SQL
-      DROP VIEW currentflistzs
-    SQL
-  end
-end

data/lib/flist/flist/store.rb

@@ -1,75 +0,0 @@
-# frozen_string_literal: true
-
-require 'forwardable'
-require 'csv'
-
-require 'arxutils_sqlite3'
-require 'flist/dbutil/dbmgr'
-require 'ykutils/debugutils'
-
-module Flist
-  class Flist
-    class Store
-      extend Forwardable
-
-      include Ykutils::DebugUtils
-
-      # def_delegators( :@dbmgr, :dirz_add )
-
-      def initialize(_kind, hash, _opts)
-        # @dbmgr = Arxutils_Sqlite3::Store.init(kind , hs , opts ){ | register_time |
-        #  Dbutil::DbMgr.new( register_time )
-        # }
-        Dbutil::DbMgr.new(register_time)
-
-        @csv_fname = hash['csv_fname']
-        @csvin_fname = hash['csvin_fname']
-
-        debug_utils_init
-        d_puts("csv_fname=#{@csv_fname}")
-
-        if @csv_fname
-          @csv = CSV.open(@csv_fname, 'w',
-                          { encoding: 'UTF-8',
-                            headers: @headers_s,
-                            force_quotes: true,
-                            write_headers: true })
-        end
-
-        if @csvin_fname
-          @csvin = CSV.open(@csvin_fname, 'r',
-                            { encoding: 'UTF-8',
-                              headers: @headers_s })
-        end
-
-        d_puts "default_external=#{Encoding.default_external}"
-        Encoding.default_external = Encoding::UTF_8
-        d_puts "default_external=#{Encoding.default_external}"
-        d_puts "default_internal=#{Encoding.default_internal}"
-        Encoding.default_internal = Encoding::UTF_8
-        d_puts "default_internal=#{Encoding.default_internal}"
-      end
-
-      def finish
-        @csv&.close
-        @csv_in&.close
-      end
-
-      def post_process
-        @dbmgr&.flistz_post_process(@dir_id)
-      end
-
-      def output(items, dir_id)
-        d_puts 'In output'
-
-        items.each do |_k, v|
-          d_puts "v.path.encoding=#{v.path.encoding}"
-
-          @csv << [v.level, v.kind, v.repo, v.path, v.project, v.comment, v.atime, v.ctime, v.mtime] if @csv
-          @dbmgr&.flistz_add(dir_id, v.level, v.kind, v.repo, v.path, v.project, '', v.comment, v.atime, v.ctime,
-                             v.mtime)
-        end
-      end
-    end
-  end
-end