flist 0.1.30 → 0.1.33

data/lib/flist/flist.rb

@@ -1,12 +1,17 @@
-# -*- coding: utf-8 -*-
+# frozen_string_literal: true
 
-require 'flist/flist/filelist'
+require 'forwardable'
 require 'encx'
-require 'ykutils/debugutils'
+# require "ykutils/debugutils"
+require 'ykutils/erubyx'
+require 'ykxutils/yamlx'
 
-require 'date'
+require_relative 'flist/filelist'
 
+require 'date'
+require 'yaml'
 module Flist
+  # ファイル一覧クラス
   class Flist
     attr_accessor :encx
 
@@ -14,56 +19,103 @@ module Flist
 
     include Ykutils::DebugUtils
 
-    def_delegators( :@store, :dirz_add )
-    def_delegators( :@store, :output )
+    def_delegators(:@dbmgr, :dirz_add)
+    def_delegators(:@dbmgr, :output)
+    def_delegators(:@dbmgr, :dirz_post_process)
+    def_delegators(:@dbmgr, :flistz_post_process)
+    def_delegators(:@dbmgr, :post_process)
 
-    def determine_filesystem(fname)
-      [
-       {
-         :home => "/home",
-         :c => "/c",
-         :v => "/v",
-       },
-       
-       {
-         :home => File.expand_path(ENV['HOME']),
-         :c => "C:",
-         :v => "V:",
-       },
-      ].find{|x|
-        File.exist?( File.expand_path( File.join( File.expand_path(x[:home]) , fname ) ) )
-      }
-      
-    end
-    
-    def initialize( kind, hs )
-      @topx_keys = [:kind, :level, :all]
-      opts={}
-      argv=[]
-      debug = false
-
-      yamlfname = "env-a.yaml"
-      @dir = determine_filesystem( yamlfname )
-      fname = File.expand_path( File.join( @dir[:home] , yamlfname ) )
-      contents = File.open( fname ).read
-      erb = ERB.new(contents)
-      yaml = YAML.load( erb.result(binding) )
+    # ファイル情報アイテムクラス（ディレクトリハス、またはファイルパスを表すStructクラスのサブクラス）
+    @item_class = Struct.new(:level, :kind, :re, :path)
+
+    # ファイル情報アイテムクラスのインスタンス生成
+    def self.make_instance_of_item_class(level, key, regexp, path)
+      @item_class.new(level, key, regexp, path)
+    end
+
+    # 初期化
+    def initialize(hash, opts)
+      # debug_utils_init
+      # set_debug(true)
+      set_debug(opts['verbose'])
+
+      @flielists = []
+      #      yamlfname = "env-a1.yaml"
+      # YAML形式ファイル config.yml を読み込み、ファイルシステムの判定に用いる
+      d_puts("opts['config']=#{opts['config']}")
+      d_puts('#=====')
+      config_from_file(opts['config'])
+      # d_p(@config)
+      # opts["env"]
+      # determine_filesystemメソッドの返値であるハッシュには、
+      # ホームディレクトリ(キー:home)、ドライブ(キー:Cや:d)を表す、UNIX式パスまたは
+      # WINDOWS式パスが含まれる。
+      # d_p("opts['env']=#{opts['env']}")
+      d_puts(%(opts["env"]=#{opts['env']}))
+      d_puts(%(@config=#{@config}))
+      @dir = determine_filesystem(opts['env'])
+      # ホームディレクトリまたはドライブのトップディレクトリの直下に引数で指定した
+      # ファイルが存在し、かつ返値に含まれる絶対パスを用いてアクセス可能
+      # @dir[:home]は絶対パスなので、@dir[:home]の直下に変数yamlfnameが存在する
+
+      # 変数fnameは、Eruby形式のファイルのパスを表す
+      # Erbuy形式のファイルをscope(コンテキスト)で展開されたものをYAML形式とみなして
+      # 解釈して、ハッシュに変換する
+      d_p(@dir)
+      d_p(@dir['home'])
+      d_p(opts['env'])
+      d_puts("@dir=#{@dir}")
+      fname = File.expand_path(opts['env'], @dir['home'])
+      d_p("env fname=#{fname}")
+
+      # scope = Object.new
+      scope = self
+      value_hash = {}
+      # @dir.keys.each do |key|
+      @dir.each do |key, value|
+        #        value_hash[key.to_sym] = @dir[key]
+        value_hash[key.to_sym] = value
+      end
+      d_p(value_hash)
+      content = Ykutils::Erubyx.erubi_render_with_template_file(fname, scope, value_hash)
+      yaml = Ykxutils.yaml_load_compati(content)
 
+      # 指定エンコードディングに基づいてパスを扱うEncxクラスのインスタンス生成
       Encx::Encx.init('UTF-8')
       @encx = Encx::Encx.encx
-      
-      @store = Store.new( kind, hs  )
 
-      @topdirhs = yaml["flist"]["topdirhs"]
-      @logdir = yaml["flist"]["logdir"]
+      # 引数hashとして渡されたハッシュで指定された設定を用いてDB接続
+      # d_puts("# hash=#{hash}")
+      db_dir = hash['db_dir']
+      # d_puts("db_dir=#{db_dir}")
+      config_dir = hash['config_dir']
+      env = hash['env']
+      dbconfig = hash['dbconfig']
+      # A method of the `FlistMgr` class.
+      # output_dir = hash['output_dir']
+      @pstore_dir = hash['pstore_dir']
 
-      @tops = yaml["flist"]["tops"]
-      @topx = {}
-      @topx[:all] = []
-      @topx_keys.map do |x|  @topx[x] ||= {} end
+      dbconfig_path = Arxutils_Sqlite3::Util.make_dbconfig_path(config_dir, dbconfig)
+      log_path = Arxutils_Sqlite3::Util.make_log_path(db_dir, dbconfig)
+      dbconnect = Arxutils_Sqlite3::Dbutil::Dbconnect.new(
+        dbconfig_path,
+        env,
+        log_path
+      )
+      # DB接続
+      register_time = dbconnect.connect
+      # 接続したDBに対し、ActiveRecordのサブクラスを介してアクセスするFlistMgr
+      @dbmgr = Dbutil::DbMgr.new(register_time)
 
-      @@item_class ||= Struct.new("Item" , :level , :kind, :re , :path )
+      # 検索時のトップディレクトリのハッシュ
+      # キーは、トップディレクトリをまとめるグループを表す文字列
+      # d_p("yaml=#{yaml}")
+      @topdirhs = yaml['flist']['topdirhs']
+      # d_p("@topdirhs=#{@topdirhs}")
+      # ログディレクトリへのパス
+      @logdir = yaml['flist']['logdir']
 
+      # システムのトップディレクトリの設定
       init_topx(yaml)
 
       init_skip_dirs(yaml)
@@ -71,115 +123,244 @@ module Flist
       regist_dirz
     end
 
-    def init_skip_dirs(yaml)
+    # Reading a YAML file and storing the contents in the instance variable `@config`.
+    def
+    config_from_file(fname)
+      # d_p("fname=#{fname}")
+      @config = Ykxutils.yaml_load_file_compati(fname)
+      # d_p(@config)
+    end
+
+    # プラットフォームの判別をし、ホームディレクトリ、ドライブのトップディレクトリ
+    # を表す適切なパスを返す
+    def determine_filesystem(fname)
+      d_puts("@config=#{@config}")
+      d_puts('#####################')
+      @config.find do |x|
+        path = File.join(x['home'], fname)
+        # d_p("df path=#{path}")
+        File.exist?(path)
+      end
+    end
+
+    # スキップディレクトリ情報の初期化
+    def init_skip_dirs(hash)
+      # スキップディレクトリを表すハッシュ
+      # キーはスキップディレクトリスキップディレクトリのパスの配列
       @skip_dirs = {}
-      skip_dirs_array = yaml["flist"]["skip_dirs_array"]
+      skip_dirs_array = hash['flist']['skip_dirs_array']
       skip_dirs_array.each do |x|
         x_str = File.expand_path(x)
         re_esc = Regexp.escape(x_str)
-        @skip_dirs[x] = @encx.make_regexp( "^#{re_esc}" )
+        # スキップディレクトリ判定用正規表現配列に追加
+        @skip_dirs[x] = @encx.make_regexp("^#{re_esc}")
       end
     end
 
-    def init_topx( yaml )
-      @tops = yaml["flist"]["tops"]
-      @tops.each do |k,v|
-        v.each do |path|
+    # システムのトップディレクトリ情報の初期化
+    def init_topx(yaml)
+      # このシステムのトップディレクトリを表すハッシュ
+      # キーは番号、値はトップディレクトリのパスの配列
+      @tops = yaml['flist']['tops']
+      # yaml['flist']['tops']の内容を用途別に設定し直したハッシュ
+      @topx = {}
+      @topx_keys = %i[kind level all]
+      @topx_keys.map { |x| @topx[x] ||= {} }
+      # :allの場合は{}ではなく[]にする
+      @topx[:all] = []
+
+      @tops.each do |no, path_array|
+        # d_puts "no=#{no}"
+        # d_puts "path_array=#{path_array}"
+        next unless path_array
+
+        path_array.each do |path|
           ary = path.split('/')
-          if ary[0] == ""
-            ary.shift
-          end
+          # 絶対パスは先頭が"/"で始まるため、配列の先頭が空文字列の場合は捨てて、ディレクトリ名、ファイル名のみを含むようにする
+          ary.shift if ary[0] == ''
+          # 絶対パスの階層の深さ
           level = ary.size
-          re = @encx.make_regexp( "^#{path}" )
-          itemx = @@item_class.new( level , k , re , path )
-          @topx[:kind][k] ||= []
-          @topx[:kind][k] << itemx
+          # サブディレクトリであるかの判定に用いる
+          re = @encx.make_regexp("^#{path}")
+          # 検索時のトップディレクトリを表す
+          itemx = self.class.make_instance_of_item_class(level, no, re, path)
+          # 設定ファイルでの["flist"]["tops"]に対応するハッシュ
+          # ここでは、["flist"]["tops"]のキー（番号）を表す
+          # :kindは、次のキー(番号)に対応する絶対パスの配列を持つ
+          @topx[:kind][no] ||= []
+          @topx[:kind][no] << itemx
+          # :levelは、次のキー(れ部ス数)に対応する絶対パスの配列を持つ
           @topx[:level][level] ||= []
           @topx[:level][level] << itemx
+          # :allは、設定ファイルでの["flist"]["tops"]に対応するハッシ
+          # に含まれる全ての絶対パスについて、それらに対応するStruct
+          # クラスのサブクラスのインスタンスを含む
           @topx[:all] ||= []
           @topx[:all] << itemx
         end
       end
     end
 
+    # 設定ファイルの["topdirhs"]で定義された全グループで指定された全ディレクトリ登録
     def regist_dirz
-      @topdirhs.each do |k,v|
-        v.each do |k0,v0|
-          v0.each do |k1,v1|
-            dir = File.expand_path( @encx.convert(k1) )
+      # d_puts('########## regist_dirz S')
+      # d_puts("@topdirhs.size=#{@topdirhs.size}")
+      dirz_array = []
+      # 検索時のトップディレクトリのハッシュ
+      # キーは、トップディレクトリをまとめるグループを表す文字列
+      @topdirhs.each do |_group, v|
+        # d_puts("regist_dirz group=#{group}")
+        # d_puts("regist_dirz v=#{v}")
+        # キーはグループに対応するディレクトリ
+        v.each do |path, v0|
+          # d_puts("regist_dirz path=#{path}")
+          # d_puts("regist_dirz v0=#{v0}")
+          # d_puts("v0.class=#{v0.class}")
+          # キーはグループのディレクトリの直下に存在するディレクトリ
+          # 値はハッシュ { "dir_id" => ディレクトリ番号, "fname" => ファイル名 }
+          v0.each do |dir, v1|
+            # d_puts "dir=#{dir}"
+            # d_puts "v1=#{v1}"
+            x_dir = @encx.convert(dir)
+            # d_puts "v1['dir_id']=#{v1['dir_id']}"
             x_str = @encx.convert(v1['fname'])
-            path = File.expand_path( File.join( dir , x_str ) )
-            dir_id = v1["dir_id"]
-            dirz = dirz_add( path )
+            full_path = File.expand_path(File.join(x_dir, x_str), path)
+            # d_puts "regist_dirz path=#{full_path}"
+            dirz = dirz_add(full_path) if File.exist?(full_path)
+            dirz_array << dirz
+            # d_puts '#~~~~~~'
           end
         end
       end
+      # d_puts('########## regist_dirz E')
+      dirz_array
     end
 
-    def listup_x( name )
-      @topdirhs[name].each do |k0,v0|
-        k0_str = @encx.convert(k0)
-        v0.each do |k,v|
-          k_str = @encx.convert(k)
-          fname = v["fname"]
-          dir = @encx.convert(@logdir)
-          x_str = @encx.convert(fname)
-          csvpath = File.expand_path( File.join( dir , x_str ) )
-          dir_id = v["dir_id"]
-          top_path = File.expand_path( File.join( k0_str , k_str ) )
-          flist = Filelist.new( @encx, @skip_dirs, dir_id, top_path , 0 , name.to_sym  )
-          flist.scan
-          flist.output
+    # 設定ファイルの["topdirhs"]で定義されたグループのうち、引数groupで指定されたグループに含まれる全ディレクトリ登録
+    def listup_x(group)
+      # キーはグループのディレクトリの直下に存在するディレクトリ
+      # 値はハッシュ { "dir_id" => ディレクトリ番号, "fname" => ファイル名 }
+      @topdirhs[group].each do |path, hash0|
+        x_path = @encx.convert(path)
+        # キーはグループのディレクトリの直下に存在するディレクトリ
+        hash0.each do |dir, hash1|
+          # d_puts "hash1=#{hash1}"
+          fname = hash1['fname']
+          x_fname = @encx.convert(fname)
+          x_dir = @encx.convert(dir)
+          x_logdir = @encx.convert(@logdir)
+
+          csvpath = File.expand_path(File.join(x_logdir, x_fname))
+          csvx = Csvx.new(csvpath)
+
+          dir_id = hash1['dir_id']
+          # d_puts "dir_id=#{dir_id}"
+          # d_puts x_path
+          # d_puts x_dir
+          top_path = File.expand_path(File.join(x_path, x_dir))
+          if File.exist?(top_path)
+            filelist = Filelist.new(@dbmgr, csvx, @encx, @skip_dirs, dir_id, top_path, 0, group.to_sym)
+            filelist.scan
+            filelist.output
+            @flielists << filelist
+          else
+            puts "Can't find #{top_path}"
+          end
+          csvx.finish
         end
       end
     end
 
+    # repoグループのファイル一覧
     def listup_repo
-      listup_x( "repo" )
+      listup_x('repo')
     end
 
+    # simpleグループのファイル一覧
     def listup_simple
-      listup_x( "simple" )
+      listup_x('simple')
+    end
+
+    # simple2グループのファイル一覧
+    def listup_simple2
+      listup_x('simple2')
+    end
+
+    # simple3グループのファイル一覧
+    def listup_simple3
+      listup_x('simple3')
     end
 
+    # ディレクトリIDが1の場合のDBに格納されたファイル情報取得
     def lx
-      Flistz.where( dir_id: 1 ).select(:id)
+      Flistz.where(dir_id: 1).select(:id)
     end
 
+    # 指定階層数分の指定ディレクトリ以下のサブディレクトリのリストを得る
     def get_directory_list(dir_path, level)
+      # 引数ｓ
       ary = []
-      Dir.chdir(dir_path)
-      if level > 0
-        level -= 1
-        Dir.glob("*").each do |pa|
-          ary += get_directory_list(pa , level) if File.directory?(pa)
+      Dir.chdir(dir_path) do
+        if level.positive?
+          level -= 1
+          Dir.glob('*').each do |pa|
+            ary += get_directory_list(pa, level) if File.directory?(pa)
+          end
+        else
+          ary << Dir.pwd
         end
-      else
-        ary << Dir.pwd
       end
-      Dir.chdir("..")
       ary
     end
 
-    def listx()
-      @topx[:kind].map do |x|
-        x[1].map do |item|
-          get_directory_list( item.path , x[0] )
+    # 設定ファイルでの["flist"]["tops"]に設定されたディレクトリ以下
+    # のディレクトリのリストを得る
+    def listx
+      # 設定ファイルでの["flist"]["tops"]に対応するハッシュ
+      # ここでは、["flist"]["tops"]のキー（番号）を表す
+      # :kindは、次のキー(番号)に対応する絶対パスの配列を持つ
+
+      # @topx[:kind]に含まれるディレクトリの直下のサブディレクトリを一つの配列として返す
+      level = 1
+      @topx[:kind].map do |_no, path_array|
+        path_array.map do |item|
+          get_directory_list(item.path, level)
         end
       end.flatten
     end
 
+    # 全体のログファイルとしてCsvxクラスのインスタンス生成
+    def make_csvx
+      x_fname = 'all.csv'
+      x_logdir = @encx.convert(@logdir)
+      csvpath = File.expand_path(File.join(x_logdir, x_fname))
+      Csvx.new(csvpath)
+    end
+
+    # 設定ファイルの['flist']['tops]に格納されたトップディレクトリ以下の
+    # ディレクトリ、ファイルのリストを得る
     def list_a
-      listx.each do |x|
+      # d_puts '####### list_a'
+      list_x = listx
+      # d_puts list_x.size
+
+      csvx = make_csvx
+      # 設定ファイルの['flist']['tops]に格納されたトップディレクトリ
+      # とその直下のサブディレクトリすべてのパス
+      list_x.each do |x|
         top_path = @encx.convert(x)
-#        top_path = x
-        dirz = @store.dirz_add( top_path )
+        # dirzテーブルへ登録
+        dirz = @dbmgr.dirz_add(top_path)
         ary = top_path.split('/')
         ary.shift
         level = ary.size
-        flist = Filelist.new( @encx, @skip_dirs, @store , dirz.id, top_path , level )
-        flist.scanx( top_path , level )
+
+        filelist = Filelist.new(@dbmgr, csvx, @encx, @skip_dirs, dirz.id, top_path, level)
+        # d_puts("list_a level=#{level} top_path=#{top_path}")
+        filelist.scanx(top_path, level)
       end
+      csvx.finish
+      nil
     end
   end
 end

data/lib/flist/version.rb

@@ -1,3 +1,5 @@
+# frozen_string_literal: true
+
 module Flist
-  VERSION = "0.1.30"
+  VERSION = '0.1.33'
 end

data/lib/flist.rb

@@ -1,11 +1,57 @@
 #! -*- encoding : UTF-8 -*-
+# frozen_string_literal: true
 
-require "flist/version"
+require 'arxutils_sqlite3'
+require 'ykutils'
+require 'ykxutils'
 
-require 'flist/flist'
-require 'flist/flist/store'
-require 'flist/flist/filelist'
-require 'flist/dbutil'
+require_relative 'dbacrecord'
+require_relative 'flist/version'
+
+require_relative 'flist/flist'
+require_relative 'flist/dbutil'
+require_relative 'flist/cli'
+require_relative 'flist/csvx'
+
+require_relative 'flist/flist/filelist'
 
 module Flist
+  # トップディレクトリ
+  TOP_DIR = Pathname(__FILE__).parent
+  # テンプレートディレクトリへのパス
+  TEMPLATE_DIR = TOP_DIR.join('template')
+  # DB構成格納用ディレクトリ名
+  CONFIG_DIR_NAME = 'config'
+  # コンフィグディレクトリへのパス
+  CONFIG_DIR = Pathname.new(CONFIG_DIR_NAME)
+
+  OUTPUT_DIR_NAME = 'output'
+  OUTPUT_DIR = OUTPUT_DIR_NAME
+  # PSTORE_DIR = "pstore"
+  PSTORE_DIR = 'pstore'
+  PSTORE_KEY = :TOP
+  ERB_CONFIG_YAML_FILE = TEMPLATE_DIR.join('config_yml.erb')
+  SAMPLE_CONFIG_YAML_FILE = CONFIG_DIR.join('config_sample.yml')
+  CONFIG_YAML_FILE = CONFIG_DIR.join('config.yml')
+  EXIT_CODE_INVALID_CODE = 10
+  EXIT_CODE_INVALID_DIR = 20
+
+  class Error < StandardError; end
+
+  class InvalidMakeItemArgsError < ArgumentError
+    # def message
+    # end
+  end
+
+  class InvalidSacnxSubArgumentError < ArgumentError
+  end
+
+  class InvalidDirIdError < ArgumentError
+  end
+
+  class InvalidRepoError < ArgumentError
+  end
+
+  class InvalidCommitError < ArgumentError
+  end
 end

data/lib/template/config_yml.erb

@@ -0,0 +1,15 @@
+---
+-
+  home: '<%= File.expand_path(Dir.home) %>'
+  c: '/mnt/c'
+  e: '/mnt/e'
+  v: '/mnt/e/V'
+  x: '/mnt/e/X'
+  z: '/mnt/z'
+-
+  home: '<%= File.expand_path(Dir.home) %>'
+  c: 'C:'
+  e: 'E:'
+  v: 'E:\V'
+  x: 'E:\X'
+  z: 'Z:'