flist 0.1.30 → 0.1.32

data/lib/flist/flist.rb

@@ -1,8 +1,13 @@
-# -*- coding: utf-8 -*-
+# frozen_string_literal: true
 
-require 'flist/flist/filelist'
+require 'forwardable'
 require 'encx'
-require 'ykutils/debugutils'
+# require "ykutils/debugutils"
+require 'ykutils/erubyx'
+require 'ykxutils/yamlx'
+
+require_relative 'flist/filelist'
+require_relative 'flist/store'
 
 require 'date'
 
@@ -14,56 +19,77 @@ module Flist
 
     include Ykutils::DebugUtils
 
-    def_delegators( :@store, :dirz_add )
-    def_delegators( :@store, :output )
+    def_delegators(:@dbmgr, :dirz_add)
+    def_delegators(:@dbmgr, :output)
+    def_delegators(:@dbmgr, :post_process)
+    def_delegators(:@dbmgr, :post_process)
 
-    def determine_filesystem(fname)
-      [
-       {
-         :home => "/home",
-         :c => "/c",
-         :v => "/v",
-       },
-       
-       {
-         :home => File.expand_path(ENV['HOME']),
-         :c => "C:",
-         :v => "V:",
-       },
-      ].find{|x|
-        File.exist?( File.expand_path( File.join( File.expand_path(x[:home]) , fname ) ) )
-      }
-      
+    # ディレクトリハス、またはファイルパスを表すStructクラスのサブクラス
+    @item_class = Struct.new(:level, :kind, :re, :path)
+
+    def self.make_instance_of_item_class(level, key, regexp, path)
+      @item_class.new(level, key, regexp, path)
     end
-    
-    def initialize( kind, hs )
-      @topx_keys = [:kind, :level, :all]
-      opts={}
-      argv=[]
-      debug = false
-
-      yamlfname = "env-a.yaml"
-      @dir = determine_filesystem( yamlfname )
-      fname = File.expand_path( File.join( @dir[:home] , yamlfname ) )
-      contents = File.open( fname ).read
-      erb = ERB.new(contents)
-      yaml = YAML.load( erb.result(binding) )
 
+    def initialize(_kind, hash, _opts)
+      debug_utils_init
+      # set_debug(true)
+      set_debug(false)
+
+      @flielists = []
+      #      yamlfname = "env-a1.yaml"
+      # 設定ファイル
+      yamlfname = 'env-a2.yaml'
+      # determine_filesystemメソッドの返値であるハッシュには、
+      # ホームディレクトリ(キー:home)、ドライブ(キー:Cや:d)を表す、UNIX式パスまたは
+      # WINDOWS式パスが含まれる。
+      # ホームディレクトリまたはドライブのトップディレクトリの直下に引数で指定した
+      # ファイルが存在し、かつ返値に含まれる絶対パスを用いてアクセス可能
+      @dir = determine_filesystem(yamlfname)
+      d_puts "0 @dir=#{@dir}"
+      # @dir[:home]は絶対パスなので、@dir[:home]の直下に変数yamlfnameが存在する
+      fname = File.expand_path(File.join(@dir[:home], yamlfname))
+      scope = self
+      value_hash = {}
+      # 変数fnameは、Eruby形式のファイルのパスを表す
+      # Erbuy形式のファイルをselfのコンテキストで展開されたものをYAML形式とみなして
+      # 解釈して、ハッシュに変換する
+      content = Ykutils::Erubyx.erubi_render_with_template_file(fname, scope, value_hash)
+      yaml = Ykxutils.yaml_load_compati(content)
+      # x_get_debug = get_debug
+      d_puts "yaml=#{yaml}"
+
+      # 指定エンコードディングに基づいてパスを扱うEncxクラスのインスタンス生成
       Encx::Encx.init('UTF-8')
       @encx = Encx::Encx.encx
-      
-      @store = Store.new( kind, hs  )
 
-      @topdirhs = yaml["flist"]["topdirhs"]
-      @logdir = yaml["flist"]["logdir"]
+      # 引数hashとして渡されたハッシュで指定された設定うぃを用いてDB接続
+      db_dir = hash['db_dir']
+      config_dir = hash['config_dir']
+      env = hash['env']
+      dbconfig = hash['dbconfig']
+      @output_dir = hash['output_dir']
+      @pstore_dir = hash['pstore_dir']
 
-      @tops = yaml["flist"]["tops"]
-      @topx = {}
-      @topx[:all] = []
-      @topx_keys.map do |x|  @topx[x] ||= {} end
+      dbconfig_path = Arxutils_Sqlite3::Util.make_dbconfig_path(config_dir, dbconfig)
+      log_path = Arxutils_Sqlite3::Util.make_log_path(db_dir, dbconfig)
+      dbconnect = Arxutils_Sqlite3::Dbutil::Dbconnect.new(
+        dbconfig_path,
+        env,
+        log_path
+      )
+      # DB接続
+      register_time = dbconnect.connect
+      # 接続したDBに対し、ActiveRecordのサブクラスを介してアクセスするFlistMgr
+      @dbmgr = Dbutil::DbMgr.new(register_time)
 
-      @@item_class ||= Struct.new("Item" , :level , :kind, :re , :path )
+      # 検索時のトップディレクトリのハッシュ
+      # キーは、トップディレクトリをまとめるグループを表す文字列
+      @topdirhs = yaml['flist']['topdirhs']
+      # ログディレクトリへのパス
+      @logdir = yaml['flist']['logdir']
 
+      # システムのトップディレクトリの設定
       init_topx(yaml)
 
       init_skip_dirs(yaml)
@@ -71,115 +97,230 @@ module Flist
       regist_dirz
     end
 
+    # ホームディレクトリ、ドライブのトップディレクトリを表すUNIX式のパス、Windows式のパス
+    # を用意し、
+    def determine_filesystem(fname)
+      [
+        {
+          home: '/mnt/z/BACKUP/ykomi-202008/home',
+          c: '/mnt/c',
+          v: '/mnt/v',
+          x: '/mnt/x',
+          z: '/mnt/z'
+        },
+
+        {
+          home: File.expand_path(Dir.home),
+          c: 'C:',
+          v: 'V:',
+          x: 'X:',
+          z: 'Z:'
+        }
+      ].find do |x|
+        path = File.expand_path(File.join(File.expand_path(x[:home]), fname))
+        d_puts("path=#{path}")
+        File.exist?(path)
+      end
+    end
+
     def init_skip_dirs(yaml)
+      # スキップディレクトリを表すハッシュ
+      # キーはスキップディレクトリスキップディレクトリのパスの配列
       @skip_dirs = {}
-      skip_dirs_array = yaml["flist"]["skip_dirs_array"]
+      skip_dirs_array = yaml['flist']['skip_dirs_array']
       skip_dirs_array.each do |x|
         x_str = File.expand_path(x)
         re_esc = Regexp.escape(x_str)
-        @skip_dirs[x] = @encx.make_regexp( "^#{re_esc}" )
+        # スキップディレクトリ判定用正規表現配列に追加
+        @skip_dirs[x] = @encx.make_regexp("^#{re_esc}")
       end
     end
 
-    def init_topx( yaml )
-      @tops = yaml["flist"]["tops"]
-      @tops.each do |k,v|
-        v.each do |path|
+    def init_topx(yaml)
+      # このシステムのトップディレクトリを表すハッシュ
+      # キーは番号、値はトップディレクトリのパスの配列
+      @tops = yaml['flist']['tops']
+      # yaml['flist']['tops']の内容を用途別に設定し直したハッシュ
+      @topx = {}
+      @topx_keys = %i[kind level all]
+      @topx_keys.map { |x| @topx[x] ||= {} }
+      # :allの場合は{}ではなく[]にする
+      @topx[:all] = []
+
+      @tops.each do |no, path_array|
+        d_puts "no=#{no}"
+        d_puts "path_array=#{path_array}"
+        next unless path_array
+
+        path_array.each do |path|
           ary = path.split('/')
-          if ary[0] == ""
-            ary.shift
-          end
+          # 絶対パスは先頭が"/"で始まるため、配列の先頭が空文字列の場合は捨てて、ディレクトリ名、ファイル名のみを含むようにする
+          ary.shift if ary[0] == ''
+          # 絶対パスの階層の深さ
           level = ary.size
-          re = @encx.make_regexp( "^#{path}" )
-          itemx = @@item_class.new( level , k , re , path )
-          @topx[:kind][k] ||= []
-          @topx[:kind][k] << itemx
+          # サブディレクトリであるかの判定に用いる
+          re = @encx.make_regexp("^#{path}")
+          # 検索時のトップディレクトリを表す
+          itemx = self.class.make_instance_of_item_class(level, no, re, path)
+          # 設定ファイルでの["flist"]["tops"]に対応するハッシュ
+          # ここでは、["flist"]["tops"]のキー（番号）を表す
+          # :kindは、次のキー(番号)に対応する絶対パスの配列を持つ
+          @topx[:kind][no] ||= []
+          @topx[:kind][no] << itemx
+          # :levelは、次のキー(れ部ス数)に対応する絶対パスの配列を持つ
           @topx[:level][level] ||= []
           @topx[:level][level] << itemx
+          # :allは、設定ファイルでの["flist"]["tops"]に対応するハッシ
+          # に含まれる全ての絶対パスについて、それらに対応するStruct
+          # クラスのサブクラスのインスタンスを含む
           @topx[:all] ||= []
           @topx[:all] << itemx
         end
       end
     end
 
+    # 設定ファイルの["topdirhs"]で定義された全グループで指定された全ディレクトリ登録
     def regist_dirz
-      @topdirhs.each do |k,v|
-        v.each do |k0,v0|
-          v0.each do |k1,v1|
-            dir = File.expand_path( @encx.convert(k1) )
+      d_puts('########## regist_dirz S')
+      d_puts("@topdirhs.size=#{@topdirhs.size}")
+      dirz_array = []
+      # 検索時のトップディレクトリのハッシュ
+      # キーは、トップディレクトリをまとめるグループを表す文字列
+      @topdirhs.each do |group, v|
+        d_puts("regist_dirz group=#{group}")
+        d_puts("regist_dirz v=#{v}")
+        # キーはグループに対応するディレクトリ
+        v.each do |path, v0|
+          d_puts("regist_dirz path=#{path}")
+          d_puts("regist_dirz v0=#{v0}")
+          d_puts("v0.class=#{v0.class}")
+          # キーはグループのディレクトリの直下に存在するディレクトリ
+          # 値はハッシュ { "dir_id" => ディレクトリ番号, "fname" => ファイル名 }
+          v0.each do |dir, v1|
+            d_puts "dir=#{dir}"
+            d_puts "v1=#{v1}"
+            x_dir = @encx.convert(dir)
+            d_puts "v1['dir_id']=#{v1['dir_id']}"
             x_str = @encx.convert(v1['fname'])
-            path = File.expand_path( File.join( dir , x_str ) )
-            dir_id = v1["dir_id"]
-            dirz = dirz_add( path )
+            full_path = File.expand_path(File.join(x_dir, x_str), path)
+            d_puts "regist_dirz path=#{full_path}"
+            dirz = dirz_add(full_path) if File.exist?(full_path)
+            dirz_array << dirz
+            d_puts '#~~~~~~'
           end
         end
       end
+      d_puts('########## regist_dirz E')
+      dirz_array
     end
 
-    def listup_x( name )
-      @topdirhs[name].each do |k0,v0|
-        k0_str = @encx.convert(k0)
-        v0.each do |k,v|
-          k_str = @encx.convert(k)
-          fname = v["fname"]
-          dir = @encx.convert(@logdir)
-          x_str = @encx.convert(fname)
-          csvpath = File.expand_path( File.join( dir , x_str ) )
-          dir_id = v["dir_id"]
-          top_path = File.expand_path( File.join( k0_str , k_str ) )
-          flist = Filelist.new( @encx, @skip_dirs, dir_id, top_path , 0 , name.to_sym  )
-          flist.scan
-          flist.output
+    # 設定ファイルの["topdirhs"]で定義されたグループのうち、引数groupで指定されたグループに含まれる全ディレクトリ登録
+    def listup_x(group)
+      # キーはグループのディレクトリの直下に存在するディレクトリ
+      # 値はハッシュ { "dir_id" => ディレクトリ番号, "fname" => ファイル名 }
+      @topdirhs[group].each do |path, hash0|
+        x_path = @encx.convert(path)
+        # キーはグループのディレクトリの直下に存在するディレクトリ
+        hash0.each do |dir, hash1|
+          d_puts "hash1=#{hash1}"
+          fname = hash1['fname']
+          x_fname = @encx.convert(fname)
+          x_dir = @encx.convert(dir)
+          x_logdir = @encx.convert(@logdir)
+
+          csvpath = File.expand_path(File.join(x_logdir, x_fname))
+          csvx = Csvx.new(csvpath)
+
+          dir_id = hash1['dir_id']
+          d_puts "dir_id=#{dir_id}"
+          d_puts x_path
+          d_puts x_dir
+          top_path = File.expand_path(File.join(x_path, x_dir))
+          if File.exist?(top_path)
+            filelist = Filelist.new(@dbmgr, csvx, @encx, @skip_dirs, dir_id, top_path, 0, group.to_sym)
+            filelist.scan
+            filelist.output
+            @flielists << filelist
+          else
+            puts "Can't find #{top_path}"
+          end
+          csvx.finish
         end
       end
     end
 
     def listup_repo
-      listup_x( "repo" )
+      listup_x('repo')
     end
 
     def listup_simple
-      listup_x( "simple" )
+      listup_x('simple')
     end
 
     def lx
-      Flistz.where( dir_id: 1 ).select(:id)
+      Flistz.where(dir_id: 1).select(:id)
     end
 
     def get_directory_list(dir_path, level)
+      # 引数ｓ
       ary = []
-      Dir.chdir(dir_path)
-      if level > 0
-        level -= 1
-        Dir.glob("*").each do |pa|
-          ary += get_directory_list(pa , level) if File.directory?(pa)
+      Dir.chdir(dir_path) do
+        if level.positive?
+          level -= 1
+          Dir.glob('*').each do |pa|
+            ary += get_directory_list(pa, level) if File.directory?(pa)
+          end
+        else
+          ary << Dir.pwd
         end
-      else
-        ary << Dir.pwd
       end
-      Dir.chdir("..")
       ary
     end
 
-    def listx()
-      @topx[:kind].map do |x|
-        x[1].map do |item|
-          get_directory_list( item.path , x[0] )
+    def listx
+      # 設定ファイルでの["flist"]["tops"]に対応するハッシュ
+      # ここでは、["flist"]["tops"]のキー（番号）を表す
+      # :kindは、次のキー(番号)に対応する絶対パスの配列を持つ
+
+      # @topx[:kind]に含まれるディレクトリの直下のサブディレクトリを一つの配列として返す
+      level = 1
+      @topx[:kind].map do |_no, path_array|
+        path_array.map do |item|
+          get_directory_list(item.path, level)
         end
       end.flatten
     end
 
+    def make_csvx
+      x_fname = 'all.csv'
+      x_logdir = @encx.convert(@logdir)
+      csvpath = File.expand_path(File.join(x_logdir, x_fname))
+      Csvx.new(csvpath)
+    end
+
     def list_a
-      listx.each do |x|
+      d_puts '####### list_a'
+      list_x = listx
+      d_puts list_x.size
+
+      csvx = make_csvx
+      # 設定ファイルの['flist']['tops]に格納されたトップディレクトリ
+      # とその直下のサブディレクトリすべてのパス
+      list_x.each do |x|
+        # puts "####### list_a 1 x=#{x}|"
         top_path = @encx.convert(x)
-#        top_path = x
-        dirz = @store.dirz_add( top_path )
+        # dirzテーブルへ登録
+        dirz = @dbmgr.dirz_add(top_path)
         ary = top_path.split('/')
         ary.shift
         level = ary.size
-        flist = Filelist.new( @encx, @skip_dirs, @store , dirz.id, top_path , level )
-        flist.scanx( top_path , level )
+
+        filelist = Filelist.new(@dbmgr, csvx, @encx, @skip_dirs, dirz.id, top_path, level)
+        d_puts("list_a level=#{level} top_path=#{top_path}")
+        filelist.scanx(top_path, level)
       end
+      csvx.finish
+      nil
     end
   end
 end

data/lib/flist/version.rb

@@ -1,3 +1,5 @@
+# frozen_string_literal: true
+
 module Flist
-  VERSION = "0.1.30"
+  VERSION = '0.1.32'
 end

data/lib/flist.rb

@@ -1,11 +1,22 @@
 #! -*- encoding : UTF-8 -*-
+# frozen_string_literal: true
 
-require "flist/version"
+require 'arxutils_sqlite3'
 
-require 'flist/flist'
-require 'flist/flist/store'
-require 'flist/flist/filelist'
-require 'flist/dbutil'
+require_relative 'dbacrecord'
+require_relative 'flist/version'
+
+require_relative 'flist/flist'
+require_relative 'flist/dbutil'
+require_relative 'flist/cli'
+require_relative 'flist/csvx'
+
+require_relative 'flist/flist/store'
+require_relative 'flist/flist/filelist'
 
 module Flist
+  OUTPUT_DIR = 'output'
+  # PSTORE_DIR = "pstore"
+  PSTORE_DIR = 'pstore'
+  PSTORE_KEY = :TOP
 end