VictoriaFreSh 2022.1.9 → 2022.1.27

checksums.yaml

@@ -1,7 +1,7 @@
 ---
 SHA256:
-  metadata.gz: d6d26d764e0e7243cad77fbf9b9bfa0ab0e3a622dd55df6d606d897cf79cf2ae
-  data.tar.gz: 5beff4aba458395347cb1c58ef5af643fc92b9061593571336ee73ad603b328e
+  metadata.gz: bfb840c0cb2badb82e8518e77c2911bf0604533ee751a0292fe64a928fe68a42
+  data.tar.gz: 9a5c8667b3a714b922d22b638745526044cc0de79a265ce3f7d50dc08bcc47e0
 SHA512:
-  metadata.gz: 02c1a6374fe1a446bcd471956fd31e96491826a7dbfe24249f8ffd0e5e6d5d07308dc68fa33334752af9b44a517fdba6e98c3ffcf05f8fface38bb14fd505528
-  data.tar.gz: 414857f4e1c24ce4a72350769661cdeef8a9f6c67d67e2d9a3c83e71d2b96b415c697ddf36b24b1d2f579ba2b7efe16a1e23a26eff9a489727b3955b8d780b88
+  metadata.gz: 314494a3924b7122ace2a3dbf3ce5facf217493e255c8b4628fb15125556b33fb8adce788c28d688ddfc604e0ba6e5c479e89c8901f560cab55709156a33febb
+  data.tar.gz: d494de1a1131a9514fa1c3bf90875ec6cdd2746a217d68c90c0d83b498d0593ecbe4388138a54a2a80e59e1cc3d7c99ced463743df3aaf542edecaf5bf16d5a6

data/lib/victoriafresh.rb

@@ -11,6 +11,7 @@ require 'digest'
 class VictoriaFresh
     attr_accessor :diskFlushSize #累积了这么多的数据就向磁盘写入，以减少内存占用
     attr_accessor :diskFileName #向磁盘写入数据时的文件名或前缀
+    attr_accessor :ignoreFileName # 用于指定忽略文件名列表的配置文件的名字
     attr_accessor :diskMultiFile #向磁盘写入时，是否要写多个文件 
     attr_accessor :diskFlush #要提前磁盘写入文件，以节省内存吗？
     attr_accessor :currentDiskFlushSuffix #当前的文件后缀。也等价于已经写入的文件片段个数
@@ -19,6 +20,7 @@ class VictoriaFresh
         @diskFlush=false #要向磁盘写入文件
         @diskFlushSize=143212 #磁盘分块大小
         @diskFileName='victoriafreshdata.v'  #磁盘文件名
+        @ignoreFileName=nil # 忽略文件名列表配置文件名
         @diskMultiFile=false #磁盘整个文件，不是多个文件
         @diskWriteFileObject={} #向磁盘写入文件的对象
         @contentString="" #内容字符串
@@ -74,7 +76,7 @@ class VictoriaFresh
         timeObject=getTimeObject(packagedFile) #构造时间戳对象
         
         is_duplicate=packagedFile['is_duplicate'] # 是否是重复文件。
-
+        fileId=packagedFile['id'] # 获取文件编号。
         
         if is_duplicate # 是重复文件。
           sameFileId=packagedFile['same_file_id'] # 找到相同文件的编号。
@@ -353,6 +355,31 @@ class VictoriaFresh
         end #if (@diskFlush) #要做磁盘写入
     end #contentString= assessDiskFlush(contentString) #考虑是否要向磁盘先输出内容
     
+    # 读取要忽略的文件名列表。
+    def readIgnoreFileList (directoryPathName)
+      current_paragraph=[] # 列表
+      #陈欣
+      datastore=  "#{directoryPathName.expand_path}/#{@ignoreFileName}"  # 配置文件路径
+      puts "reading ignore file: #{datastore}" # Debug
+      
+      begin
+      File.foreach(datastore).with_index do |line, _line_num|
+        puts line.to_s # Debug
+        puts "#{line.empty?} #{line.length} #{line.strip.empty?}" # Debug
+
+        if line.strip.empty? # 空行
+        else # 不是空行
+          current_paragraph << line.strip # 记录一行
+        end # if line.strip.empty? # 空行
+      end # File&.foreach(datastore).with_index do |line, _line_num|
+      
+      rescue Errno::ENOENT
+      end
+      
+      puts "ignore list: #{current_paragraph}" # Debug
+      current_paragraph
+    end
+
     def checkOnce(directoryPath, startIndex=0, layer=0) #打包一个目录树。
         if (@diskFlush) #要向磁盘写入文件
             if (layer==0) #最外层
@@ -365,8 +392,6 @@ class VictoriaFresh
         
         packagedFile={} #创建文件消息对象。
         
-        packagedFile['sub_files'] = [] #加入到子文件列表中。
-        
         directoryPathName=Pathname.new(directoryPath) #构造路径名字对象。
         
         baseName=directoryPathName.basename.to_s #基本文件名。
@@ -381,8 +406,6 @@ class VictoriaFresh
         
         packagedFile['is_symlink']=isSymLink #设置属性，是否是符号链接
         
-        puts directoryPath #Dbug.
-        
         #记录时间戳：
         begin #读取时间戳
             mtimeStamp=File.mtime(directoryPath) #获取时间戳
@@ -397,18 +420,21 @@ class VictoriaFresh
         end #begin #读取时间戳
         
         if isFile #是文件，不用再列出其子文件了。
-            packagedFile['file_length']=directoryPathName.size #记录文件的内容长度。
+            packagedFile['file_length']=0 #记录文件的内容长度。
             packagedFile['id']= nextFileId # 设置下一个文件编号
             
             #读取文件内容：
             fileToReadContent=File.new(directoryPath,"rb") #创建文件。
             currentFileContent=fileToReadContent.read #全部读取
+            fileToReadContent.close # 关闭文件
             
             currentContentMd5=calculateMd5(currentFileContent) # 计算文件内容的MD5。
             
             sameFileId=@md5FileIdMap[currentContentMd5] # 尝试寻找对应的相同文件的编号。
             
             if sameFileId.nil? # 不存在相同的文件
+              packagedFile['file_length']=directoryPathName.size #记录文件的内容长度。
+
               @contentPartArray <<  currentFileContent
               @bufferLength=@bufferLength+ currentFileContent.length #记录缓冲区总长度
               @md5FileIdMap[currentContentMd5]=packagedFile['id'] # 尝试寻找对应的相同文件的编号。
@@ -434,11 +460,17 @@ class VictoriaFresh
             subFileStartIndex=startIndex #子文件的起始位置，以此目录的起始位置为基准。
             
             packagedFile['file_length']=0 #本目录的内容长度。
-
-            puts "Listing for #{directoryPathName}" # Debug
+            packagedFile['sub_files'] = [] #加入到子文件列表中。
+            
+            ignoreFileList=readIgnoreFileList(directoryPathName) # 读取要忽略的文件名列表。
 
             directoryPathName.each_child do |subFile| #一个个文件地处理。
                 begin
+                          subFilebaseName=subFile.basename.to_s #基本文件名。
+                          
+                          if (ignoreFileList.include?(subFilebaseName))  # 是要忽略的文件
+                            puts "ignore #{subFile}" # 报告，忽略。
+                          else # 不忽略 
                 realPath=subFile.expand_path #获取绝对路径。
                 
                 packagedSubFile,subFileContent=checkOnce(realPath,subFileStartIndex, layer+1) #打包这个子文件。
@@ -447,13 +479,15 @@ class VictoriaFresh
                 
                 assessDiskFlush(layer) #考虑是否要向磁盘先输出内容
                 
-                
                 subFileStartIndex+=packagedSubFile['file_length'] #记录打包的子文件的长度，更新下一个要打包的子文件的起始位置。
                 
                 #         puts("237, content string length: #{contentString.length}") #Debug
                 
                 packagedFile['file_length']+=packagedSubFile['file_length'] #随着子文件的打包而更新本目录的总长度。
-                rescue Errno::EMFILE # File not exist
+                            
+                          end
+
+                rescue Errno::EMFILE # too many open Files in process
                     puts "Rescued by Errno::EMFILE statement. #{subFile}" #报告错误
                 end
             end #directoryPathName.each_child do |subFile| #一个个文件地处理。

metadata

@@ -1,14 +1,14 @@
 --- !ruby/object:Gem::Specification
 name: VictoriaFreSh
 version: !ruby/object:Gem::Version
-  version: 2022.1.9
+  version: 2022.1.27
 platform: ruby
 authors:
 - Hxcan Cai
 autorequire:
 bindir: bin
 cert_chain: []
-date: 2022-01-08 00:00:00.000000000 Z
+date: 2022-01-27 00:00:00.000000000 Z
 dependencies:
 - !ruby/object:Gem::Dependency
   name: hx_cbor