VictoriaFreSh 2022.1.15 → 2022.2.21

checksums.yaml

@@ -1,7 +1,7 @@
 ---
 SHA256:
-  metadata.gz: a021bf4ba7e3c19fe3d303849da3fdbd5410f8188af87059e1ca404d77450bf8
-  data.tar.gz: 986f3fea84eb15ce0574edbfd6bb9247d00b9002e98080228d5b2c6a79283e53
+  metadata.gz: 5293fd04253e9ab289f8827edf268ea5653d709402de849d5304ea19fc014a10
+  data.tar.gz: c5aa96e8dd2a479a3d80b411299ae22c8d49f18fa20c3ad051913bbc375ba243
 SHA512:
-  metadata.gz: d27b6fead18004368e8948f4e440b213874fe8edcf67b49a86f0ae7046c939125a035db420c865af3c5014f11fa3fb0df262ebc774199edbc043535f41fdfa0e
-  data.tar.gz: 7af520afdca24160b014aaeb3995f05418f09319df854d969f48b8e5c4319756336e1b4a886681d844a51d596dc1f2e49afdd419510a1af92eb3ae8aa10eba7a
+  metadata.gz: 39014b2e4a571cb0c8da0ddcc7f7d4c0ef4b41a3d61405ed519391d2bc6054d1686e1443be27701e31bd5eb995c99c95e98b465ff6c380b663a34caba6be6d0a
+  data.tar.gz: 12f6a697b3b4d761cd713e26257e9e4901cd8da3ecbeff5358ae88e1fa0be97ae2f5f451423b9c509859c70c1c5edd78e96ee43dbf9e0bd528a75b931d742be5

data/lib/victoriafresh.rb

@@ -9,29 +9,31 @@ require 'digest'
 # require File.dirname(__FILE__)+'/VictoriaFreSh/filemessage_pb.rb'
 
 class VictoriaFresh
-    attr_accessor :diskFlushSize #累积了这么多的数据就向磁盘写入，以减少内存占用
-    attr_accessor :diskFileName #向磁盘写入数据时的文件名或前缀
-    attr_accessor :ignoreFileName # 用于指定忽略文件名列表的配置文件的名字
-    attr_accessor :diskMultiFile #向磁盘写入时，是否要写多个文件 
-    attr_accessor :diskFlush #要提前磁盘写入文件，以节省内存吗？
-    attr_accessor :currentDiskFlushSuffix #当前的文件后缀。也等价于已经写入的文件片段个数
+  attr_accessor :diskFlushSize #累积了这么多的数据就向磁盘写入，以减少内存占用
+  attr_accessor :diskFileName #向磁盘写入数据时的文件名或前缀
+  attr_accessor :ignoreFileName # 用于指定忽略文件名列表的配置文件的名字
+  attr_accessor :diskMultiFile #向磁盘写入时，是否要写多个文件 
+  attr_accessor :diskFlush #要提前磁盘写入文件，以节省内存吗？
+  attr_accessor :currentDiskFlushSuffix #当前的文件后缀。也等价于已经写入的文件片段个数
+  attr_accessor :timestampThreshold # 文件时间戳阈值。早于这个时间戳的文件不被放入数据块
     
-    def initialize
-        @diskFlush=false #要向磁盘写入文件
-        @diskFlushSize=143212 #磁盘分块大小
-        @diskFileName='victoriafreshdata.v'  #磁盘文件名
-        @ignoreFileName=nil # 忽略文件名列表配置文件名
-        @diskMultiFile=false #磁盘整个文件，不是多个文件
-        @diskWriteFileObject={} #向磁盘写入文件的对象
-        @contentString="" #内容字符串
-        @contentPartArray=[] #内容片段数组
-        @currentDiskFlushSuffix=0 #当前的磁盘文件后缀
-        @bufferLength=0 #缓冲区总长度
-        @externalDataFile={} #外部数据文件对象
-        @nextFileIdToUse=1 # 下一个要用的文件编号。
-        @md5FileIdMap={} # MD5 与文件编号之间的映射
-        @fileIdPathMap={} # 文件编号与它的实际路径之间的映射
-    end
+  def initialize
+    @diskFlush=false #要向磁盘写入文件
+    @diskFlushSize=143212 #磁盘分块大小
+    @diskFileName='victoriafreshdata.v'  #磁盘文件名
+    @ignoreFileName=nil # 忽略文件名列表配置文件名
+    @diskMultiFile=false #磁盘整个文件，不是多个文件
+    @diskWriteFileObject={} #向磁盘写入文件的对象
+    @contentString="" #内容字符串
+    @contentPartArray=[] #内容片段数组
+    @currentDiskFlushSuffix=0 #当前的磁盘文件后缀
+    @bufferLength=0 #缓冲区总长度
+    @externalDataFile={} #外部数据文件对象
+    @nextFileIdToUse=1 # 下一个要用的文件编号。
+    @md5FileIdMap={} # MD5 与文件编号之间的映射
+    @fileIdPathMap={} # 文件编号与它的实际路径之间的映射
+    @timestampThreshold=0 # 默认时间戳阈值是0,所有文件都被放入数据块。
+  end
     
     # 计算文件内容的MD5。
     def calculateMd5(currentFileContent) 
@@ -346,10 +348,9 @@ class VictoriaFresh
                         
                         @diskWriteFileObject.close
                     else #单个磁盘文件
-                        @diskWriteFileObject.syswrite(contentToWrite) #写入内容
-                        
-                        @diskWriteFileObject.close #关闭文件
-                        
+                      @diskWriteFileObject.syswrite(contentToWrite) #写入内容
+                      
+                      @diskWriteFileObject.close #关闭文件
                     end #if (@diskMultiFile) #多个磁盘文件
             end #if (isFinalPart) #是最后一部分
         end #if (@diskFlush) #要做磁盘写入
@@ -358,145 +359,160 @@ class VictoriaFresh
     # 读取要忽略的文件名列表。
     def readIgnoreFileList (directoryPathName)
       current_paragraph=[] # 列表
-      #陈欣
-      datastore=  "#{directoryPathName.expand_path}/#{@ignoreFileName}"  # 配置文件路径
-      puts "reading ignore file: #{datastore}" # Debug
       
-      begin
-      File.foreach(datastore).with_index do |line, _line_num|
-        puts line.to_s # Debug
-        puts "#{line.empty?} #{line.length} #{line.strip.empty?}" # Debug
-
-        if line.strip.empty? # 空行
-        else # 不是空行
-          current_paragraph << line.strip # 记录一行
-        end # if line.strip.empty? # 空行
-      end # File&.foreach(datastore).with_index do |line, _line_num|
-      
-      rescue Errno::ENOENT
-      end
+      if @ignoreFileName # 设置了忽略列表
+        #陈欣
+        datastore = "#{directoryPathName.expand_path}/#{@ignoreFileName}"  # 配置文件路径
+        
+        begin
+          File.foreach(datastore).with_index do |line, _line_num|
+            if line.strip.empty? # 空行
+            else # 不是空行
+              current_paragraph << line.strip # 记录一行
+            end # if line.strip.empty? # 空行
+          end # File&.foreach(datastore).with_index do |line, _line_num|
+        rescue Errno::ENOENT
+        end
+      end # if @ignoreFileName # 设置了忽略列表
       
-      puts "ignore list: #{current_paragraph}" # Debug
       current_paragraph
     end
+    
+    def timestampTooEarly(subFile) # 是否文件时间过早。
+      result=false # 结果。
+      directoryPathName=subFile # 获取路径对象。
+      #isFile=directoryPathName.file? #是否是文件。
+      #isSymLink=directoryPathName.symlink? #是否是符号链接
+      isDirectory=directoryPathName.directory? # 是否是目录。
+      
+      unless isDirectory # 如果是目录就跳过
+      #记录时间戳：
+        directoryPath=directoryPathName.expand_path # 获取完整路径。
+        mtimeStamp=File.mtime(directoryPath) #获取时间戳
+        
+        fileTimestamp=mtimeStamp.tv_sec # 获取秒数
+        
+        #puts "path: #{directoryPath}, time stamp: #{fileTimestamp}, threshold: #{@timestampThreshold}" # debug
+        
+        if (fileTimestamp< @timestampThreshold) # 文件的时间戳比阈值要小，过早了
+          result =true # 是过早了
+        end # if (fileTimestamp< @timestampThreshold) # 文件的时间戳比阈值要小，过早了
+      end # unless isDirectory # 如果是目录就跳过
+      
+      result # 返回结果
+    end  # def timestampTooEarly(subFile)) # 是否文件时间过早。
 
     def checkOnce(directoryPath, startIndex=0, layer=0) #打包一个目录树。
-        if (@diskFlush) #要向磁盘写入文件
-            if (layer==0) #最外层
-                if (@diskMultiFile) #要写多个文件 
-                else #不写多个文件
-                    @diskWriteFileObject=File.new(@diskFileName, 'wb') #打开文件
-                end #if (@diskMultiFile) #要写多个文件 
-            end #if (layer==0) #最外层
-        end #if (@diskFlush) #要向磁盘写入文件s
+      if (@diskFlush) #要向磁盘写入文件
+        if (layer==0) #最外层
+          if (@diskMultiFile) #要写多个文件 
+          else #不写多个文件
+            @diskWriteFileObject=File.new(@diskFileName, 'wb') #打开文件
+          end #if (@diskMultiFile) #要写多个文件 
+        end #if (layer==0) #最外层
+      end #if (@diskFlush) #要向磁盘写入文件s
+        
+      packagedFile={} #创建文件消息对象。
+      
+      directoryPathName=Pathname.new(directoryPath) #构造路径名字对象。
+      
+      baseName=directoryPathName.basename.to_s #基本文件名。
+      
+      packagedFile['name']=baseName #设置文件名。
+      
+      isFile=directoryPathName.file? #是否是文件。
+      isSymLink=directoryPathName.symlink? #是否是符号链接
+      
+      packagedFile['is_file']=isFile #设置属性，是否是文件。
+      packagedFile['file_start_index']=startIndex #记录文件内容的开始位置。
+      
+      packagedFile['is_symlink']=isSymLink #设置属性，是否是符号链接
         
-        packagedFile={} #创建文件消息对象。
+      #记录时间戳：
+      begin #读取时间戳
+        mtimeStamp=File.mtime(directoryPath) #获取时间戳
         
-        directoryPathName=Pathname.new(directoryPath) #构造路径名字对象。
+        packagedFile['timestamp']={} #时间戳
+        packagedFile['timestamp']['seconds']=mtimeStamp.tv_sec #设置秒数
+        packagedFile['timestamp']['nanos']=mtimeStamp.tv_nsec #设置纳秒数
         
-        baseName=directoryPathName.basename.to_s #基本文件名。
+        packagedFile['permission']=(File.stat(directoryPath).mode & 07777 ) #设置权限信息
+      rescue Errno::ENOENT
+      rescue Errno::EACCES #权限受限
+      end #begin #读取时间戳
         
-        packagedFile['name']=baseName #设置文件名。
+      if isFile #是文件，不用再列出其子文件了。
+        packagedFile['file_length']=0 #记录文件的内容长度。
+        packagedFile['id']= nextFileId # 设置下一个文件编号
         
-        isFile=directoryPathName.file? #是否是文件。
-        isSymLink=directoryPathName.symlink? #是否是符号链接
+        #读取文件内容：
+        fileToReadContent=File.new(directoryPath,"rb") #创建文件。
+        currentFileContent=fileToReadContent.read #全部读取
+        fileToReadContent.close # 关闭文件
         
-        packagedFile['is_file']=isFile #设置属性，是否是文件。
-        packagedFile['file_start_index']=startIndex #记录文件内容的开始位置。
+        currentContentMd5=calculateMd5(currentFileContent) # 计算文件内容的MD5。
         
-        packagedFile['is_symlink']=isSymLink #设置属性，是否是符号链接
+        sameFileId=@md5FileIdMap[currentContentMd5] # 尝试寻找对应的相同文件的编号。
         
-        #记录时间戳：
-        begin #读取时间戳
-            mtimeStamp=File.mtime(directoryPath) #获取时间戳
-            
-            packagedFile['timestamp']={} #时间戳
-            packagedFile['timestamp']['seconds']=mtimeStamp.tv_sec #设置秒数
-            packagedFile['timestamp']['nanos']=mtimeStamp.tv_nsec #设置纳秒数
-            
-            packagedFile['permission']=(File.stat(directoryPath).mode & 07777 ) #设置权限信息
-        rescue Errno::ENOENT
-        rescue Errno::EACCES #权限受限
-        end #begin #读取时间戳
-        
-        if isFile #是文件，不用再列出其子文件了。
-            packagedFile['file_length']=0 #记录文件的内容长度。
-            packagedFile['id']= nextFileId # 设置下一个文件编号
-            
-            #读取文件内容：
-            fileToReadContent=File.new(directoryPath,"rb") #创建文件。
-            currentFileContent=fileToReadContent.read #全部读取
-            
-            currentContentMd5=calculateMd5(currentFileContent) # 计算文件内容的MD5。
-            
-            sameFileId=@md5FileIdMap[currentContentMd5] # 尝试寻找对应的相同文件的编号。
-            
-            if sameFileId.nil? # 不存在相同的文件
-              packagedFile['file_length']=directoryPathName.size #记录文件的内容长度。
-
-              @contentPartArray <<  currentFileContent
-              @bufferLength=@bufferLength+ currentFileContent.length #记录缓冲区总长度
-              @md5FileIdMap[currentContentMd5]=packagedFile['id'] # 尝试寻找对应的相同文件的编号。
-            else # 存在相同的文件
-              packagedFile['is_duplicate']=true # 是重复文件。
-              packagedFile['same_file_id']=sameFileId # 设置相同文件的编号。
-            end # if sameFileId.nil? # 不存在相同的文件
-            
-            assessDiskFlush(layer) #考虑是否要向磁盘先输出内容
-        elsif (isSymLink) #是符号链接
-            linkTarget=directoryPathName.readlink #获取链接目标
-            
-            packagedFile['file_length']=linkTarget.to_s.bytesize #记录文件的内容长度。
-            
-            #读取文件内容：
-            #       fileToReadContent=File.new(directoryPath,"rb") #创建文件。
-            currentFileContent=StringIO.new(linkTarget.to_s).binmode.read #全部读取。
-            @contentPartArray << currentFileContent #加入数组
-            @bufferLength=@bufferLength + currentFileContent.length #记录缓冲区总长度
-            
-            assessDiskFlush(layer) #考虑是否要向磁盘先输出内容
-        else #是目录。
-            subFileStartIndex=startIndex #子文件的起始位置，以此目录的起始位置为基准。
-            
-            packagedFile['file_length']=0 #本目录的内容长度。
-            packagedFile['sub_files'] = [] #加入到子文件列表中。
+        if sameFileId.nil? # 不存在相同的文件
+          packagedFile['file_length']=directoryPathName.size #记录文件的内容长度。
+          
+          @contentPartArray <<  currentFileContent
+          @bufferLength=@bufferLength+ currentFileContent.length #记录缓冲区总长度
+          @md5FileIdMap[currentContentMd5]=packagedFile['id'] # 尝试寻找对应的相同文件的编号。
+        else # 存在相同的文件
+          packagedFile['is_duplicate']=true # 是重复文件。
+          packagedFile['same_file_id']=sameFileId # 设置相同文件的编号。
+        end # if sameFileId.nil? # 不存在相同的文件
+        
+        assessDiskFlush(layer) #考虑是否要向磁盘先输出内容
+      elsif (isSymLink) #是符号链接
+        linkTarget=directoryPathName.readlink #获取链接目标
             
-            ignoreFileList=readIgnoreFileList(directoryPathName) # 读取要忽略的文件名列表。
-
-            directoryPathName.each_child do |subFile| #一个个文件地处理。
-                begin
-                          subFilebaseName=subFile.basename.to_s #基本文件名。
-                          
-                          if (ignoreFileList.include?(subFilebaseName))  # 是要忽略的文件
-                            puts "ignore #{subFile}" # 报告，忽略。
-                          else # 不忽略 
-                realPath=subFile.expand_path #获取绝对路径。
-                
-                packagedSubFile,subFileContent=checkOnce(realPath,subFileStartIndex, layer+1) #打包这个子文件。
-                
-                packagedFile['sub_files'] << packagedSubFile #加入到子文件列表中。
-                
-                assessDiskFlush(layer) #考虑是否要向磁盘先输出内容
-                
-                subFileStartIndex+=packagedSubFile['file_length'] #记录打包的子文件的长度，更新下一个要打包的子文件的起始位置。
-                
-                #         puts("237, content string length: #{contentString.length}") #Debug
-                
-                packagedFile['file_length']+=packagedSubFile['file_length'] #随着子文件的打包而更新本目录的总长度。
-                            
-                          end
-
-                rescue Errno::EMFILE # File not exist
-                    puts "Rescued by Errno::EMFILE statement. #{subFile}" #报告错误
-                end
-            end #directoryPathName.each_child do |subFile| #一个个文件地处理。
-        end #if (isFile) #是文件，不用再列出其子文件了。
+        packagedFile['file_length']=linkTarget.to_s.bytesize #记录文件的内容长度。
         
-        #                 puts("300, contentString: #{contentString}, nil?: #{contentString.nil?}, direcotry path: #{directoryPath}, layer: #{layer}") #Debug
+        #读取文件内容：
+        #       fileToReadContent=File.new(directoryPath,"rb") #创建文件。
+        currentFileContent=StringIO.new(linkTarget.to_s).binmode.read #全部读取。
+        @contentPartArray << currentFileContent #加入数组
+        @bufferLength=@bufferLength + currentFileContent.length #记录缓冲区总长度
         
+        assessDiskFlush(layer) #考虑是否要向磁盘先输出内容
+      else #是目录。
+        subFileStartIndex=startIndex #子文件的起始位置，以此目录的起始位置为基准。
+            
+        packagedFile['file_length']=0 #本目录的内容长度。
+        packagedFile['sub_files'] = [] #加入到子文件列表中。
         
-        #                 puts("302, contentString: #{contentString}, nil?: #{contentString.nil?}, direcotry path: #{directoryPath}, layer: #{layer}") #Debug
+        ignoreFileList=readIgnoreFileList(directoryPathName) # 读取要忽略的文件名列表。
         
+        directoryPathName.each_child do |subFile| #一个个文件地处理。
+          begin
+            subFilebaseName=subFile.basename.to_s #基本文件名。
+            
+            if (ignoreFileList.include?(subFilebaseName))  # 是要忽略的文件
+              puts "ignore #{subFile}" # 报告，忽略。
+            elsif (timestampTooEarly(subFile)) # 文件时间过早。
+              puts "ignore #{subFile} early file" # 报告，忽略。
+            else # 不忽略 
+              realPath=subFile.expand_path #获取绝对路径。
+              
+              packagedSubFile,subFileContent=checkOnce(realPath,subFileStartIndex, layer+1) #打包这个子文件。
+              
+              packagedFile['sub_files'] << packagedSubFile #加入到子文件列表中。
+              
+              assessDiskFlush(layer) #考虑是否要向磁盘先输出内容
+              
+              subFileStartIndex+=packagedSubFile['file_length'] #记录打包的子文件的长度，更新下一个要打包的子文件的起始位置。
+              
+              packagedFile['file_length']+=packagedSubFile['file_length'] #随着子文件的打包而更新本目录的总长度。
+            end
+          rescue Errno::EMFILE # too many open Files in process
+            puts "Rescued by Errno::EMFILE statement. #{subFile}" #报告错误
+          end
+        end #directoryPathName.each_child do |subFile| #一个个文件地处理。
+      end #if (isFile) #是文件，不用再列出其子文件了。
+      
         contentToResult="" #要返回的内容
         
         if (layer==0) #是最外层

metadata

@@ -1,14 +1,14 @@
 --- !ruby/object:Gem::Specification
 name: VictoriaFreSh
 version: !ruby/object:Gem::Version
-  version: 2022.1.15
+  version: 2022.2.21
 platform: ruby
 authors:
 - Hxcan Cai
 autorequire:
 bindir: bin
 cert_chain: []
-date: 2022-01-15 00:00:00.000000000 Z
+date: 2022-02-20 00:00:00.000000000 Z
 dependencies:
 - !ruby/object:Gem::Dependency
   name: hx_cbor