VictoriaFreSh 2022.1.10 → 2022.2.19

checksums.yaml

@@ -1,7 +1,7 @@
 ---
 SHA256:
-  metadata.gz: 617cf53e09b7a1f7edb31b8a52c099bb65d213d95d391516cd7b59b66fb358fc
-  data.tar.gz: 91b00d742b101d5476de3f8e9029d523c84345de992002fcf2ec40921233b3fc
+  metadata.gz: 8196fd50e73107e811b5e7df7ba1d81f2f42b71b346ff444f29c98e26402008b
+  data.tar.gz: a3a4f2dee44ff0402497c8693dd8573392ff4d1187bfd622ef78cbbf270c0553
 SHA512:
-  metadata.gz: 9e084fbeed4401c188eadb61b625153d4e6e9ec68a31cfbbb41955542ac68e836c57af4f71e1e0fb3e3b4061b6e7f9e4196337c631a7c1a088061c860c0aaf81
-  data.tar.gz: 6b4910d087315257024aeb1303fb8b3cd228a440039eaf63d13bc7b13bc2b84ee41246b3c725ae3426c6e15b957504beeab5232a756f75b23fcf13daa3870269
+  metadata.gz: 06e464d14aa53165dd18c00d9f4de114e3d7e315a0942e64233bc418006a5d1c1b53d484d521e24c0d656020f4294a80e868f67f8ca99863f4d90d5857f20b7f
+  data.tar.gz: d7e4e2c021fd0289a473c4c75938bb7d2d07bbe6fec51c349a68896dac766845636ea08f4801857017c12e9062495250d5a4352eb3c96c532a045ac87150df12

data/lib/victoriafresh.rb

@@ -9,27 +9,31 @@ require 'digest'
 # require File.dirname(__FILE__)+'/VictoriaFreSh/filemessage_pb.rb'
 
 class VictoriaFresh
-    attr_accessor :diskFlushSize #累积了这么多的数据就向磁盘写入，以减少内存占用
-    attr_accessor :diskFileName #向磁盘写入数据时的文件名或前缀
-    attr_accessor :diskMultiFile #向磁盘写入时，是否要写多个文件 
-    attr_accessor :diskFlush #要提前磁盘写入文件，以节省内存吗？
-    attr_accessor :currentDiskFlushSuffix #当前的文件后缀。也等价于已经写入的文件片段个数
+  attr_accessor :diskFlushSize #累积了这么多的数据就向磁盘写入，以减少内存占用
+  attr_accessor :diskFileName #向磁盘写入数据时的文件名或前缀
+  attr_accessor :ignoreFileName # 用于指定忽略文件名列表的配置文件的名字
+  attr_accessor :diskMultiFile #向磁盘写入时，是否要写多个文件 
+  attr_accessor :diskFlush #要提前磁盘写入文件，以节省内存吗？
+  attr_accessor :currentDiskFlushSuffix #当前的文件后缀。也等价于已经写入的文件片段个数
+  attr_accessor :timestampThreshold # 文件时间戳阈值。早于这个时间戳的文件不被放入数据块
     
-    def initialize
-        @diskFlush=false #要向磁盘写入文件
-        @diskFlushSize=143212 #磁盘分块大小
-        @diskFileName='victoriafreshdata.v'  #磁盘文件名
-        @diskMultiFile=false #磁盘整个文件，不是多个文件
-        @diskWriteFileObject={} #向磁盘写入文件的对象
-        @contentString="" #内容字符串
-        @contentPartArray=[] #内容片段数组
-        @currentDiskFlushSuffix=0 #当前的磁盘文件后缀
-        @bufferLength=0 #缓冲区总长度
-        @externalDataFile={} #外部数据文件对象
-        @nextFileIdToUse=1 # 下一个要用的文件编号。
-        @md5FileIdMap={} # MD5 与文件编号之间的映射
-        @fileIdPathMap={} # 文件编号与它的实际路径之间的映射
-    end
+  def initialize
+    @diskFlush=false #要向磁盘写入文件
+    @diskFlushSize=143212 #磁盘分块大小
+    @diskFileName='victoriafreshdata.v'  #磁盘文件名
+    @ignoreFileName=nil # 忽略文件名列表配置文件名
+    @diskMultiFile=false #磁盘整个文件，不是多个文件
+    @diskWriteFileObject={} #向磁盘写入文件的对象
+    @contentString="" #内容字符串
+    @contentPartArray=[] #内容片段数组
+    @currentDiskFlushSuffix=0 #当前的磁盘文件后缀
+    @bufferLength=0 #缓冲区总长度
+    @externalDataFile={} #外部数据文件对象
+    @nextFileIdToUse=1 # 下一个要用的文件编号。
+    @md5FileIdMap={} # MD5 与文件编号之间的映射
+    @fileIdPathMap={} # 文件编号与它的实际路径之间的映射
+    @timestampThreshold=0 # 默认时间戳阈值是0,所有文件都被放入数据块。
+  end
     
     # 计算文件内容的MD5。
     def calculateMd5(currentFileContent) 
@@ -353,117 +357,159 @@ class VictoriaFresh
         end #if (@diskFlush) #要做磁盘写入
     end #contentString= assessDiskFlush(contentString) #考虑是否要向磁盘先输出内容
     
-    def checkOnce(directoryPath, startIndex=0, layer=0) #打包一个目录树。
-        if (@diskFlush) #要向磁盘写入文件
-            if (layer==0) #最外层
-                if (@diskMultiFile) #要写多个文件 
-                else #不写多个文件
-                    @diskWriteFileObject=File.new(@diskFileName, 'wb') #打开文件
-                end #if (@diskMultiFile) #要写多个文件 
-            end #if (layer==0) #最外层
-        end #if (@diskFlush) #要向磁盘写入文件s
+    # 读取要忽略的文件名列表。
+    def readIgnoreFileList (directoryPathName)
+      current_paragraph=[] # 列表
+      #陈欣
+      datastore=  "#{directoryPathName.expand_path}/#{@ignoreFileName}"  # 配置文件路径
+      
+      begin
+      File.foreach(datastore).with_index do |line, _line_num|
+        if line.strip.empty? # 空行
+        else # 不是空行
+          current_paragraph << line.strip # 记录一行
+        end # if line.strip.empty? # 空行
+      end # File&.foreach(datastore).with_index do |line, _line_num|
+      
+      rescue Errno::ENOENT
+      end
+      
+      current_paragraph
+    end
+    
+    def timestampTooEarly(subFile)) # 是否文件时间过早。
+      result=false # 结果。
+      directoryPathName=subFile # 获取路径对象。
+      #isFile=directoryPathName.file? #是否是文件。
+      #isSymLink=directoryPathName.symlink? #是否是符号链接
+      isDirectory=directoryPathName.directory? # 是否是目录。
+      
+      unless isDirectory # 如果是目录就跳过
+      #记录时间戳：
+        directoryPath=directoryPathName.expand_path # 获取完整路径。
+        mtimeStamp=File.mtime(directoryPath) #获取时间戳
         
-        packagedFile={} #创建文件消息对象。
+        fileTimestamp=mtimeStamp.tv_sec # 获取秒数
         
-        packagedFile['sub_files'] = [] #加入到子文件列表中。
+        if (fileTimestamp< @timestampThreshold) # 文件的时间戳比阈值要小，过早了
+          result =true # 是过早了
+        end # if (fileTimestamp< @timestampThreshold) # 文件的时间戳比阈值要小，过早了
+      end # unless isDirectory # 如果是目录就跳过
+      
+      result # 返回结果
+    end  # def timestampTooEarly(subFile)) # 是否文件时间过早。
+
+    def checkOnce(directoryPath, startIndex=0, layer=0) #打包一个目录树。
+      if (@diskFlush) #要向磁盘写入文件
+        if (layer==0) #最外层
+          if (@diskMultiFile) #要写多个文件 
+          else #不写多个文件
+            @diskWriteFileObject=File.new(@diskFileName, 'wb') #打开文件
+          end #if (@diskMultiFile) #要写多个文件 
+        end #if (layer==0) #最外层
+      end #if (@diskFlush) #要向磁盘写入文件s
+        
+      packagedFile={} #创建文件消息对象。
+      
+      directoryPathName=Pathname.new(directoryPath) #构造路径名字对象。
+      
+      baseName=directoryPathName.basename.to_s #基本文件名。
+      
+      packagedFile['name']=baseName #设置文件名。
+      
+      isFile=directoryPathName.file? #是否是文件。
+      isSymLink=directoryPathName.symlink? #是否是符号链接
+      
+      packagedFile['is_file']=isFile #设置属性，是否是文件。
+      packagedFile['file_start_index']=startIndex #记录文件内容的开始位置。
+      
+      packagedFile['is_symlink']=isSymLink #设置属性，是否是符号链接
         
-        directoryPathName=Pathname.new(directoryPath) #构造路径名字对象。
+      #记录时间戳：
+      begin #读取时间戳
+        mtimeStamp=File.mtime(directoryPath) #获取时间戳
         
-        baseName=directoryPathName.basename.to_s #基本文件名。
+        packagedFile['timestamp']={} #时间戳
+        packagedFile['timestamp']['seconds']=mtimeStamp.tv_sec #设置秒数
+        packagedFile['timestamp']['nanos']=mtimeStamp.tv_nsec #设置纳秒数
         
-        packagedFile['name']=baseName #设置文件名。
+        packagedFile['permission']=(File.stat(directoryPath).mode & 07777 ) #设置权限信息
+      rescue Errno::ENOENT
+      rescue Errno::EACCES #权限受限
+      end #begin #读取时间戳
         
-        isFile=directoryPathName.file? #是否是文件。
-        isSymLink=directoryPathName.symlink? #是否是符号链接
+      if isFile #是文件，不用再列出其子文件了。
+        packagedFile['file_length']=0 #记录文件的内容长度。
+        packagedFile['id']= nextFileId # 设置下一个文件编号
         
-        packagedFile['is_file']=isFile #设置属性，是否是文件。
-        packagedFile['file_start_index']=startIndex #记录文件内容的开始位置。
+        #读取文件内容：
+        fileToReadContent=File.new(directoryPath,"rb") #创建文件。
+        currentFileContent=fileToReadContent.read #全部读取
+        fileToReadContent.close # 关闭文件
         
-        packagedFile['is_symlink']=isSymLink #设置属性，是否是符号链接
+        currentContentMd5=calculateMd5(currentFileContent) # 计算文件内容的MD5。
         
-        puts directoryPath #Dbug.
+        sameFileId=@md5FileIdMap[currentContentMd5] # 尝试寻找对应的相同文件的编号。
         
-        #记录时间戳：
-        begin #读取时间戳
-            mtimeStamp=File.mtime(directoryPath) #获取时间戳
-            
-            packagedFile['timestamp']={} #时间戳
-            packagedFile['timestamp']['seconds']=mtimeStamp.tv_sec #设置秒数
-            packagedFile['timestamp']['nanos']=mtimeStamp.tv_nsec #设置纳秒数
-            
-            packagedFile['permission']=(File.stat(directoryPath).mode & 07777 ) #设置权限信息
-        rescue Errno::ENOENT
-        rescue Errno::EACCES #权限受限
-        end #begin #读取时间戳
-        
-        if isFile #是文件，不用再列出其子文件了。
-            packagedFile['file_length']=directoryPathName.size #记录文件的内容长度。
-            packagedFile['id']= nextFileId # 设置下一个文件编号
-            
-            #读取文件内容：
-            fileToReadContent=File.new(directoryPath,"rb") #创建文件。
-            currentFileContent=fileToReadContent.read #全部读取
-            
-            currentContentMd5=calculateMd5(currentFileContent) # 计算文件内容的MD5。
-            
-            sameFileId=@md5FileIdMap[currentContentMd5] # 尝试寻找对应的相同文件的编号。
-            
-            if sameFileId.nil? # 不存在相同的文件
-              @contentPartArray <<  currentFileContent
-              @bufferLength=@bufferLength+ currentFileContent.length #记录缓冲区总长度
-              @md5FileIdMap[currentContentMd5]=packagedFile['id'] # 尝试寻找对应的相同文件的编号。
-            else # 存在相同的文件
-              packagedFile['is_duplicate']=true # 是重复文件。
-              packagedFile['same_file_id']=sameFileId # 设置相同文件的编号。
-            end # if sameFileId.nil? # 不存在相同的文件
-            
-            assessDiskFlush(layer) #考虑是否要向磁盘先输出内容
-        elsif (isSymLink) #是符号链接
-            linkTarget=directoryPathName.readlink #获取链接目标
-            
-            packagedFile['file_length']=linkTarget.to_s.bytesize #记录文件的内容长度。
-            
-            #读取文件内容：
-            #       fileToReadContent=File.new(directoryPath,"rb") #创建文件。
-            currentFileContent=StringIO.new(linkTarget.to_s).binmode.read #全部读取。
-            @contentPartArray << currentFileContent #加入数组
-            @bufferLength=@bufferLength + currentFileContent.length #记录缓冲区总长度
-            
-            assessDiskFlush(layer) #考虑是否要向磁盘先输出内容
-        else #是目录。
-            subFileStartIndex=startIndex #子文件的起始位置，以此目录的起始位置为基准。
+        if sameFileId.nil? # 不存在相同的文件
+          packagedFile['file_length']=directoryPathName.size #记录文件的内容长度。
+          
+          @contentPartArray <<  currentFileContent
+          @bufferLength=@bufferLength+ currentFileContent.length #记录缓冲区总长度
+          @md5FileIdMap[currentContentMd5]=packagedFile['id'] # 尝试寻找对应的相同文件的编号。
+        else # 存在相同的文件
+          packagedFile['is_duplicate']=true # 是重复文件。
+          packagedFile['same_file_id']=sameFileId # 设置相同文件的编号。
+        end # if sameFileId.nil? # 不存在相同的文件
+        
+        assessDiskFlush(layer) #考虑是否要向磁盘先输出内容
+      elsif (isSymLink) #是符号链接
+        linkTarget=directoryPathName.readlink #获取链接目标
             
-            packagedFile['file_length']=0 #本目录的内容长度。
-
-            puts "Listing for #{directoryPathName}" # Debug
-
-            directoryPathName.each_child do |subFile| #一个个文件地处理。
-                begin
-                realPath=subFile.expand_path #获取绝对路径。
-                
-                packagedSubFile,subFileContent=checkOnce(realPath,subFileStartIndex, layer+1) #打包这个子文件。
-                
-                packagedFile['sub_files'] << packagedSubFile #加入到子文件列表中。
-                
-                assessDiskFlush(layer) #考虑是否要向磁盘先输出内容
-                
-                
-                subFileStartIndex+=packagedSubFile['file_length'] #记录打包的子文件的长度，更新下一个要打包的子文件的起始位置。
-                
-                #         puts("237, content string length: #{contentString.length}") #Debug
-                
-                packagedFile['file_length']+=packagedSubFile['file_length'] #随着子文件的打包而更新本目录的总长度。
-                rescue Errno::EMFILE # File not exist
-                    puts "Rescued by Errno::EMFILE statement. #{subFile}" #报告错误
-                end
-            end #directoryPathName.each_child do |subFile| #一个个文件地处理。
-        end #if (isFile) #是文件，不用再列出其子文件了。
+        packagedFile['file_length']=linkTarget.to_s.bytesize #记录文件的内容长度。
         
-        #                 puts("300, contentString: #{contentString}, nil?: #{contentString.nil?}, direcotry path: #{directoryPath}, layer: #{layer}") #Debug
+        #读取文件内容：
+        #       fileToReadContent=File.new(directoryPath,"rb") #创建文件。
+        currentFileContent=StringIO.new(linkTarget.to_s).binmode.read #全部读取。
+        @contentPartArray << currentFileContent #加入数组
+        @bufferLength=@bufferLength + currentFileContent.length #记录缓冲区总长度
         
+        assessDiskFlush(layer) #考虑是否要向磁盘先输出内容
+      else #是目录。
+        subFileStartIndex=startIndex #子文件的起始位置，以此目录的起始位置为基准。
+            
+        packagedFile['file_length']=0 #本目录的内容长度。
+        packagedFile['sub_files'] = [] #加入到子文件列表中。
         
-        #                 puts("302, contentString: #{contentString}, nil?: #{contentString.nil?}, direcotry path: #{directoryPath}, layer: #{layer}") #Debug
+        ignoreFileList=readIgnoreFileList(directoryPathName) # 读取要忽略的文件名列表。
         
+        directoryPathName.each_child do |subFile| #一个个文件地处理。
+          begin
+            subFilebaseName=subFile.basename.to_s #基本文件名。
+            
+            if (ignoreFileList.include?(subFilebaseName))  # 是要忽略的文件
+              puts "ignore #{subFile}" # 报告，忽略。
+            elsif (timestampTooEarly(subFile)) # 文件时间过早。
+              puts "ignore #{subFile} early file" # 报告，忽略。
+            else # 不忽略 
+              realPath=subFile.expand_path #获取绝对路径。
+              
+              packagedSubFile,subFileContent=checkOnce(realPath,subFileStartIndex, layer+1) #打包这个子文件。
+              
+              packagedFile['sub_files'] << packagedSubFile #加入到子文件列表中。
+              
+              assessDiskFlush(layer) #考虑是否要向磁盘先输出内容
+              
+              subFileStartIndex+=packagedSubFile['file_length'] #记录打包的子文件的长度，更新下一个要打包的子文件的起始位置。
+              
+              packagedFile['file_length']+=packagedSubFile['file_length'] #随着子文件的打包而更新本目录的总长度。
+            end
+          rescue Errno::EMFILE # too many open Files in process
+            puts "Rescued by Errno::EMFILE statement. #{subFile}" #报告错误
+          end
+        end #directoryPathName.each_child do |subFile| #一个个文件地处理。
+      end #if (isFile) #是文件，不用再列出其子文件了。
+      
         contentToResult="" #要返回的内容
         
         if (layer==0) #是最外层

metadata

@@ -1,14 +1,14 @@
 --- !ruby/object:Gem::Specification
 name: VictoriaFreSh
 version: !ruby/object:Gem::Version
-  version: 2022.1.10
+  version: 2022.2.19
 platform: ruby
 authors:
 - Hxcan Cai
 autorequire:
 bindir: bin
 cert_chain: []
-date: 2022-01-08 00:00:00.000000000 Z
+date: 2022-02-19 00:00:00.000000000 Z
 dependencies:
 - !ruby/object:Gem::Dependency
   name: hx_cbor