VictoriaFreSh 2022.1.11 → 2022.2.20

checksums.yaml

@@ -1,7 +1,7 @@
 ---
 SHA256:
-  metadata.gz: e816682e96950693c25509f5bacef3c369750c4744509b6b4249d07dc3ffb44a
-  data.tar.gz: c6916510d824a4524375dcd88f92aaa24c259a0d8723ea9631352f8f108ef71a
+  metadata.gz: 858f913baefa07976884fe157551cd49be5afed8350a25d7b80b0bf721c3651b
+  data.tar.gz: 1b3ec78d1870b2c80e55dff66a75a8fbc3ab090f7b98fbbe015cc7021dd7f494
 SHA512:
-  metadata.gz: e98134456774cefe3c9f2a22837d3c810365524807218703646643d8c877d2d5d0d5a46f1660a1ef0117746f93dd9f96e879d135dd3aeef9e47072203c3f5967
-  data.tar.gz: 8fd84643f71e5c5a1b016ce444131c324be949d1824d4cf14090b51364fc14d8c3fa8555ffbec96c8983f5565b8f81db9669cd64e0eb1a539eaa82ec8a73f276
+  metadata.gz: 4a31d07ec88d16ef521967358af884dafc8fa94b6a9c1cfac4717b6e6a6df4a209ee999ecb4ee9cc7e4ce07b299f1676e601274048f0042e436c41b2208dc012
+  data.tar.gz: 4f16f1a94a499726e2aa6e9139866e6a794b78fd13a3ea4f2f7196ff92fdc5c38d5168fd7a79f39b374e1f10a5ecbe723325c641a9217c4b0a9d1d478a547077

data/lib/victoriafresh.rb

@@ -9,27 +9,31 @@ require 'digest'
 # require File.dirname(__FILE__)+'/VictoriaFreSh/filemessage_pb.rb'
 
 class VictoriaFresh
-    attr_accessor :diskFlushSize #累积了这么多的数据就向磁盘写入，以减少内存占用
-    attr_accessor :diskFileName #向磁盘写入数据时的文件名或前缀
-    attr_accessor :diskMultiFile #向磁盘写入时，是否要写多个文件 
-    attr_accessor :diskFlush #要提前磁盘写入文件，以节省内存吗？
-    attr_accessor :currentDiskFlushSuffix #当前的文件后缀。也等价于已经写入的文件片段个数
+  attr_accessor :diskFlushSize #累积了这么多的数据就向磁盘写入，以减少内存占用
+  attr_accessor :diskFileName #向磁盘写入数据时的文件名或前缀
+  attr_accessor :ignoreFileName # 用于指定忽略文件名列表的配置文件的名字
+  attr_accessor :diskMultiFile #向磁盘写入时，是否要写多个文件 
+  attr_accessor :diskFlush #要提前磁盘写入文件，以节省内存吗？
+  attr_accessor :currentDiskFlushSuffix #当前的文件后缀。也等价于已经写入的文件片段个数
+  attr_accessor :timestampThreshold # 文件时间戳阈值。早于这个时间戳的文件不被放入数据块
     
-    def initialize
-        @diskFlush=false #要向磁盘写入文件
-        @diskFlushSize=143212 #磁盘分块大小
-        @diskFileName='victoriafreshdata.v'  #磁盘文件名
-        @diskMultiFile=false #磁盘整个文件，不是多个文件
-        @diskWriteFileObject={} #向磁盘写入文件的对象
-        @contentString="" #内容字符串
-        @contentPartArray=[] #内容片段数组
-        @currentDiskFlushSuffix=0 #当前的磁盘文件后缀
-        @bufferLength=0 #缓冲区总长度
-        @externalDataFile={} #外部数据文件对象
-        @nextFileIdToUse=1 # 下一个要用的文件编号。
-        @md5FileIdMap={} # MD5 与文件编号之间的映射
-        @fileIdPathMap={} # 文件编号与它的实际路径之间的映射
-    end
+  def initialize
+    @diskFlush=false #要向磁盘写入文件
+    @diskFlushSize=143212 #磁盘分块大小
+    @diskFileName='victoriafreshdata.v'  #磁盘文件名
+    @ignoreFileName=nil # 忽略文件名列表配置文件名
+    @diskMultiFile=false #磁盘整个文件，不是多个文件
+    @diskWriteFileObject={} #向磁盘写入文件的对象
+    @contentString="" #内容字符串
+    @contentPartArray=[] #内容片段数组
+    @currentDiskFlushSuffix=0 #当前的磁盘文件后缀
+    @bufferLength=0 #缓冲区总长度
+    @externalDataFile={} #外部数据文件对象
+    @nextFileIdToUse=1 # 下一个要用的文件编号。
+    @md5FileIdMap={} # MD5 与文件编号之间的映射
+    @fileIdPathMap={} # 文件编号与它的实际路径之间的映射
+    @timestampThreshold=0 # 默认时间戳阈值是0,所有文件都被放入数据块。
+  end
     
     # 计算文件内容的MD5。
     def calculateMd5(currentFileContent) 
@@ -88,13 +92,6 @@ class VictoriaFresh
           victoriaFreshData=@externalDataFile.read(packagedFile['file_length']) #读取内容
         end # if is_duplicate # 是重复文件。
         
-        if (packagedFile['name']=='hgrc')
-          puts packagedFile # Debug
-          puts victoriaFreshData # Debug
-        end
-        
-
-        
         pathToMake=pathPrefix + '/' + packagedFile['name'] #构造文件名
         
         @fileIdPathMap[fileId]=pathToMake # 记录文件编号与路径之间的映射。
@@ -360,125 +357,159 @@ class VictoriaFresh
         end #if (@diskFlush) #要做磁盘写入
     end #contentString= assessDiskFlush(contentString) #考虑是否要向磁盘先输出内容
     
+    # 读取要忽略的文件名列表。
+    def readIgnoreFileList (directoryPathName)
+      current_paragraph=[] # 列表
+      #陈欣
+      datastore=  "#{directoryPathName.expand_path}/#{@ignoreFileName}"  # 配置文件路径
+      
+      begin
+      File.foreach(datastore).with_index do |line, _line_num|
+        if line.strip.empty? # 空行
+        else # 不是空行
+          current_paragraph << line.strip # 记录一行
+        end # if line.strip.empty? # 空行
+      end # File&.foreach(datastore).with_index do |line, _line_num|
+      
+      rescue Errno::ENOENT
+      end
+      
+      current_paragraph
+    end
+    
+    def timestampTooEarly(subFile) # 是否文件时间过早。
+      result=false # 结果。
+      directoryPathName=subFile # 获取路径对象。
+      #isFile=directoryPathName.file? #是否是文件。
+      #isSymLink=directoryPathName.symlink? #是否是符号链接
+      isDirectory=directoryPathName.directory? # 是否是目录。
+      
+      unless isDirectory # 如果是目录就跳过
+      #记录时间戳：
+        directoryPath=directoryPathName.expand_path # 获取完整路径。
+        mtimeStamp=File.mtime(directoryPath) #获取时间戳
+        
+        fileTimestamp=mtimeStamp.tv_sec # 获取秒数
+        
+        if (fileTimestamp< @timestampThreshold) # 文件的时间戳比阈值要小，过早了
+          result =true # 是过早了
+        end # if (fileTimestamp< @timestampThreshold) # 文件的时间戳比阈值要小，过早了
+      end # unless isDirectory # 如果是目录就跳过
+      
+      result # 返回结果
+    end  # def timestampTooEarly(subFile)) # 是否文件时间过早。
+
     def checkOnce(directoryPath, startIndex=0, layer=0) #打包一个目录树。
-        if (@diskFlush) #要向磁盘写入文件
-            if (layer==0) #最外层
-                if (@diskMultiFile) #要写多个文件 
-                else #不写多个文件
-                    @diskWriteFileObject=File.new(@diskFileName, 'wb') #打开文件
-                end #if (@diskMultiFile) #要写多个文件 
-            end #if (layer==0) #最外层
-        end #if (@diskFlush) #要向磁盘写入文件s
+      if (@diskFlush) #要向磁盘写入文件
+        if (layer==0) #最外层
+          if (@diskMultiFile) #要写多个文件 
+          else #不写多个文件
+            @diskWriteFileObject=File.new(@diskFileName, 'wb') #打开文件
+          end #if (@diskMultiFile) #要写多个文件 
+        end #if (layer==0) #最外层
+      end #if (@diskFlush) #要向磁盘写入文件s
+        
+      packagedFile={} #创建文件消息对象。
+      
+      directoryPathName=Pathname.new(directoryPath) #构造路径名字对象。
+      
+      baseName=directoryPathName.basename.to_s #基本文件名。
+      
+      packagedFile['name']=baseName #设置文件名。
+      
+      isFile=directoryPathName.file? #是否是文件。
+      isSymLink=directoryPathName.symlink? #是否是符号链接
+      
+      packagedFile['is_file']=isFile #设置属性，是否是文件。
+      packagedFile['file_start_index']=startIndex #记录文件内容的开始位置。
+      
+      packagedFile['is_symlink']=isSymLink #设置属性，是否是符号链接
         
-        packagedFile={} #创建文件消息对象。
+      #记录时间戳：
+      begin #读取时间戳
+        mtimeStamp=File.mtime(directoryPath) #获取时间戳
         
-        directoryPathName=Pathname.new(directoryPath) #构造路径名字对象。
+        packagedFile['timestamp']={} #时间戳
+        packagedFile['timestamp']['seconds']=mtimeStamp.tv_sec #设置秒数
+        packagedFile['timestamp']['nanos']=mtimeStamp.tv_nsec #设置纳秒数
         
-        baseName=directoryPathName.basename.to_s #基本文件名。
+        packagedFile['permission']=(File.stat(directoryPath).mode & 07777 ) #设置权限信息
+      rescue Errno::ENOENT
+      rescue Errno::EACCES #权限受限
+      end #begin #读取时间戳
         
-        packagedFile['name']=baseName #设置文件名。
+      if isFile #是文件，不用再列出其子文件了。
+        packagedFile['file_length']=0 #记录文件的内容长度。
+        packagedFile['id']= nextFileId # 设置下一个文件编号
         
-        isFile=directoryPathName.file? #是否是文件。
-        isSymLink=directoryPathName.symlink? #是否是符号链接
+        #读取文件内容：
+        fileToReadContent=File.new(directoryPath,"rb") #创建文件。
+        currentFileContent=fileToReadContent.read #全部读取
+        fileToReadContent.close # 关闭文件
         
-        packagedFile['is_file']=isFile #设置属性，是否是文件。
-        packagedFile['file_start_index']=startIndex #记录文件内容的开始位置。
+        currentContentMd5=calculateMd5(currentFileContent) # 计算文件内容的MD5。
         
-        packagedFile['is_symlink']=isSymLink #设置属性，是否是符号链接
+        sameFileId=@md5FileIdMap[currentContentMd5] # 尝试寻找对应的相同文件的编号。
         
-        #记录时间戳：
-        begin #读取时间戳
-            mtimeStamp=File.mtime(directoryPath) #获取时间戳
-            
-            packagedFile['timestamp']={} #时间戳
-            packagedFile['timestamp']['seconds']=mtimeStamp.tv_sec #设置秒数
-            packagedFile['timestamp']['nanos']=mtimeStamp.tv_nsec #设置纳秒数
-            
-            packagedFile['permission']=(File.stat(directoryPath).mode & 07777 ) #设置权限信息
-        rescue Errno::ENOENT
-        rescue Errno::EACCES #权限受限
-        end #begin #读取时间戳
-        
-        if isFile #是文件，不用再列出其子文件了。
-            packagedFile['file_length']=0 #记录文件的内容长度。
-            packagedFile['id']= nextFileId # 设置下一个文件编号
-            
-            #读取文件内容：
-            fileToReadContent=File.new(directoryPath,"rb") #创建文件。
-            currentFileContent=fileToReadContent.read #全部读取
-            
-            currentContentMd5=calculateMd5(currentFileContent) # 计算文件内容的MD5。
-            
-            sameFileId=@md5FileIdMap[currentContentMd5] # 尝试寻找对应的相同文件的编号。
-            
-            if sameFileId.nil? # 不存在相同的文件
-              packagedFile['file_length']=directoryPathName.size #记录文件的内容长度。
-
-              @contentPartArray <<  currentFileContent
-              @bufferLength=@bufferLength+ currentFileContent.length #记录缓冲区总长度
-              @md5FileIdMap[currentContentMd5]=packagedFile['id'] # 尝试寻找对应的相同文件的编号。
-            else # 存在相同的文件
-              packagedFile['is_duplicate']=true # 是重复文件。
-              packagedFile['same_file_id']=sameFileId # 设置相同文件的编号。
-            end # if sameFileId.nil? # 不存在相同的文件
-            
-            if (packagedFile['name']=='hgrc')
-              puts packagedFile # Debug
-              puts currentFileContent
-              puts @contentPartArray.last
-              puts @contentPartArray.join.length
-            end # if (packagedFile['name']=='hgrc')
-            
-            if ((@contentPartArray.join.length-packagedFile['file_length'])!=(packagedFile['file_start_index']))
-              puts packagedFile
-              #raise StandardError
-            end
-            
-            assessDiskFlush(layer) #考虑是否要向磁盘先输出内容
-        elsif (isSymLink) #是符号链接
-            linkTarget=directoryPathName.readlink #获取链接目标
-            
-            packagedFile['file_length']=linkTarget.to_s.bytesize #记录文件的内容长度。
-            
-            #读取文件内容：
-            #       fileToReadContent=File.new(directoryPath,"rb") #创建文件。
-            currentFileContent=StringIO.new(linkTarget.to_s).binmode.read #全部读取。
-            @contentPartArray << currentFileContent #加入数组
-            @bufferLength=@bufferLength + currentFileContent.length #记录缓冲区总长度
-            
-            assessDiskFlush(layer) #考虑是否要向磁盘先输出内容
-        else #是目录。
-            subFileStartIndex=startIndex #子文件的起始位置，以此目录的起始位置为基准。
+        if sameFileId.nil? # 不存在相同的文件
+          packagedFile['file_length']=directoryPathName.size #记录文件的内容长度。
+          
+          @contentPartArray <<  currentFileContent
+          @bufferLength=@bufferLength+ currentFileContent.length #记录缓冲区总长度
+          @md5FileIdMap[currentContentMd5]=packagedFile['id'] # 尝试寻找对应的相同文件的编号。
+        else # 存在相同的文件
+          packagedFile['is_duplicate']=true # 是重复文件。
+          packagedFile['same_file_id']=sameFileId # 设置相同文件的编号。
+        end # if sameFileId.nil? # 不存在相同的文件
+        
+        assessDiskFlush(layer) #考虑是否要向磁盘先输出内容
+      elsif (isSymLink) #是符号链接
+        linkTarget=directoryPathName.readlink #获取链接目标
             
-            packagedFile['file_length']=0 #本目录的内容长度。
-            packagedFile['sub_files'] = [] #加入到子文件列表中。
-
-            directoryPathName.each_child do |subFile| #一个个文件地处理。
-                begin
-                realPath=subFile.expand_path #获取绝对路径。
-                
-                packagedSubFile,subFileContent=checkOnce(realPath,subFileStartIndex, layer+1) #打包这个子文件。
-                
-                packagedFile['sub_files'] << packagedSubFile #加入到子文件列表中。
-                
-                assessDiskFlush(layer) #考虑是否要向磁盘先输出内容
-                
-                subFileStartIndex+=packagedSubFile['file_length'] #记录打包的子文件的长度，更新下一个要打包的子文件的起始位置。
-                
-                #         puts("237, content string length: #{contentString.length}") #Debug
-                
-                packagedFile['file_length']+=packagedSubFile['file_length'] #随着子文件的打包而更新本目录的总长度。
-                rescue Errno::EMFILE # File not exist
-                    puts "Rescued by Errno::EMFILE statement. #{subFile}" #报告错误
-                end
-            end #directoryPathName.each_child do |subFile| #一个个文件地处理。
-        end #if (isFile) #是文件，不用再列出其子文件了。
+        packagedFile['file_length']=linkTarget.to_s.bytesize #记录文件的内容长度。
         
-        #                 puts("300, contentString: #{contentString}, nil?: #{contentString.nil?}, direcotry path: #{directoryPath}, layer: #{layer}") #Debug
+        #读取文件内容：
+        #       fileToReadContent=File.new(directoryPath,"rb") #创建文件。
+        currentFileContent=StringIO.new(linkTarget.to_s).binmode.read #全部读取。
+        @contentPartArray << currentFileContent #加入数组
+        @bufferLength=@bufferLength + currentFileContent.length #记录缓冲区总长度
         
+        assessDiskFlush(layer) #考虑是否要向磁盘先输出内容
+      else #是目录。
+        subFileStartIndex=startIndex #子文件的起始位置，以此目录的起始位置为基准。
+            
+        packagedFile['file_length']=0 #本目录的内容长度。
+        packagedFile['sub_files'] = [] #加入到子文件列表中。
         
-        #                 puts("302, contentString: #{contentString}, nil?: #{contentString.nil?}, direcotry path: #{directoryPath}, layer: #{layer}") #Debug
+        ignoreFileList=readIgnoreFileList(directoryPathName) # 读取要忽略的文件名列表。
         
+        directoryPathName.each_child do |subFile| #一个个文件地处理。
+          begin
+            subFilebaseName=subFile.basename.to_s #基本文件名。
+            
+            if (ignoreFileList.include?(subFilebaseName))  # 是要忽略的文件
+              puts "ignore #{subFile}" # 报告，忽略。
+            elsif (timestampTooEarly(subFile)) # 文件时间过早。
+              puts "ignore #{subFile} early file" # 报告，忽略。
+            else # 不忽略 
+              realPath=subFile.expand_path #获取绝对路径。
+              
+              packagedSubFile,subFileContent=checkOnce(realPath,subFileStartIndex, layer+1) #打包这个子文件。
+              
+              packagedFile['sub_files'] << packagedSubFile #加入到子文件列表中。
+              
+              assessDiskFlush(layer) #考虑是否要向磁盘先输出内容
+              
+              subFileStartIndex+=packagedSubFile['file_length'] #记录打包的子文件的长度，更新下一个要打包的子文件的起始位置。
+              
+              packagedFile['file_length']+=packagedSubFile['file_length'] #随着子文件的打包而更新本目录的总长度。
+            end
+          rescue Errno::EMFILE # too many open Files in process
+            puts "Rescued by Errno::EMFILE statement. #{subFile}" #报告错误
+          end
+        end #directoryPathName.each_child do |subFile| #一个个文件地处理。
+      end #if (isFile) #是文件，不用再列出其子文件了。
+      
         contentToResult="" #要返回的内容
         
         if (layer==0) #是最外层

metadata

@@ -1,14 +1,14 @@
 --- !ruby/object:Gem::Specification
 name: VictoriaFreSh
 version: !ruby/object:Gem::Version
-  version: 2022.1.11
+  version: 2022.2.20
 platform: ruby
 authors:
 - Hxcan Cai
 autorequire:
 bindir: bin
 cert_chain: []
-date: 2022-01-08 00:00:00.000000000 Z
+date: 2022-02-19 00:00:00.000000000 Z
 dependencies:
 - !ruby/object:Gem::Dependency
   name: hx_cbor