VictoriaFreSh 2022.1.8 → 2022.1.15

checksums.yaml

@@ -1,7 +1,7 @@
 ---
 SHA256:
-  metadata.gz: 41105b47d70e0d767e72badf4280f170ca7654668f344255b2718ce6a46f827c
-  data.tar.gz: 218bdf0c648500f0c518cc1f4d84515528ebbb7512dd0e876c1957bbe26414d6
+  metadata.gz: a021bf4ba7e3c19fe3d303849da3fdbd5410f8188af87059e1ca404d77450bf8
+  data.tar.gz: 986f3fea84eb15ce0574edbfd6bb9247d00b9002e98080228d5b2c6a79283e53
 SHA512:
-  metadata.gz: bea4abcee34ca2430ba9756e2ded00872c373c8ba2eff827a4d163d31556a5ec5bb793a2eb51a2bd65a4a8cfc1297174ed631756958b07de4bad8ae166f76d6b
-  data.tar.gz: 5bc98b7f1f12f007c2f38cd90fdee5c7f123576f8bf9780908ea2335a06afc01099745e9b47ac67f72e66eb0ee2fe2a37b1cc72b74ed447943eba661f6b0e003
+  metadata.gz: d27b6fead18004368e8948f4e440b213874fe8edcf67b49a86f0ae7046c939125a035db420c865af3c5014f11fa3fb0df262ebc774199edbc043535f41fdfa0e
+  data.tar.gz: 7af520afdca24160b014aaeb3995f05418f09319df854d969f48b8e5c4319756336e1b4a886681d844a51d596dc1f2e49afdd419510a1af92eb3ae8aa10eba7a

data/lib/victoriafresh.rb

@@ -11,6 +11,7 @@ require 'digest'
 class VictoriaFresh
     attr_accessor :diskFlushSize #累积了这么多的数据就向磁盘写入，以减少内存占用
     attr_accessor :diskFileName #向磁盘写入数据时的文件名或前缀
+    attr_accessor :ignoreFileName # 用于指定忽略文件名列表的配置文件的名字
     attr_accessor :diskMultiFile #向磁盘写入时，是否要写多个文件 
     attr_accessor :diskFlush #要提前磁盘写入文件，以节省内存吗？
     attr_accessor :currentDiskFlushSuffix #当前的文件后缀。也等价于已经写入的文件片段个数
@@ -19,6 +20,7 @@ class VictoriaFresh
         @diskFlush=false #要向磁盘写入文件
         @diskFlushSize=143212 #磁盘分块大小
         @diskFileName='victoriafreshdata.v'  #磁盘文件名
+        @ignoreFileName=nil # 忽略文件名列表配置文件名
         @diskMultiFile=false #磁盘整个文件，不是多个文件
         @diskWriteFileObject={} #向磁盘写入文件的对象
         @contentString="" #内容字符串
@@ -28,6 +30,7 @@ class VictoriaFresh
         @externalDataFile={} #外部数据文件对象
         @nextFileIdToUse=1 # 下一个要用的文件编号。
         @md5FileIdMap={} # MD5 与文件编号之间的映射
+        @fileIdPathMap={} # 文件编号与它的实际路径之间的映射
     end
     
     # 计算文件内容的MD5。
@@ -72,15 +75,24 @@ class VictoriaFresh
     def writeFileExternalDataFile(pathPrefix, packagedFile) #写入文件
         timeObject=getTimeObject(packagedFile) #构造时间戳对象
         
-        @externalDataFile.seek(packagedFile['file_start_index']) #定位到起始位置
-        
-        victoriaFreshData=@externalDataFile.read(packagedFile['file_length']) #读取内容
-        
-        #         victoriaFreshData=contentString[packagedFile.file_start_index, packagedFile.file_length] #获取内容
-#         victoriaFreshData=contentString[ packagedFile['file_start_index'], packagedFile['file_length'] ] #获取内容
+        is_duplicate=packagedFile['is_duplicate'] # 是否是重复文件。
+        fileId=packagedFile['id'] # 获取文件编号。
+        
+        if is_duplicate # 是重复文件。
+          sameFileId=packagedFile['same_file_id'] # 找到相同文件的编号。
+          
+          sameFilePath=@fileIdPathMap[sameFileId] # 获取原始相同文件的路径。
+          
+          victoriaFreshData=File.read(sameFilePath) # 读取原始相同文件的内容。
+        else # 不是重复文件。
+          @externalDataFile.seek(packagedFile['file_start_index']) #定位到起始位置
+          
+          victoriaFreshData=@externalDataFile.read(packagedFile['file_length']) #读取内容
+        end # if is_duplicate # 是重复文件。
         
-        #         pathToMake=pathPrefix + '/' + packagedFile.name #构造文件名
         pathToMake=pathPrefix + '/' + packagedFile['name'] #构造文件名
+        
+        @fileIdPathMap[fileId]=pathToMake # 记录文件编号与路径之间的映射。
 
         begin
           victoriaFreshDataFile=File.new(pathToMake , "wb", packagedFile['permission']) #数据文件。
@@ -95,8 +107,6 @@ class VictoriaFresh
           elsif #带权限字段
             File.chmod(permissionNumber, pathToMake) #设置权限
           end #if (permissionNumber.nil?) #不带权限字段
-
-
         rescue Errno::ENOENT # File not exist
           puts "Rescued by Errno::ENOENT statement. #{pathToMake}" #报告错误
         rescue Errno::EACCES # File permission error
@@ -345,6 +355,31 @@ class VictoriaFresh
         end #if (@diskFlush) #要做磁盘写入
     end #contentString= assessDiskFlush(contentString) #考虑是否要向磁盘先输出内容
     
+    # 读取要忽略的文件名列表。
+    def readIgnoreFileList (directoryPathName)
+      current_paragraph=[] # 列表
+      #陈欣
+      datastore=  "#{directoryPathName.expand_path}/#{@ignoreFileName}"  # 配置文件路径
+      puts "reading ignore file: #{datastore}" # Debug
+      
+      begin
+      File.foreach(datastore).with_index do |line, _line_num|
+        puts line.to_s # Debug
+        puts "#{line.empty?} #{line.length} #{line.strip.empty?}" # Debug
+
+        if line.strip.empty? # 空行
+        else # 不是空行
+          current_paragraph << line.strip # 记录一行
+        end # if line.strip.empty? # 空行
+      end # File&.foreach(datastore).with_index do |line, _line_num|
+      
+      rescue Errno::ENOENT
+      end
+      
+      puts "ignore list: #{current_paragraph}" # Debug
+      current_paragraph
+    end
+
     def checkOnce(directoryPath, startIndex=0, layer=0) #打包一个目录树。
         if (@diskFlush) #要向磁盘写入文件
             if (layer==0) #最外层
@@ -357,8 +392,6 @@ class VictoriaFresh
         
         packagedFile={} #创建文件消息对象。
         
-        packagedFile['sub_files'] = [] #加入到子文件列表中。
-        
         directoryPathName=Pathname.new(directoryPath) #构造路径名字对象。
         
         baseName=directoryPathName.basename.to_s #基本文件名。
@@ -373,8 +406,6 @@ class VictoriaFresh
         
         packagedFile['is_symlink']=isSymLink #设置属性，是否是符号链接
         
-        puts directoryPath #Dbug.
-        
         #记录时间戳：
         begin #读取时间戳
             mtimeStamp=File.mtime(directoryPath) #获取时间戳
@@ -389,7 +420,7 @@ class VictoriaFresh
         end #begin #读取时间戳
         
         if isFile #是文件，不用再列出其子文件了。
-            packagedFile['file_length']=directoryPathName.size #记录文件的内容长度。
+            packagedFile['file_length']=0 #记录文件的内容长度。
             packagedFile['id']= nextFileId # 设置下一个文件编号
             
             #读取文件内容：
@@ -401,6 +432,8 @@ class VictoriaFresh
             sameFileId=@md5FileIdMap[currentContentMd5] # 尝试寻找对应的相同文件的编号。
             
             if sameFileId.nil? # 不存在相同的文件
+              packagedFile['file_length']=directoryPathName.size #记录文件的内容长度。
+
               @contentPartArray <<  currentFileContent
               @bufferLength=@bufferLength+ currentFileContent.length #记录缓冲区总长度
               @md5FileIdMap[currentContentMd5]=packagedFile['id'] # 尝试寻找对应的相同文件的编号。
@@ -426,11 +459,17 @@ class VictoriaFresh
             subFileStartIndex=startIndex #子文件的起始位置，以此目录的起始位置为基准。
             
             packagedFile['file_length']=0 #本目录的内容长度。
-
-            puts "Listing for #{directoryPathName}" # Debug
+            packagedFile['sub_files'] = [] #加入到子文件列表中。
+            
+            ignoreFileList=readIgnoreFileList(directoryPathName) # 读取要忽略的文件名列表。
 
             directoryPathName.each_child do |subFile| #一个个文件地处理。
                 begin
+                          subFilebaseName=subFile.basename.to_s #基本文件名。
+                          
+                          if (ignoreFileList.include?(subFilebaseName))  # 是要忽略的文件
+                            puts "ignore #{subFile}" # 报告，忽略。
+                          else # 不忽略 
                 realPath=subFile.expand_path #获取绝对路径。
                 
                 packagedSubFile,subFileContent=checkOnce(realPath,subFileStartIndex, layer+1) #打包这个子文件。
@@ -439,12 +478,14 @@ class VictoriaFresh
                 
                 assessDiskFlush(layer) #考虑是否要向磁盘先输出内容
                 
-                
                 subFileStartIndex+=packagedSubFile['file_length'] #记录打包的子文件的长度，更新下一个要打包的子文件的起始位置。
                 
                 #         puts("237, content string length: #{contentString.length}") #Debug
                 
                 packagedFile['file_length']+=packagedSubFile['file_length'] #随着子文件的打包而更新本目录的总长度。
+                            
+                          end
+
                 rescue Errno::EMFILE # File not exist
                     puts "Rescued by Errno::EMFILE statement. #{subFile}" #报告错误
                 end

metadata

@@ -1,14 +1,14 @@
 --- !ruby/object:Gem::Specification
 name: VictoriaFreSh
 version: !ruby/object:Gem::Version
-  version: 2022.1.8
+  version: 2022.1.15
 platform: ruby
 authors:
 - Hxcan Cai
 autorequire:
 bindir: bin
 cert_chain: []
-date: 2022-01-08 00:00:00.000000000 Z
+date: 2022-01-15 00:00:00.000000000 Z
 dependencies:
 - !ruby/object:Gem::Dependency
   name: hx_cbor