VictoriaFreSh 2021.8.20 → 2022.1.8

checksums.yaml

@@ -1,7 +1,7 @@
 ---
 SHA256:
-  metadata.gz: a56b845c853ea051b1161ab0ecfa3c234dbf9516d1556bd80abab4f40229091c
-  data.tar.gz: b0be7bf5028590e06c48603586199a5c4bf11169489cec752d750fa895e44f1f
+  metadata.gz: 41105b47d70e0d767e72badf4280f170ca7654668f344255b2718ce6a46f827c
+  data.tar.gz: 218bdf0c648500f0c518cc1f4d84515528ebbb7512dd0e876c1957bbe26414d6
 SHA512:
-  metadata.gz: 91f6eab1bb592d56387183e2bcbb932c7b2c0b8c111410ec707f80d56a4c8a3246a1d316f3691df272b7f44fc303f9c12ed8214771db2dfa32b530649aac69c7
-  data.tar.gz: 10ee5a210c1030ed986c80b66dc3d9b64bcef2694a0d84f96aeb3ca8362e472e2184c7c362406f9f2d23932f31580b1e127052b04e2aedbac109f9b44518b5b6
+  metadata.gz: bea4abcee34ca2430ba9756e2ded00872c373c8ba2eff827a4d163d31556a5ec5bb793a2eb51a2bd65a4a8cfc1297174ed631756958b07de4bad8ae166f76d6b
+  data.tar.gz: 5bc98b7f1f12f007c2f38cd90fdee5c7f123576f8bf9780908ea2335a06afc01099745e9b47ac67f72e66eb0ee2fe2a37b1cc72b74ed447943eba661f6b0e003

data/lib/victoriafresh.rb

@@ -4,6 +4,7 @@ require 'pathname'
 require 'fileutils'
 require 'cbor'
 require 'get_process_mem'
+require 'digest'
 
 # require File.dirname(__FILE__)+'/VictoriaFreSh/filemessage_pb.rb'
 
@@ -25,6 +26,20 @@ class VictoriaFresh
         @currentDiskFlushSuffix=0 #当前的磁盘文件后缀
         @bufferLength=0 #缓冲区总长度
         @externalDataFile={} #外部数据文件对象
+        @nextFileIdToUse=1 # 下一个要用的文件编号。
+        @md5FileIdMap={} # MD5 与文件编号之间的映射
+    end
+    
+    # 计算文件内容的MD5。
+    def calculateMd5(currentFileContent) 
+      Digest::MD5.hexdigest currentFileContent      #=> "90015098..."
+    end
+    
+    # 下一个可用的文件编号
+    def nextFileId
+      result=@nextFileIdToUse # 结果
+      
+      @nextFileIdToUse=@nextFileIdToUse+1
     end
     
     def checkMemoryUsage(lineNumber)
@@ -320,8 +335,6 @@ class VictoriaFresh
                         @diskWriteFileObject.syswrite(contentToWrite) #写入内容
                         
                         @diskWriteFileObject.close
-                        
-                        
                     else #单个磁盘文件
                         @diskWriteFileObject.syswrite(contentToWrite) #写入内容
                         
@@ -377,19 +390,29 @@ class VictoriaFresh
         
         if isFile #是文件，不用再列出其子文件了。
             packagedFile['file_length']=directoryPathName.size #记录文件的内容长度。
+            packagedFile['id']= nextFileId # 设置下一个文件编号
             
             #读取文件内容：
             fileToReadContent=File.new(directoryPath,"rb") #创建文件。
             currentFileContent=fileToReadContent.read #全部读取
-            @contentPartArray <<  currentFileContent
-            @bufferLength=@bufferLength+ currentFileContent.length #记录缓冲区总长度
-            #       @contentString= @contentString +  fileToReadContent.read #全部读取。
+            
+            currentContentMd5=calculateMd5(currentFileContent) # 计算文件内容的MD5。
+            
+            sameFileId=@md5FileIdMap[currentContentMd5] # 尝试寻找对应的相同文件的编号。
+            
+            if sameFileId.nil? # 不存在相同的文件
+              @contentPartArray <<  currentFileContent
+              @bufferLength=@bufferLength+ currentFileContent.length #记录缓冲区总长度
+              @md5FileIdMap[currentContentMd5]=packagedFile['id'] # 尝试寻找对应的相同文件的编号。
+            else # 存在相同的文件
+              packagedFile['is_duplicate']=true # 是重复文件。
+              packagedFile['same_file_id']=sameFileId # 设置相同文件的编号。
+            end # if sameFileId.nil? # 不存在相同的文件
             
             assessDiskFlush(layer) #考虑是否要向磁盘先输出内容
         elsif (isSymLink) #是符号链接
             linkTarget=directoryPathName.readlink #获取链接目标
             
-            #         待续，设置内容长度。符号链接字符串的长度
             packagedFile['file_length']=linkTarget.to_s.bytesize #记录文件的内容长度。
             
             #读取文件内容：
@@ -397,12 +420,9 @@ class VictoriaFresh
             currentFileContent=StringIO.new(linkTarget.to_s).binmode.read #全部读取。
             @contentPartArray << currentFileContent #加入数组
             @bufferLength=@bufferLength + currentFileContent.length #记录缓冲区总长度
-            #       @contentString= @contentString + StringIO.new(linkTarget.to_s).binmode.read #全部读取。
             
             assessDiskFlush(layer) #考虑是否要向磁盘先输出内容
-            
         else #是目录。
-            #       contentString="" #容纳内容的字符串。
             subFileStartIndex=startIndex #子文件的起始位置，以此目录的起始位置为基准。
             
             packagedFile['file_length']=0 #本目录的内容长度。
@@ -410,9 +430,6 @@ class VictoriaFresh
             puts "Listing for #{directoryPathName}" # Debug
 
             directoryPathName.each_child do |subFile| #一个个文件地处理。
-                #           puts("sub file: #{subFile}, class: #{subFile.class}, symlink: #{subFile.symlink?}, expand_path: #{subFile.expand_path}, file?: #{subFile.file?}") #Debug.
-                #     checkMemoryUsage(221)
-
                 begin
                 realPath=subFile.expand_path #获取绝对路径。
                 
@@ -420,12 +437,6 @@ class VictoriaFresh
                 
                 packagedFile['sub_files'] << packagedSubFile #加入到子文件列表中。
                 
-                #         puts("sub file content: #{subFileContent}, nil?: #{subFileContent.nil?}" ) #Debug
-                
-                #             puts(" content: #{contentString}, nil?: #{contentString.nil? }") #Debug
-                
-                #         contentString = contentString + subFileContent #串接文件内容。
-                
                 assessDiskFlush(layer) #考虑是否要向磁盘先输出内容
                 
                 

metadata

@@ -1,14 +1,14 @@
 --- !ruby/object:Gem::Specification
 name: VictoriaFreSh
 version: !ruby/object:Gem::Version
-  version: 2021.8.20
+  version: 2022.1.8
 platform: ruby
 authors:
 - Hxcan Cai
-autorequire: 
+autorequire:
 bindir: bin
 cert_chain: []
-date: 2021-08-20 00:00:00.000000000 Z
+date: 2022-01-08 00:00:00.000000000 Z
 dependencies:
 - !ruby/object:Gem::Dependency
   name: hx_cbor
@@ -50,7 +50,7 @@ homepage: http://rubygems.org/gems/VictoriaFreSh
 licenses:
 - MIT
 metadata: {}
-post_install_message: 
+post_install_message:
 rdoc_options: []
 require_paths:
 - lib
@@ -66,7 +66,7 @@ required_rubygems_version: !ruby/object:Gem::Requirement
       version: '0'
 requirements: []
 rubygems_version: 3.1.6
-signing_key: 
+signing_key:
 specification_version: 4
 summary: VictoriaFreSh
 test_files: []