VictoriaFreSh 2021.7.31 → 2022.1.9

checksums.yaml

@@ -1,7 +1,7 @@
 ---
 SHA256:
-  metadata.gz: a4d0010fe75ced288008ae971b82838a2609ef847ee25c11253869a9ed79f04e
-  data.tar.gz: 108db43b445c540443113bda9859c9b9a7ff007538e84f401cd954d66ecddf89
+  metadata.gz: d6d26d764e0e7243cad77fbf9b9bfa0ab0e3a622dd55df6d606d897cf79cf2ae
+  data.tar.gz: 5beff4aba458395347cb1c58ef5af643fc92b9061593571336ee73ad603b328e
 SHA512:
-  metadata.gz: 97522a35b8fffa090357609ee1fa03cd482691e740177df23036700c91286578f4eb2dc6ad2b06877ed9ea806a8ca6b7c73b1de5b5f1b042b767f4c9304804eb
-  data.tar.gz: 70125c3bad87748ef4faf7599cb9946fc4ee741190173064b294218cfe26be5aeb815f7e3e59bb5a277a9bf8e523ac036bf8c94d6eb42b69c57691d9f70cb815
+  metadata.gz: 02c1a6374fe1a446bcd471956fd31e96491826a7dbfe24249f8ffd0e5e6d5d07308dc68fa33334752af9b44a517fdba6e98c3ffcf05f8fface38bb14fd505528
+  data.tar.gz: 414857f4e1c24ce4a72350769661cdeef8a9f6c67d67e2d9a3c83e71d2b96b415c697ddf36b24b1d2f579ba2b7efe16a1e23a26eff9a489727b3955b8d780b88

data/lib/victoriafresh.rb

@@ -4,6 +4,7 @@ require 'pathname'
 require 'fileutils'
 require 'cbor'
 require 'get_process_mem'
+require 'digest'
 
 # require File.dirname(__FILE__)+'/VictoriaFreSh/filemessage_pb.rb'
 
@@ -25,6 +26,21 @@ class VictoriaFresh
         @currentDiskFlushSuffix=0 #当前的磁盘文件后缀
         @bufferLength=0 #缓冲区总长度
         @externalDataFile={} #外部数据文件对象
+        @nextFileIdToUse=1 # 下一个要用的文件编号。
+        @md5FileIdMap={} # MD5 与文件编号之间的映射
+        @fileIdPathMap={} # 文件编号与它的实际路径之间的映射
+    end
+    
+    # 计算文件内容的MD5。
+    def calculateMd5(currentFileContent) 
+      Digest::MD5.hexdigest currentFileContent      #=> "90015098..."
+    end
+    
+    # 下一个可用的文件编号
+    def nextFileId
+      result=@nextFileIdToUse # 结果
+      
+      @nextFileIdToUse=@nextFileIdToUse+1
     end
     
     def checkMemoryUsage(lineNumber)
@@ -57,15 +73,24 @@ class VictoriaFresh
     def writeFileExternalDataFile(pathPrefix, packagedFile) #写入文件
         timeObject=getTimeObject(packagedFile) #构造时间戳对象
         
-        @externalDataFile.seek(packagedFile['file_start_index']) #定位到起始位置
-        
-        victoriaFreshData=@externalDataFile.read(packagedFile['file_length']) #读取内容
+        is_duplicate=packagedFile['is_duplicate'] # 是否是重复文件。
+
         
-        #         victoriaFreshData=contentString[packagedFile.file_start_index, packagedFile.file_length] #获取内容
-#         victoriaFreshData=contentString[ packagedFile['file_start_index'], packagedFile['file_length'] ] #获取内容
+        if is_duplicate # 是重复文件。
+          sameFileId=packagedFile['same_file_id'] # 找到相同文件的编号。
+          
+          sameFilePath=@fileIdPathMap[sameFileId] # 获取原始相同文件的路径。
+          
+          victoriaFreshData=File.read(sameFilePath) # 读取原始相同文件的内容。
+        else # 不是重复文件。
+          @externalDataFile.seek(packagedFile['file_start_index']) #定位到起始位置
+          
+          victoriaFreshData=@externalDataFile.read(packagedFile['file_length']) #读取内容
+        end # if is_duplicate # 是重复文件。
         
-        #         pathToMake=pathPrefix + '/' + packagedFile.name #构造文件名
         pathToMake=pathPrefix + '/' + packagedFile['name'] #构造文件名
+        
+        @fileIdPathMap[fileId]=pathToMake # 记录文件编号与路径之间的映射。
 
         begin
           victoriaFreshDataFile=File.new(pathToMake , "wb", packagedFile['permission']) #数据文件。
@@ -80,8 +105,6 @@ class VictoriaFresh
           elsif #带权限字段
             File.chmod(permissionNumber, pathToMake) #设置权限
           end #if (permissionNumber.nil?) #不带权限字段
-
-
         rescue Errno::ENOENT # File not exist
           puts "Rescued by Errno::ENOENT statement. #{pathToMake}" #报告错误
         rescue Errno::EACCES # File permission error
@@ -320,8 +343,6 @@ class VictoriaFresh
                         @diskWriteFileObject.syswrite(contentToWrite) #写入内容
                         
                         @diskWriteFileObject.close
-                        
-                        
                     else #单个磁盘文件
                         @diskWriteFileObject.syswrite(contentToWrite) #写入内容
                         
@@ -377,19 +398,29 @@ class VictoriaFresh
         
         if isFile #是文件，不用再列出其子文件了。
             packagedFile['file_length']=directoryPathName.size #记录文件的内容长度。
+            packagedFile['id']= nextFileId # 设置下一个文件编号
             
             #读取文件内容：
             fileToReadContent=File.new(directoryPath,"rb") #创建文件。
             currentFileContent=fileToReadContent.read #全部读取
-            @contentPartArray <<  currentFileContent
-            @bufferLength=@bufferLength+ currentFileContent.length #记录缓冲区总长度
-            #       @contentString= @contentString +  fileToReadContent.read #全部读取。
+            
+            currentContentMd5=calculateMd5(currentFileContent) # 计算文件内容的MD5。
+            
+            sameFileId=@md5FileIdMap[currentContentMd5] # 尝试寻找对应的相同文件的编号。
+            
+            if sameFileId.nil? # 不存在相同的文件
+              @contentPartArray <<  currentFileContent
+              @bufferLength=@bufferLength+ currentFileContent.length #记录缓冲区总长度
+              @md5FileIdMap[currentContentMd5]=packagedFile['id'] # 尝试寻找对应的相同文件的编号。
+            else # 存在相同的文件
+              packagedFile['is_duplicate']=true # 是重复文件。
+              packagedFile['same_file_id']=sameFileId # 设置相同文件的编号。
+            end # if sameFileId.nil? # 不存在相同的文件
             
             assessDiskFlush(layer) #考虑是否要向磁盘先输出内容
         elsif (isSymLink) #是符号链接
             linkTarget=directoryPathName.readlink #获取链接目标
             
-            #         待续，设置内容长度。符号链接字符串的长度
             packagedFile['file_length']=linkTarget.to_s.bytesize #记录文件的内容长度。
             
             #读取文件内容：
@@ -397,12 +428,9 @@ class VictoriaFresh
             currentFileContent=StringIO.new(linkTarget.to_s).binmode.read #全部读取。
             @contentPartArray << currentFileContent #加入数组
             @bufferLength=@bufferLength + currentFileContent.length #记录缓冲区总长度
-            #       @contentString= @contentString + StringIO.new(linkTarget.to_s).binmode.read #全部读取。
             
             assessDiskFlush(layer) #考虑是否要向磁盘先输出内容
-            
         else #是目录。
-            #       contentString="" #容纳内容的字符串。
             subFileStartIndex=startIndex #子文件的起始位置，以此目录的起始位置为基准。
             
             packagedFile['file_length']=0 #本目录的内容长度。
@@ -410,20 +438,13 @@ class VictoriaFresh
             puts "Listing for #{directoryPathName}" # Debug
 
             directoryPathName.each_child do |subFile| #一个个文件地处理。
-                #           puts("sub file: #{subFile}, class: #{subFile.class}, symlink: #{subFile.symlink?}, expand_path: #{subFile.expand_path}, file?: #{subFile.file?}") #Debug.
-                #     checkMemoryUsage(221)
+                begin
                 realPath=subFile.expand_path #获取绝对路径。
                 
                 packagedSubFile,subFileContent=checkOnce(realPath,subFileStartIndex, layer+1) #打包这个子文件。
                 
                 packagedFile['sub_files'] << packagedSubFile #加入到子文件列表中。
                 
-                #         puts("sub file content: #{subFileContent}, nil?: #{subFileContent.nil?}" ) #Debug
-                
-                #             puts(" content: #{contentString}, nil?: #{contentString.nil? }") #Debug
-                
-                #         contentString = contentString + subFileContent #串接文件内容。
-                
                 assessDiskFlush(layer) #考虑是否要向磁盘先输出内容
                 
                 
@@ -432,6 +453,9 @@ class VictoriaFresh
                 #         puts("237, content string length: #{contentString.length}") #Debug
                 
                 packagedFile['file_length']+=packagedSubFile['file_length'] #随着子文件的打包而更新本目录的总长度。
+                rescue Errno::EMFILE # File not exist
+                    puts "Rescued by Errno::EMFILE statement. #{subFile}" #报告错误
+                end
             end #directoryPathName.each_child do |subFile| #一个个文件地处理。
         end #if (isFile) #是文件，不用再列出其子文件了。
         

metadata

@@ -1,35 +1,29 @@
 --- !ruby/object:Gem::Specification
 name: VictoriaFreSh
 version: !ruby/object:Gem::Version
-  version: 2021.7.31
+  version: 2022.1.9
 platform: ruby
 authors:
 - Hxcan Cai
-autorequire: 
+autorequire:
 bindir: bin
 cert_chain: []
-date: 2021-07-30 00:00:00.000000000 Z
+date: 2022-01-08 00:00:00.000000000 Z
 dependencies:
 - !ruby/object:Gem::Dependency
-  name: cbor
+  name: hx_cbor
   requirement: !ruby/object:Gem::Requirement
     requirements:
-    - - "~>"
-      - !ruby/object:Gem::Version
-        version: 0.5.9
     - - ">="
       - !ruby/object:Gem::Version
-        version: 0.5.9.6
+        version: 2021.8.20
   type: :runtime
   prerelease: false
   version_requirements: !ruby/object:Gem::Requirement
     requirements:
-    - - "~>"
-      - !ruby/object:Gem::Version
-        version: 0.5.9
     - - ">="
       - !ruby/object:Gem::Version
-        version: 0.5.9.6
+        version: 2021.8.20
 - !ruby/object:Gem::Dependency
   name: get_process_mem
   requirement: !ruby/object:Gem::Requirement
@@ -50,14 +44,13 @@ executables: []
 extensions: []
 extra_rdoc_files: []
 files:
-- lib/VictoriaFreSh/filemessage_pb.rb
 - lib/victoriafresh.rb
 - victoriafresh.example.rb
 homepage: http://rubygems.org/gems/VictoriaFreSh
 licenses:
 - MIT
 metadata: {}
-post_install_message: 
+post_install_message:
 rdoc_options: []
 require_paths:
 - lib
@@ -72,8 +65,8 @@ required_rubygems_version: !ruby/object:Gem::Requirement
     - !ruby/object:Gem::Version
       version: '0'
 requirements: []
-rubygems_version: 3.0.3
-signing_key: 
+rubygems_version: 3.1.6
+signing_key:
 specification_version: 4
 summary: VictoriaFreSh
 test_files: []

data/lib/VictoriaFreSh/filemessage_pb.rb

@@ -1,24 +0,0 @@
-# Generated by the protocol buffer compiler.  DO NOT EDIT!
-# source: filemessage.proto
-
-require 'google/protobuf'
-
-require 'google/protobuf/timestamp_pb'
-Google::Protobuf::DescriptorPool.generated_pool.build do
-  add_message "com.stupidbeauty.victoriafresh.FileMessage" do
-    optional :name, :string, 1
-    repeated :sub_files, :message, 2, "com.stupidbeauty.victoriafresh.FileMessage"
-    optional :is_file, :bool, 3
-    optional :file_start_index, :int32, 5
-    optional :file_length, :int32, 6
-    optional :timestamp, :message, 8, "google.protobuf.Timestamp"
-  end
-end
-
-module Com
-  module Stupidbeauty
-    module Victoriafresh
-      FileMessage = Google::Protobuf::DescriptorPool.generated_pool.lookup("com.stupidbeauty.victoriafresh.FileMessage").msgclass
-    end
-  end
-end