VictoriaFreSh 2020.10.31 → 2021.4.17

checksums.yaml

@@ -1,7 +1,7 @@
 ---
 SHA256:
-  metadata.gz: 3e3f7b0d2274b3e4d1053b1ea06d25d0136a9d4cf877a76dd802c4ea89d0b1b7
-  data.tar.gz: c3723184467e8e953fcd01cacb7c02a7cc1c77a43f1cf7bfe47b81ad41d8ca3e
+  metadata.gz: 2c90c85569d4f2c8396f17754e03eb87e35c272b015397983c2afa9af9492ccf
+  data.tar.gz: e88f1ac7afb0ab584ed2973fcceec8701f379c0e5e7f0a22e3be07569799c63c
 SHA512:
-  metadata.gz: 27ffe0e19351ed1e013465dde4cf4c1adbe16ccef807319feea079880c7f0827bc460ec6e5f6d8d90c261189796e9aae48ab9cd4c9bfc033c79c0b774640480c
-  data.tar.gz: b03f697db6128b7d582d3c491c67d0c3950d7a8937b8562e5e1510170ba41d5115017aedee13eeaa574ef50d3e49558864cb87f6d4cae87138f824da472dc71b
+  metadata.gz: 130b068d432a0199bab6ab093619e4c0e56f31a5437115138a767e719f62083fe07c45abd6cbb5f90661a99122ffa3a8efea57e815c42ccf007ecf7bc5b64e9a
+  data.tar.gz: 3c25711cbca993d774d5581f507c7087951304fcb3ae5dfb971ce0cfc93f58b7364c28108e56be3976dffd884d9f7d68dbd9290967fe3293954f03e095bca05c

data/lib/victoriafresh.rb

@@ -3,10 +3,34 @@
 require 'pathname'
 require 'fileutils'
 require 'cbor'
+require 'get_process_mem'
 
 # require File.dirname(__FILE__)+'/VictoriaFreSh/filemessage_pb.rb'
 
 class VictoriaFresh
+    attr_accessor :diskFlushSize #累积了这么多的数据就向磁盘写入，以减少内存占用
+    attr_accessor :diskFileName #向磁盘写入数据时的文件名或前缀
+    attr_accessor :diskMultiFile #向磁盘写入时，是否要写多个文件 
+    attr_accessor :diskFlush #要提前磁盘写入文件，以节省内存吗？
+    
+    def initialize
+        @diskFlush=false #要向磁盘写入文件
+        @diskFlushSize=143212 #磁盘分块大小
+        @diskFileName='victoriafreshdata.v'  #磁盘文件名
+        @diskMultiFile=false #磁盘整个文件，不是多个文件
+        @diskWriteFileObject={} #向磁盘写入文件的对象
+        @contentString="" #内容字符串
+        @contentPartArray=[] #内容片段数组
+    end
+    
+    def checkMemoryUsage(lineNumber)
+            mem= GetProcessMem.new
+    
+        puts("#{lineNumber} ,  Memory: #{mem.mb}"); #Debug
+
+    end #def checkMemoryUsage
+
+    
     def releaseFiles(victoriaFreshPackagedFileString, contentString) #释放目录树
 #         packagedFile=Com::Stupidbeauty::Victoriafresh::FileMessage.decode(victoriaFreshPackagedFileString) #解码文件消息对象。
         packagedFile=CBOR.decode(victoriaFreshPackagedFileString) #解码
@@ -88,8 +112,6 @@ class VictoriaFresh
 
         
 #         puts 'mkdir' #Debug
-        
-#         pathToMake=File.join(pathPrefix, packagedFile.name)
         pathToMake=File.join(pathPrefix, packagedFile['name'])
         
 #         puts  pathToMake #Debug.
@@ -129,7 +151,68 @@ class VictoriaFresh
         end #if packagedFile.is_file #是文件，则直接写入文件
     end #def releaseFile(packagedFile, contentString) #释放一个文件 
     
-  def checkOnce(directoryPath,startIndex=0) #打包一个目录树。
+     #考虑是否要向磁盘先输出内容
+    def assessDiskFlush(layer, isFinalPart=false)
+#         contentString=contentStringInput #要处理的内容字符串
+        
+#             if (layer==0) #是最外层
+        while (@contentString.length >= @diskFlushSize) #还有内容要写入
+            contentToWrite=@contentString[0, @diskFlushSize] #取出开头的一段
+            
+            
+            
+            @contentString=@contentString[@diskFlushSize, @contentString.length-@diskFlushSize] #留下剩余的部分
+            
+            if (@diskFlush) #要向磁盘写入内容
+                
+                @diskWriteFileObject.syswrite(contentToWrite) #写入内容
+                
+                @diskWriteFileObject.flush #写入磁盘
+                
+            else #不向磁盘写入内容
+            @contentPartArray <<  contentToWrite #记录到数组中
+                
+            end #if (@diskFlush) #要向磁盘写入内容
+        end #while (contentString.length >= @diskFlushSize) #还有内容要写入
+        
+        if (isFinalPart) #是最后一部分
+            contentToWrite=@contentString #要写入的内容
+            
+#             @contentPartArray <<  contentToWrite #记录到数组中
+            
+            @contentString="" #字符串清空
+            
+            if (@diskFlush) #要向磁盘写入内容
+                
+                @diskWriteFileObject.syswrite(contentToWrite) #写入内容
+                
+                @diskWriteFileObject.close #关闭文件
+            else #不向磁盘写入内容
+            @contentPartArray <<  contentToWrite #记录到数组中
+
+                
+            end #if (@diskFlush) #要向磁盘写入内容
+            
+        end #if (isFinalPart) #是最后一部分
+        #             end #if (layer==0) #是最外层
+
+#         end #if (@diskFlush) #要向磁盘写入内容
+        
+        return @contentString #返回内容
+    end #contentString= assessDiskFlush(contentString) #考虑是否要向磁盘先输出内容
+    
+  def checkOnce(directoryPath, startIndex=0, layer=0) #打包一个目录树。
+      if (@diskFlush) #要向磁盘写入文件
+
+        if (layer==0) #最外层
+            if (@diskMultiFile) #要写多个文件 
+            else #不写多个文件
+                @diskWriteFileObject=File.new(@diskFileName, 'wb') #打开文件
+            end #if (@diskMultiFile) #要写多个文件 
+        end #if (layer==0) #最外层
+
+      end #if (@diskFlush) #要向磁盘写入文件s
+      
     packagedFile={} #创建文件消息对象。
 
     packagedFile['sub_files'] = [] #加入到子文件列表中。
@@ -162,55 +245,79 @@ class VictoriaFresh
     rescue Errno::ENOENT
     rescue Errno::EACCES #权限受限
     end #begin #读取时间戳
-    
+
     if (isFile) #是文件，不用再列出其子文件了。
       packagedFile['file_length']=directoryPathName.size #记录文件的内容长度。
       
       #读取文件内容：
       fileToReadContent=File.new(directoryPath,"rb") #创建文件。
-      contentString=fileToReadContent.read #全部读取。
+      @contentString= @contentString +  fileToReadContent.read #全部读取。
       
-#       puts("encoding: #{contentString.encoding}") #Debug.
+      assessDiskFlush(layer) #考虑是否要向磁盘先输出内容
     elsif (isSymLink) #是符号链接
-#                   puts("sub file: #{directoryPathName}, class: #{directoryPathName.class}, symlink: #{directoryPathName.symlink?}, expand_path: #{directoryPathName.expand_path}, file?: #{directoryPathName.file?}, read link: #{directoryPathName.readlink}") #Debug.
-                  
                   linkTarget=directoryPathName.readlink #获取链接目标
 
 #         待续，设置内容长度。符号链接字符串的长度
       packagedFile['file_length']=linkTarget.to_s.bytesize #记录文件的内容长度。
-      
+
       #读取文件内容：
 #       fileToReadContent=File.new(directoryPath,"rb") #创建文件。
-      contentString=StringIO.new(linkTarget.to_s).binmode.read #全部读取。
-#       contentString=linkTarget.to_s.encode('UTF-8') #全部读取。
-      puts("encoding: #{contentString.encoding}") #Debug.
-      puts("content string: #{contentString}") #Debug
+      @contentString= @contentString + StringIO.new(linkTarget.to_s).binmode.read #全部读取。
+      
+            assessDiskFlush(layer) #考虑是否要向磁盘先输出内容
+
     else #是目录。
-      contentString="" #容纳内容的字符串。
+#       contentString="" #容纳内容的字符串。
       subFileStartIndex=startIndex #子文件的起始位置，以此目录的起始位置为基准。
 
-#       packagedFile.file_length=0 #本目录的内容长度。
       packagedFile['file_length']=0 #本目录的内容长度。
 
       directoryPathName.each_child do |subFile| #一个个文件地处理。
 #           puts("sub file: #{subFile}, class: #{subFile.class}, symlink: #{subFile.symlink?}, expand_path: #{subFile.expand_path}, file?: #{subFile.file?}") #Debug.
+#     checkMemoryUsage(221)
         realPath=subFile.expand_path #获取绝对路径。
         
-        packagedSubFile,subFileContent=checkOnce(realPath,subFileStartIndex) #打包这个子文件。
+        packagedSubFile,subFileContent=checkOnce(realPath,subFileStartIndex, layer+1) #打包这个子文件。
         
         packagedFile['sub_files'] << packagedSubFile #加入到子文件列表中。
         
-#         puts("sub file content: #{subFileContent}") #Debug
+#         puts("sub file content: #{subFileContent}, nil?: #{subFileContent.nil?}" ) #Debug
         
-        contentString = contentString + subFileContent #串接文件内容。
+#             puts(" content: #{contentString}, nil?: #{contentString.nil? }") #Debug
+
+#         contentString = contentString + subFileContent #串接文件内容。
+        
+                    assessDiskFlush(layer) #考虑是否要向磁盘先输出内容
+
         
         subFileStartIndex+=packagedSubFile['file_length'] #记录打包的子文件的长度，更新下一个要打包的子文件的起始位置。
         
+#         puts("237, content string length: #{contentString.length}") #Debug
+        
         packagedFile['file_length']+=packagedSubFile['file_length'] #随着子文件的打包而更新本目录的总长度。
       end #directoryPathName.each_child do |subFile| #一个个文件地处理。
     end #if (isFile) #是文件，不用再列出其子文件了。
     
-    return packagedFile,contentString #返回打包之后的对象。和文件内容字节数组。
+#                 puts("300, contentString: #{contentString}, nil?: #{contentString.nil?}, direcotry path: #{directoryPath}, layer: #{layer}") #Debug
+    
+                
+#                 puts("302, contentString: #{contentString}, nil?: #{contentString.nil?}, direcotry path: #{directoryPath}, layer: #{layer}") #Debug
+    
+    contentToResult="" #要返回的内容
+
+                if (layer==0) #是最外层
+                                    assessDiskFlush(layer, true) #考虑是否要向磁盘先输出内容
+
+                                    if (@diskFlush) #要向磁盘写入缓存内容
+                                    else #不向磁盘写入缓存内容
+                                        contentToResult=@contentPartArray.join #重新合并成字符串
+                                        
+                                    end #if (@diskFlush) #要向磁盘写入缓存内容
+                    
+                end #if (layer==0) #是最外层
+                
+                
+    return packagedFile, contentToResult #返回打包之后的对象。和文件内容字节数组。
   end #def downloadOne #下载一个视频。
 end
 

data/victoriafresh.example.rb

@@ -9,6 +9,8 @@ else #指定了命令行参数。
   
   $clipDownloader=VictoriaFresh.new #创建下载器。
 
+  $clipDownloader.diskFlush=false #不向磁盘写入缓存
+  
   victoriaFresh,victoriaFreshData=$clipDownloader.checkOnce($rootPath) #打包该目录树。
   
   #利用protobuf打包成字节数组：

metadata

@@ -1,14 +1,14 @@
 --- !ruby/object:Gem::Specification
 name: VictoriaFreSh
 version: !ruby/object:Gem::Version
-  version: 2020.10.31
+  version: 2021.4.17
 platform: ruby
 authors:
 - Hxcan Cai
 autorequire: 
 bindir: bin
 cert_chain: []
-date: 2020-10-31 00:00:00.000000000 Z
+date: 2021-04-17 00:00:00.000000000 Z
 dependencies:
 - !ruby/object:Gem::Dependency
   name: cbor