bleak_house 3.3 → 3.4

data/CHANGELOG

@@ -1,4 +1,6 @@
 
+v3.4. Clearer output descriptions; work around a Marshal bug on x64; fix for missing immortal leaks.
+
 v3.3. Build Ruby in gem install step; bundle Ruby 1.8.6 source; fixes for truncated final frames.
 
 v3.2. Use Ccsv for faster parsing.

data/Manifest

@@ -18,7 +18,6 @@ lib/bleak_house/rails.rb
 lib/bleak_house/support/core_extensions.rb
 lib/bleak_house/support/rake.rb
 lib/bleak_house.rb
-lib/vendor/lightcsv.rb
 LICENSE
 LICENSE_BSD
 LICENSE_RUBY

data/lib/bleak_house/analyzer/analyzer.rb

@@ -17,14 +17,14 @@ module BleakHouse
       -6 => 'heap/free'
     }    
         
-    INITIAL_SKIP = 10
+    INITIAL_SKIP = 15 # XXX Might be better as a per-tag skip but that gets kinda complicated
     
-    CLASS_KEYS = eval('[nil, ' + # skip 0
+    CLASS_KEYS = eval('[nil, ' + # Skip 0 so that the output of String#to_s is useful
       open(
         File.dirname(__FILE__) + '/../../../ext/bleak_house/logger/snapshot.h'
       ).read[/\{(.*?)\}/m, 1] + ']')
     
-    def self.calculate!(frame, index, total)
+    def self.calculate!(frame, index, total, obj_count = nil)
       bsize = frame['births'].size
       dsize = frame['deaths'].size
       
@@ -38,7 +38,7 @@ module BleakHouse
         0
       end
       
-      puts "  #{index * 100 / total}%: #{frame['meta']['tag']} (#{bsize} births, #{dsize} deaths, ratio #{format('%.2f', frame['meta']['ratio'])}, impact #{format('%.2f', frame['meta']['impact'])})"
+      puts "  F#{index}:#{total} (#{index * 100 / total}%): #{frame['meta']['tag']} (#{obj_count.to_s + ' population, ' if obj_count}#{bsize} births, #{dsize} deaths, ratio #{format('%.2f', frame['meta']['ratio'])}, impact #{format('%.2f', frame['meta']['impact'])})"
     end
     
     # Parses and correlates a BleakHouse::Logger output file.
@@ -62,16 +62,14 @@ module BleakHouse
         # Cache is fresh
         puts "Using cache"
         frames = Marshal.load(File.open(cachefile).read)
-        
-        puts "#{frames.size} frames"
-        
-        frames[0..-3].each_with_index do |frame, index|
+        puts "#{frames.size - 1} frames"        
+        frames[0..-2].each_with_index do |frame, index|
           calculate!(frame, index + 1, frames.size - 1)
         end
         
       else                        
         # Rebuild frames
-        total_frames = `grep '^-1' #{logfile} | wc`.to_i
+        total_frames = `grep '^-1' #{logfile} | wc`.to_i - 2
         
         puts "#{total_frames} frames"     
         
@@ -95,13 +93,14 @@ module BleakHouse
                 last_population = population
     
                 # assign births
-                frame['births'] = frame['objects'].slice(births)
+                frame['births'] = frame['objects'].slice(births).to_a # Work around a Marshal bug
                 
                 # assign deaths to previous frame
                 if final = frames[-2]
-                  final['deaths'] = final['objects'].slice(deaths)
+                  final['deaths'] = final['objects'].slice(deaths).to_a # Work around a Marshal bug
+                  obj_count = final['objects'].size
                   final.delete 'objects'
-                  calculate!(final, frames.size - 1, total_frames)
+                  calculate!(final, frames.size - 1, total_frames, obj_count)
                 end
               end
   
@@ -121,20 +120,30 @@ module BleakHouse
           end
         end
         
+        frames = frames[0..-2]       
+        frames.last['objects'] = frames.last['objects'].to_a # Work around a Marshal bug
+        
         # Cache the result
         File.open(cachefile, 'w') do |f|
           f.write Marshal.dump(frames)
         end
         
       end
-            
+      
+      # Convert births back to hashes, necessary due to the Marshal workaround    
+      frames.each do |frame|
+        frame['births'] = Hash[*frame['births'].flatten]
+      end
+                             
       # See what objects are still laying around
-      population = frames[-2]['objects'].reject do |key, value|
+      population = frames.last['objects'].reject do |key, value|
         frames.first['births'][key] == value
       end
 
-      # Remove bogus frames
-      frames = frames[INITIAL_SKIP..-3]       
+      puts "\n#{frames.size - 1} full frames. Removing #{INITIAL_SKIP} frames from each end of the run to account for\nstartup overhead and GC lag."
+
+      # Remove border frames
+      frames = frames[INITIAL_SKIP..-INITIAL_SKIP]
       
       total_births = frames.inject(0) do |births, frame|
         births + frame['births'].size
@@ -143,10 +152,10 @@ module BleakHouse
         deaths + frame['deaths'].size
       end
       
-      puts "\n#{total_births} births, #{total_deaths} deaths."
+      puts "\n#{total_births} total births, #{total_deaths} total deaths, #{population.size} uncollected objects."
       
       leakers = {}
-      
+            
       # Find the sources of the leftover objects in the final population
       population.each do |id, klass|
         leaker = frames.detect do |frame|
@@ -169,23 +178,19 @@ module BleakHouse
         Hash[*value.flatten].values.inject(0) {|i, v| i - v}
       end
       
-      puts "\nTags sorted by immortal leaks:"
-      leakers.each do |tag, value|
-        requests = frames.select do |frame|
-          frame['meta']['tag'] == tag
-        end.size
-        values = value.map do |klass, count|
-          count = count/requests
-          [klass, count]
-        end.select do |klass, count|
-          count > 0          
-        end
-        if values.any? 
-          puts "  #{tag} leaks, averaged over #{requests} requests:"
-          values.each do |klass, count|
+      if leakers.any?
+        puts "\nTags sorted by persistent uncollected objects. These objects did not exist at\nstartup, were instantiated by the associated tags, and were never garbage\ncollected:"
+        leakers.each do |tag, value|
+          requests = frames.select do |frame|
+            frame['meta']['tag'] == tag
+          end.size
+          puts "  #{tag} leaked (over #{requests} requests):"
+          value.each do |klass, count|
             puts "    #{count} #{klass}"
           end
         end
+      else
+        puts "\nNo persistent uncollected objects found for any tags."
       end
             
       impacts = {}
@@ -200,15 +205,15 @@ module BleakHouse
         impact.nan? ? 0 : -impact
       end
       
-      puts "\nTags sorted by impact * ratio:"
+      puts "\nTags sorted by average impact * ratio. Impact is the log10 of the size of the"
+      puts "change in object count for a frame:"
       
       impacts.each do |tag, total|
         puts "  #{format('%.4f', total).rjust(7)}: #{tag}"
       end
-
-      puts "\nBye"
-
     end
     
+    puts "\nDone"
+    
   end
 end

metadata

@@ -1,10 +1,10 @@
 --- !ruby/object:Gem::Specification 
-rubygems_version: 0.9.4
-specification_version: 1
+rubygems_version: 0.9.4.6
+specification_version: 2
 name: bleak_house
 version: !ruby/object:Gem::Version 
-  version: "3.3"
-date: 2007-10-11 00:00:00 -04:00
+  version: "3.4"
+date: 2007-10-31 00:00:00 -04:00
 summary: A library for finding memory leaks.
 require_paths: 
 - lib
@@ -17,11 +17,17 @@ autorequire:
 default_executable: 
 bindir: bin
 has_rdoc: true
-required_ruby_version: !ruby/object:Gem::Version::Requirement 
+required_ruby_version: !ruby/object:Gem::Requirement 
   requirements: 
-  - - ">"
+  - - ">="
     - !ruby/object:Gem::Version 
-      version: 0.0.0
+      version: "0"
+  version: 
+required_rubygems_version: !ruby/object:Gem::Requirement 
+  requirements: 
+  - - ">="
+    - !ruby/object:Gem::Version 
+      version: "0"
   version: 
 platform: ruby
 signing_key: 
@@ -72,7 +78,6 @@ files:
 - lib/bleak_house/support/core_extensions.rb
 - lib/bleak_house/support/rake.rb
 - lib/bleak_house.rb
-- lib/vendor/lightcsv.rb
 - LICENSE
 - LICENSE_BSD
 - LICENSE_RUBY
@@ -101,9 +106,9 @@ dependencies:
 - !ruby/object:Gem::Dependency 
   name: ccsv
   version_requirement: 
-  version_requirements: !ruby/object:Gem::Version::Requirement 
+  version_requirements: !ruby/object:Gem::Requirement 
     requirements: 
-    - - ">"
+    - - ">="
       - !ruby/object:Gem::Version 
-        version: 0.0.0
+        version: "0"
     version: 

data/lib/vendor/lightcsv.rb

@@ -1,168 +0,0 @@
-# = LightCsv
-# CSV parser
-#
-# $Id: lightcsv.rb 76 2007-04-15 14:34:23Z tommy $
-# Copyright:: 2007 (C) TOMITA Masahiro <tommy@tmtm.org>
-# License:: Ruby's
-# Homepage:: http://tmtm.org/ja/ruby/lightcsv
-
-require "strscan"
-
-# == CSV のパース
-# 各レコードはカラムを要素とする配列である。
-# レコードの区切りは LF,CR,CRLF のいずれか。
-#
-# 以下が csv.rb と異なる。
-# * 空行は [nil] ではなく [] になる。
-# * 「"」で括られていない空カラムは nil ではなく "" になる。
-#
-# == 例
-# * CSVファイルのレコード毎にブロックを繰り返す。
-#     LightCsv.foreach(filename){|row| ...}
-#   次と同じ。
-#     LightCsv.open(filename){|csv| csv.each{|row| ...}}
-#
-# * CSVファイルの全レコードを返す。
-#     LightCsv.readlines(filename)  # => [[col1,col2,...],...]
-#   次と同じ。
-#     LightCsv.open(filename){|csv| csv.map}
-#
-# * CSV文字列のレコード毎にブロックを繰り返す。
-#     LightCsv.parse("a1,a2,..."){|row| ...}
-#   次と同じ。
-#     LightCsv.new("a1,a2,...").each{|row| ...}
-#
-# * CSV文字列の全レコードを返す。
-#     LightCsv.parse("a1,a2,...")  # => [[a1,a2,...],...]
-#   次と同じ。
-#     LightCsv.new("a1,a2,...").map
-#
-class LightCsv
-  include Enumerable
-
-  # == パースできない形式の場合に発生する例外
-  # InvalidFormat#message は処理できなかった位置から 10バイト文の文字列を返す。
-  class InvalidFormat < RuntimeError; end
-
-  # ファイルの各レコード毎にブロックを繰り返す。
-  # ブロック引数はレコードを表す配列。
-  def self.foreach(filename, &block)
-    self.open(filename) do |f|
-      f.each(&block)
-    end
-  end
-
-  # ファイルの全レコードをレコードの配列で返す。
-  def self.readlines(filename)
-    self.open(filename) do |f|
-      return f.map
-    end
-  end
-
-  # CSV文字列の全レコードをレコードの配列で返す。
-  # ブロックが与えられた場合は、レコード毎にブロックを繰り返す。
-  # ブロック引数はレコードを表す配列。
-  def self.parse(string, &block)
-    unless block
-      return self.new(string).map
-    end
-    self.new(string).each do |row|
-      block.call row
-    end
-    return nil
-  end
-
-  # ファイルをオープンして LightCsv オブジェクトを返す。
-  # ブロックを与えた場合は LightCsv オブジェクトを引数としてブロックを実行する。
-  def self.open(filename, &block)
-    f = File.open(filename)
-    csv = self.new(f)
-    if block
-      begin
-        return block.call(csv)
-      ensure
-        csv.close
-      end
-    else
-      return csv
-    end
-  end
-
-  # LightCsv オブジェクトを生成する。
-  # _src_ は String か IO。
-  def initialize(src)
-    if src.kind_of? String
-      @file = nil
-      @ss = StringScanner.new(src)
-    else
-      @file = src
-      @ss = StringScanner.new("")
-    end
-    @buf = ""
-    @bufsize = 64*1024
-  end
-  attr_accessor :bufsize
-
-  # LightCsv オブジェクトに関連したファイルをクローズする。
-  def close()
-    @file.close if @file
-  end
-
-  # 1レコードを返す。データの最後の場合は nil を返す。
-  # 空行の場合は空配列([])を返す。
-  # 空カラムは「"」で括られているか否かにかかわらず空文字列("")になる。
-  def shift()
-    return nil if @ss.eos? and ! read_next_data
-    cols = []
-    while true
-      if @ss.eos? and ! read_next_data
-        cols << ""
-        break
-      end
-      if @ss.scan(/\"/n)
-        until @ss.scan(/(?:\"\"|[^\"])*\"/n)
-          read_next_data or raise InvalidFormat, @ss.rest[0,10]
-        end
-        cols << @ss.matched.chop.gsub(/\"\"/n, '"')
-      else
-        col = @ss.scan(/[^\",\r\n]*/n)
-        while @ss.eos? and read_next_data
-          col << @ss.scan(/[^\",\r\n]*/n)
-        end
-        cols << col
-      end
-      unless @ss.scan(/,/n)
-        break if @ss.scan(/\r\n/n)
-        unless @ss.rest_size < 2 and read_next_data and @ss.scan(/,/n)
-          break if @ss.scan(/\r\n|\n|\r|\z/n)
-          read_next_data
-          raise InvalidFormat, @ss.rest[0,10]
-        end
-      end
-    end
-    cols.clear if cols.size == 1 and cols.first.empty?
-    cols
-  end
-
-  # 各レコード毎にブロックを繰り返す。
-  def each()
-    while row = shift
-      yield row
-    end
-  end
-
-  # 現在位置以降のレコードの配列を返す。
-  def readlines()
-    return map
-  end
-
-  private
-
-  def read_next_data()
-    if @file and @file.read(@bufsize, @buf)
-      @ss.string = @ss.rest + @buf
-    else
-      nil
-    end
-  end
-end