cast_off 0.2.3 → 0.3.1

data/README

@@ -22,8 +22,8 @@ $gem install cast_off
 CastOff は Ruby 処理系に一切手をくわえることなく、Ruby 処理系の拡張ライブラリとして実装しています。
 このため、gem コマンド経由で容易にインストールすることができます。
 ただし、脱最適化などの処理が処理系の実装依存になっているため、Ruby 1.9.3 のみの対応となっています。
-一応 Ruby 1.9.2 でも動作はしますが、Ruby 1.9.3 よりも不安定かもしれません。
-Ruby1.9.2 と Ruby1.9.3 以外のバージョンの Ruby 処理系では、動作しないため、ご注意ください。
+一応 Ruby 1.9.2 でも動作しますが、Ruby 1.9.3 よりも不安定かもしれません。
+Ruby1.9.2 と Ruby1.9.3 以外のバージョンの Ruby 処理系では動作しないため、ご注意ください。
 
 
 
@@ -133,13 +133,13 @@ CastOff の利用方法には、コマンドラインからの利用とスクリ
 ** コマンドラインからの利用
 
 *** コマンドラインからの利用の流れ
-コマンドラインツール CastOff では、引数に高速化したいプログラムを指定することで、
-容易にコンパイルを行うことができます。
+CastOff が提供するコマンドラインツール cast_off では、
+引数に高速化したいプログラムを指定することで、容易にコンパイルを行うことができます。
 詳しくは下で解説しますが、コマンドラインからの CastOff の利用は、
 次のようなコマンドを繰り返し実行することで行います。
 
 -----------------------------------------------------
-$CastOff コンパイル対象のスクリプト コンパイル対象に与える引数の例
+$cast_off コンパイル対象のスクリプト コンパイル対象に与える引数の例
 -----------------------------------------------------
 
 例えば、次のようなスクリプトの実行を高速化したい場合、
@@ -149,35 +149,19 @@ $ruby foo.rb bar
 次のように実行することで、foo.rb と、使用するライブラリをコンパイルすることができます。
 (この例での bar は、foo.rb に対する引数です)
 
-$CastOff foo.rb bar
+$cast_off foo.rb bar
 
-コマンドラインツール CastOff によるコンパイルは、次の２つの手順で行います。
+コマンドラインからのコンパイルは、次の２つの手順で行います。
 1:コンパイル対象のメソッドを決定
 2:コンパイル対象のプロファイル情報を収集し、コンパイル
 この２つのステップそれぞれで対象プログラムを実行します。
 このため、上の例の場合、foo.rb を、コンパイルのために２度実行します。
 実行の回数は、今後、1-2の手順をまとめることで、削減する予定です。
 
-コンパイルした後は、コンパイルしたプログラムに対し、数行追加することで、
-コンパイルしたコードを読み込んで動作させることができます。
-上の例の場合、次のようなソースコードを貼り付けることで、
-foo.rb の実行の際にコンパイル済みコードを使用することができます。
-コマンドラインからのコンパイルが済んだ後は、コンパイルにかかる時間を気にする必要はありません。
------------------------------------------------------
-require 'cast_off'
-CastOff.program_name = "foo.rb"
-CastOff.skip_configuration_check(true)
-CastOff.deoptimize(false)
-CastOff.use_default_configuration()
-CastOff.autoload()
------------------------------------------------------
-
-CastOff.autoload は、Ruby 処理系が提供するトレース API を用いて動作します。
-この API は実行時のオーバヘッドが大きいため、CastOff.autoload を呼び出してから、
-コンパイル済みコードの読み込みが終了するまで、対象プログラムの実行速度が大きく低下します。
+コンパイルした後は、--run オプションを用いることで、コンパイルしたコードを読み込んで動作させることができます。
+上の例の場合、次のようなコマンドを実行することで、コンパイル済みコードを用いて foo.rb を実行することができます。
 
-CastOff がコンパイル済みコードを読み込むには、コンパイルした全てのメソッドが定義済みである必要があります。
-このため、CastOff.autoload の呼び出しは、require 文などを一通り呼び終えた後に行うのが、もっとも効率が良いです。
+$cast_off --run foo.rb bar
 
 また、コマンドラインからの利用で注意する必要があるのは、コンパイル時とは異なる引数を用いて実行する場合の挙動です。
 上の例では、コンパイル時に bar という引数を与えています。
@@ -200,7 +184,7 @@ when 'baz'
 end
 -----------------------------------------------------
 
-ここで、CastOff foo.rb bar として foo.rb をコンパイルすると、CastOff は、プロファイル情報から、
+ここで、cast_off foo.rb bar として foo.rb をコンパイルすると、CastOff は、プロファイル情報から、
 sample メソッドに渡されるオブジェクトは String オブジェクトのみであるという判断を下します。
 そして、sample メソッドに渡されるオブジェクトが String オブジェクトであるという前提に基づいたコードを生成します。
 このため、foo.rb に baz という引数を渡した場合、sample メソッドに対し、想定していなかった Symbol オブジェクトが
@@ -210,24 +194,24 @@ CastOff は、コンパイルの前提条件が崩れたことを検出したと
 
 このような場合には、
 
-$CastOff foo.rb bar
+$cast_off foo.rb bar
 
 とした次に、
 
-$CastOff foo.rb baz
+$cast_off foo.rb baz
 
 としてください。
 このようにすることで、引数を bar とした場合、引数を baz とした場合の両方のプロファイル情報を用いてコンパイルを行うことができます。
-プロファイル情報やコンパイル結果を削除したい場合は、--clear という引数を CastOff に与えて実行してください。
+プロファイル情報やコンパイル結果を削除したい場合は、--clear という引数を与えて実行してください。
 
 
 ***コマンドライン引数
-CastOff [options] [programfile] [arguments]
+cast_off [options] [programfile] [arguments]
 
 
 ***オプション一覧
---verbose
-コンパイルの進捗とコンパイル結果に関する内部情報を表示します。
+--run
+コンパイル済みコードを用いて、対象プログラム[programfile]を実行します。
 
 --deoptimize
 脱最適化を有効にします。
@@ -235,7 +219,7 @@ CastOff [options] [programfile] [arguments]
 --clear
 プロファイル結果やコンパイル結果を削除します。
 name オプションによって foo と名づけたコンパイル結果を削除する場合、次のコマンドを使用してください。
-$CastOff --clear --name=foo
+$cast_off --clear --name=foo
 
 --threshold=COUNT
 COUNT 回以上実行されたメソッドをコンパイルするよう、閾値を設定します。
@@ -248,24 +232,15 @@ COUNT のデフォルト値は100です。
 に変更が無かった場合、CastOff はコンパイル済みコードを再利用します。
 name オプションを使用しなかった場合、CastOff は File.basename([programfile]) の結果を名前として使用します。
 
+--verbose
+コンパイルの進捗とコンパイル結果に関する内部情報を表示します。
+
 -h, --help
-コマンドラインツール CastOff のヘルプメッセージを表示します。
+ヘルプメッセージを表示します。
 
 --version
 CastOff のバージョンを表示します。
 
---step-1
-コンパイルの最初のステップを実行します。
-このステップでは、コンパイル対象のメソッドを決定します。
-
---step-2
-コンパイルの2番目のステップを実行します。
-このステップでは、コンパイル対象のプロファイル情報を収集します。
-そして、コンパイル対象のメソッドをコンパイルします。
-
---run
-コンパイル済みコードを用いて、対象プログラム[programfile]を実行します。
-
 
 
 ** スクリプトからの利用

data/README.en

@@ -89,19 +89,19 @@ end
 * Usage
 
 ** Use CastOff from command line
-By use of command line tool CastOff, you can improve performance of your Ruby program easily.
+By use of command line tool cast_off, you can improve performance of your Ruby program easily.
 If you want to improve performance of your Ruby program, you should execute following command repeatedly.
 
 -----------------------------------------------------
-$CastOff PathOfTargetProgram ArgumentsOfTargetProgram
+$cast_off PathOfTargetProgram ArgumentsOfTargetProgram
 -----------------------------------------------------
 
 For example, when you want to improve performance of Ruby program "foo.rb"
 (in this example, "foo.rb" recieves one argument "bar" or "baz"), you should execute following commands.
 
 -----------------------------------------------------
-$CastOff foo.rb bar
-$CastOff foo.rb baz
+$cast_off foo.rb bar
+$cast_off foo.rb baz
 -----------------------------------------------------
 
 When you execute these commands, CastOff does followings to compile foo.rb and related libraries.
@@ -111,34 +111,20 @@ When you execute these commands, CastOff does followings to compile foo.rb and r
 3: Executes "foo.rb" with argument "baz" to get and update profile information.
 4: Compiles "foo.rb" and related libraries.
 
-When CastOff finishes compilation, CastOff outputs some codes.
-You can load compiled methods by pasting these codes.
-In above example, CastOff outputs following codes.
+After CastOff finishes compilation, you can run target program with --run option.
+In above example, you can run target program with compiled codes by use of following command.
 
------------------------------------------------------
-require 'cast_off'
-CastOff.program_name = "foo.rb"
-CastOff.skip_configuration_check(true)
-CastOff.deoptimize(false)
-CastOff.use_default_configuration()
-CastOff.autoload()
------------------------------------------------------
-
-"CastOff.autoload" uses trace api provided from Ruby runtime.
-But this api slows down Ruby program execution significantly.
-If you want to avoid this overhead, call "CastOff.autoload" after all method definitions.
-CastOff uses trace api to check method definition,
-so if you call "CastOff.autoload" after all method definitions, CastOff can cancel tracing immediately.
+$cast_off --run foo.rb bar
 
 
 *** Command line arguments
 
-CastOff [options] PathOfTargetProgram ArgumentsOfTargetProgram
+cast_off [options] PathOfTargetProgram ArgumentsOfTargetProgram
 
 
 *** Command line options
---verbose
-Show compilation progress and internal information.
+--run
+Execute target program with compiled methods.
 
 --deoptimize
 Enable deoptimization.
@@ -147,7 +133,7 @@ Enable deoptimization.
 Clear profile information and delete compiled methods.
 If you want to clear profile information and compiled methods of target name "foo",
 you should execute following command.
-$CastOff --clear --name=foo
+$cast_off --clear --name=foo
 
 --threshold=COUNT
 Compile method which is executed more than COUNT.
@@ -158,23 +144,15 @@ Name compiled methods NAME.
 This name is used for search of compiled methods.
 If you don't use this option, CastOff uses File.basename([programfile]) as name.
 
+--verbose
+Show compilation progress and internal information.
+
 -h, --help
 Show help.
 
 --version
 Show version number of CastOff.
 
---step-1
-Execute first step of compilation.
-On this step, CastOff decides compilation target methods.
-
---step-2
-Execute second step of compilation.
-On this step, CastOff collects profile information and compiles methods.
-
---run
-Execute target program with compiled methods.
-
 
 
 ** Use CastOff from script

data/bin/{CastOff → cast_off}

@@ -16,11 +16,11 @@ opt = OptionParser.new(<<-EOS, 32, '    ')
 CastOff is a performance improvement tool for Ruby1.9.3.
 
   Usage:
-  CastOff [options] [programfile] [arguments]
+  cast_off [options] [programfile] [arguments]
 EOS
 opt.separator("\n  Options:")
-opt.on('--verbose', <<-EOS.strip) {|v| verbose = true }
-                                     Show compilation progress and internal information.
+opt.on('--run', <<-EOS.strip) {|v| step = 'run' }
+                                     Execute [programfile] with compiled codes.
 EOS
 opt.on('--deoptimize', <<-EOS.strip) {|v| deoptimize = true }
                                      Enable deoptimization.
@@ -30,29 +30,43 @@ opt.on('--threshold=COUNT', <<-EOS.strip, Integer) {|v| threshold = v }
                                      Default value is 100.
 EOS
 opt.on('--name=NAME', <<-EOS.strip, String) {|v| name = v }
-                                     Name compiled methods NAME.
-                                     This name is used for search of compiled methods.
+                                     Name compiled codes NAME.
+                                     This name is used for search of compiled codes.
                                      If you don't use this option, CastOff uses File.basename([programfile]) as name.
 EOS
 opt.on('--clear', <<-EOS.strip) {|v| clear = true }
-                                     Clear profile information and delete compiled methods.
-                                     If you want to clear profile information and compiled methods of target name "foo",
+                                     Clear profile information and delete compiled codes.
+                                     If you want to clear profile information and compiled codes of target name "foo",
                                      you should execute following command.
-                                     $CastOff --clear --name=foo
-EOS
-opt.on('--run', <<-EOS.strip) {|v| step = 'run' }
-                                     Execute [programfile] with compiled methods.
+                                     $cast_off --clear --name=foo
 EOS
-opt.on('--step-1', <<-EOS.strip) {|v| step = '1' }
-                                     First step of compilation.
-                                     On this step, CastOff decides compilation target methods.
-EOS
-opt.on('--step-2', <<-EOS.strip) {|v| step = '2' }
-                                     Second step of compilation.
-                                     On this step, CastOff collects profile information and compiles methods.
+opt.on('--step-1') {|v| step = '1' }
+opt.on('--step-2') {|v| step = '2' }
+opt.on('--verbose', <<-EOS.strip) {|v| verbose = true }
+                                     Show compilation progress and internal information.
 EOS
 opt.on_tail('-h', "--help", "Show this help.") do
-  puts opt
+  message = opt.to_s.gsub(/\n[ ]*--step-[0-9]+[ ]*/, '')
+  message.concat(<<-EOS)
+
+  Example:
+  ------------------------------------------
+  # fib.rb
+  def fib n
+    (n < 3) ? 1 : (fib(n-1) + fib(n-2))
+  end
+  fib(ARGV.shift.to_i)
+  ------------------------------------------
+
+  1 Profile and compile fib.rb:
+  $cast_off fib.rb 30 # 30 is a argument of fib.rb
+
+  2 Run fib.rb with compiled codes:
+  $cast_off --run fib.rb 30 # 30 is a argument of fib.rb
+
+  Report bugs to <http://github.com/soba1104/CastOff/issues>.
+  EOS
+  puts message
   exit
 end
 opt.on_tail("--version", "Show version number.") do
@@ -70,9 +84,9 @@ if clear
   if name.empty?
     STDERR.puts(<<-EOS)
 Invalid arguments. You should pass target name to CastOff.
-If you want to clear profile information and compiled methods of target name "foo",
+If you want to clear profile information and compiled codes of target name "foo",
 you should execute following command.
-$CastOff --clear --name=foo
+$cast_off --clear --name=foo
     EOS
     exit(1)
   end
@@ -104,7 +118,13 @@ CastOff.verbose(verbose)
 case step
 when nil
   STDERR.puts("-------------------------------- compilation start: threshold = #{threshold}, name = #{name}, profiling = ruby #{args} --------------------------------")
-  2.times{|i| system("#{this} --step-#{i + 1} --threshold=#{threshold} --name=#{name} #{deoptimize ? '--deoptimize' : ''} #{verbose ? '--verbose' : ''} #{args}")}
+  2.times do |i|
+    system("#{this} --step-#{i + 1} --threshold=#{threshold} --name=#{name} #{deoptimize ? '--deoptimize' : ''} #{verbose ? '--verbose' : ''} #{args}")
+    unless $? == 0
+      STDERR.puts("Failed to execute 'ruby #{args}'")
+      exit
+    end
+  end
 when '1'
   STDERR.puts("-------------------------------- step 1 --------------------------------") if verbose
   CastOff.development(true)
@@ -123,6 +143,7 @@ when '2'
   }
   fin = Object.new
   ObjectSpace.define_finalizer(fin){
+=begin
     msg = <<-EOS
 
 ----------------------------------------------------------------------------------------
@@ -132,6 +153,15 @@ Please add following lines to top of #{script}.
 require 'cast_off'
 #{configuration.chomp}
 CastOff.autoload()
+----------------------------------------------------------------------------------------
+    EOS
+=end
+    msg = <<-EOS
+----------------------------------------------------------------------------------------
+Compilation finished successfully.
+You can execute #{script} with compiled codes by use of following command.
+
+$cast_off --run --name=#{name}#{deoptimize ? ' --deoptimize ' : ' '}#{args}
 ----------------------------------------------------------------------------------------
     EOS
     STDERR.puts(msg)
@@ -142,5 +172,6 @@ else
   raise("should not be reached")
 end
 
+$0 = script
 load script if step
 

data/cast_off.gemspec

@@ -1,6 +1,6 @@
 Gem::Specification.new do |spec|
   spec.name		      = "cast_off"
-  spec.version		      = "0.2.3"
+  spec.version		      = "0.3.1"
   spec.platform		      = Gem::Platform::RUBY
   spec.summary		      = "Performance improvement tool for Ruby1.9.3"
   spec.description	      = <<-EOS
@@ -10,7 +10,7 @@ CastOff is a performance improvement tool for Ruby1.9.3
 				  cast_off.gemspec
 				]
   spec.bindir		      = 'bin'
-  spec.executables	      << 'CastOff'
+  spec.executables	      << 'cast_off'
   spec.require_path	      = 'lib'
   spec.extensions	      = 'ext/cast_off/extconf.rb'
   spec.has_rdoc		      = false

data/lib/cast_off/compile/basicblock.rb

@@ -23,6 +23,18 @@ module CastOff::Compiler
         bug() if @insns.find{|i| i.iseq != @iseq}
       end
 
+      def source
+        return '' unless @irs
+        line = nil
+        @irs.inject(''){|src, ir|
+          insn = ir.insn
+          next src if insn.line == line
+          next src if insn.source.empty?
+          line = insn.line
+          src.concat(insn.source).concat("\n")
+        }.chomp
+      end
+
       def entry_point?
         @entry_point
       end

data/lib/cast_off/compile/cfg.rb

@@ -302,7 +302,7 @@ module CastOff::Compiler
             bug() unless ir.src.unboxed? == ir.dst.unboxed?
           end
           ir.variables_without_result.each do |v|
-            ds = defs.variable_definition.select {|d| v == d.result_variable }
+            ds = defs.definition.select {|d| v == d.result_variable }
             if v.unboxed?
               bug() if ds.find{|d| not d.result_variable.unboxed? }
             elsif v.boxed?

data/lib/cast_off/compile/code_manager.rb

@@ -252,6 +252,7 @@ module CastOff
       def load_base_configuration()
         return nil unless File.exist?(@base_configuration_path)
         conf_str = File.open(@base_configuration_path, 'rb:us-ascii').read()
+        conf_str.untaint # FIXME
         Configuration.load(conf_str)
       end
 
@@ -260,7 +261,7 @@ module CastOff
         exist_conf_str = File.open("#{@dstdir}/#{@conffile}", 'rb:us-ascii').read()
         # exist_conf_str が tainted であるため、Marshal.load で読み込んだ class も tainted になってしまう
         # RDoc だと、それのせいで Insecure: can't modify array となる
-        #exist_conf_str.untaint
+        exist_conf_str.untaint # FIXME
         Configuration.load(exist_conf_str)
       end
 
@@ -274,7 +275,7 @@ module CastOff
       def load_annotation()
         return nil unless File.exist?(@annotation_path)
         ann_str = File.open(@annotation_path, 'rb:us-ascii').read()
-        ann_str.untaint
+        ann_str.untaint # FIXME
         Marshal.load(ann_str)
       end
 

data/lib/cast_off/compile/configuration.rb

@@ -244,8 +244,7 @@ o = Object
         dst = (@variable_configuration[sym] ||= [])
         (src + dst).each do |cw|
           bug() unless cw.instance_of?(ClassWrapper)
-          bug() if cw.singleton?
-          bug() if cw.contain_class == SingletonClass
+          bug() if !cw.singleton? && cw.contain_class == SingletonClass
         end
         @variable_configuration[sym] = (dst | src)
       end
@@ -253,16 +252,14 @@ o = Object
       conf.return_value_configuration.each do |(cw0, src0)|
         bug() unless src0.instance_of?(Hash)
         bug() unless cw0.instance_of?(ClassWrapper)
-        bug() if cw0.singleton?
-        bug() if cw0.contain_class == SingletonClass
+        bug() if !cw0.singleton? && cw0.contain_class == SingletonClass
         dst0 = (@return_value_configuration[cw0] ||= {})
         src0.each do |(sym, src1)|
           bug() unless src1.instance_of?(Array)
           dst1 = (dst0[sym] ||= [])
           (src1 + dst1).each do |cw1|
             bug() unless cw1.instance_of?(ClassWrapper)
-            bug() if cw1.singleton?
-            bug() if cw1.contain_class == SingletonClass
+            bug() if !cw1.singleton? && cw1.contain_class == SingletonClass
           end
           dst0[sym] = (dst1 | src1)
         end
@@ -278,13 +275,19 @@ o = Object
       update_hash.each do |(k, v)|
         bug() unless k.instance_of?(Symbol)
         bug() unless v.instance_of?(Array)
-        next if v.include?(SingletonClass)
+        next if v.map{|a| a.first }.include?(SingletonClass)
         # variable annotation
         a0 = v
-        a0 = a0.map{|c|
+        a0 = a0.map{|(c, singleton_p)|
           bug(c) unless c.is_a?(Class)
           bug()  unless c != SingletonClass
-          ClassWrapper.new(c, true)
+          if singleton_p
+            wrapper = ClassWrapper.new(c, false)
+            bug() unless wrapper.singleton?
+          else
+            wrapper = ClassWrapper.new(c, true)
+          end
+          wrapper
         }
         a1 = @variable_configuration[k] || []
         update_p = true unless (a0 - a1).empty?
@@ -296,27 +299,38 @@ o = Object
 
     def update_return_value_configuration(update_hash)
       update_p = false
-      update_hash.each do |(k, v)|
-        bug() unless k.instance_of?(Class)
-        bug() unless v.instance_of?(Hash)
-        next if k == SingletonClass
-        # return value annotation
-        h0 = v
-        k  = ClassWrapper.new(k, true)
-        h1 = @return_value_configuration[k] || {}
-        h0.each do |(mid, klasses0)|
-          next if klasses0.include?(SingletonClass)
-          klasses0 = klasses0.map{|c|
-            bug(c) unless c.is_a?(Class)
-            bug()  unless c != SingletonClass
-            ClassWrapper.new(c, true)
-          }
-          klasses1 = h1[mid] || []
-          update_p = true unless (klasses0 - klasses1).empty?
-          klasses1 |= klasses0
-          h1[mid] = klasses1
+      bug() unless update_hash.size == 2
+      update_hash.each do |(sym, mtbl)|
+        bug() unless sym == :singleton_methods || sym == :instance_methods
+        bug() unless mtbl.is_a?(Hash)
+        mtbl.each do |(k, v)|
+          bug() unless k.instance_of?(Class)
+          bug() unless v.instance_of?(Hash)
+          next if k == SingletonClass
+          # return value annotation
+          h0 = v
+          k  = ClassWrapper.new(k, sym == :instance_methods)
+          h1 = @return_value_configuration[k] || {}
+          h0.each do |(mid, klasses0)|
+            next if klasses0.include?(SingletonClass)
+            klasses0 = klasses0.map{|(c, singleton_p)|
+              bug(c) unless c.is_a?(Class)
+              bug()  unless c != SingletonClass
+              if singleton_p
+                wrapper = ClassWrapper.new(c, false)
+                bug() unless wrapper.singleton?
+              else
+                wrapper = ClassWrapper.new(c, true)
+              end
+              wrapper
+            }
+            klasses1 = h1[mid] || []
+            update_p = true unless (klasses0 - klasses1).empty?
+            klasses1 |= klasses0
+            h1[mid] = klasses1
+          end
+          @return_value_configuration[k] = h1
         end
-        @return_value_configuration[k] = h1
       end
       update_p
     end