jiji 1.2.5

data/lib/jiji/util/backtester.rb

@@ -0,0 +1,116 @@
+require "rubygems"
+require "jiji/util/json_rpc_requestor"
+require 'uuidtools'
+
+module JIJI
+  
+  #==jijiに接続してバックテストの実行と結果の取得を行うためのユーティリティ。
+  #jijiのJSON-RPC APIを利用してバックテストの実行と結果の取得を行うユーティリティです。
+  #
+  # require 'rubygems'
+  # require 'jiji/util/backtester'
+  # 
+  # #接続先のjijiを指定して、テスターを作成
+  # tester = JIJI::BackTester.new( "http://unageanu.homeip.net/jiji-demo"  )
+  # 
+  # #エージェントを作成
+  # agents = []
+  # agents << tester.create_agent( "MovingAverageAgent", "moving_average_agent.rb",
+  #  "移動平均_12-36", {"long"=>36,"period"=>10,"short"=>12})
+  # agents << tester.create_agent( "MovingAverageAgent", "moving_average_agent.rb",
+  #  "移動平均_25-75", {"long"=>75,"period"=>10,"short"=>25})
+  # 
+  # #テストを実行
+  # time = Time.local(2009, 8, 20).to_i
+  # process_id = tester.regist_test( "移動平均テスト2", "", time, time+24*60*60*3, agents )
+  # 
+  # #テストの実行完了を待つ
+  # tester.wait( process_id )
+  # 
+  # #結果を確認
+  # result = tester.get_result( process_id )
+  # result.each_pair {|k,v|
+  #   puts "\n---#{k}"
+  #   puts "profit or ross : #{v.profit_or_loss}" 
+  #   puts "positions : "
+  #   v.positions.each {|p|
+  #     puts "  #{p["pair"]} #{p["sell_or_buy"]} #{p["profit_or_loss"]}"
+  #   }
+  # }
+  #
+  class BackTester
+    
+    #===コンストラクタ
+    #endpoint:: 接続先サーバーを示すエンドポイント 例) http://unageanu.homeip.net/jiji-demo
+    def initialize( endpoint )
+      @agent_service = JSONBroker::JsonRpcRequestor.new("agent", endpoint)
+      @process_service = JSONBroker::JsonRpcRequestor.new("process", endpoint)
+      @trade_result_service = JSONBroker::JsonRpcRequestor.new("trade_result", endpoint)
+      @agents = @agent_service.list_agent_class
+    end
+    #===エージェントの情報を取得する。
+    #class_name:: クラス名
+    #file:: クラスが定義されているファイル名
+    #return:: エージェントの情報/対応するエージェントがなければnil
+    def get_agent_info( class_name, file )
+      return @agents.find{|i|
+        i["class_name"]==class_name && i["file_name"]==file
+      }
+    end
+    
+    #===バックテストに登録するためのエージェント情報を作成する。
+    #class_name:: クラス名
+    #file:: クラスが定義されているファイル名
+    #name:: エージェント名
+    #properties:: エージェントのプロパティ
+    #return:: バックテストに登録するためのエージェント情報
+    def create_agent( class_name, file, name,  properties )
+      info = get_agent_info( class_name, file )
+      raise "agent not found." unless info
+      agent = info.dup
+      agent["id"] = UUIDTools::UUID.random_create().to_s
+      agent["class"] = "#{info["class_name"]}@#{info["file_name"]}"
+      agent["name"] = name
+      agent["property_def"] = agent["properties"].inject({}){|r,i|
+        r[i["id"]] = i
+        r
+      }
+      agent["properties"] = properties
+      return agent
+    end
+    #===バックテストを実行する。
+    #title:: テストの名前
+    #memo:: メモ
+    #start_time:: 開始日時(UNIXタイム/1970-01-01からの秒数)
+    #end_time:: 終了日時(UNIXタイム/1970-01-01からの秒数)
+    #agents:: 実行するエージェントの配列
+    #return:: バックテストの識別ID(process_id)
+    def regist_test( title, memo, start_time, end_time, agents )
+      return @process_service.new_test( 
+        title, memo, start_time, end_time, agents )["id"]
+    end
+    #===バックテストの完了を待つ
+    #process_id:: バックテストの識別ID
+    def wait( process_id ) 
+      while ( true )
+        status = @process_service.status( [process_id] )[0]["state"]
+        return if status == "ERROR_END" || status == "FINISHED" || status == "CANCELED"        
+        sleep 5
+      end
+    end
+    #===バックテストの実行結果を取得する。
+    #process_id:: バックテストの識別ID
+    #return:: エージェント名をキーとする実行結果のハッシュ
+    def get_result( process_id )
+      result = @trade_result_service.list( process_id, "5d", nil, nil )
+      return result.inject({}) {|r, item|
+        info = r[item["trader"]] ||= Result.new( 0, [] )
+        info.profit_or_loss += item["profit_or_loss"]
+        info.positions << item
+        r
+      }
+    end
+    #実行結果
+    Result = Struct.new( :profit_or_loss, :positions )
+  end
+end

data/lib/jiji/util/block_to_session.rb

@@ -0,0 +1,70 @@
+
+require 'thread'
+
+# ブロックを渡して処理を行なうAPIを
+# セッション風に使えるようにする
+class Session
+  def initialize
+    @alive = true
+    @alive_mutex = Mutex.new
+    @q = Queue.new
+    @t = Thread.fork {
+      yield proc {|*args|
+        while( @alive_mutex.synchronize { @alive } )
+          req = @q.pop
+          req.call( *args ) if req
+        end
+      }
+    }
+  end
+  # リクエストを送る
+  def request( &block )
+    return unless block_given?
+    req = Request.new(block)
+    @q.push req
+    req.wait
+  end
+  # セッションを破棄する
+  def close
+    @alive_mutex.synchronize { 
+      @alive = false
+    }
+    @q.push nil
+    @t.join
+  end
+  
+  # リクエスト
+  class Request
+    def initialize( block )
+      @mutex = Mutex.new
+      @cv = ConditionVariable.new
+      @finished = false
+      @value = nil
+      @error = nil
+      @proc = proc {|*args|
+        begin
+          @value = block.call(*args)
+        rescue Exception
+          @error = $! 
+        ensure
+          @mutex.synchronize{
+            @finished = true
+            @cv.signal
+          }
+        end
+      }
+    end
+    # リクエストの完了を待ち、結果を返す。
+    def wait
+      @mutex.synchronize{
+        @cv.wait( @mutex ) until @finished
+      }
+      raise @error if @error
+      @value
+    end
+    # リクエストを実行する。
+    def call(*args)
+      @proc.call(*args)
+    end
+  end
+end

data/lib/jiji/util/cache.rb

@@ -0,0 +1,79 @@
+require "fileutils"
+require 'jiji/util/file_lock'
+require 'kconv'
+require 'yaml'
+require 'jiji/util/fix_yaml_bug'
+
+module Cache
+
+  class YAMLCacheInterceptor
+    def initialize( range, cache_file_prefix, &block)
+      @name = "cache"
+      @range = range
+      @cache_file_prefix = cache_file_prefix
+      @block = block
+    end
+    def invoke( mi )
+      cache_file =  @cache_file_prefix + "_" +  mi.name.to_s
+      cache_file += "_" + @block.call(mi.name,*mi.arguments) if @block != nil
+      cache_file += ".yaml"
+
+      flock = FileLock.new(cache_file + ".lock")
+      current = Time.new
+
+      res = nil
+      flock.writelock(){
+        # キャッシュがあればキャッシュから読む
+        if ( File.exist?(cache_file) && current.to_i < (File.mtime(cache_file).to_i + @range) )
+          res = YAML.load_file cache_file
+        else
+          res =  mi.proceed
+          File.open( cache_file, "w" ) { |f|
+            f.write( YAML.dump(res) )
+          }
+          File.utime(current, current, cache_file)
+        end
+      }
+      return res
+    end
+    attr_reader :name
+  end
+
+  class YAMLCache
+    def initialize(delegate, range, cache_file_prefix, regex=".*", &block)
+      @delegate = delegate
+      @range = range
+      @cache_file_prefix = cache_file_prefix
+      @regex = regex
+      @block = block
+    end
+
+    def method_missing(name, *args )
+
+      return @delegate.send( name, *args ) if ( !name.to_s.match(@regex) )
+
+      cache_file =  @cache_file_prefix + "_" +  name.to_s
+      cache_file += "_" + @block.call(name,*args) if @block != nil
+
+      cache_file += ".yaml"
+
+      flock = FileLock.new(cache_file + ".lock")
+      current = Time.new
+
+      res = nil
+      flock.writelock(){
+        # キャッシュがあればキャッシュから読む
+        if ( File.exist?(cache_file) && current.to_i < (File.mtime(cache_file).to_i + @range) )
+          res = YAML.load_file cache_file
+        elsif
+          res =  @delegate.send( name, *args )
+          File.open( cache_file, "w" ) { |f|
+            f.write( YAML.dump(res) )
+          }
+          File.utime(current, current, cache_file)
+        end
+      }
+      return res
+    end
+  end
+end

data/lib/jiji/util/csv_append_support.rb

@@ -0,0 +1,15 @@
+
+require 'csv'
+
+# 追記をサポートするように改造。
+class << CSV
+  alias_method( :open_org, :open )
+  
+  def open( path, mode, fs=nil, rs=nil, &block )
+    if mode == "a" || mode == "ab"
+      open_writer( path, mode, fs, rs, &block)
+    else
+      open_org( path, mode, fs=nil, rs=nil, &block )
+    end
+  end
+end

data/lib/jiji/util/file_lock.rb

@@ -0,0 +1,86 @@
+require "fileutils"
+
+# File.flockを利用したRead-Write-Lock
+class FileLock
+  def initialize(lockfile)
+    @lockfile = lockfile
+  end
+
+  #===読み込みロックする。
+  #- ロックされていても他の読み込みユーザーはブロックさない。
+  #- 他の書き込みユーザーはブロックされる。
+  def readlock ( &block )
+    File.open( @lockfile, "r" ) { |f|
+      f.flock(File::LOCK_SH)
+      begin
+        block.call(f)
+      ensure
+        f.flock(File::LOCK_UN)
+      end
+    }
+  end
+
+  #===書き込みロックする。
+  #- ロックされている場合、他の読み込みユーザー/書き込みユーザー共にブロックされる。
+  def writelock ( &block )
+    File.open( @lockfile, "w" ) { |f|
+      f.flock(File::LOCK_EX)
+      begin
+        block.call(f)
+      ensure
+        f.flock(File::LOCK_UN)
+      end
+    }
+  end
+
+end
+
+class DirLock
+  def initialize(lockdir)
+    @lockfile = "#{lockdir}/.lock"
+  end
+
+  #===読み込みロックする。
+  #- ロックされていても他の読み込みユーザーはブロックさない。
+  #- 他の書き込みユーザーはブロックされる。
+  def readlock ( &block )
+    mkfile
+    File.open( @lockfile, "r" ) { |f|
+      f.flock(File::LOCK_SH)
+      begin
+        block.call
+      ensure
+        f.flock(File::LOCK_UN)
+      end
+    }
+  end
+
+  #===書き込みロックする。
+  #- ロックされている場合、他の読み込みユーザー/書き込みユーザー共にブロックされる。
+  def writelock ( &block )
+    mkfile
+    File.open( @lockfile, "w" ) { |f|
+      f.flock(File::LOCK_EX)
+      begin
+        block.call
+      ensure
+        f.flock(File::LOCK_UN)
+      end
+    }
+  end
+
+private
+  def mkfile
+    i=0
+    while !File.exist?(@lockfile)
+      begin
+        FileUtils.touch( @lockfile )
+        sleep 0.1
+      rescue Exception
+        i+=1
+        raise $! if i >= 5
+      end
+    end
+  end
+end
+

data/lib/jiji/util/fix_yaml_bug.rb

@@ -0,0 +1,11 @@
+
+require 'yaml'
+
+# for yaml bug.
+class String
+  def is_binary_data? # [ruby-list:16014]
+    return true if self.include?(0)
+    check = self[0, 512]
+    check.size < 10 * check.count("\x00-\x07\x0b\x0e-\x1a\x1c-\x1f")
+  end
+end

data/lib/jiji/util/include_proxy.rb

@@ -0,0 +1,17 @@
+class Module
+  #プロキシモジュールをincludeする。
+  def include_proxy( mod )
+    include mod
+    class << self 
+      def const_missing(id)
+        self.included_modules.each {|m|
+          begin
+            return m.const_get(id)
+          rescue NameError
+          end
+        }
+        raise NameError.new
+      end
+    end
+  end
+end

data/lib/jiji/util/iterator.rb

@@ -0,0 +1,70 @@
+
+# イテレータ
+class Iterator
+  # 列挙します
+  def each
+    begin
+      while next?
+        yield self.next
+      end
+    ensure
+      self.close
+    end
+  end
+  # 次があるか評価する
+  def next?
+  end
+  # 次の要素を取得
+  def next
+  end
+  # イテレータを破棄
+  def close
+  end
+end
+
+# 空のイテレータ
+class EmptyIterator < Iterator
+  def next?; false; end
+  def next; nil; end
+end
+
+# フィルタ
+class Filter < Iterator
+  def initialize( it, &block )
+    super()
+    @it = it
+    @test = block
+    inner_next
+  end
+  def next?
+    @has_next
+  end
+  def next
+    raise "illegal state." unless next?
+    begin
+      return @next_element
+    ensure
+      inner_next
+    end
+  end
+  def close
+    @it.close if @it
+  end
+
+  private
+  def inner_next
+    while @it.next?
+      item = @it.next
+      matches = @test.call( item )
+      if matches == :break
+        break
+      elsif matches == :true || matches == true
+        @has_next = true
+        @next_element = item
+        return
+      end
+    end
+    @has_next = false
+    @next_element = nil
+  end
+end

data/lib/jiji/util/json_broker.rb

@@ -0,0 +1,55 @@
+#!/usr/bin/ruby --
+
+require "json/lexer"
+require "cgi"
+
+module JSONBroker
+
+# CGI向けAPI
+# パラメータ「request」の値をリクエストとして使う。
+class Cgi
+  def self.invoke( service )
+    print "Content-type: application/json\n\n"
+    cgi =  CGI.new
+    request = cgi.params["request"].to_s
+
+    print Broker.new( service ).invoke( request )
+  end
+end
+
+# JSONリクエストを元にサービスのAPIを実行して結果をJSONで返す。
+#
+# リクエスト:
+# {"method":<サービスメソッド名>, "params":[<引数1>, <引数2>]}
+#
+# レスポンス(正常時):
+# [{"error":null, "result":<実行結果>}]
+#
+# レスポンス(エラー時):
+# [{"error":<例外の詳細>, "result":null}]
+#
+class Broker
+  def initialize ( service )
+    @service = service
+  end
+
+  def invoke ( request )
+    begin
+      json = JSON::Lexer.new(request).nextvalue
+      method   = json["method"]
+      args       = json["params"]
+
+      result = @service.send( method.to_sym, *args )
+      return '[{"error":null, "detail":null,"result":' << result.to_json << "}]"
+    rescue Exception
+      error =  $!.to_s.gsub(/'/, "")
+      detail = $!.respond_to?(:detail) ? $!.detail : {}
+      detail[:backtrace] =  $!.backtrace.join("\n").gsub(/'/, "")
+      return '[{"error":' << error.to_json << ', "detail":' + detail.to_json + ', "result":null}]'
+    end
+  end
+end
+
+end
+
+#print JSONBroker::Broker.new( "mii,aaa" ).invoke( '{"method":"to_s","params":[]}' )

data/lib/jiji/util/json_rpc_requestor.rb

@@ -0,0 +1,30 @@
+#!/usr/bin/ruby --
+
+require "cgi"
+require 'httpclient'
+require "json/lexer"
+require "json/objects"
+
+module JSONBroker
+
+# クライアント
+class JsonRpcRequestor
+  def initialize( name, host="http://localhost:8080", proxy=nil )
+    @client = HTTPClient.new( proxy, "JsonClientLib")
+    @client.set_cookie_store("cookie.dat")
+    @name = name
+    @host = host
+  end
+  def method_missing( name, *args )
+    body = CGI.escape("{\"method\":#{name.to_s},\"params\":#{args.to_json}}")
+    result = @client.post("#{@host}/json/#{@name}", body )
+    json = JSON::Lexer.new(result.content).nextvalue[0]
+    if json["error"]
+      raise json["error"]
+    else
+      json["result"]
+    end
+  end
+end
+
+end