unageanu-jiji 0.1.0

data/lib/jiji/output.rb

@@ -0,0 +1,165 @@
+
+require 'jiji/util/util'
+require "jiji/dao/timed_data_dao"
+require 'yaml'
+require 'jiji/util/fix_yaml_bug'
+require 'jiji/util/file_lock'
+require 'fileutils'
+
+module JIJI
+
+  # データの出力先
+  class Output
+
+    include Enumerable
+
+    def initialize( agent_name, dir, scales=[] )
+      @dir = "#{dir}/#{JIJI::Util.encode(agent_name).gsub(/\//, "_")}" # 「ベースディレクトリ/エージェント名/出力名」に保存する。
+      FileUtils.mkdir_p @dir
+
+      @outs = {}
+      @scales = scales
+
+      # 既存データの読み込み
+      DirLock.new( @dir ).writelock {
+        Dir.glob( "#{@dir}/*" ) {|d|
+          next unless File.directory? d
+          next unless File.exist? "#{d}/meta.yaml"
+          props = YAML.load_file "#{d}/meta.yaml"
+          @outs[props["name"]] =
+            create_output( d, props["name"], props["type"].to_sym, props )
+        }
+      }
+    end
+
+    # 名前に対応する出力先を得る。
+    # 対応する出力先がなければ新規に作成。
+    #
+    #name:: 名前(UIでの表示名)
+    #type:: 種別。:event,:graphのいずれかが指定可能
+    #option:: 補足情報。以下が指定可能
+    # -*グラフの場合*
+    # --[:column_count] .. グラフのカラム数を整数値で指定する。(*必須*)
+    # --「:graph_type」 .. グラフの種類を指定する。以下の値が指定可能。
+    # ---"rate" ..  レート情報に重ねて表示(移動平均線やボリンジャーバンド向け)。グラフは、ローソク足描画領域に描画される。
+    # ---"zero_base" ..  0を中心線とした線グラフ(RCIやMACD向け)。グラフは、グラフ描画領域に描画される。
+    # ---"line" ..  線グラフとして描画する。(デフォルト)。グラフは、グラフ描画領域に描画される。
+    # --「:colors」 .. グラフの色を「#FFFFFF」形式の文字列の配列で指定する。指定を省略した場合「0x557777」で描画される。
+    #return:: 出力先
+    def get( name, type=:graph, options={} )
+      raise "illegal Name. name=#{name}" if name =~ /[\x00-\x1F\x7F\\\/\r\n\t]/
+      return @outs[name] if @outs.key? name
+      DirLock.new( @dir ).writelock {
+        sub_dir = "#{@dir}/#{JIJI::Util.encode(name).gsub(/\//, "_")}"
+        FileUtils.mkdir_p sub_dir
+        options["type"] = type.to_s
+        options["name"] = name
+        @outs[name] = create_output( sub_dir, name, type, options )
+        @outs[name].time = time
+        @outs[name].save
+      }
+      @outs[name]
+    end
+
+    # 出力先を列挙する
+    def each( &block )
+      @outs.each( &block )
+    end
+
+    # 現在時刻を設定する
+    def time=(time)
+      @time = time
+      @outs.each_pair {|k,v|
+        v.time = time
+      }
+    end
+    # 現在時刻
+    attr_reader :time
+    # スケール
+    attr :scales, true
+  private
+    # 出力先を作る
+    def create_output( sub_dir, name, type, options )
+      case type
+        when :event
+          EventOut.new( sub_dir, name, options )
+        when :graph
+          GraphOut.new( sub_dir, name, options, @scales )
+        else
+          raise "unkown output type."
+      end
+    end
+  end
+
+  # 出力先の基底クラス
+  class BaseOut
+
+    include Enumerable
+
+    # コンストラクタ
+    def initialize( dir, name, options )
+      @dir = dir
+      @dao = JIJI::Dao::TimedDataDao.new( dir, aggregators )
+      @options = options
+    end
+
+    # データを読み込む
+    def each( scale=:raw, start_date=nil, end_date=nil, &block )
+      @dao.each_data( scale, start_date, end_date ) { |row, time|
+        yield row
+      }
+    end
+
+    #プロパティを設定する。
+    #props:: プロパティ
+    def set_properties( props )
+      props.each_pair {|k,v|
+        @options[k] = v
+      }
+      save
+    end
+
+    #設定値をファイルに出力
+    def save
+      FileLock.new("#{@dir}/meta.yaml" ).writelock { |f|
+        f.write( YAML.dump(@options) )
+      }
+    end
+
+    # 補足情報
+    attr_reader :options
+    # 現在時刻
+    attr :time, true
+
+  end
+
+  # イベントデータの出力先
+  class EventOut < BaseOut
+    # ログを書き込む
+    def put( type, message )
+      @dao << JIJI::Dao::BasicTimedData.new(
+        [type.to_s, message, @time.to_i.to_s], @time)
+    end
+    def aggregators
+      [JIJI::Dao::RawAggregator.new]
+    end
+  end
+
+  # グラフデータの出力先
+  class GraphOut < BaseOut
+    # コンストラクタ
+    def initialize( dir, name, options, scales=[] )
+      @scales = scales
+      super( dir, name, options )
+    end
+    # ログを書き込む
+    def put( *numbers )
+      @dao << JIJI::Dao::BasicTimedData.new( numbers << @time.to_i, @time)
+    end
+    def aggregators
+      list = @scales.map{|s| JIJI::Dao::AvgAggregator.new s}
+      list << JIJI::Dao::RawAggregator.new
+    end
+  end
+
+end

data/lib/jiji/process.rb

@@ -0,0 +1,182 @@
+
+require 'jiji/agent/agent'
+require 'jiji/agent/agent_manager'
+require 'jiji/agent/agent_registry'
+require 'jiji/agent/permitter'
+require 'jiji/agent/util'
+require 'jiji/util/file_lock'
+require 'set'
+require "thread"
+
+module JIJI
+
+  # プロセス
+  class Process
+
+    # コンストラクタ
+    # 再起動後の復元の場合、プロパティを指定しないこと。この場合設定ファイルからロードされる。
+    def initialize( id, process_dir, agent_manager, props=nil, ignore_error=false )
+      @id = id
+      @agent_manager = agent_manager
+      @process_dir = process_dir
+      @started_mutex = Mutex.new
+      @started_mutex.synchronize {
+        @started= false
+      }
+      FileUtils.mkdir_p dir
+
+      prop_file = "#{dir}/props.yaml"
+      if props
+        @props = props
+        @props["agents"] = [] unless @props.key? "agents"
+        save_props
+      else
+        # 既存のプロセスの場合、ファイルから設定値を読み込む
+        @props = {}
+        lock {
+          if ( File.exist? prop_file )
+            @props = YAML.load_file prop_file
+          end
+        }
+        @props["agents"] = [] unless @props.key? "agents"
+      end
+      load_agent(ignore_error)
+      
+      # 取引の有効状態を更新
+      @agent_manager.operator.trade_enable =
+        @props["trade_enable"] ? true : false
+
+    end
+
+    def start
+      @started_mutex.synchronize {
+        @started= true
+        collector.listeners << self
+        collector.start
+      }
+      # 状態を覚えておく
+      props["state"] = collector.state
+      save_props
+    end
+
+    def stop
+      @started_mutex.synchronize {
+        if @started  # 起動していない場合は何もしない
+          observer_manager.stop
+          collector.stop
+          collector.logger.close
+
+          # 状態を覚えておく
+          props["state"] = collector.state
+          save_props
+          @started = false
+        end
+      }
+    end
+
+    def state
+      # 再起動後のバックテストは、コレクターが起動しない
+      # 状態は記録されたデータから返す
+      if !@started
+        return props["state"] ? props["state"] : :CANCELED
+      else
+        return collector.state
+      end
+    end
+
+    def progress
+      # 再起動後のバックテストは、コレクターが起動しない
+      # 進捗は常に100%とする
+      if !@started
+        100
+      else
+        collector.progress
+      end
+    end
+
+    def []=(k,v)
+      @props[k] = v
+      if ( k == "agents" )
+        # エージェントの設定が更新された
+        # 削除対象を特定するため、登録済みエージェントのIDのセットを作成
+        set = agent_manager.inject(Set.new) { |s, pair| s << pair[0]  }
+        v.each {|item|
+          # プロパティの更新 / 対応するエージェントが存在しなければ作成。
+          set_agent_properties( item["id"], item["properties"], item["class"] )
+          set.delete item["id"]
+        }
+        # Mapに含まれていないエージェントは削除
+        set.each { |id| agent_manager.remove( id ) }
+      end
+      if ( k == "trade_enable" )
+        # 取引の有効状態を更新
+        @agent_manager.operator.trade_enable =
+          @props["trade_enable"] ? true : false
+      end
+      save_props
+    end
+    def [](k)
+      @props[k]
+    end
+
+    # コレクターの終了通知を受け取る
+    def on_finished( state, now )
+      self["state"] = state
+      agent_manager.flush( now )
+    end
+
+
+    attr :id, true
+    attr :props, true
+    attr :collector, true
+    attr :observer_manager, true
+    attr :process_dir, true
+    attr :agent_manager, true
+
+  private
+
+    # 任意のエージェントの設定を更新する。
+    # エージェントは初期化されない。propertiesのみ変更される。
+    def set_agent_properties( id, props, cl )
+      a = agent_manager.get(id)
+      if a
+        a.agent.properties = props
+      else
+        agent = agent_manager.agent_registry.create( cl, props )
+        agent_manager.add( id, agent )
+      end
+    end
+
+    def dir
+      "#{@process_dir}/#{@id}"
+    end
+    def lock
+      DirLock.new( dir ).writelock {
+        yield
+      }
+    end
+    def save_props
+      prop_file = "#{dir}/props.yaml"
+      lock {
+        File.open( prop_file, "w" ) { |f|
+          f.write( YAML.dump(@props) )
+        }
+      }
+    end
+    def load_agent( ignore_error=false  )
+      @agent_manager.clear
+      if @props && @props["agents"]
+	      @props["agents"].each {|v|
+          begin
+	          agent = agent_manager.agent_registry.create( v["class"], v["properties"] )
+	          agent_manager.add( v["id"], agent, v["name"] )
+          rescue Exception
+            raise $! unless ignore_error 
+            # リアルトレードの場合、停止中にエージェントが破棄された場合を考慮し
+            # エージェントの初期化で失敗しても無視する。
+          end
+	      }
+      end
+    end
+  end
+end

data/lib/jiji/process_manager.rb

@@ -0,0 +1,189 @@
+
+require 'uuidtools'
+require 'yaml'
+require 'jiji/util/fix_yaml_bug'
+
+module JIJI
+  class ProcessManager
+
+    include Enumerable
+
+    def initialize( registry )
+      @registry = registry
+      @rmt = @registry.rmt_process
+      @back_tests = {}
+
+      @mutex = Mutex.new
+      @running = nil # 実行中のテスト
+      @waiting = [] # 待機中のテスト
+
+      # 既存のバックテスト一覧を読み込む
+      Dir.glob( "#{registry.process_dir}/*" ) {|d|
+        next unless File.directory? d
+        next unless File.exist? "#{d}/props.yaml"
+        id = File.basename(d)
+        next if id == "rmt"
+        @back_tests[id] = @registry.backtest_process(id, nil )
+      }
+    end
+
+    # RMTプロセスをスタートする
+    def start
+      if @conf.get([:collector,:collect], true )
+        @rmt.start
+      end
+    end
+
+    # すべてのプロセスを停止する
+    def stop
+      @stoped = true
+      @registry.operator( "rmt", false, nil).stop
+      @rmt.stop
+      @mutex.synchronize {
+        @waiting.clear
+        if @running != nil
+          @running.collector.listeners.delete(self)
+          @running.stop
+          @running = nil
+        end
+      }
+    end
+
+    # バックテストプロセスを列挙する
+    def each( &block )
+      @back_tests.each_pair {|k,v|
+        yield v
+      }
+    end
+
+    # プロセスを取得する
+    def get( id )
+      unless id == "rmt" || @back_tests.key?(id)
+        raise UserError.new( JIJI::ERROR_NOT_FOUND, "process not found")
+      end
+      id == "rmt" ? @rmt : @back_tests[id]
+    end
+
+     # プロセスの設定を更新する。
+     def set( process_id, setting )
+        p = get( process_id );
+        setting.each_pair {|k,v|
+          case k
+            when "name"
+              p["name"] = v
+            when "trade_enable"
+              p["trade_enable"] = v if process_id == "rmt" # バックテストの変更は許可しない。
+            when "agents"
+              p["agents"] = v
+          end
+        }
+      end
+
+    # バックテストプロセスを新規に作成する
+    def create_back_test( name, memo, start_date, end_date, agent_properties )
+
+      id = UUID.random_create().to_s
+
+      # プロパティを記録
+      props = {
+        "id"=>id,
+        "name"=>name,
+        "memo"=>memo,
+        "create_date"=>Time.now.to_i,
+        "start_date"=>start_date.to_i,
+        "end_date"=>end_date.to_i,
+        "agents"=>agent_properties,
+        "state"=>:WAITING
+      }
+      begin
+        btp = @registry.backtest_process(id, props )
+        @mutex.synchronize {
+          if @running == nil
+            @running = btp
+            @running.collector.listeners << self
+            @running.start
+          else
+            @waiting << btp
+          end
+        }
+      rescue Exception
+        begin
+          btp.stop
+        rescue Exception
+        ensure
+          FileUtils.rm_rf "#{@registry.process_dir}/#{id}"
+        end
+        raise $!
+      end
+
+      @back_tests[id] = btp
+      return {
+       "id"=>id,
+       "name"=>name,
+       "create_date"=>Time.now.to_i
+      }
+    end
+
+    # バックテストプロセスを再起動する
+    def restart_test( id, agent_properties )
+      unless id == "rmt" || @back_tests.key?(id)
+        raise UserError.new( JIJI::ERROR_NOT_FOUND, "process not found")
+      end
+      p = get(id)
+      FileUtils.rm_rf back_test_dir(id)
+      props = {
+        "id"=>id,
+        "name"=>p["name"],
+        "memo"=>p["memo"],
+        "create_date"=>p["create_date"],
+        "start_date"=>p["start_date"],
+        "end_date"=>p["end_date"],
+        "agent_properties"=>agent_properties
+      }
+      btp = @registry.back_test_process(id, props )
+      btp.start
+
+      @back_tests[id] = btp
+      id
+    end
+
+    # バックテストプロセスを削除する
+    # ログファイルもすべて削除。
+    def delete_back_test( id )
+      unless id == "rmt" || @back_tests.key?(id)
+        raise UserError.new( JIJI::ERROR_NOT_FOUND, "process not found")
+      end
+      @mutex.synchronize {
+        if @running != nil && @running["id"] == id
+          @running.collector.listeners.delete(self)
+          @running.stop 
+          unless @waiting.empty?
+            @running = @waiting.shift
+            @running.collector.listeners << self
+            @running.start
+          else
+            @running = nil
+          end
+        end
+      }
+      @back_tests.delete( id )
+      FileUtils.rm_rf "#{@registry.process_dir}/#{id}"
+    end
+
+    # コレクターの終了通知を受け取る
+    def on_finished( state, now )
+      @mutex.synchronize {
+        unless @waiting.empty?
+          @running = @waiting.shift
+          @running.collector.listeners << self
+          @running.start
+        else
+          @running = nil
+        end
+      }
+    end
+
+    attr :registry, true
+    attr :conf, true
+  end
+end