unageanu-jiji 1.1.4 → 1.2.1

data/lib/jiji/command.rb

@@ -116,10 +116,7 @@ module JIJI
         FileUtils.chmod(0600, "#{dir}/conf/configuration.yaml")
 
         # サンプルエージェント
-        ["agents","shared_lib"].each {|d|
-          mkdir("#{dir}/#{d}")
-          FileUtils.copy( Dir.glob(File.expand_path("#{__FILE__}/../../../base/#{d}/*")), "#{dir}/#{d}" )
-        }
+        copy_base_files( dir, h  )
       rescue Exception
         puts "[ERROR] setting failed.(#{$!.to_s})"
         return
@@ -144,6 +141,44 @@ module JIJI
     end
 
   private
+    #サンプルのエージェント、共有ライブラリをコピーする。
+    def copy_base_files( dir, h  )
+      src_dir = File.expand_path("#{__FILE__}/../../../base/")
+      files = []
+      ["agents","shared_lib"].each {|d| 
+        files += Dir.glob(File.expand_path("#{src_dir}/#{d}/**/*")).reject {|i|
+          File.directory? i
+        }
+      }
+      overwrite = :yes
+      files.each {|f|
+        new_path = f.sub( /#{src_dir}/, dir )
+        if File.exist?(new_path) && overwrite != :all
+          overwrite = ask_overwrite( h, new_path )
+        else
+          overwrite = overwrite != :all ? :yes : :all
+        end
+        if overwrite != :no
+          mkdir( File.dirname( new_path ) )
+          copy( f, new_path )
+        end
+      }
+    end
+    #上書きするかどうか確認する。
+    def ask_overwrite( h, f )
+      result = nil
+      while ( !result )
+        tmp = h.ask("> File #{f} is already exist. Do you want to overwrite? ([y]es/[n]o/[a]ll files)")
+        next if !tmp || tmp.length == 0
+        result = case tmp[0,1].downcase
+          when "y";  :yes
+          when "n";  :no
+          when "a";  :all
+        end
+      end
+      result
+    end
+  
     # データディレクトリを得る
     def data_dir
       base = "#{File.expand_path(JIJI_DIR_NAME)}/base"
@@ -154,10 +189,16 @@ module JIJI
     end
     # ディレクトリを作る。
     def mkdir( path )
+      return if File.exist? path
       FileUtils.mkdir_p path
       FileUtils.chmod(0755, path)
       puts "create. #{path}"
     end
-
+    # ファイルをコピーする。
+    def copy( path, to )
+      FileUtils.copy( path, to )
+      FileUtils.chmod(0644, to)
+      puts "create. #{to}"
+    end
   end
 end

data/lib/jiji/dao/file_system_dao.rb

@@ -0,0 +1,158 @@
+
+require 'fileutils'
+require 'jiji/error'
+
+module JIJI
+  module Dao
+
+    #ファイルシステムにデータを保存するDAO
+    class FileSystemDao
+
+      #コンストラクタ
+      #base:: 保存先の基点となるディレクトリ
+      def initialize( base )
+        @base = base
+      end
+
+      #パスが示すファイルのデータを取得する。
+      def get( path )
+        path = validate_path( path, :exist, :is_file )
+        return FileLock.new(path).readlock {|f|
+          f.read
+        }
+      end
+
+      #パスが示すフォルダ配下の一覧を取得する。
+      def list( path="", recursive=false )
+        path = validate_path( path, :exist, :is_directory )
+        Dir.glob( "#{path}/#{recursive ? '**/*' : '*' }" ).map {|item|
+          next if File.basename(item) =~ /^\..*/
+          { :path  =>item.sub( /^#{@base}\//, "" ),
+            :name  =>File.basename(item),
+            :update=>File.mtime(item).to_i,
+            :type  =>File.directory?(item) ? :directory : :file}
+        }.sort_by {|item| "#{item[:type]}/#{item[:path]}" }
+      end
+
+      #ファイルを追加する。
+      def add( path, body )
+        validate_path( path, :exist_parent, :not_exist )
+        put( path, body )
+        :success
+      end
+
+      #ファイルを追加/更新する。
+      def put( path, body )
+        path = validate_path( path, :exist_parent, :is_file )
+        FileLock.new(path).writelock {|f|
+          f << body
+        }
+        :success
+      end
+
+      #ファイルまたはディレクトリを破棄する
+      def delete( path )
+        path = validate_path( path, :exist )
+        if ( File.file? path )
+          FileLock.new(path).writelock {|f|
+            FileUtils.rm_rf path
+          }
+        else
+          FileUtils.rm_rf path
+        end
+        :success
+      end
+
+
+      #ファイル/フォルダを移動する
+      def move( from, to )
+        from = validate_path( from, :exist )
+        to = validate_path( to, :exist, :is_directory )
+        FileUtils.mv from, to
+        :success
+      end
+
+      #ファイル/フォルダをリネームする
+      def rename( from, to )
+        from = validate_path( from, :exist )
+        to = validate_path( to, :not_exist )
+        FileUtils.mv from, to
+        :success
+      end
+
+      #ファイル/フォルダをコピーする
+      def copy( from, to )
+        from = validate_path( from, :exist )
+        to = validate_path( to )
+        FileUtils.cp_r from, to
+        :success
+      end
+
+      #フォルダを作成する
+      def mkcol(path)
+        path = validate_path( path, :exist_parent, :not_exist )
+        FileUtils.mkdir_p path
+        :success
+      end
+
+      #ディレクトリかどうか評価する。
+      def directory?(path)
+        path = validate_path( path, :exist )
+        File.directory?(path)
+      end
+
+      #データ保存先の基点となるディレクトリ
+      attr_reader :base
+
+    private
+      #パスを正規化する
+      #steps:: パスを示す文字列
+      #return:: 正規化されたパス(baseからの絶対パス)
+      def validate_path( path, *options )
+        # パスの文字列をチェック。
+        steps = path.split( /\/+/ ).map{|str| str.strip }
+        steps.each {|step|
+          if !step || step.length <= 0 || step.strip.length <= 0
+            raise JIJI::UserError.new( JIJI::ERROR_ILLEGAL_NAME, "illegal file or directory name. name=#{step}" )
+          end
+          unless step =~ VALID_FILE_NAME
+            raise JIJI::UserError.new( JIJI::ERROR_ILLEGAL_NAME, "illegal file or directory name. name=#{step}" )
+          end
+          if step =~ /^\.+$/
+            raise JIJI::UserError.new( JIJI::ERROR_ILLEGAL_NAME, "illegal file or directory name. name=#{step}" )
+          end
+          if step =~ /^\..*/
+            raise JIJI::UserError.new( JIJI::ERROR_ILLEGAL_NAME, "illegal file or directory name. name=#{step}" )
+          end
+        }
+        #ファイルパス構築
+        file = "#{@base}#{ steps.empty? ? "" : "/" + steps.join( "/" )}"
+        parent = File.dirname( file )
+
+        #オプションのチェック
+        op = options.inject({}){|h,o| h[o] = true; h }
+        if op.key?(:is_directory) && File.exist?( file )
+          unless File.directory?( file )
+            raise JIJI::UserError.new( JIJI::ERROR_IS_NOT_FOLDER, "target is not a folder. path=#{file}" )
+          end
+        end
+        if op.key?(:is_file) && File.exist?( file )
+          unless File.file?( file )
+            raise JIJI::UserError.new( JIJI::ERROR_IS_NOT_FILE, "target is not a file. path=#{file}" )
+          end
+        end
+        if op.key?(:exist) && !File.exist?( file )
+          raise JIJI::UserError.new( JIJI::ERROR_NOT_FOUND, "file or directory is not found. path=#{file}" )
+        end
+         if op.key?(:not_exist) && File.exist?( file )
+          raise JIJI::UserError.new( JIJI::ERROR_ALREADY_EXIST, "file or directory is already exist. path=#{file}" )
+        end
+        if op.key?(:exist_parent) && !( File.exist?( parent ) && File.directory?( parent ))
+          raise JIJI::UserError.new( JIJI::ERROR_NOT_FOUND, "directory is not found. directory=#{parent}" )
+        end
+        return file
+      end
+      VALID_FILE_NAME = /^[A-Za-z0-9_\+\-\#\'\!\~\(\)\[\]\.\{\}]+$/
+    end
+  end
+end

data/lib/jiji/dao/timed_data_dao.rb

@@ -286,6 +286,8 @@ module JIJI
         end
       end
       def flush( time )
+        return unless @next #一度もnextが呼ばれていない場合、何もしない
+        
         @end = time
         yield aggregated
         @start = @next

data/lib/jiji/dao/trade_result_dao.rb

@@ -116,7 +116,7 @@ module JIJI
             return BasicTimedData.new( [str] \
               + [@start.to_i, @end.to_i], @end)
           ensure
-            @values.clear
+            @values.clear if @values
           end
         end
         attr_reader :values

data/lib/jiji/error.rb

@@ -1,29 +1,45 @@
 
 module JIJI
-  # 致命的エラー
-  class FatalError < StandardError
-    def initialize( code, message="" )
+
+  class AbstractError < StandardError
+    def initialize( code, message="", info={}  )
       super( message )
       @code = code
+      @info = info
+    end
+    def detail
+      {"code"=>@code,"info"=>@info}
     end
     attr :code
+    attr :info, true
+  end
+
+  # 致命的エラー
+  class FatalError < AbstractError
+    def initialize( code, message="", info={}  )
+      super
+    end
   end
   # ユーザー操作により発生しうるエラー
-  class UserError < StandardError
-    def initialize( code, message="" )
-      super( message )
-      @code = code
+  class UserError < AbstractError
+    def initialize( code, message="", info={} )
+      super
     end
-    attr :code
   end
 
   # エラーコード:存在しない
   ERROR_NOT_FOUND = "not_found"
   # エラーコード:すでに存在する
   ERROR_ALREADY_EXIST = "already_exist"
+  # エラーコード:ファイルでない
+  ERROR_IS_NOT_FILE = "is_not_file"
+  # エラーコード:フォルダでない
+  ERROR_IS_NOT_FOLDER = "is_not_folder"
 
   # エラーコード:不正な名前
   ERROR_ILLEGAL_NAME = "illegal_name"
+  # エラーコード:不正な引数
+  ERROR_ILLEGAL_ARGUMENTS = "illegal_arguments"
 
   # エラーコード:想定外エラー
   ERROR_FATAL = "fatal"

data/lib/jiji/migration/migrator1_2_0.rb

@@ -0,0 +1,67 @@
+
+require 'fileutils'
+require 'yaml'
+require 'jiji/util/fix_yaml_bug'
+require 'jiji/util/file_lock'
+require 'jiji/process'
+require 'kconv'
+
+module JIJI
+  module Migration
+
+    #===1.1.3 → 1.2.0
+    class Migrator1_2_0
+      def migrate( registry )
+        logger = registry.server_logger
+
+        #出力の保存先を置換
+        Dir.glob("#{registry.process_dir}/*") {|d|
+          
+          logger.info "convert : #{d}"
+          process_id = File.basename(d)
+          process_info = {}
+          begin
+            file = "#{d}/#{JIJI::ProcessInfo::PROPERTY_FILE}"
+            process_info = YAML.load_file(file) if  File.exist?(file)
+          rescue Exception
+            logger.error $!
+          end
+          
+          begin
+            # 出力データを列挙
+            Dir.glob("#{d}/out/*").map.each {|out_dir|
+              convert_out_dir( out_dir, process_info, logger )
+            }
+          rescue Exception
+            logger.error $!
+          end
+        }
+      end
+
+      #各出力ディリクトリデータのリネーム
+      def convert_out_dir( out_dir, info, logger )
+        begin
+          agent_id = JIJI::Util.decode( File.basename(out_dir))
+          agent_name = resolve_name( info, agent_id )
+          FileLock.new( "#{out_dir}/#{JIJI::Output::PROPERTIES_FILE_NAME}" ).writelock { |f|
+            f.write( YAML.dump({:agent_name=>agent_name}) )
+          }
+          FileUtils.mv out_dir, "#{File.dirname(out_dir)}/#{agent_id}"
+        rescue Exception
+          logger.error $!
+        end
+      end
+      #エージェント名を解決する
+      def resolve_name( process_info, agent_id )
+        if ( process_info["agents"]  )
+          item = process_info["agents"].find {|i| i["id"] == agent_id }
+          return item["name"] if item
+        end
+        return "不明"
+      end
+
+    end
+
+  end
+end
+

data/lib/jiji/models.rb

@@ -4,12 +4,23 @@ require "jiji/dao/timed_data_dao"
 
 module JIJI
 
-  #==レートの集合
+  #===レートの集合
+  #通貨ペアコード(:EURJPYのようなシンボル)をキーとしてJIJI::Rateを保持します。
+  #
+  #  rates = <省略>
+  #  
+  #  #EURJPYのレートを取得。
+  #  rate = rates[:EURJPY] #=> JIJI::Rate
+  #
+  #  #bidレート,askレートを取得
+  #  p rate.bid
+  #  p rate.ask
+  #
   class Rates < Hash
 
     include JIJI::Util::Model
 
-    def initialize( pair_infos, list, time=Time.now )
+    def initialize( pair_infos, list, time=Time.now ) #:nodoc:
       super()
       @pair_infos = pair_infos
       @time = time
@@ -30,7 +41,7 @@ module JIJI
     include JIJI::Util::Model
     include JIJI::Dao::TimedData
 
-    def initialize( bid=nil, ask=nil, sell_swap=nil, buy_swap=nil, time=nil )
+    def initialize( bid=nil, ask=nil, sell_swap=nil, buy_swap=nil, time=nil ) #:nodoc:
       @bid = bid
       @ask = ask
       @sell_swap = sell_swap
@@ -38,31 +49,54 @@ module JIJI
       @time = time
     end
     # 値を配列で取得する
-    def values
+    def values #:nodoc:
       [bid,ask,sell_swap,buy_swap,time.to_i]
     end
     # 値を配列で設定する
-    def values=(values)
+    def values=(values) #:nodoc:
       @bid = values[0].to_f
       @ask = values[1].to_f
       @sell_swap = values[2].to_f
       @buy_swap  = values[3].to_f
     end
-    attr_reader :bid, :ask, :sell_swap, :buy_swap
+    #bidレート
+    attr_reader :bid
+    #askレート
+    attr_reader :ask
+    #売りスワップ
+    attr_reader :sell_swap
+    #買いスワップ
+    attr_reader :buy_swap
   end
 
-  #==一定期間のレートの集合
+  #===一定期間のレートの集合
+  #通貨ペアコード(:EURJPYのようなシンボル)をキーとしてJIJI::PeriodicallyRateを保持します。
+  #
+  #  rates = <省略>
+  #  
+  #  #EURJPYのレートを取得。
+  #  rate = rates[:EURJPY] #=> JIJI::PeriodicallyRate
+  #
+  #  #bidレートの高値、安値を取得
+  #  bid = rate.bid
+  #  p bid.max
+  #  p bid.min
+  #
   class  PeriodicallyRates < Hash
 
     include JIJI::Util::Model
-
-    def initialize( pair_infos, list=[] )
+    #====コンストラクタ
+    #pair_infos:: 通貨ペアの情報
+    #list:: 初期データ
+    def initialize( pair_infos, list=[] ) #:nodoc:
       super()
       @pair_infos = pair_infos
       list.each {|rates|
         self << rates
       }
     end
+    #====JIJI::Ratesを追加し各値の四本値を再計算します。
+    #rates:: JIJI::Rates
     def <<(rates)
       now = rates.time
       @start_time = now unless @start_time
@@ -72,22 +106,27 @@ module JIJI
         self[code] << rate
       }
     end
-    def time
+    def time #:nodoc:
       @start_time
     end
+    #通貨ペアの情報(取引数量など)
     attr_reader :pair_infos
+    #集計開始日時
     attr :start_time, true
+    #集計終了日時
     attr :end_time, true
   end
 
-  #==一定期間のレート
-  #bid,ask,sell_swap,buy_swapは四本値(JIJI::PeriodicallyValue)で保持される。
+  #===一定期間のレート
+  #bid,ask,sell_swap,buy_swapの各値が四本値(JIJI::PeriodicallyValue)で保持されます。
   class PeriodicallyRate
 
     include JIJI::Util::Model
     include JIJI::Dao::TimedData
-
-    def initialize( list=[] )
+    
+    #====コンストラクタ
+    #list:: 初期データ
+    def initialize( list=[] ) #:nodoc:
       @bid = PeriodicallyValue.new
       @ask = PeriodicallyValue.new
       @sell_swap = PeriodicallyValue.new
@@ -96,7 +135,9 @@ module JIJI
         self << item
       }
     end
-    def <<( rate )
+    #====JIJI::Rateを追加し各値の四本値を再計算します。
+    #rate:: JIJI::Rate
+    def <<( rate ) #:nodoc:
       @bid << rate.bid
       @ask << rate.ask
       @sell_swap << rate.sell_swap
@@ -105,12 +146,12 @@ module JIJI
       @end_time = rate.time
     end
     # 値を配列で取得する
-    def values
+    def values #:nodoc:
       bid.values + ask.values + sell_swap.values + buy_swap.values \
         + [@start_time.to_i, @end_time.to_i]
     end
     # 値を配列で設定する
-    def values=(values)
+    def values=(values) #:nodoc:
       @bid.values = values[0..3]
       @ask.values = values[4..7]
       @sell_swap.values = values[8..11]
@@ -118,28 +159,41 @@ module JIJI
       @start_time = Time.at(values[16].to_i)
       @end_time = Time.at(values[17].to_i)
     end
-    def time
+    def time #:nodoc:
       @end_time
     end
-    def time=(t)
+    def time=(t) #:nodoc:
       @end_time = t
     end
-    attr_reader :bid, :ask, :sell_swap, :buy_swap
+    #bidレート
+    attr_reader :bid
+    #askレート
+    attr_reader :ask
+    #売りスワップ
+    attr_reader :sell_swap
+    #買いスワップ
+    attr_reader :buy_swap
+    #集計開始日時
     attr :start_time, true
+    #集計終了日時
     attr :end_time, true
   end
 
-  #==一定期間の値
+  #===一定期間の値
   #始値、終値、高値、安値の四本値
   class PeriodicallyValue
 
     include JIJI::Util::Model
-
+    
+    #====コンストラクタ
+    #list:: 初期データ
     def initialize( list=[] )
       list.each { |item|
         self << item
       }
     end
+    #====値を追加し四本値を再計算します。
+    #value:: 値
     def <<( value )
       @start = value if @start == nil
       @end = value
@@ -147,19 +201,23 @@ module JIJI
       @min = value if @min == nil || value < @min
     end
     # 値を配列で取得する
-    def values
+    def values #:nodoc:
       [@start, @end, @max, @min]
     end
     # 値を配列で設定する
-    def values=(values)
+    def values=(values) #:nodoc:
       @start = values[0].to_f
       @end   = values[1].to_f
       @max   = values[2].to_f
       @min   = values[3].to_f
     end
+    #始値
     attr :start
+    #終値
     attr :end
+    #高値
     attr :max
+    #安値
     attr :min
   end
 end