rub2 0.1.0 → 0.2.0

checksums.yaml

@@ -1,7 +1,7 @@
 ---
-SHA1:
-  metadata.gz: 3076d25cda3711a25aa2affcb5d6e6910116d22c
-  data.tar.gz: 1dae4fdf67c4c12d4fe6ffd5497b1cd4003d88d1
+SHA256:
+  metadata.gz: f3c4e11450cfc56d7a6171bd2a59322cc927bb03d4680519cbfce7fcf61a7bf8
+  data.tar.gz: 676b2f0326d75c31e760547e81df36f154036d42133c78baadecf0908ee78281
 SHA512:
-  metadata.gz: 4fd9836ab51f32dfa84dfdf4a045bda69fd0886b9fc3e30a7ca34ae51145e27bc35970593584d5959d93266f952c3dd2cf9ebc7b4b523a888854f551046c22ed
-  data.tar.gz: 14c99adaec23c336e8c8ed7f0e806d75bb459dbfde0c3b354b65b635d3f61d21128d821d251ad882ac27d6218f05d384e4d4508c6261ae0f4077ce7c2a3d176d
+  metadata.gz: f9be823b44ad553bf7f402d2639fcbe5a8bc7d8e913e02183fad46455996e341cbac23be3ed9567335314796e2fb807e100265893e411e8a8539d11674b2e417
+  data.tar.gz: 487085194ebfcc7b6f045f5de1e2bb393cf0c6dee34983423208654ad9805e4237a250342ab5bf798be60a8e11934d54e125308e07d9a1c84ea1d218e33b33cc

data/{README.txt → README.md}

@@ -1,24 +1,32 @@
-* There's the rub
+# rub2
 
-wrapper for qsub
+wrapper for torque qsub
 
-* サンプル
+## install
 
+```shell
+gem install rub2
+```
+
+## sample
+
+```ruby
 require 'rub2'
 
 submit "SimpleJob" do
-  execute_with Dir.glob("/etc/*.conf") do |dotfile|
-     "wc -l #{dotfile}"
+  execute_with Dir.glob("/etc/*.conf") do |file|
+     "wc -l #{file}"
   end
 end
 # exit if job failed
 
 
-submit "WithOptions" do
-  log 'log/test.log'                                              # log file path
+submit "WithOptions" do |jobname|
+  log "log/#{jobname}.log"                                              # log file path
   resource 'nodes' => '1:ppn=4', 'mem' => '15mb'                  # qsub -l option
   array_request 2..4 # or array_request [1, 3]                    # qsub -t option
   inherit_environment                                             # qsub -V option
+  queue 'batch'                                                   # qsub -q option
   continue_on_error                                               # don't exit on job failed
   dry_run                                                         # output script and exit. no execute
 
@@ -40,45 +48,46 @@ submit "WithOptions" do
     end
   end
 end
+```
 
-* 使い方
+## 使い方
 
 submit "JobName"で指定された名前でジョブを作成します。
 submitブロック内でexecute_withの引数に配列を渡すと、配列の要素数分JobArrayを作成して、execute_withから返された文字列をbashの引数として実行します。
 jobが全て成功するとsubmitブロックはtrueを返します。
 
-* オプション
+## オプション
 
-** log
+### log
 
 ログファイル出力先。未指定の場合はカレントフォルダにログディレクトリを作成します。
 
-** resource
+### resource
 
 qsub -lオプション。リソース名 => 値のハッシュを渡してください。
 
-** array_request
+### array_request
 
 実行するarray index。1-10の時は1..10のようにRangeを、1,2,4の時は[1,2,4]と配列を渡してください。
 
-** inherit_environment
+### inherit_environment
 
 qsub -Vオプション。環境変数を引き継ぎます。
 
-** dry_run
+### dry_run
 
 実行せずにsubmitするスクリプトを表示します。デバッグ向け。
 
-** max_retry
+### max_retry
 
 max retry count
 
-* ハンドラ
+## ハンドラ
 
 ジョブが成功した場合にはon_doneハンドラ、一つでも失敗した場合はon_failハンドラで指定されたブロックを実行します。
 未指定の場合はデフォルトハンドラを実行し、失敗したジョブがあれば表示します。
 
 
-その他
+## その他
 
 各jobの結果はRinda(dRuby)サーバーで受け取ります。 ネットワーク不調などにより結果が受け取れず終了しないときは適当にctrl-cで終らせてくさい。

data/lib/rub2.rb

@@ -14,9 +14,16 @@ module Rub2
   module_function :putlog
 
   class JobScript
-    attr_accessor :log, :shell, :resource, :array_request,
-      :inherit_environment, :commands, :log_path, :uri
-    attr_reader :source
+    attr_accessor :log,
+                  :shell,
+                  :resource,
+                  :array_request,
+                  :inherit_environment,
+                  :commands,
+                  :log_path,
+                  :uri,
+                  :queue
+    attr_reader :source, :name
 
     def initialize(name)
       @name = name
@@ -56,6 +63,7 @@ module Rub2
       t = Time.now.strftime('%Y%m%d_%H%M%S')
       Pathname.new(Dir.pwd).join("log_#{t}", "#{name}.log")
     end
+
     # return key=value[,key=value]
     def make_pbs_resources_string
       return '' if @resource.empty?
@@ -79,6 +87,9 @@ module Rub2
 <%- if @inherit_environment -%>
 #PBS -V
 <%- end -%>
+<%- if @queue -%>
+#PBS -q <%= @queue %>
+<%- end -%>
 
 CMD=(
 <% @commands.each do |i| -%>
@@ -90,11 +101,13 @@ cd $PBS_O_WORKDIR
 echo "job start: $(date -Iminute)"
 echo "$PBS_O_HOST -> $(hostname): $PBS_JOBNAME $PBS_JOBID (cwd: $PWD)"
 echo "execute: ${CMD[$ID]}"
+START_TIME=$(date +%s)
 bash -c "set -e; set -o pipefail; ${CMD[$ID]}"
 RET=$?
 echo "job exit: $RET at: $(date -Iminute)"
+EXIT_TIME=$(date +%s)
 for i in {0..10}; do
-  ruby -r drb -e "DRbObject.new_with_uri('<%= @uri %>').write([<%= Process.pid %>, '$PBS_JOBID', $PBS_ARRAYID, '$HOSTNAME', $RET])"
+  ruby -r drb -e "DRbObject.new_with_uri('<%= @uri %>').write([<%= Process.pid %>, '$PBS_JOBID', $PBS_ARRAYID, '$HOSTNAME', $RET, $START_TIME, $EXIT_TIME])"
   if [ $? -eq 0 ]; then
     exit $RET
   fi
@@ -106,7 +119,6 @@ EOS
 
     end
 
-
     class Job
       attr_reader :parent_id, :array_id, :exit_code, :died_at
 
@@ -272,10 +284,12 @@ EOS
 
     # block thread
     def collect_job_result(job_store)
-      _pid, job_id, array_id, host, exit_code = @drb.take([@pid, nil, nil, nil, nil], @timeout)
+      _pid, job_id, array_id, host, exit_code, start_time, exit_time = @drb.take([@pid, nil, nil, nil, nil, nil, nil], @timeout)
       job_store.update_exit_code([{:array_id => array_id, :exit_code => exit_code}])
       @success_count += 1 if exit_code == 0
-      Rub2.putlog "#{job_id}(#{host}) => #{exit_code}\t(#{@success_count}/#{@job_count})"
+      t = Time.at(exit_time) - Time.at(start_time)
+      min, sec = t.divmod(60)
+      Rub2.putlog "#{job_id}(#{host}) => #{exit_code}\t[#{min}m#{sec.truncate}s]\t(#{@success_count}/#{@job_count})"
     end
   end
 
@@ -292,7 +306,6 @@ EOS
     # execute_with array (, arrays) do |arg1 (, args...)|
     #   return command_string
     # end
-
     def execute_with(first, *rest, &block)
       commands = []
       first.zip(*rest) do |i|
@@ -345,6 +358,10 @@ EOS
       @script.inherit_environment = true
     end
 
+    def queue(q)
+      @script.queue = q
+    end
+
     def continue_on_error
       @continue_on_error = true
     end
@@ -370,11 +387,16 @@ EOS
 
       @script.build
 
-
       if @dry_run
         puts @script.source
         return
       end
+
+      if @script.commands.empty?
+        raise "Empty commands"
+        return
+      end
+
       @jobid << submit_qsub(@script.source)
       @job_store.init_job(@jobid.first, @script.array_request, @max_retry_count)
     end
@@ -398,7 +420,7 @@ EOS
       else
         results.each do |aid, ret|
           unless ret == 0
-            Rub2.putlog "array job failed: #{ret}"
+            Rub2.putlog "array job[#{aid}] failed: #{ret}"
           end
         end
       end
@@ -451,7 +473,7 @@ EOS
       end
       jobid =~ /\A(\d+)/
       jobid = $1
-      Rub2.putlog "job submited: #{jobid}[#{array_option || @script.make_array_request_string}]"
+      Rub2.putlog "job submited: #{@script.name} -> #{jobid}[#{array_option || @script.make_array_request_string}]"
       return jobid
     end
 
@@ -463,7 +485,6 @@ EOS
       Rub2.putlog "start Rinda Server: #{@uri}"
       return @uri
     end
-
   end
 end
 
@@ -471,7 +492,7 @@ end
 def submit(name, &block)
   raise "Empty name" if name.empty?
   job = Rub2::Manager.new(name)
-  job.instance_eval(&block)
+  job.instance_exec(name, &block)
   job.submit
   return job.wait_finish
 end

data/lib/rub2/version.rb

@@ -1,3 +1,3 @@
 module Rub2
-  VERSION = "0.1.0"
+  VERSION = "0.2.0"
 end

metadata

@@ -1,14 +1,14 @@
 --- !ruby/object:Gem::Specification
 name: rub2
 version: !ruby/object:Gem::Version
-  version: 0.1.0
+  version: 0.2.0
 platform: ruby
 authors:
 - holrock
 autorequire: 
 bindir: exe
 cert_chain: []
-date: 2017-12-22 00:00:00.000000000 Z
+date: 2019-09-26 00:00:00.000000000 Z
 dependencies:
 - !ruby/object:Gem::Dependency
   name: bundler
@@ -48,7 +48,7 @@ files:
 - ".gitignore"
 - Gemfile
 - LICENSE.txt
-- README.txt
+- README.md
 - Rakefile
 - lib/rub2.rb
 - lib/rub2/version.rb
@@ -73,8 +73,7 @@ required_rubygems_version: !ruby/object:Gem::Requirement
     - !ruby/object:Gem::Version
       version: '0'
 requirements: []
-rubyforge_project: 
-rubygems_version: 2.6.14
+rubygems_version: 3.0.3
 signing_key: 
 specification_version: 4
 summary: simple DSL for submitting jobs via qsub