tiny_ge 0.1.0 → 0.1.1

checksums.yaml

@@ -1,7 +1,7 @@
 ---
 SHA256:
-  metadata.gz: 96bc1b77a659cad57646a1398044b96c7a4b71c3156383dad83851b01a02147e
-  data.tar.gz: 2004c17254e109aa2df31fcc984238b33bb994df6b603f33e5dd566d08b995b0
+  metadata.gz: f7a82a96859e47c3fd2b9c5791153d702f3ba1985c4bb6f239b90baf9fa508f0
+  data.tar.gz: 425c1e7fc169bcf8a6657597b931f053ec9db5d3aebce1bf34d5f9106b431101
 SHA512:
-  metadata.gz: 70890650d6c60bfe67520de5ffca924f4402d53bb1a7453dcb56ca0511e74aa21b7fb948d5bd586fd6d1d26f14a9cd2b63692a4ae5cbfadad1df7bec45029414
-  data.tar.gz: dbd41fc053114b598965059296d2e60e345ccd06d3956ff1bf077f5475fa6502aadd25a54438fd0ebac6f08385019f9c498f572eff0f434fc44edc46482602b5
+  metadata.gz: b542034953484ee9d0940b253166314f988e5b99518430942fdea53910c8b0dc4f7bdfdbea95b638c991691ef7aa1fbd52aed85a9e71991161380b0de972c295
+  data.tar.gz: abe0e4e19fc6a2c1ca2b81d2663de5bb9d4e20816ff7a34bbea1caf76441cd8a65bdc0586b75ea00dbf9e5c899f559a5948bea0ca5adb4c08969b07df243d74d

data/.gitignore

@@ -6,3 +6,7 @@
 /pkg/
 /spec/reports/
 /tmp/
+
+*~
+\#*
+.DS_Store

data/README.org

@@ -1,108 +1,19 @@
-#+qiita_private: 79491472592ae821dcdc
 #+OPTIONS: ^:{}
 #+STARTUP: indent nolineimages
-#+TITLE: linuxでprocessの排他処理
+#+TITLE: tiny_ge
 #+AUTHOR: Shigeto R. Nishitani
 #+EMAIL:     (concat "shigeto_nishitani@mac.com")
 #+LANGUAGE:  jp
 # +OPTIONS:   H:4 toc:t num:2
 #+OPTIONS:   toc:nil
-#+TAG: Linux, 排他処理
+#+TAG: Linux, exclusive_processing
 #+TWITTER: off
 # +SETUPFILE: ~/.emacs.d/org-mode/theme-readtheorg.setup
 
-* intro
-necのvector engineでprocessを排他処理する．
-
-necのVector Engineでmpirunを投げるとそのまま行っちゃう．
-そこでlock fileによる排他処理を提案されたが，そのままだと順序が保証できない．
-そこんとこちょっと改善
-
-* 方針
-統一ファイルを用意して，そこにveにsubmitしたjobのstatusを記録し，
-そこから排他処理と実行を行う．
-
-* 実装
-** 最初の提案
-例えば、ロックファイルを作るのはどうでしょうか？
-#+begin_src shell
-#!/bin/sh
-
-while [ -f "${HOME}/.running" ]; do
-  sleep 10
-done
-touch "${HOME}/.running"
-
-[...]
-mpirun -np 8 vasp_std 1> stdout 2> stderr
-
-rm "${HOME}/.running"
-#+end_src
-これをバックグラウンドで実行すればVEに複数ジョブが一度に入ることはなくなります。
-
-- 実行順は保証されません。
-
-** 最初の実装
-home directory配下にファイルを用意してそこにstatus([finished, running, waiting])を
-書き込んでそれを参照してjobを実行する．
-
-それぞれの投入ジョブのshellは次の通り．
-#+name: check_ve.sh
-#+include: "./test/check_ve.sh" src sh
-
-実際の稼働shellは以下の二つ．
-#+name: check_ve_lock
-#+include: "./lib/check_ve_lock" src ruby
-
-#+name: unlock_ve_lock
-#+include: "./lib/unlock_ve_lock" src ruby
-動いた．
-#+begin_example
-   12753:   finished: /home/bob/bin: 2021-01-26 20:45:56 +0900
-   13209:   finished: /home/bob/bin: 2021-01-26 20:46:05 +0900
-   13407:   finished: /home/bob/bin: 2021-01-26 20:46:14 +0900
-    8512:   finished: /home/bob/frenkel_aurora/al_110_lambda_05: 2021-01-26 23:37:06 +0900
-   20683:    running: /home/bob/frenkel_aurora/al_110_lambda_075: 2021-01-26 23:48:25 +0900
-#+end_example
-** rubyからbackgroundでの実行
-- [[https://stackoverflow.com/questions/11982057/how-can-i-trigger-a-shell-script-and-run-in-background-async-in-ruby][How can I trigger a shell script and run in background (async) in Ruby?]]
-
-に書かれている手法で，
-#+begin_src ruby
-    shell_file = "./test.sh"
-    File.write(shell_file, "sleep 10\necho \"hoge\"\n")
-    command_line("chmod u+x #{shell_file}")
-    p pid = spawn(shell_file, :out => "test.out", :err => "test.err")
-    Process.detach(pid)
-#+end_src
-にて実装．
-
-結果は，
-#+begin_example
-> ls -la --time-style=full-iso test*
--rw-r--r--. 1 bob bob   0 2021-01-29 12:12:29.572812565 +0900 test.err
--rw-r--r--. 1 bob bob   5 2021-01-29 12:12:39.575812241 +0900 test.out
--rwxrw-r--. 1 bob bob  21 2021-01-29 12:12:29.571812565 +0900 test.sh*
--rw-rw-r--. 1 bob bob 155 2021-01-28 10:01:57.380865004 +0900 test_helper.rb
-#+end_example
-となり，10秒後に書き込まれているのを確認．outファイルは実行直後に出来てたみたい．
-chmodが嫌ですね．
-でも，変なpermissionいらないからuser directoryで実行するshellを生成するのが良さそう．
-
-前回これを実装しようとして，child processとかで悩んだ．
-
-この検索過程で，gemでqueueシステムをいくつも発見．
-railsとかtest用にいくつも開発されている．
-- [[https://www.ruby-toolbox.com/categories/Background_Jobs]]
-- [[https://blog.appsignal.com/2019/04/02/background-processing-system-in-ruby.html][Ruby Magic Learning by building, a Background Processing System in Ruby]]
-ただ，難しそう．．．
-
-
-* Tiny GE
-次節の改善案にしたがってgemで実装．
-SGEのコマンドに似せて作成．
-
+tiny_ge is a tiny grid engine like SGE.
 
+* Usage
+tiny_ge has a similar interface with SGE.
 #+begin_example
 > tge --help
 
@@ -112,9 +23,10 @@ qdel [pid]          # delete job
 qfinish [pid]       # finish forcely
 #+end_example
 
-shellを指定してqsubすると以下のtest.shが作成される．
+When you qsub shell, test.s_23520 will be made.
 #+begin_src shell
-> cat test.sh
+> qsub ve_lock_vasp.sh
+> cat test.s23520
 #!/bin/sh
 while ! qsub 23520; do
   sleep 10
@@ -124,66 +36,20 @@ sh /home/.../ve_lock_vasp.sh
 
 qfinish 23520
 #+end_src
+The job is queued in ~/.tge_test_jobs.txt as YAML format.
 
-defaultでは~/.tge_test_jobs.txtにqueueがYAML形式で保存されている．
-
-qstatで'running'などの状況を確認．
+qstat will show the status like 'running'.
 #+begin_example shell
 > qstat
-11670: 11702:   finished: /home/bob/tiny_ge/test/hello_world.sh
-14735: 14764:   finished: /home/bob/tiny_ge/test/hello_world.sh
-18515: 18545:   finished: /home/bob/frenkel_aurora/00_1000_10/ve_lock_vasp.sh
-29533: 29562:   finished: /home/bob/frenkel_aurora/00_1000_10/ve_lock_vasp.sh
-18648: 18678:    running: /home/bob/frenkel_aurora/00_1000_10/ve_lock_vasp.sh
+11670: 11702:   finished: /home/test/hello_world.sh
+14735: 14764:   finished: /home/test/hello_world.sh
+18515: 18545:   finished: /home/test2/ve_lock_vasp.sh
+29533: 29562:   finished: /home/test2/ve_lock_vasp.sh
+18648: 18678:    running: /home/test2/ve_lock_vasp.sh
+27624: 27654:    waiting: /home/test/hello_world.sh
 #+end_example
 
-* 改善案
-- [X] テキストにして置いておくより，yamlかjsonが良さそう．
-    見にくいけれど，間違いがないだろうから．
-- [X] qsubを常駐させて，そこにsubmitするという手はないか？
-   1. 常駐させる必要はなくて，qsubに対してve_lock用のshellを常駐させればいい．
-   1. /tmpにおく？
-- [ ] 走ってないゾンビをチェックする必要あり
-- [X] qstat, qdelが必要
-
-- [X] gem化するのが良さそう．そこでは
-     : exeに個別のコマンドを用意するが，実体は同じclassの違う振る舞い
-     とすればいい．
-
-- [X] qsub -> TGE.qsub(pid, shell_path)
-- [X] qfinish -> TGE.qfinish(pid)
-- [X] qstat -> TGE.qstat(line = 10)
-- [X] qdel -> TGE.qdel(pid)
-なんかのmodule methodを用意して，それぞれのコマンドを実行させればいい．
-それにはThorなんかのCLIはいらない．
-
-* テスト
-- [[https://github.com/minitest-reporters/minitest-reporters][minitest-reporters]]
-
-** test_helperの呼び方
-rake testでやるときと，
-: ruby tiny_ge_test.rb -n test_qsub
-とかでやるときでtest_helperが呼ばれない時がある．
-
-: require_relative "./test_helper"
-
-とすると両方で呼ばれる．
-
-#+name: test_helper.rb
-#+begin_ruby
-$LOAD_PATH.unshift(File.expand_path('../../lib', __FILE__))
-#require 'test/unit'
-require "tiny_ge"
-
-require "minitest/autorun"
-require "minitest/reporters"
-Minitest::Reporters.use!
-#+end_ruby
-- qconf
-- かきこ
-** kill zombie
-開発の段階でzombie processの大量発生が起こった．
+You may write the job in ve_lock_vasp.sh,
+then the queue system will wait the finish of previous job
+and will run the waiting job.
 
-:  ps -xal |grep test.sh
-とかで親プロセスまで見ることができて．殺せる．
-第４出力が親プロセス．

data/README_J.org

@@ -0,0 +1,236 @@
+#+qiita_private: 79491472592ae821dcdc
+#+OPTIONS: ^:{}
+#+STARTUP: indent nolineimages
+#+TITLE: linuxでprocessの排他処理
+#+AUTHOR: Shigeto R. Nishitani
+#+EMAIL:     (concat "shigeto_nishitani@mac.com")
+#+LANGUAGE:  jp
+# +OPTIONS:   H:4 toc:t num:2
+#+OPTIONS:   toc:nil
+#+TAG: Linux, 排他処理
+#+TWITTER: off
+# +SETUPFILE: ~/.emacs.d/org-mode/theme-readtheorg.setup
+
+* intro
+necのvector engineでprocessを排他処理する．
+
+necのVector Engineでmpirunを投げるとそのまま行っちゃう．
+そこでlock fileによる排他処理を提案されたが，そのままだと順序が保証できない．
+そこんとこちょっと改善
+
+* 方針
+統一ファイルを用意して，そこにveにsubmitしたjobのstatusを記録し，
+そこから排他処理と実行を行う．
+
+* Tiny GE
+次節の改善案にしたがってgemで実装．
+- [[https://rubygems.org/gems/tiny_ge]]
+- [[https://github.com/daddygongon/tiny_ge]]
+
+SGEのコマンドに似せたCLI.
+#+begin_example
+> tge --help
+
+qsub [shell]        # submit shell job
+qstat               # show queue status
+qdel [pid]          # delete job
+qfinish [pid]       # finish forcely
+#+end_example
+
+shellを指定してqsubすると以下のtest.shが作成される．
+#+begin_src shell
+> qsub ve_lock_vasp.sh
+> cat test.s23520
+#!/bin/sh
+while ! qsub 23520; do
+  sleep 10
+done
+
+sh /home/.../ve_lock_vasp.sh
+
+qfinish 23520
+#+end_src
+
+defaultでは~/.tge_test_jobs.txtにqueueがYAML形式で保存されている．
+
+qstatで'running'などの状況を確認．
+#+begin_example shell
+> qstat
+11670: 11702:   finished: /home/test/hello_world.sh
+14735: 14764:   finished: /home/test/hello_world.sh
+18515: 18545:   finished: /home/test2/ve_lock_vasp.sh
+29533: 29562:   finished: /home/test2/ve_lock_vasp.sh
+18648: 18678:    running: /home/test2/ve_lock_vasp.sh
+#+end_example
+
+
+* 実装の途中段階
+** 最初の提案
+例えば、ロックファイルを作るのはどうでしょうか？
+#+begin_src shell
+#!/bin/sh
+
+while [ -f "${HOME}/.running" ]; do
+  sleep 10
+done
+touch "${HOME}/.running"
+
+[...]
+mpirun -np 8 vasp_std 1> stdout 2> stderr
+
+rm "${HOME}/.running"
+#+end_src
+これをバックグラウンドで実行すればVEに複数ジョブが一度に入ることはなくなります。
+
+- 実行順は保証されません。
+** 最初の実装
+home directory配下にファイルを用意してそこにstatus([finished, running, waiting])を
+書き込んでそれを参照してjobを実行する．
+
+それぞれの投入ジョブのshellは次の通り．
+#+name: check_ve.sh
+#+include: "./test/check_ve.sh" src sh
+
+実際の稼働shellは以下の二つ．
+#+name: check_ve_lock
+#+include: "./lib/check_ve_lock" src ruby
+
+#+name: unlock_ve_lock
+#+include: "./lib/unlock_ve_lock" src ruby
+動いた．
+#+begin_example
+   12753:   finished: /home/bob/bin: 2021-01-26 20:45:56 +0900
+   13209:   finished: /home/bob/bin: 2021-01-26 20:46:05 +0900
+   13407:   finished: /home/bob/bin: 2021-01-26 20:46:14 +0900
+    8512:   finished: /home/bob/frenkel_aurora/al_110_lambda_05: 2021-01-26 23:37:06 +0900
+   20683:    running: /home/bob/frenkel_aurora/al_110_lambda_075: 2021-01-26 23:48:25 +0900
+#+end_example
+** rubyからbackgroundでの実行
+- [[https://stackoverflow.com/questions/11982057/how-can-i-trigger-a-shell-script-and-run-in-background-async-in-ruby][How can I trigger a shell script and run in background (async) in Ruby?]]
+
+に書かれている手法で，
+#+begin_src ruby
+    shell_file = "./test.sh"
+    File.write(shell_file, "sleep 10\necho \"hoge\"\n")
+    command_line("chmod u+x #{shell_file}")
+    p pid = spawn(shell_file, :out => "test.out", :err => "test.err")
+    Process.detach(pid)
+#+end_src
+にて実装．
+
+結果は，
+#+begin_example
+> ls -la --time-style=full-iso test*
+-rw-r--r--. 1 bob bob   0 2021-01-29 12:12:29.572812565 +0900 test.err
+-rw-r--r--. 1 bob bob   5 2021-01-29 12:12:39.575812241 +0900 test.out
+-rwxrw-r--. 1 bob bob  21 2021-01-29 12:12:29.571812565 +0900 test.sh*
+-rw-rw-r--. 1 bob bob 155 2021-01-28 10:01:57.380865004 +0900 test_helper.rb
+#+end_example
+となり，10秒後に書き込まれているのを確認．outファイルは実行直後に出来てたみたい．
+chmodが嫌ですね．
+でも，変なpermissionいらないからuser directoryで実行するshellを生成するのが良さそう．
+
+前回これを実装しようとして，child processとかで悩んだ．
+
+この検索過程で，gemでqueueシステムをいくつも発見．
+railsとかtest用にいくつも開発されている．
+- [[https://www.ruby-toolbox.com/categories/Background_Jobs]]
+- [[https://blog.appsignal.com/2019/04/02/background-processing-system-in-ruby.html][Ruby Magic Learning by building, a Background Processing System in Ruby]]
+ただ，難しそう．．．
+
+** find child process
+親プロセスを殺しただけでは，子プロセスは動いたまま．
+そこでそれらを再帰的に見つけて殺すプログラムを実装．
+
+#+name: lib/tiny_ge/child_prcess.rb
+#+include: "lib/tiny_ge/child_process.rb" src ruby
+
+#+begin_example shell
+> ruby kill_child_process.rb
+0  1000 13961 13931  20   0  11004  3116 -      S    ?          0:00 sh /home/bob/frenkel_aurora/lambda_10/ve_lock_vasp.sh
+0  1000 13998 13961  20   0 302264 15372 x64_sy Sl   ?          0:00 ruby ../bin/frenkel.rb vasp 8 1.0 1000 3 1.0 513
+0  1000 19301 13998  20   0   4488   768 -      S    ?          0:00 mpirun -np 8 /home/nec/release20210125/vasp.5.4.4/bin/vasp_std
+0  1000 19302 19301  20   0 186784  5256 core_s Ss   ?          0:00 mpid
+0  1000 19308 19302  20   0 1090611052 189368 - S    ?          0:00 /opt/nec/ve/libexec/ve_exec -d /dev/veslot0 -s /var/
+0  1000 19309 19302  20   0 1090596356 221076 - S    ?          0:00 /opt/nec/ve/libexec/ve_exec -d /dev/veslot0 -s /var/
+...
+kill -9 13931
+kill -9 13961
+kill -9 13998
+kill -9 19301
+...
+#+end_example
+
+これをqdelに入れるか，qfinishに入れるかで悩む．
+- qdelは'wait' -> delete
+- qfinishは'running' -> 'finished'
+なんで，'deleted'を作るか．そうすればqfinishはqdelと合体できる．
+
+** pidをqueueの連番に変える
+pidを親プロセスのpidからqueueの番号に変更．
+
+それに伴って，idのuniquenessを保証するため，
+deleteでデータを直接消すのをやめて，
+'deleted'状態として保持することにした．
+
++それに伴ってfinished あるいはdeletedがnext processの判断基準とした．+
+
+** qsubのロジック変更
+finished, deletedの次としていたらすぐにrunningが始まって失敗．
+他のrunning, waitingがあるかないかで判断．
+
+- shell jobならばqueueに登録
+- そうでなければpidとみなして，
+  - running, waitingが他に一つでもあれば待て(return false)．
+  - なければ進め(change status and return true)
+
+** 改善案
+- [X] テキストにして置いておくより，yamlかjsonが良さそう．
+    見にくいけれど，間違いがないだろうから．
+- [X] qsubを常駐させて，そこにsubmitするという手はないか？
+   1. 常駐させる必要はなくて，qsubに対してve_lock用のshellを常駐させればいい．
+   1. /tmpにおく？
+- [ ] 走ってないゾンビをチェックする必要あり
+- [X] qstat, qdelが必要
+
+- [X] gem化するのが良さそう．そこでは
+     : exeに個別のコマンドを用意するが，実体は同じclassの違う振る舞い
+     とすればいい．
+
+- [X] qsub -> TGE.qsub(pid, shell_path)
+- [X] qfinish -> TGE.qfinish(pid)
+- [X] qstat -> TGE.qstat(line = 10)
+- [X] qdel -> TGE.qdel(pid)
+なんかのmodule methodを用意して，それぞれのコマンドを実行させればいい．
+それにはThorなんかのCLIはいらない．
+
+* テスト
+- [[https://github.com/minitest-reporters/minitest-reporters][minitest-reporters]]
+
+** test_helperの呼び方
+rake testでやるときと，
+: ruby tiny_ge_test.rb -n test_qsub
+とかでやるときでtest_helperが呼ばれない時がある．
+
+: require_relative "./test_helper"
+
+とすると両方で呼ばれる．
+
+#+name: test_helper.rb
+#+begin_ruby
+$LOAD_PATH.unshift(File.expand_path('../../lib', __FILE__))
+#require 'test/unit'
+require "tiny_ge"
+
+require "minitest/autorun"
+require "minitest/reporters"
+Minitest::Reporters.use!
+#+end_ruby
+- qconf
+- かきこ
+** kill zombie
+開発の段階でzombie processの大量発生が起こった．
+
+:  ps -xal |grep test.sh
+とかで親プロセスまで見ることができて．殺せる．
+第４出力が親プロセス．

data/exe/qstat

@@ -2,6 +2,6 @@
 
 require "tiny_ge"
 
-TGE.new.qstat(ARGV[0].to_i)
+TGE.new().qstat(ARGV[0].to_i)
 
 

data/lib/.#tiny_ge.rb

@@ -1 +1 @@
-lib/bob@aurora0.13411:1611034391
+lib/bob@aurora0.21626:1611034391

data/lib/tiny_ge.rb

@@ -1,4 +1,5 @@
 require "tiny_ge/version"
+require "tiny_ge/child_process"
 require 'yaml'
 require 'thor'
 require 'command_line/global'
@@ -7,27 +8,16 @@ require 'command_line/global'
 VE_TEST_FILE = File.join(ENV['HOME'],".tge_test_jobs.txt")
 
 class TGE
-  def initialize(q_file=VE_TEST_FILE)
-    @q_file = VE_TEST_FILE
+  include ChildProcess
+  def initialize(line=0)
+    @q_file =VE_TEST_FILE
+    command_line("touch #{@q_file}") unless File.exist?(@q_file)
     @data = YAML.load(File.read(@q_file))
-  end
-
-  def add_job(pid, shell_path)
-    shell_file = "./test.s#{pid}"
-    shell_script = mk_shell_script(pid, shell_path)
-    File.write(shell_file, shell_script)
-
-    p pid0 = spawn("sh #{shell_file}", :out => "test.o#{pid}", :err => "test.e#{pid}")
-    Process.detach(pid0)
-    puts "#{pid} is added on the queue."
-
-    @data << {pid: pid, status: 'waiting', shell_path: shell_path,
-      real_pid: pid0,
-      submit: Time.now,
-      start: nil,
-      finish: nil
-    }
-    File.write(VE_TEST_FILE, YAML.dump(@data))
+    unless @data
+      @data = []
+      puts 'no data'
+      return
+    end
   end
 
   def change_job_status(pid, status)
@@ -37,6 +27,7 @@ class TGE
         case status
         when 'running' ;  job[:start] = Time.now
         when 'finished';  job[:finish] = Time.now
+        when 'deleted' ;  job[:finish] = Time.now
         end
         File.write(VE_TEST_FILE, YAML.dump(@data))
         break
@@ -49,24 +40,40 @@ class TGE
     return true
   end
 
+  def add_job(pid, shell_path)
+    shell_name = File.basename(shell_path,'.sh')
+    shell_file = "./#{shell_name}.s#{pid}"
+    shell_script = mk_shell_script(pid, shell_path)
+    File.write(shell_file, shell_script)
+
+    p pid0 = spawn("sh #{shell_file}",
+                   :out => "#{shell_name}.o#{pid}",
+                   :err => "#{shell_name}.e#{pid}")
+    Process.detach(pid0)
+    puts "#{pid} is added on the queue."
+
+    @data << {pid: pid, status: 'waiting',
+      shell_path: shell_path,
+      real_pid: pid0,
+      submit: Time.now,
+      start: nil,
+      finish: nil
+    }
+    File.write(VE_TEST_FILE, YAML.dump(@data))
+  end
+
   def qsub(pid, shell_path=Dir.pwd)
     unless pid_on_file(pid)
-      add_job(pid, shell_path)
+      add_job(@data.size, shell_path)
       return false
     end
-    last_finished = -1
-    @data.each_with_index do |job, i|
-      if job[:pid] == pid
-        if job[:status] == 'waiting' and i == last_finished + 1
-          change_job_status(pid, 'running')
-          return true
-        end
-        if job[:status] == 'running'
-          return true
-        end
-        return false
+
+    @data.each do |job|
+      if job[:pid] == pid and job[:status] == 'waiting'
+        change_job_status(pid, 'running')
+        return true
       end
-      last_finished = i if job[:status] == 'finished'
+      return false if job[:status] == 'waiting' or job[:status] == 'running'
     end
   end
 
@@ -84,18 +91,22 @@ class TGE
     end
     @data.each_with_index do |job, i|
       if job[:pid] == pid
-        res = command_line("kill -9 #{job[:real_pid]}")
-        p res
-        @data.delete_at(i)
+        res = command_line "ps -xal |grep #{job[:real_pid]}"
+        puts res.stdout
+        kill_all_child_process(job[:real_pid].to_i)
+        # res = command_line("kill -9 #{job[:real_pid]}")
+        # p res
+        # @data.delete_at(i)
+        change_job_status(pid, 'deleted')
         File.write(VE_TEST_FILE, YAML.dump(@data))
         puts "#{pid} is deleted from the qeueu."
+
         return true
       end
     end
   end
 
   def qstat(item_num=0)
-    @data = YAML.load(File.read(VE_TEST_FILE))
     @data[item_num..-1].each do |job, i|
       real_pid = job[:real_pid] || 0
       puts "%5d: %5d: %10s: %s" % [job[:pid], real_pid, job[:status], job[:shell_path]]
@@ -107,13 +118,13 @@ class TGE
     #!/bin/sh
     while ! qsub #{pid}; do
       sleep 10
-    done
+      done
 
-    sh #{shell_path}
+      sh #{shell_path}
 
-    qfinish #{pid}
-EOS
-  end
+      qfinish #{pid}
+      EOS
+    end
 
-end
+  end
 

data/lib/tiny_ge/child_process.rb

@@ -0,0 +1,30 @@
+require 'command_line/global'
+
+module ChildProcess
+  def find_child_process_recursively(pid)
+    $ps_data.each do |item|
+      next if item==nil
+       if item[4].to_i == pid.to_i
+        $pids << item[3].to_i
+        find_child_process_recursively(item[3].to_i)
+      end
+    end
+    return nil
+  end
+
+  def kill_all_child_process(pid)
+    p $pids = [pid]
+    # store jobs in $data
+    $ps_data = command_line('ps -xal').stdout.split("\n").inject([]) do |dd, line|
+      dd << line.match(/^(\d+)\s+(\d+)\s+(\d+)\s+(\d+)(.+)/)
+      # stored in String
+    end
+
+    find_child_process_recursively(pid)
+    p $pids
+    $pids.uniq.each do |pid|
+      p command = "kill -9 #{pid}"
+      command_line command
+    end
+  end
+end

data/lib/tiny_ge/version.rb

@@ -1,3 +1,3 @@
 class TGE
-  VERSION = "0.1.0"
+  VERSION = "0.1.1"
 end

metadata

@@ -1,14 +1,14 @@
 --- !ruby/object:Gem::Specification
 name: tiny_ge
 version: !ruby/object:Gem::Version
-  version: 0.1.0
+  version: 0.1.1
 platform: ruby
 authors:
 - Shigeto R. Nishitani
 autorequire: 
 bindir: exe
 cert_chain: []
-date: 2021-02-01 00:00:00.000000000 Z
+date: 2021-02-08 00:00:00.000000000 Z
 dependencies:
 - !ruby/object:Gem::Dependency
   name: thor
@@ -85,15 +85,10 @@ email:
 - shigeto_nishitani@me.com
 executables:
 - qdel
-- qdel~
 - qfinish
-- qfinish~
 - qstat
-- qstat~
 - qsub
-- qsub~
 - tge
-- tge~
 extensions: []
 extra_rdoc_files: []
 files:
@@ -104,25 +99,19 @@ files:
 - Gemfile.lock
 - LICENSE.txt
 - README.org
+- README_J.org
 - Rakefile
 - exe/qdel
-- exe/qdel~
 - exe/qfinish
-- exe/qfinish~
 - exe/qstat
-- exe/qstat~
 - exe/qsub
-- exe/qsub~
 - exe/tge
-- exe/tge~
-- lib/#tiny_ge.rb#
 - lib/.#tiny_ge.rb
 - lib/check_ve_lock
-- lib/check_ve_lock~
 - lib/tiny_ge.rb
+- lib/tiny_ge/child_process.rb
 - lib/tiny_ge/version.rb
 - lib/unlock_ve_lock
-- lib/unlock_ve_lock~
 - tiny_ge.gemspec
 homepage: https://github.com/daddygongon/tiny_ge
 licenses:

data/exe/qdel~

@@ -1,6 +0,0 @@
-#!/usr/bin/env ruby
-
-require "tiny_ge"
-
-TGE::qstat
-

data/exe/qfinish~

@@ -1,6 +0,0 @@
-#!/usr/bin/env ruby
-
-require "tiny_ge"
-
-TGE.new.qdel(ARGV[0].to_i)
-

data/exe/qstat~

@@ -1,6 +0,0 @@
-#!/usr/bin/env ruby
-
-require "tiny_ge"
-
-TGE::qstat(-10)
-

data/exe/qsub~

@@ -1,16 +0,0 @@
-#!/usr/bin/env ruby
-
-require "tiny_ge"
-require 'thor'
-
-module TinyGE
-  class MyCLI < Thor
-    desc "hello NAME", "say hello to NAME"
-    def hello(name)
-      puts "Hello " + name
-    end
-  end
-end
-
-TinyGE::MyCLI.start(ARGV)
-

data/exe/tge~

@@ -1,8 +0,0 @@
-#!/usr/bin/env ruby
-
-str = <<- EOF
-hello
-EOF
-
-puts str
-

data/lib/#tiny_ge.rb#

@@ -1,121 +0,0 @@
-require "tiny_ge/version"
-require 'yaml'
-require 'thor'
-require 'command_line/global'
-
-#VE_SUBMIT_JOBS_FILE = File.join(ENV['HOME'],".ve_submit_jobs.txt")
-VE_TEST_FILE = File.join(ENV['HOME'],".tge_test_jobs.txt")
-
-class TGE
-  def initialize(q_file=VE_TEST_FILE)
-    @q_file = VE_TEST_FILE
-    @data = YAML.load(File.read(@q_file))
-  end
-
-  def add_job(pid, shell_path)
-    shell_file = "./test.s#{pid}"
-    shell_script = mk_shell_script(pid, shell_path)
-    File.write(shell_file, shell_script)
-
-    p pid0 = spawn("sh #{shell_file}", :out => "test.o#{pid}", :err => "test.e#{pid}")
-    Process.detach(pid0)
-    puts "#{pid} is added on the queue."
-
-    @data << {pid: pid, status: 'waiting', shell_path: shell_path,
-      real_pid: pid0,
-      submit: Time.now,
-      start: nil,
-      finish: nil
-    }
-    File.write(VE_TEST_FILE, YAML.dump(@data))
-  end
-
-  def change_job_status(pid, status)
-    @data.each do |job, i|
-      if job[:pid] == pid
-        job[:status] = status
-        case status
-        when 'running' ;  job[:start] = Time.now
-        when 'finished';  job[:finish] = Time.now
-        end
-        File.write(VE_TEST_FILE, YAML.dump(@data))
-        break
-      end
-    end
-  end
-
-  def qfinish(pid)
-    change_job_status(pid, 'finished')
-    return true
-  end
-
-  def qsub(pid, shell_path=Dir.pwd)
-    unless pid_on_file(pid)
-      add_job(pid, shell_path)
-      return false
-    end
-    last_finished = -1
-    @data.each_with_index do |job, i|
-      if job[:pid] == pid
-        if job[:status] == 'waiting' and i == last_finished + 1
-          change_job_status(pid, 'running')
-          return true
-        end
-        if job[:status] == 'running'
-          return true
-        end
-        return false
-      end
-      last_finished = i if job[:status] == 'finished'
-    end
-  end
-
-  def pid_on_file(pid)
-    @data.each do |job, i|
-      return job[:status] if job[:pid] == pid
-    end
-    return false
-  end
-
-  def qdel(pid)
-    unless pid_on_file(pid)
-      puts "#{pid} is not on the qeueu."
-      return false
-    end
-    @data.each_with_index do |job, i|
-      if job[:pid] == pid
-        res = command_line("kill -9 #{job[:real_pid]}")
-        p res
-        @data.delete_at(i)
-        File.write(VE_TEST_FILE, YAML.dump(@data))
-        puts "#{pid} is deleted from the qeueu."
-        return true
-      end
-    end
-  end
-
-  def qstat(item_num=0)
-    if item_num == '-f'
-      item_num 
-    @data = YAML.load(File.read(VE_TEST_FILE))
-    @data[item_num..-1].each do |job, i|
-      real_pid = job[:real_pid] || 0
-      puts "%5d: %5d: %10s: %s" % [job[:pid], real_pid, job[:status], job[:shell_path]]
-    end
-  end
-
-  def mk_shell_script(pid, shell_path)
-    return <<~EOS
-    #!/bin/sh
-    while ! qsub #{pid}; do
-      sleep 10
-    done
-
-    sh #{shell_path}
-
-    qfinish #{pid}
-EOS
-  end
-
-end
-

data/lib/check_ve_lock~

@@ -1,30 +0,0 @@
-#!/bin/env ruby
-#VE_SUBMIT_JOBS_FILE = File.join(ENV['HOME'],".ve_submit_jobs.txt")
-VE_SUBMIT_JOBS_FILE = File.join(ENV['HOME'],".tge_test_jobs.txt")
-pid = ARGV[0] || 1234
-pid = pid.to_i
-
-status = ['not_on_file', -1]
-lines = File.readlines(VE_SUBMIT_JOBS_FILE)
-finished_job = -1
-lines.each_with_index do |line, i|
-  data = line.match(/\s+(\d+):\s+(\w+):\s+(.+):/)
-  if data[1].to_i == pid
-    status = [data[2], i]
-    if status[1] == finished_job + 1
-      line.gsub!('waiting','running')
-      File.write(VE_SUBMIT_JOBS_FILE, lines.join)
-      exit 0
-    end
-    break 
-  end
-  finished_job = i if data[2] == 'finished'
-end
-
-if status[0] == 'not_on_file'
-  line = "%8d: %10s: %s: %s\n" % [pid, 'waiting', Dir.pwd(), Time.now]
-  File.open(VE_SUBMIT_JOBS_FILE, 'a'){ |f| f.write line }
-end
-
-exit 1 # return false
-#exit 0 # return true

data/lib/unlock_ve_lock~

@@ -1,15 +0,0 @@
-#!/bin/env ruby
-VE_SUBMIT_JOBS_FILE = File.join(ENV['HOME'],".ve_submit_jobs.txt")
-pid = ARGV[0] || 1234
-pid = pid.to_i
-lines = File.readlines(VE_SUBMIT_JOBS_FILE)
-lines.each_with_index do |line, i|
-  data = line.match(/\s+(\d+):\s+(\w+):\s+(.+)/)
-  if data[1].to_i == pid
-    line.gsub!(' running', 'finished')
-    File.write(VE_SUBMIT_JOBS_FILE, lines.join)
-    break 
-  end
-end
-
-exit 0 # return true