rask 0.0.0 → 0.0.1

data/README.rdoc

@@ -9,30 +9,37 @@
  タスクの実行状態が自動的に永続化されるので、
  タスクの中断、復帰が容易です。
  これらの処理は、web のように処理がまばらな環境での利用を想定しています。
+ どうしてもサーバを再起動しなければいけない時など、バックエンドタスクの中断、復帰を安全に実装できます。
  また、膨大な時間がかかる計算処理などでの利用も考えられます。
  
  
- 
 == FEATURES/PROBLEMS:
 
-* ステートマシンの記述 (Act As State Machine と似てる)
+* シンプルなステートマシンの記述 (Act As State Machine と似てる)
 * タスク状態の永続化
+* デーモン起動によるブロッキング回避
+  * たとえば、webなんかだとタイムアウト回避処理が容易に記述できる
+  * webビデオエンコーダとか、サイトの大量メール配信とか
+  * デーモンが落ちても永続化されているので処理の途中から復帰可能
+    * kill で落とした場合は安全に状態を維持したまま終了できる
+* 永続化はMarshal使っているだけなので drb 組み合わせて、強力な web のバックエンド構築ができる気がするが試していない
+* 内部動作はワーカースレッドで処理しており、スレッド数も変更できるので、処理に応じたチューンが可能
+  * CPUパワーやメモリ量から逆算して、並列化の度合いを調整することでアホみたいにサーバが重たい状況も回避できる。
 
 == SYNOPSIS:
 
-* タスクの定義 (countup.rb)
+* タスクの定義と実行 (samples/test.rb)
  require 'rubygems'
  require 'rask'
- #
- # 数値のカウントアップ 10 までカウントする
- # タスクの定義
- #
+ 
+ # 数値のカウントアップ 10 までカウントするタスク
  class CountupTask < Rask::Task
+   # define_state でステートマシンを作ることができます
    define_state :start,   :initial => true       # 初期状態
    define_state :running                         # 実行
    define_state :finish,  :from    => [:running] # 終了 (遷移元は:runningからのみ)
    
-   def start
+   def start # 定義と同名の関数を定義することで自動的にコールバックされます
      @count = 0
      p "start"
      transition_to_running # :running へ遷移
@@ -45,31 +52,30 @@
    
    def finish
      p "finished"
-     destroy # タスクの破棄
+     destroy # タスクの破棄をする
    end
  end
  
+ task = CountupTask.new # タスクの作成
+ Rask.insert task       # タスクの登録
  
-  # タスクを動かす
-  if __FILE__ == $0
-    task = CountupTask.new # タスクの作成
-    Rask.insert task       # タスクの登録
-  end
- 
- 
-* タスクを実行するデーモン(daemon.rb)
- require 'rubygems'
- require 'rask'
- 
- # バックグラウンドタスクの実行
- Rask.daemon(:sleep=>0.1)
+ Rask.daemon # デーモンとして実行
+
+タスク定義と、デーモンの実行コードがそろったら以下のようにデーモンを起動
+
+ $ ruby samples/test.rb
+
+test.rb を実行するたびにタスクが新しく登録され実行する様子がわかる
+Raskはデーモンの二重起動を抑制するので複数のプロセスが立ち上がることはない
 
+デーモンが起動すると、プロセスIDファイルが rask の作業ディレクトリに自動的に生成されるので
+デーモンの終了は以下のようにできる
 
-デーモンを実行しておくと、Rask.insert を行うだけで
-タスクが自動的に実行されていきます。
+ $ kill `cat /tmp/rask/test.rb.pid`
 
- $ ruby daemon.rb
- $ ruby countup.rb
+kill -TERM されたプロセスは、そのタスクのステートマシンの状態を壊さない。
+いつでも、test.rb を再実行することで前回中断したところから続きのタスクを実行することができる。
+シビアな運用環境で役立つはず。
 
 == REQUIREMENTS:
 

data/lib/rask.rb

@@ -45,9 +45,15 @@ module Rask
   end
   
   
-  @@base_dir  = '/tmp/rask'
-  @@threading = false
-  
+  @@base_dir         = '/tmp/rask'
+  @@threading        = false
+  @@thread_max_count = 5
+  @@thread_count     = 0
+  @@terminated       = false
+  @@queue            = Queue.new
+  @@processing       = []
+  @@locker           = Mutex::new
+ 
   def self.base_directory=(new_directory)
     @@base_dir = new_directory
   end
@@ -60,6 +66,22 @@ module Rask
     @@threading = false
   end
   
+  def self.thread_max_count=(count)
+    @@thread_max_count = count
+  end
+  
+  def self.task_path(task_id)
+    @@base_dir+"/#{task_id}.task"
+  end
+  
+  def self.task_path(task_id)
+    @@base_dir+"/#{task_id}.task"
+  end
+  
+  def self.pid_path
+    @@base_dir+"/#{File.basename($0)}.pid"
+  end
+  
   def self.insert(task)
     initialize_storage
     task_id = "#{safe_class_name(task.class.name)}-#{task.group.to_s}-#{Time.now.to_i}-#{Time.now.usec}"
@@ -74,7 +96,7 @@ module Rask
   
   
   def self.run(task_path)
-    f = File.open(task_path, 'r+')
+    f = File.open(task_path, 'r+') rescue return
     f.flock(File::LOCK_EX)
     
     task = Marshal.restore(f)
@@ -101,13 +123,13 @@ module Rask
   end
   
   def self.tasks(options = { :class=>nil, :group=>nil })
-    target = task_dir
+    target = @@base_dir
     target += '/' if options[:class] || options[:group]
     target += "#{safe_class_name(options[:class])}" if options[:class]
     target += "-#{options[:group]}-" if options[:group]
     
     task_list = []
-    Dir.glob(task_dir+"/*.task") { |d|
+    Dir.glob(@@base_dir+"/*.task") { |d|
       if target.empty? || /#{target}/ =~ d
         task_list.push d
       end
@@ -115,14 +137,6 @@ module Rask
     task_list
   end
   
-  def self.task_dir
-    @@base_dir
-  end
-  
-  def self.task_path(task_id)
-    task_dir+"/#{task_id}.task"
-  end
-  
   def self.initialize_storage
     unless File.exists? @@base_dir
       FileUtils.makedirs @@base_dir
@@ -136,23 +150,69 @@ module Rask
   def self.safe_class_name(c)
     c.gsub(/[:]/,'@')
   end
-  
-  def self.daemon(options = { :class=>nil, :group=>nil, :sleep=>1 })
-    exit if fork
+
+  def self.daemon(options = { :class=>nil, :group=>nil, :sleep=>0.1 })
+    print "daemon start\n"
+    exit if fork
     Process.setsid
-    open(task_dir+"/Rask.pid","w"){|f| f.write Process.pid}
+    if File.exist? pid_path
+      print "already running rask process. #{File.basename($0)}"
+      return
+    end
+    open(pid_path,"w"){|f| f.write Process.pid}
+    
+    # create worker threads
+    threads = []
+    for i in 1..@@thread_max_count do 
+      threads << Thread::new(i) { |thread_id|
+        @@thread_count += 1
+        while !@@terminated
+          d = nil
+          @@locker.synchronize do
+            d = @@queue.pop unless @@queue.empty?
+          end
+          if d != nil
+#            print "#{d}\n"
+            run(d) { |task| task.run }
+            @@locker.synchronize do
+              @@processing.delete(d)
+            end
+          else
+#            print "no data in queue\n"
+            sleep(options[:sleep])
+          end
+        end
+        print "#{thread_id}"
+        @@thread_count -= 1
+      }
+    end
+    
+    Signal.trap(:TERM) {safe_exit}
+    
     while true
-      Rask.each { |task|
-        task.run
+      task_list = Rask.tasks(options)
+      task_list.each { |d|
+        @@locker.synchronize do
+          unless @@processing.include?(d)
+            @@queue.push d
+            @@processing.push d
+          end
+        end
       }
       sleep(options[:sleep])
     end
   end
   
+  def self.safe_exit
+    print "daemon terminated"
+    @@terminated = true
+    while @@thread_count > 0
+      sleep(0.1)
+    end
+    FileUtils.rm(pid_path) if File.exist?(pid_path)
+    print "done \n"
+    exit
+  end
   
 end
 
-
-
-
-

metadata

@@ -1,7 +1,7 @@
 --- !ruby/object:Gem::Specification 
 name: rask
 version: !ruby/object:Gem::Version 
-  version: 0.0.0
+  version: 0.0.1
 platform: ruby
 authors: 
 - mewlist / Hidenori Doi
@@ -9,7 +9,7 @@ autorequire:
 bindir: bin
 cert_chain: []
 
-date: 2010-02-11 00:00:00 +09:00
+date: 2010-02-26 00:00:00 +09:00
 default_executable: 
 dependencies: []
 
@@ -56,8 +56,6 @@ rubyforge_project:
 rubygems_version: 1.3.5
 signing_key: 
 specification_version: 3
-summary: !binary |
-  44K/44K544Kv44Op44Kk44OW44Op44Oq
-
+summary: Terminatable Task Engine
 test_files: []