noda 0.0.13 → 0.0.14

data/README.rdoc

@@ -1,8 +1,14 @@
 = noda
 
-Noda �̓V���v���ȃW���u�L���[�T�[�o�[�ł�.
+Noda is simple Job Queue server 
+
+Noda はシンプルなジョブキューサーバーです.
+
+
+drubyを使用して，マルチスレッドを分散サーバで実現しています．
+
+Noda uses druby that make easy to multi threading via network.
 
-druby���g�p���āC�}���`�X���b�h�𕪎U�T�[�o�Ŏ������Ă��܂��D
 
 == Contributing to noda
  

data/VERSION

@@ -1 +1 @@
-0.0.13
+0.0.14

data/lib/noda/job_monitor.rb

@@ -1,8 +1,13 @@
 
 module Noda
-#=�T�v
-# �W���u��Ԃ��Ď�����WEB�T�[�o�[�ł��B
-# DRB�ɐڑ����āC�L���[�c���C���L�n�b�V���e�[�u���A�L���[�̒��g�����邱�Ƃ��o���܂��D
+#=概要
+# ジョブ状態を監視するWEBサーバーです。
+# DRBに接続して，キュー残数，共有ハッシュテーブル、キューの中身を見ることが出来ます．
+# == 使い方
+#      m=Noda::JobMonitor.new("#{ip}","10080","druby://#{ip}:10001")
+#      m.start_monitor
+# ==コマンドで起動
+#    $ noda_job_server start
 
 class JobMonitor
   require 'webrick'
@@ -21,12 +26,13 @@ class JobMonitor
   def stop_monitor
     @web_server.stop
   end
+  # 内部で使うWEBRickをインスタンス化してマウントします．
   def init_webrick
     config = WEBrick::Config::HTTP
     config[:Port] = @port
     config[:BindAddress]=@addr
-    config[:AccessLog] = WEBrick::Log.new("/dev/null",1)    #���O�v��Ȃ��D
-    config[:Logger] = Logger.new("/dev/null")    #���O�v��Ȃ��D
+    config[:AccessLog] = WEBrick::Log.new("/dev/null",1)    #ログ要らない．
+    config[:Logger] = Logger.new("/dev/null")    #ログ要らない．
     @web_server = WEBrick::HTTPServer.new(config)
     @web_server.mount_proc '/' do |req,res|
       res.content_type="text/plain"

data/lib/noda/job_server.rb

@@ -1,5 +1,34 @@
 module Noda
 
+# ==�W���u�T�[�o��\���N���X.
+# ===�W���u�T�[�o�[
+# +�W���u�T�[�o�[
+# ++�|�[�g+�A�h���X
+# ++�C���v�b�g�E�L���[
+# ++�A�E�g�v�b�g�E�L���[
+# ++�n�b�V���e�[�u��
+# �ō\�������
+# == �W���u�T�[�o�[�̋N��
+#    noda_job_server start
+# == �W���u�T�[�o�[�Ƀ^�X�N��o�^
+#   require 'drb'
+#   sever = DRbObject.new_with_uri('druby://localhost:10001')
+#   # �^�X�N�N���X��`���T�[�o�[�ɕۑ����ċ��L����
+#   str = %Q'
+#          class Noda::MyTask
+#            def do_task(table)
+#               table.put @name, "#{Process.pid} : #{Time.now}"
+#               return "#{@name} in #{Process.pid} : #{Time.now}"
+#            end
+#            def initialize(name) @name end
+#          end
+#   '
+#   eval(str)
+#   server.add_task_class( task.class.to_s, str)
+#   # �o�^
+#   task = Noda::MyTask.new("test")
+#   server.input.push task
+#    
 class JobServer 
   include DRb::DRbUndumped 
   attr_reader :thread, :server
@@ -18,28 +47,40 @@ class JobServer
   def alive?
     @server.alive?
   end
+  # input queue. 
+  # +return Noda::RQueue 
   def input
     #�T�[�o�[�͕K���C���v�b�g�L���[��Ԃ�
     @q_in
   end
+  # output . Noda::RQueue 
+  # +return Noda::RQueue 
   def output
     @q_out
   end
+  # �^�X�N�Ԃŋ��L����n�b�V���e�[�u�� Noda::Table
+  # +return Noda::Table
   def hash_table
     @hash_table
   end
   def start_service
     @thread.join
   end
+  # �W���u�̃��K�[���w�肷��D
   def logger
     @logger
   end
+  # �^�X�N�̃N���X��`�B���[�J�[�ɃN���X��`�𑗐M����B
+  # 
+  #
   def add_task_class(class_name, source_code)
     @task_class_source_list[class_name] = source_code
   end
+  # �^�X�N�̃N���X��`�����o���D
   def task_class(class_name)
     @task_class_source_list[class_name]
   end
+  # �o�^�����N���X��`�ꗗ�����o���D
   def task_class_source_list
     @task_class_source_list
   end

data/lib/noda/rqueue.rb

@@ -2,13 +2,20 @@
 
 module Noda
 require 'monitor'
-# �W���u�̃L���[����
-# �L���[�̓X���b�h�Z�[�t�ɏ����Ă���
-#
+# ジョブのキュー実装
+# キューはスレッドセーフに書いている
+# 
+# キューから値を取り出すと、キューには残らない。
+# ==使用法
+#     require 'noda'
+#     server =Noda::JobServer.new
+#     q = server.input #<= Jobサーバーが持ってる
+#     q.push Noda::MyTask.new("hogehgoe")
 #
 class RQueue
   include DRb::DRbUndumped 
   attr_reader :name
+  # 
   def initialize( max=nil, name=nil )
     @name = name
     @list = []
@@ -18,6 +25,9 @@ class RQueue
     @m_empty = self.new_cond
     @m_full = self.new_cond
   end
+  # キュー末尾にオブジェクトを追加。
+  #
+  # キュー満杯時は実行スレッドをWaitさせます。
   def push obj
     self.synchronize{
       @m_full.wait_while{ self.full?  } if @max
@@ -25,6 +35,9 @@ class RQueue
       @m_empty.broadcast
     }
   end
+  # キュー先頭からオブジェクトを取り出す．
+  #
+  # キュー空なら実行スレッドをWaitさせる．
   def pop
     self.synchronize{
       @m_empty.wait_while{ self.empty?  }
@@ -33,20 +46,30 @@ class RQueue
       obj
     }
   end
+  # 実験用メソッド・使わない．
   def include?(v) @list.include? v        end
   alias exists? include?
+  # キューの先頭N個を取り出す．
   def firsts(n=1) (0...n).map{self.pop}   end
+  # キューの先頭１個を取り出す． pop の別名
   def first()     self.pop                end
+  # キューのサイズを取得
   def size()      @list.size              end
+  # キュー格納可能数
   def max_size()  @max                    end
+  # キューに値があるか
   def empty?()    @list.empty?            end
+  # キュー満杯が近いときにTrueを返す．
   def close_to_full?()    @list.size >= @max-5    end
+  # キューが満杯かどうか
   def full?()
-    # max=nil �Ȃ�Limitless�B�‚܂薳����
+    # max=nil ならLimitless。つまり無限大
     @list.size >= @max if @max
   end
+  # キューの値全てを取り出す．
   def all() self.firsts(self.size) end
-  # �P����m�܂ł̒l�����B�O�n�܂�łȂ����Ƃɒ���
+  # キューの先頭N番目の値を調べる．チェック用。
+  # - pos １からＮまでの値を取る。先頭は1 で指定する．０始まりでないことに注意
   def _at(pos) 
     i = pos - 1 
     return @list.at(i) if (i) < self.size 

data/lib/noda/table.rb

@@ -1,10 +1,21 @@
 # 
 module Noda
-#スレッドセーフなHASHテーブルを作ってる
-#内部的にはHashにしている
-#KVSとして使っている
-#TODO::HASHとして動くようにEnumerableを実装したい
-#TODO::DBやファイルに保存する。このクラスAPIでアクセス出来るアダプタを作りたい
+#  スレッドセーフなHASHテーブルを作ってる
+#
+#  ジョブの共有ストレージ．
+#  内部的にはHashにしている
+#
+#  KVSとして使う事を想定
+#
+#     require 'noda'
+#     server =Noda::JobServer.new
+#     table = server.hash_table #<= 自分でインスタンス化しない．Jobサーバーから使う
+#     table.put "key, "value"
+#  タスクから使う場合。
+#     do_task(hash_table)
+#       v = hash_table.get "key"
+#       hash_table.put "key", "value2" # =>更新
+#     end
 class Table
   include DRb::DRbUndumped
   include Enumerable
@@ -16,34 +27,60 @@ class Table
     @m_lock = self.new_cond
     @saved_keys = []
   end
+  # キー対応した値を取り出す
   def get(key)
     @hash[key][:data]
   end
+  # キーを名前に値を保存する．
   def put(key, obj)
     self.synchronize{
       @hash[key] = {:data=>obj,:saved=>false}
     }
   end
+  # キーがテーブルに存在するか
   def has_key?(key) @hash.has_key? key end
+  # alias to has_key
   alias :exists? :has_key?
+  # キーを全部取得
   def keys() @hash.keys end
+  # テーブルの値の数
   def size() @hash.size end
+  # Enumerable 用。
+  #
+  # drb 経由で呼び出す時は、参照渡しになるので注意
   def each 
     @hash.each_pair{|k,v| yield( k,v[:data] )  }
     nil
   end
+  
+  # テーブルの値はDump済みかどうか
+  #
+  # 永続ストレージに書き出すときに
+  # このフラグを使って処理をする
   def saved?(key)
     @hash[key][:saved]
   end
+  # テーブルの値の保存状態を更新する．
+  #
+  # 永続ストレージに書き出すときに
+  # このフラグを使って処理をする
   def update_saved_at(key,status=true)
     self.synchronize{
       @hash[key][:saved]=status
     }
   end
+  # テーブルの未保存の値をすべて取り出す．」
+  #
+  # 永続ストレージに書き出すときに
+  # このメソッドを使って処理が出来る
   def each_unsaved_pair
     @hash.each_pair{|k,v| next if v[:saved]; yield( k, v[:data] )  }
     nil
   end
+  # 未保存の値があるか
+  #
+  # 永続ストレージに書き出すときに
+  # このフラグを使って処理をする
   def has_unsaved_key?
     return true if @hash.find{|k,v| v[:saved]==false}
     return false

data/lib/noda/table_auto_saver.rb

@@ -1,4 +1,24 @@
 module Noda
+# ==�W���u�e�[�u���̎����ۑ�
+# �W���u���[�J�[�̃e�X�g����.
+# �^�X�N�����s�������[�J�[
+# �W���u�T�[�o�[�̃e�[�u���ɂ��܂����f�[�^���t�@�C���Ƀ_���v���Ă����܂��D
+#   s = JobServer.new("localhost","10013")
+#   saver = TableAutoSaver.new("localhost","10013")
+#   t1 = saver.init_thread
+#   t2 = Thread.new{
+#     s.hash_table.put("aaaa",1234)# =>�ۑ������
+#     s.hash_table.put("baaa",1234)# =>�ۑ������
+#     s.hash_table.put("caaa",1234)# =>�ۑ������
+#     s.hash_table.put("daaa",1234)# =>�ۑ������
+#     s.hash_table.put("eaaa",1234)# =>�ۑ������
+#     while(s.hash_table.has_unsaved_key? )
+#       sleep 0.001
+#     end
+#   }
+#   
+#   t2.join
+    
 
 class TableAutoSaver < JobWorker
   attr_reader :thread

data/lib/noda/task.rb

@@ -1,6 +1,9 @@
 module Noda
+#ジョブに登録するタスクのサンプル
+#こんな感じでクラスを作って下さい
 
-class Task
+# タスククラス名は必ずNoda名前空間の下につけます
+class Noda::Task
   #this should be overwrite
   def do_task(hash_table)
   end

metadata

@@ -1,13 +1,13 @@
 --- !ruby/object:Gem::Specification 
 name: noda
 version: !ruby/object:Gem::Version 
-  hash: 5
+  hash: 3
   prerelease: 
   segments: 
   - 0
   - 0
-  - 13
-  version: 0.0.13
+  - 14
+  version: 0.0.14
 platform: ruby
 authors: 
 - takuya
@@ -15,7 +15,7 @@ autorequire:
 bindir: bin
 cert_chain: []
 
-date: 2011-06-03 00:00:00 +09:00
+date: 2011-06-04 00:00:00 +09:00
 default_executable: 
 dependencies: 
 - !ruby/object:Gem::Dependency 
@@ -106,7 +106,6 @@ files:
 - lib/noda/table.rb
 - lib/noda/table_auto_saver.rb
 - lib/noda/task.rb
-- noda.gemspec
 - test/test_helper.rb
 - test/test_job_monitor.rb
 - test/test_job_server.rb

data/noda.gemspec

@@ -1,76 +0,0 @@
-# Generated by jeweler
-# DO NOT EDIT THIS FILE DIRECTLY
-# Instead, edit Jeweler::Tasks in Rakefile, and run 'rake gemspec'
-# -*- encoding: utf-8 -*-
-
-Gem::Specification.new do |s|
-  s.name = %q{noda}
-  s.version = "0.0.13"
-
-  s.required_rubygems_version = Gem::Requirement.new(">= 0") if s.respond_to? :required_rubygems_version=
-  s.authors = ["takuya"]
-  s.date = %q{2011-06-03}
-  s.description = %q{noda is job queue system using druby }
-  s.email = %q{takuya.1st@gmail}
-  s.executables = ["noda_job_worker", "noda_job_server"]
-  s.extra_rdoc_files = [
-    "LICENSE.txt",
-    "README.rdoc"
-  ]
-  s.files = [
-    ".document",
-    "Gemfile",
-    "Gemfile.lock",
-    "LICENSE.txt",
-    "README.rdoc",
-    "Rakefile",
-    "VERSION",
-    "bin/noda_job_server",
-    "bin/noda_job_worker",
-    "lib/noda.rb",
-    "lib/noda/job_monitor.rb",
-    "lib/noda/job_server.rb",
-    "lib/noda/job_worker.rb",
-    "lib/noda/rqueue.rb",
-    "lib/noda/table.rb",
-    "lib/noda/table_auto_saver.rb",
-    "lib/noda/task.rb",
-    "noda.gemspec",
-    "test/test_helper.rb",
-    "test/test_job_monitor.rb",
-    "test/test_job_server.rb",
-    "test/test_job_worker.rb",
-    "test/test_noda.rb",
-    "test/test_rqueue.rb",
-    "test/test_table.rb",
-    "test/test_table_saver_woker.rb",
-    "test/test_task.rb"
-  ]
-  s.homepage = %q{http://github.com/takuya/noda}
-  s.licenses = ["MIT"]
-  s.require_paths = ["lib"]
-  s.rubygems_version = %q{1.5.0}
-  s.summary = %q{noda is job queue system}
-
-  if s.respond_to? :specification_version then
-    s.specification_version = 3
-
-    if Gem::Version.new(Gem::VERSION) >= Gem::Version.new('1.2.0') then
-      s.add_development_dependency(%q<shoulda>, [">= 0"])
-      s.add_development_dependency(%q<bundler>, ["~> 1.0.0"])
-      s.add_development_dependency(%q<jeweler>, ["~> 1.6.0"])
-      s.add_development_dependency(%q<rcov>, [">= 0"])
-    else
-      s.add_dependency(%q<shoulda>, [">= 0"])
-      s.add_dependency(%q<bundler>, ["~> 1.0.0"])
-      s.add_dependency(%q<jeweler>, ["~> 1.6.0"])
-      s.add_dependency(%q<rcov>, [">= 0"])
-    end
-  else
-    s.add_dependency(%q<shoulda>, [">= 0"])
-    s.add_dependency(%q<bundler>, ["~> 1.0.0"])
-    s.add_dependency(%q<jeweler>, ["~> 1.6.0"])
-    s.add_dependency(%q<rcov>, [">= 0"])
-  end
-end
-