tengine_event 0.4.6

data/.document

@@ -0,0 +1,5 @@
+lib/**/*.rb
+bin/*
+- 
+features/**/*.feature
+LICENSE.txt

data/.rspec

@@ -0,0 +1 @@
+--color

data/Gemfile

@@ -0,0 +1,26 @@
+# -*- coding: utf-8 -*-
+source "http://rubygems.org"
+
+# Add dependencies required to use your gem here.
+# Example:
+#   gem "activesupport", ">= 2.3.5"
+
+gem "activesupport", ">= 3.0.0"
+gem "tengine_support", ">= 0.3.24"
+
+gem "uuid", "~> 2.3.4"
+
+gem "amqp", "~> 0.8.0"
+
+# Add dependencies to develop your gem here.
+# Include everything needed to run rake, tests, features, etc.
+group :development do
+  gem "rspec", "~> 2.6.0"
+  gem "yard", "~> 0.7.2"
+  gem "bundler", "~> 1.0.18"
+  gem "jeweler", "~> 1.6.4"
+  # gem "rcov", ">= 0"
+  gem "simplecov", "~> 0.5.3"
+  gem "ZenTest", "~> 4.6.2"
+	gem "ci_reporter", "~>1.6.5"
+end

data/Gemfile.lock

@@ -0,0 +1,64 @@
+GEM
+  remote: http://rubygems.org/
+  specs:
+    ZenTest (4.6.2)
+    activesupport (3.2.1)
+      i18n (~> 0.6)
+      multi_json (~> 1.0)
+    amq-client (0.8.7)
+      amq-protocol (>= 0.8.4)
+      eventmachine
+    amq-protocol (0.8.4)
+    amqp (0.8.4)
+      amq-client (~> 0.8.7)
+      amq-protocol (~> 0.8.4)
+      eventmachine
+    builder (3.0.0)
+    ci_reporter (1.6.9)
+      builder (>= 2.1.2)
+    diff-lcs (1.1.3)
+    eventmachine (0.12.10)
+    git (1.2.5)
+    i18n (0.6.0)
+    jeweler (1.6.4)
+      bundler (~> 1.0)
+      git (>= 1.2.5)
+      rake
+    macaddr (1.5.0)
+      systemu (>= 2.4.0)
+    multi_json (1.0.4)
+    rake (0.9.2.2)
+    rspec (2.6.0)
+      rspec-core (~> 2.6.0)
+      rspec-expectations (~> 2.6.0)
+      rspec-mocks (~> 2.6.0)
+    rspec-core (2.6.4)
+    rspec-expectations (2.6.0)
+      diff-lcs (~> 1.1.2)
+    rspec-mocks (2.6.0)
+    simplecov (0.5.4)
+      multi_json (~> 1.0.3)
+      simplecov-html (~> 0.5.3)
+    simplecov-html (0.5.3)
+    systemu (2.4.2)
+    tengine_support (0.3.24)
+      activesupport (>= 3.0.0)
+    uuid (2.3.5)
+      macaddr (~> 1.0)
+    yard (0.7.5)
+
+PLATFORMS
+  ruby
+
+DEPENDENCIES
+  ZenTest (~> 4.6.2)
+  activesupport (>= 3.0.0)
+  amqp (~> 0.8.0)
+  bundler (~> 1.0.18)
+  ci_reporter (~> 1.6.5)
+  jeweler (~> 1.6.4)
+  rspec (~> 2.6.0)
+  simplecov (~> 0.5.3)
+  tengine_support (>= 0.3.24)
+  uuid (~> 2.3.4)
+  yard (~> 0.7.2)

data/README.rdoc

@@ -0,0 +1,21 @@
+= tengine_event
+
+Description goes here.
+
+== Contributing to tengine_event
+ 
+* Check out the latest master to make sure the feature hasn't been implemented or the bug hasn't been fixed yet
+* Check out the issue tracker to make sure someone already hasn't requested it and/or contributed it
+* Fork the project
+* Start a feature/bugfix branch
+* Commit and push until you are happy with your contribution
+* Make sure to add tests for it. This is important so I don't break it in a future version unintentionally.
+* Please try not to mess with the Rakefile, version, or history. If you want to have your own version, or is otherwise necessary, that is fine, but please isolate to its own commit so I can cherry-pick around it.
+
+== License
+tengine_event is distributed under MPL2.0 or LGPLv3 or the dual license of MPL2.0/LGPLv3
+
+== Copyright
+
+Copyright (c) 2011 nautilus-technologies.com
+

data/Rakefile

@@ -0,0 +1,51 @@
+# encoding: utf-8
+
+require 'rubygems'
+require 'bundler'
+begin
+  Bundler.setup(:default, :development)
+rescue Bundler::BundlerError => e
+  $stderr.puts e.message
+  $stderr.puts "Run `bundle install` to install missing gems"
+  exit e.status_code
+end
+require 'rake'
+
+require 'jeweler'
+Jeweler::Tasks.new do |gem|
+  # gem is a Gem::Specification... see http://docs.rubygems.org/read/chapter/20 for more options
+  gem.name = "tengine_event"
+  gem.homepage = "https://github.com/tengine/tengine_event"
+  gem.license = "MPL2.0/LGPLv3"
+  gem.summary = %Q{Tengine Event API to access the queue}
+  gem.description = %Q{Tengine Event API to access the queue}
+  gem.email = "tengine@nautilus-technologies.com"
+  gem.authors = %w[taigou totty g-morita shyouhei akm]
+  gem.bindir = 'bin'
+  gem.executables = ['tengine_fire', 'tengine_event_sucks']
+  # dependencies defined in Gemfile
+end
+Jeweler::RubygemsDotOrgTasks.new
+
+require 'rspec/core'
+require 'rspec/core/rake_task'
+RSpec::Core::RakeTask.new(:spec) do |spec|
+  spec.pattern = FileList['spec/**/*_spec.rb']
+end
+
+RSpec::Core::RakeTask.new(:rcov) do |spec|
+  spec.pattern = 'spec/**/*_spec.rb'
+  spec.rcov = true
+end
+
+task :default => :spec
+
+require 'yard'
+YARD::Rake::YardocTask.new
+
+require 'ci/reporter/rake/rspec'
+
+task :sucks do
+  fp = File.expand_path '../bin/tengine_event_sucks', __FILE__
+  load fp
+end

data/VERSION

@@ -0,0 +1 @@
+0.4.6

data/bin/tengine_event_sucks

@@ -0,0 +1,48 @@
+#!/usr/bin/env ruby
+# encoding: utf-8
+
+require 'rubygems'
+require 'bundler/setup'
+require 'tengine_event'
+require 'optparse'
+
+# MQ �Τ���κ���¤�����Τ�
+cfg = Hash.new
+qn = nil
+op = OptionParser.new $0 do |this|
+  # tengined compatible option names.
+  this.on '-o host', '--event-queue-connection-host=host', 'where to connect' do |arg| cfg[:host] = arg end
+  this.on '-p port', '--evant-queue-connection-port=port', 'where to connect', Integer do |arg| cfg[:port] = arg end
+  this.on '-u user', '--evant-queue-connection-user=user', 'whom to connect' do |arg| cfg[:user] = arg end
+  this.on '-s pass', '--evant-queue-connection-pass=pass', 'whom to connect' do |arg| cfg[:pass] = arg end
+  this.on '-q queue', '--evant-queue-connection-queue=queue', 'what to connect' do |arg| qn = arg end
+end
+
+op.parse! ARGV
+
+hash = { :connection => cfg }
+hash[:queue] = { :name => qn } if qn
+suite = Tengine::Mq::Suite.new hash
+
+# main loop
+EM.run do
+  i = 0
+  j = false
+  suite.subscribe :confirm => proc{j = true} do |hdr, bdy|
+    hdr.ack
+    STDOUT.puts bdy
+    i += 1
+  end
+  timer = EM.add_periodic_timer 0.1 do
+    if j and i.zero?
+      EM.cancel_timer timer
+      suite.unsubscribe do
+        suite.stop
+      end
+    else
+      i = 0
+    end
+  end
+end
+
+Process.exit true

data/bin/tengine_fire

@@ -0,0 +1,46 @@
+#!/usr/bin/env ruby
+# encoding: utf-8
+
+require 'eventmachine'
+
+__DIR__ = File.dirname(__FILE__)
+$LOAD_PATH << File.expand_path('../lib', __DIR__)
+require 'tengine/event'
+
+if ARGV.empty? || ARGV.include?("-h") || ARGV.include?("--help")
+  puts "#{__FILE__} <event_type_name> [opt1:foo]..."
+  exit
+end
+
+event_type_name = ARGV.shift
+options = ARGV.inject({}) do |d, arg|
+  key, value = *arg.split(/:/, 2)
+  d[key] = value
+  d
+end
+
+# see https://github.com/eventmachine/eventmachine/blob/master/tests/test_error_handler.rb
+EM.error_handler{ |e|
+  puts "[error] tengine.fire Error raised during event loop: #{e.class}, #{e.message}\n"
+  puts "#{e.backtrace}\n"
+  EM.error_handler(nil)
+  EM.stop
+}
+
+EM.run do
+  if interval = options.delete('interval')
+    EM.add_periodic_timer(interval.to_i) do
+      puts "-" * 100
+      options[:keep_connection] = true
+      options[:retry_interval] = 3
+      Tengine::Event.fire(event_type_name, options)
+    end
+  else
+    EM.next_tick do
+      Tengine::Event.fire(event_type_name, options)
+    end
+  end
+end
+
+Signal.trap("TERM") { connection.close { EM.stop } }
+Signal.trap("INT")  { connection.close { EM.stop } }

data/lib/tengine/event/model_notifiable.rb

@@ -0,0 +1,49 @@
+# -*- coding: utf-8 -*-
+require 'tengine/event'
+
+# activemodelなどのObserverの仕組みを使ってイベントキューにモデルの
+# 登録、変更、削除を通知するための実装を提供するモジュールです。
+#
+# http://guides.rubyonrails.org/active_record_validations_callbacks.html#observers
+# http://mongoid.org/docs/callbacks/observers.html
+module Tengine::Event::ModelNotifiable
+  def after_create(record)
+    fire_event(:created, record)
+  end
+
+  def after_update(record)
+    fire_event(:updated, record)
+  end
+
+  def after_destroy(record)
+    fire_event(:destroyed, record)
+  end
+
+  private
+  def fire_event(event_base, record)
+    event_properties = {
+      :class_name => record.class.name,
+      :attributes => record.attributes
+    }
+    if event_base == :updated
+      event_properties[:changes] = record.changes
+    end
+    event_sender.fire(event_type_name(event_base, record),
+      :level_key => :info,
+      :properties => event_properties
+      )
+  end
+
+  # def event_sender
+  #   raise NotImplementedError
+  # end
+
+  def event_type_name(event_base, record)
+    "#{record.class.name}.#{event_base}.#{event_type_name_suffix}"
+  end
+
+  def event_type_name_suffix
+    self.class.name
+  end
+
+end

data/lib/tengine/event/sender.rb

@@ -0,0 +1,125 @@
+# -*- coding: utf-8 -*-
+require 'tengine/event'
+
+require 'active_support/core_ext/array/extract_options'
+
+# MQと到達保証について by @shyouhei on 2nd Nov., 2011.
+#
+# 端的に言ってAMQPプロトコルにはパケットの到達保証が、ありません。したがってAMQP::Exchangeを普通に使うだけでは、fireしたイベントがどこま
+# で確実に届くかが保証されません。たとえばEventMachineのリアクターが停止してしまったとか、ピアプロセスがSEGVしたとか、TCPのセッションが
+# 切れてしまったとか、ハードウエアの物理線がセミの産卵で断線したとか、様々な理由でイベントはbrokerに到達しないことがありえるし、それを検
+# 知する手段がありません。
+#
+# この問題に対してRabbitMQは、それ単体では全体の到達保証をしませんが、以下の追加手段を提供してくれています。
+#
+# * RabbitMQ自体の実装の努力により、RabbitMQのサーバにデータが到達して以降は、RabbitMQが到達性を保証してくれます
+#
+# * AMQPプロトコルを勝手に拡張していて、RabbitMQのサーバにパケットが届いたことをackしてくれるようにできます
+#
+# したがってAMQPブローカーにRabbitMQを使っている限りは、MQサーバにパケットが到着したことを、クライアント側でackを読みながら確認すること
+# で、全体としての到達保証が可能になるわけです。
+#
+# Tengine::Event::Sender#fireを実行すると、イベントを送信して、このackを確認する部分までを自動的に行います。したがって所謂
+# fire-and-forgetの動作が達成されています。ただし、以下のように制限があります
+#
+# * AMQP gemの制約上、おおむね非同期的に動作します。つまり、fireは送信を予約するだけで、実のところ送信が終わるのは(再送等で)fireが終了し
+#   てからだいぶ先の話になります。
+#
+# * あるときだれかが EM.stop すると、それ以上はackを読めなくなり、再送信ができなくなります。
+#
+# * そうは言ってもEM.stopできないとプロセスが終了できないので、stop可能かどうかを調査できるようにしました(新API)。
+#
+#   * fireメソッドの戻り値のTengine::Eventに新メソッド #transmitted? が追加になっていますので個別のイベントの送信が終わったかどうかはこ
+#     れで確認できます。
+#
+#   * senderが送信中のイベント一覧は sender.pending_events で入手できます
+#
+#   * もうsenderが送り終わったらそのままEM.stopしてよい場合(だいたいそうだと思いますが)のために、 sender.stop_after_transmission があり
+#     ます
+#
+#   APIは今後も使い勝手のために追加する可能性があります
+
+class Tengine::Event::Sender
+
+  # 現在不使用。やがて消します。
+  RetryError = Class.new StandardError
+
+  attr_reader :mq_suite
+  attr_reader :logger
+  attr_accessor :default_keep_connection
+
+  def initialize(*args)
+    options = args.extract_options!
+    config_or_mq_suite = args.first
+    @mq_suite = 
+      case config_or_mq_suite when Tengine::Mq::Suite then
+        config_or_mq_suite
+      else
+        Tengine::Mq::Suite.new(options)
+      end
+    @default_keep_connection = @mq_suite.config[:sender][:keep_connection]
+    @logger = options[:logger] || Tengine::NullLogger.new
+  end
+
+  def stop(&block)
+    @mq_suite.stop(&block)
+  end
+
+  # publish an event message to AMQP exchange
+  # @param [String/Tengine::Event] event_or_event_type_name
+  # @param [Hash] options the options for attributes
+  # @option options [String] :key attriute key
+  # @option options [String] :source_name source_name
+  # @option options [Time] :occurred_at occurred_at
+  # @option options [Integer] :level level
+  # @option options [Symbol] :level_key level_key
+  # @option options [String] :sender_name sender_name
+  # @option options [Hash] :properties properties
+  # @option options [Hash] :keep_connection
+  # @option options [Hash] :retry_interval
+  # @option options [Hash] :retry_count
+  # @return [Tengine::Event]
+  def fire(event_or_event_type_name, options = {}, &block)
+#    @logger.info("fire(#{event_or_event_type_name.inspect}, #{options}) called")
+    opts = (options || {}).dup
+    cfg = {
+      :keep_connection => (opts.delete(:keep_connection) || default_keep_connection),
+      :retry_interval  => opts.delete(:retry_interval),
+      :retry_count     => opts.delete(:retry_count),
+    }
+    event =
+      case event_or_event_type_name
+      when Tengine::Event then event_or_event_type_name
+      else
+        Tengine::Event.new(opts.update(
+          :event_type_name => event_or_event_type_name.to_s))
+      end
+    @mq_suite.fire self, event, cfg, block
+#    @logger.info("fire(#{event_or_event_type_name.inspect}, #{options}) complete")
+    event
+  rescue Exception => e
+    @logger.warn("fire(#{event_or_event_type_name.inspect}, #{options}) raised [#{e.class.name}] #{e.message}")
+    raise e
+  end
+
+  def pending_events
+    @mq_suite.pending_events_for self
+  end
+
+  # fireの中で勝手に待つようにしましたので、今後不要です。
+  # 使っている箇所はやがて消していきましょう。
+  def wait_for_connection
+    yield
+  end
+end
+
+# 
+# Local Variables:
+# mode: ruby
+# coding: utf-8-unix
+# indent-tabs-mode: nil
+# tab-width: 4
+# ruby-indent-level: 2
+# fill-column: 135
+# default-justification: full
+# End:

data/lib/tengine/event.rb

@@ -0,0 +1,184 @@
+# -*- coding: utf-8 -*-
+require 'tengine_event'
+
+require 'active_support/core_ext/object/blank'
+require 'active_support/core_ext/hash/keys'
+require 'active_support/json'
+require 'uuid'
+
+# Serializable Class of object to send to an MQ or to receive from MQ.
+class Tengine::Event
+
+  autoload :Sender, 'tengine/event/sender'
+  autoload :ModelNotifiable, 'tengine/event/model_notifiable'
+
+  class << self
+    # see Tengine::Event::Sender#fire
+    def fire(*args, &block)
+      default_sender.fire(*args, &block)
+    end
+
+    def config; @config ||= {}; end
+    def config=(v); @config = v; end
+
+    attr_writer :mq_suite
+    def mq_suite; @mq_suite ||= Tengine::Mq::Suite.new(config); end
+
+    attr_writer :default_sender
+    def default_sender
+      @default_sender ||= Tengine::Event::Sender.new(mq_suite)
+    end
+
+    def uuid_gen
+      # uuidtools と uuid のどちらが良いかは以下のサイトを参照して uuid を使うようにしました。
+      # http://d.hatena.ne.jp/kiwamu/20090205/1233826235
+      @uuid_gen ||= ::UUID.new
+    end
+
+    # jsonの文字列からTengine::Eventのオブジェクトを解釈して生成します
+    def parse(str)
+      case raw_parsed = JSON.parse(str)
+      when Hash then
+        new(raw_parsed)
+      when Array then
+        raw_parsed.map{|hash| new(hash)}
+      else
+      end
+    end
+
+    # @attribute
+    # host_nameが実行するコマンド。デフォルトでは hostname。
+    def host_name_command; @host_name_command ||= "hostname"; end
+    attr_writer :host_name_command
+
+    # ホスト名を取得する
+    # 内部ではhost_name_commandで指定されたコマンドを実行しています。
+    # @return [String]
+    def host_name
+      `#{host_name_command}`.strip
+    end
+
+    # source_nameが指定されていない場合に設定される文字列を返します
+    # config[:default_source_name] に値が設定されていなかったらhost_nameの値が使用されます
+    def default_source_name; config[:default_source_name] || "#{host_name}/#{Process.pid}"; end
+
+    # sender_nameが指定されていない場合に設定される文字列を返します
+    # config[:default_sender_name] に値が設定されていなかったらhost_nameの値が使用されます
+    def default_sender_name; config[:default_sender_name] || "#{host_name}/#{Process.pid}"; end
+
+    # levelが指定されていない場合に設定される文字列を返します
+    # config[:default_level] に値が設定されていなかったらhost_nameの値が使用されます
+    def default_level
+      LEVELS_INV[(config[:default_level_key] || :info).to_sym]
+    end
+  end
+
+  # constructor
+  # @param [Hash] attrs the options for attributes
+  # @option attrs [String] :key attriute key
+  # @option attrs [String] :event_type_name event_type_name
+  # @option attrs [String] :source_name source_name
+  # @option attrs [Time] :occurred_at occurred_at
+  # @option attrs [Integer] :level level
+  # @option attrs [Symbol] :level_key level_key
+  # @option attrs [String] :sender_name sender_name
+  # @option attrs [Hash] :properties properties
+  # @return [Tengine::Event]
+  def initialize(attrs = nil)
+    if attrs
+      raise ArgumentError, "attrs must be a Hash but was #{attrs.inspect}" unless attrs.is_a?(Hash)
+      attrs.each do |key, value|
+        send("#{key}=", value)
+      end
+    end
+    klass = self.class
+    @key ||= klass.uuid_gen.generate # Stringを返す
+    @source_name ||= klass.default_source_name
+    @sender_name ||= klass.default_sender_name
+    @level ||= klass.default_level
+    @occurred_at ||= Time.now.utc
+  end
+
+  # @attribute
+  # キー。インスタンス生成時に同じ意味のイベントには同じキーが割り振られます。
+  attr_accessor :key
+
+  # @attribute
+  # イベント種別名。
+  attr_reader :event_type_name
+  def event_type_name=(v); @event_type_name = v.nil? ? nil : v.to_s; end
+
+  # @attribute
+  # イベントの発生源名。
+  attr_reader :source_name
+  def source_name=(v); @source_name = v.nil? ? nil : v.to_s; end
+
+  # @attribute
+  # イベントの発生日時。
+  attr_accessor :occurred_at
+  def occurred_at=(v)
+    case v
+    when nil then @occurred_at = nil
+    when Time then @occurred_at = v.utc
+    when String then
+      @occurred_at = v.respond_to?(:to_time) ? v.to_time : Time.respond_to?(:parse) ? Time.parse(v) : v
+    else
+      raise ArgumentError, "occurred_at must be a Time but was #{v.inspect}" unless v.is_a?(Time)
+    end
+  end
+
+  # from level to level_key
+  LEVELS = {
+      0 => :gr_heartbeat,
+      1 => :debug,
+      2 => :info,
+      3 => :warn,
+      4 => :error,
+      5 => :fatal,
+  }.freeze
+
+  # from level_key to level
+  LEVELS_INV = LEVELS.invert.freeze
+
+  # @attribute
+  # イベントの通知レベル
+  attr_accessor :level
+
+  # @attribute
+  # イベントの通知レベルキー
+  # :gr_heartbeat/:debug/:info/:warn/:error/:fatal
+  def level_key; LEVELS[level];end
+  def level_key=(v); self.level = LEVELS_INV[v.to_sym]; end
+
+  # @attribute
+  # イベントの送信者名。
+  attr_reader :sender_name
+  def sender_name=(v); @sender_name = v.nil? ? nil : v.to_s; end
+
+
+  # @attribute
+  # プロパティ。他の属性だけでは表現できない諸属性を格納するHashです。
+  def properties
+    @properties ||= {}
+  end
+
+  def properties=(hash)
+    @properties = (hash || {}).stringify_keys
+  end
+
+  ATTRIBUTE_NAMES = [:event_type_name, :key, :source_name, :occurred_at, :level, :sender_name, :properties].freeze
+
+  # @return [Hash] attributes of this object
+  def attributes
+    ATTRIBUTE_NAMES.inject({}) do |d, attr_name|
+      v = send(attr_name)
+      d[attr_name] = v unless v.blank?
+      d
+    end
+  end
+
+  def transmitted?
+    not Tengine::Mq::Suite.pending?(self)
+  end
+
+end