processwanker 0.0.7

data/lib/config/config_smtp.rb

@@ -0,0 +1,103 @@
+############################################################################
+#
+# config_smtp.rb
+#
+# smtp block parser:
+#
+# smtp {
+#   server					"smtp.mymailprovider.com"
+# 	port						25
+#   secure					"starttls"   ("ssl")
+#   to_addr					"joe-admin@foobar.com"
+# 	from_addr				"pw@mydomain.com"
+# 	userid					"fred"
+#   password 				"mypass123"
+#   auth_method			"plain"			("login", "cram_md5")
+# }
+#
+############################################################################
+
+require 'ipaddr'
+require 'openssl'
+require 'config'
+
+module ProcessWanker
+	
+	############################################################################
+	#
+	#
+	#
+	############################################################################
+
+	class ConfigSMTP < ConfigNode
+		
+		attr_accessor					:server
+		attr_accessor					:port
+		attr_accessor					:secure
+		attr_accessor					:to_addrs
+		attr_accessor					:from_addr
+		attr_accessor					:userid
+		attr_accessor					:password
+		attr_accessor					:auth_method
+		
+		def initialize()
+			@to_addrs=[]
+			port=25
+			ssl=false
+			from_domain=`hostname`.strip
+		end
+		
+	end
+
+	############################################################################
+	#
+	#
+	#
+	############################################################################
+
+	class ConfigSMTPBuilder < Builder
+				
+		def server(v)
+			@config.server=v
+		end
+				
+		def port(v)
+			@config.port=v.to_i
+		end
+				
+		def secure(v)
+			v=v.to_sym
+			raise "bad smtp secure setting" if(![:ssl,:starttls,:tls].include?(v))
+			@config.secure=v
+		end
+				
+		def from_addr(v)
+			@config.from_addr=v
+		end
+		
+		def to_addrs(*v)
+			@config.to_addrs += v
+		end
+		
+		def userid(v)
+			@config.userid=v
+		end
+		
+		def password(v)
+			@config.password=v
+		end
+		
+		def auth_method(v)
+			@config.auth_method=v.to_sym
+		end
+	
+	end
+
+	############################################################################
+	#
+	#
+	#
+	############################################################################
+
+end
+

data/lib/events.rb

@@ -0,0 +1,224 @@
+############################################################################
+#
+# events.rb
+#
+# handle dispatching of events to event hooks
+#
+############################################################################
+
+require 'log'
+require 'util'
+require 'net/smtp'
+
+module ProcessWanker
+	
+  ############################################################################
+  #
+  # basic event
+  #
+  ############################################################################
+  
+	class Event
+	
+	  ############################################################################
+	  #
+	  # properties
+		#
+		# a set of useful information for the handler to process
+	  #
+	  ############################################################################
+	  
+		attr_accessor				:type
+		attr_accessor				:service
+		attr_accessor				:service_name
+		attr_accessor				:service_stats
+		attr_accessor				:service_state
+		attr_accessor				:time
+		
+	  ############################################################################
+	  #
+	  #
+	  #
+	  ############################################################################
+
+		def self.dispatch(type,service)
+			
+			Log::debug("dispatching event #{type} for service #{service.name}")
+			
+			e=Event.new()
+			e.type=type
+			e.service=service
+			e.service_name=service.name
+			e.service_stats={}
+#			e.service_stats=service.stats
+			e.service_state=service.current_state
+			e.time=Time.now
+
+			# build array of hooks, from innermost to outermost
+			stop=false
+			hooks_lists=service.config_node.find_attributes("hooks")
+			hooks_lists.each do |hooks|
+				hooks.each do |hook|
+					
+					next unless(hook.pattern == type)
+					context=EventHookContext.new
+					context.service=service
+					context.event=e
+					
+					ProcessWanker::with_logged_rescue("hook for event #{e.type} #{e.service.name}") do
+						context.instance_eval(&hook.block)
+					end
+					
+					stop=context.should_stop_hooks
+					if(stop)
+						break
+					end
+				end
+				break if(stop)
+			end
+			
+		end
+	
+	end
+
+
+  ############################################################################
+  #
+  # EventHookContext is the context in which a hook executes
+	#
+	# it has an event member, and a set of helper functions for handling
+	# notifications, etc...
+  #
+  ############################################################################
+  
+  class EventHookContext
+	
+		include Log
+	
+		attr_accessor				:service
+		attr_accessor				:event
+		attr_accessor				:should_stop_hooks
+	
+	  ############################################################################
+	  #
+	  # helpers
+	  #
+	  ############################################################################
+
+		def email()
+			
+			# find smtp config
+			smtp_config=service.config_node.find_attributes("smtp").first
+			if(!smtp_config)
+				Log::error("attempting to send an email, but no SMTP configuration found")
+				return
+			end
+			from_user,from_domain=smtp_config.from_addr.split("@")
+			
+			# construct email
+			@email_addresses=smtp_config.to_addrs.clone
+			@email_subject="ProcessWanker event: #{@event.type} from #{event.service_name}"
+			@email_body="At #{@event.time}, #{event.service_name} triggered a <#{@event.type}> event\n"
+			@email_body << "The current state is #{@event.service_state}.\n"
+			@email_body << "Service stats:\n"
+			@event.service_stats.each do |k,v|
+				@email_body << "  #{sprintf("%-20s",k)} : #{v}\n"
+			end
+			@email_body << "\n"
+			
+			# allow configuration to override some values
+			if(block_given?)
+				yield
+			end
+			
+			# send the email
+			Log::debug("SENDING EMAIL: #{@email_addresses.inspect}")
+			Log::debug(puts "Subject: #{@email_subject}")
+			Log::debug(puts "Body: \n#{@email_body}")
+			
+			msg="From: #{smtp_config.from_addr}\n"
+			msg << "To: #{@email_addresses.join(",")}\n"
+			msg << "Subject: #{@email_subject}\n\n"
+			msg << @email_body
+			
+			#
+			# TODO: consider putting this in a different thread, or at least adding a timeout
+			#
+			
+			ProcessWanker::with_logged_rescue("sending emails via #{smtp_config.server}") do
+				
+				smtp=Net::SMTP.new(smtp_config.server,smtp_config.port)
+				
+				if(smtp_config.secure == :tls || smtp_config.secure == :ssl)
+					smtp.enable_tls
+				elsif(smtp_config.secure == :starttls)
+					smtp.enable_starttls
+				end
+				
+				smtp.start(from_domain,
+				           smtp_config.userid,
+				           smtp_config.password,
+				           smtp_config.auth_method)
+				@email_addresses.each do |to|
+					ProcessWanker::with_logged_rescue("sending email to #{to}") do
+						smtp.send_message(msg,smtp_config.from_addr,to)
+					end
+				end
+				smtp.finish
+			end
+			
+			Log::debug("sent email")
+			
+		end
+
+	  ############################################################################
+	  #
+	  # email helpers
+	  #
+	  ############################################################################
+
+		def email_to_addrs(*addr)
+			@email_addresses += addr
+		end
+		
+		def email_subject(subject)
+			@email_subject = subject
+		end
+		
+		def email_body(body)
+			@email_body=body
+		end
+		
+	  ############################################################################
+	  #
+	  # general helpers
+	  #
+	  ############################################################################
+
+		def stop_hooks
+			@should_stop_hooks=true
+		end
+		
+		def start
+			info("hook requested service start")
+			@event.service.set_want_state(:up)
+		end
+
+		def stop
+			info("hook requested service stop")
+			@event.service.set_want_state(:down)
+		end
+
+		def restart
+			info("hook requested service restart")
+			@event.service.set_want_state(:restart)
+		end
+		
+		def ignore
+			info("hook requested service ignore")
+			@event.service.set_want_state(:ignore)
+		end
+		
+	end
+	
+end

data/lib/log.rb

@@ -0,0 +1,88 @@
+############################################################################
+#
+# log.rb
+#
+############################################################################
+
+require 'thread'
+
+module ProcessWanker
+
+	############################################################################
+	#
+	#
+	#
+	############################################################################
+	
+	module Log
+	
+		@@mutex=Mutex.new	
+
+		############################################################################
+		#
+		#
+		#
+		############################################################################
+		
+		DEBUG			=			0	
+		INFO			=			1
+		WARN			=			2
+		ERROR			=			3
+
+		@@level=INFO
+
+		############################################################################
+		#
+		#
+		#
+		############################################################################
+		
+		def set_level(level)
+			@@level=level
+		end		
+		module_function			:set_level
+
+		############################################################################
+		#
+		#
+		#
+		############################################################################
+		
+		def log(msg,level=INFO)
+			return unless(level >= @@level)
+			@@mutex.synchronize do
+				STDOUT.puts "[#{level}] [#{Time.new}] #{msg}"
+        STDOUT.flush
+			end
+		end
+		module_function		:log	
+	
+		############################################################################
+		#
+		#
+		#
+		############################################################################
+		
+		def error(msg)
+			log(msg,ERROR)
+		end	
+		module_function		:error
+		def warn(msg)
+			log(msg,WARN)
+		end	
+		module_function		:warn
+		def info(msg)
+			log(msg,INFO)
+		end
+		module_function		:info
+		def debug(msg)
+			log(msg,DEBUG)
+		end
+		module_function		:debug
+
+	end
+
+
+	include Log
+
+end

data/lib/net/net_api.rb

@@ -0,0 +1,189 @@
+############################################################################
+#
+# net_api.rb
+#
+# utilities for constructing and executing network requests
+#
+############################################################################
+
+require 'log'
+require 'util'
+
+module ProcessWanker
+	
+	module NetApi
+	
+		include Log
+	
+	  ############################################################################
+	  #
+	  # a Net request is a hash that has a :cmd field, and a bunch of other parameters.
+	  #
+	  # :cmd can be
+	  #
+	  #   -		:start [spec]
+	  #		-		:restart [spec]
+	  #		-		:stop [spec]
+	  #		-		:list [spec]
+	  #
+	  # other args:
+	  #
+	  # :spec           -   spec to match processes against
+	  #
+	  #	:sequential			-		if present, execute each service operation sequentially,
+	  #                     rather than in parallel - and delay :sequential seconds
+	  #                     between each service.
+	  #                      
+	  # :wait						-		if present max# of secs to wait for each process to reach
+	  #                     desired state.
+	  #
+	  ############################################################################
+
+	  ############################################################################
+	  #
+	  # execute a command from a remote client. called from the client's
+	  # read thread.
+	  #
+	  ############################################################################
+
+		def execute(cmd,connection)
+
+			Log::info("received command #{cmd.inspect} from #{connection.user}")
+
+			# execute
+			if(cmd[:cmd] == :reload)
+			
+				ServiceMgr.instance.reload_config=true
+				
+				# wait for service manager to tick
+				ticks=ServiceMgr.instance.tick_count
+				sleep(0.5) while(ServiceMgr.instance.tick_count-ticks < 2)
+			
+			elsif(cmd[:cmd] == :debug)
+				
+				cls={}
+				GC.start
+				ObjectSpace.each_object do |o|
+					cls[o.class.name] ||= 0
+					cls[o.class.name] += 1
+				end
+				return({ :counts => cls })
+				
+			elsif(cmd[:cmd] == :terminate)
+			
+				ServiceMgr.instance.terminate=true
+				connection.inform("terminating")
+				return(nil)
+			
+			elsif([:stop,:restart,:start,:ignore].include?(cmd[:cmd]))
+				
+				# get hash of services		
+				services=ServiceMgr::instance.match_services(cmd[:spec] || "all")
+	
+				threads=[]
+				services.keys.sort.each do |sn|
+				
+					service=services[sn]
+					
+					if(cmd[:sequential])
+						execute_cmd_single(cmd,service,connection)
+						sleep(cmd[:sequential])
+					else
+						threads << Thread.new do 
+							ProcessWanker::with_logged_rescue("execute_cmd_single") do
+								execute_cmd_single(cmd,service,connection)
+							end
+						end
+					end				
+					
+				end
+				
+				threads.each { |t| t.join }
+
+			end
+			
+			# construct response
+			services ||= ServiceMgr::instance.match_services(cmd[:spec] || "all")
+	
+			resp={ :services => {} }
+			services.keys.sort.each do |sn|
+				service=services[sn]
+				resp[:services][sn] =
+				{
+					:name				=>		service.name,
+					:group_name	=>		service.group_name,
+					:tags				=>		service.params[:tags],
+					:want_state	=>		service.want_state,
+					:show_state	=>		service.show_state,
+					:suppress		=>		service.suppress
+				}
+			end
+			resp
+		end
+		
+		module_function			:execute
+	
+	  ############################################################################
+	  #
+	  # execute a command from a remote client. called from the client's
+	  # read thread.
+	  #
+	  ############################################################################
+	
+		def execute_cmd_single(cmd,service,connection)
+
+			connection.inform("send #{cmd[:cmd].inspect} to #{service.name}")
+
+			want={
+				:start		=>	:up,
+				:stop			=>	:down,
+				:restart	=>	:restart,
+				:ignore		=>	:ignore
+			}[cmd[:cmd]]
+			if(want)
+				Log::debug("sending #{want} to #{service.name}")
+				service.set_want_state(want)
+			end
+			
+			wait=cmd[:wait]
+			return(false) if(!wait)
+			start_time=Time.now
+			
+			# wait for service manager to tick at least once
+			ticks=ServiceMgr.instance.tick_count
+			sleep(0.5) while(ServiceMgr.instance.tick_count == ticks)
+
+			return(true) if(want == :ignore)
+			
+
+			# wait for process to be in desired state
+			while(service.current_state != service.want_state || service.want_state == :restart)
+				sleep(0.5)
+				
+				# timeout?
+				if((Time.now - start_time) >= wait)
+					connection.inform("timed out waiting for #{service.name}")
+					return(false)
+				end
+			end
+			
+			true
+		end	
+	
+		module_function			:execute_cmd_single
+	
+	  ############################################################################
+	  #
+	  #
+	  #
+	  ############################################################################
+	
+	  ############################################################################
+	  #
+	  #
+	  #
+	  ############################################################################
+	
+	end
+
+end

data/lib/net/net_client.rb

@@ -0,0 +1,107 @@
+############################################################################
+#
+# net_client.rb
+#
+# outgoing client connection
+#
+############################################################################
+
+require 'openssl'
+require 'config'
+require 'config_client_cluster'
+require 'config_client_host'
+require 'config_client'
+require 'config_auth'
+require 'net_util'
+require 'socket'
+require 'net_connection'
+require 'thread'
+
+module ProcessWanker
+	
+  ############################################################################
+  #
+  #
+  #
+  ############################################################################
+
+	class NetClient < NetConnection
+	
+	  ############################################################################
+	  #
+	  #
+	  #
+	  ############################################################################
+
+		def initialize(cfg_host)
+			
+			@host=cfg_host
+			@response=nil
+			
+			# find the real config...
+#			auth=cfg_host.auth || cfg_host.parent.auth || cfg_host.parent.parent.auth
+			auth=cfg_host.get_auth
+			if(!auth)
+				raise "could not find auth"
+			end
+
+			@ca_cert=auth.ca_cert
+			@context=OpenSSL::SSL::SSLContext.new
+			@context.cert=auth.my_cert
+			@context.key=auth.my_key
+			@context.verify_mode=OpenSSL::SSL::VERIFY_PEER
+			@context.verify_callback=proc do |preverify_ok,ssl_context|
+				verify_peer(preverify_ok,ssl_context)
+			end
+			
+			@tcp_client=TCPSocket.new(cfg_host.hostname,cfg_host.port)
+			ssl_connection=OpenSSL::SSL::SSLSocket.new(@tcp_client,@context)
+			ssl_connection.connect
+			super(ssl_connection)
+		end
+
+	  ############################################################################
+	  #
+	  #
+	  #
+	  ############################################################################
+
+		def verify_peer(preverify_ok,ssl_context)
+			if(!ssl_context.current_cert.verify(@ca_cert.public_key))
+				info("server certificate rejected")
+				return(false)
+			end
+			true
+		end
+
+	  ############################################################################
+	  #
+	  #
+	  #
+	  ############################################################################
+
+		def on_msg(msg)
+			super(msg)
+			if(msg[:info])
+				puts "==[#{@host.name}] #{msg[:info]}"
+			end
+			if(msg[:done])
+				@response=msg
+				disconnect()
+			end
+		end
+	
+	  ############################################################################
+	  #
+	  #
+	  #
+	  ############################################################################
+	
+		def wait
+			super
+			@response
+		end	
+	
+	end
+
+end