sunflower 0.2

data/LICENSE

@@ -0,0 +1,4 @@
+Sunflower is licensed under CC-BY-SA 3.0.
+
+Author: matma.rex@gmail.com
+

data/README

@@ -0,0 +1,21 @@
+Version: 0.2 alpha
+
+>>> English:
+
+
+
+>>> Polski:
+
+==============================
+Nie edytuj żadnych plików .rb Notatnikiem - na początku plików zapisanych w Unikodzie dodaje on tzw. BOM, który powoduje wywalanie się Rubiego. Edytuj jest WordPadem lub, najlepiej, jakimś edytorem z kolorowaniem składni (np. Notepad++).
+==============================
+Aby bot zawsze automatycznie się logował bez konieczności podawania hasła w pliku .rb, utwórz plik o nazwie "userdata" (bez rozszerzenia) i w treści wpisz (oddzielając enterem) kolejno URL do wiki, login i hasło. Wtedy Sunflower.new() i s.login() można wywoływać bez parametrów - z pustymi nawiasami.
+==============================
+
+sunflower-core.rb to podstawowy plik z ramą bota. sunflower-commontasks.rb zawiera parę funkcji, które ułatwiający wykonywanie różnych zadań.
+
+example-bot.rb to przykład bota; jest to niemal najkrótszy kod, który cokolwiek może zrobić, ten pobiera stronę, dodaje do niej "test" i zapisuje ją.
+
+use-easy-bot.rb to skrypt pozwalający w zamierzeniu na uzycie bota laikom. Pobiera listę stron z pliku (należy ją stworzyć np. AWB i zapisać jako "Plaintext list" - tytuły stron oddzielone enterami), po czym w każdej wykonuje określone zmiany i zapisuje. Dokładniejszy opis jest w samym pliku, pamiętaj też, żeby zmienić oznaczone fragmenty. Komentarze zaczynają się od znaku "#".
+
+W /scripts jest parę moich skryptów, niektóre moga się przydać, niektóre nie albo w ogóle nie działają.

data/bin/sunflower-setup

@@ -0,0 +1,68 @@
+require 'sunflower'
+
+
+path = Sunflower.path
+
+
+
+puts "Welcome to Sunflower's setup script."
+puts ""
+
+puts "If you set your home wiki and userdata, you will not have to enter it in every script."
+puts "Your userdata will be saved (IN PLAINTEXT!) in this file:"
+puts "  #{path}"
+
+puts ""
+
+print "Enter your home wiki (for ex. en.wikipedia.org): "
+home=gets.strip
+
+print "Enter your bot's nick on the home wiki: "
+nick=gets.strip
+
+print "Enter your bot's password on home wiki (WILL BE SHOWN IN PLAINTEXT): "
+pass=gets.strip
+
+puts ""
+
+worked = true
+puts "Trying to connect with the data provided..."
+begin
+	s=Sunflower.new home
+	s.login nick, pass
+rescue
+	worked = false
+	error = $!.message
+end
+
+if worked
+	puts "It seems to work!"
+	puts "WARNING! USER DOES NOT HAVE BOT RIGHTS!" if !s.isBot?
+else
+	puts "Whoops, it didn't work. The error message is:"
+	puts error
+end
+
+save = worked
+
+if !worked
+	begin
+		print "Do you want to save the data anyway? [yn] "
+		ans = gets.strip
+	end until ans=~/[yn]/i
+	
+	save = (ans.downcase=='y')
+end
+
+if save
+	f=File.open(path, "w")
+	f.write [home, nick, pass].join "\n"
+	f.close
+	
+	puts "User data has been saved. Remember that your password is saved in plaintext!"
+	puts ""
+
+	puts "If you ever want to erase your login data, simply delete the file."
+else
+	puts "User data has not been saved. You can run this setup again anytime."
+end

data/example-bot.rb

@@ -0,0 +1,12 @@
+# This is the most basic bot possible.
+
+require 'sunflower-commontasks.rb'
+
+s=Sunflower.new
+s.login
+
+$summary='Sunflower: test'
+
+p=Page.get('Test')
+p.write p.text+"\n\ntest"
+p.save

data/lib/sunflower/commontasks.rb

@@ -0,0 +1,251 @@
+# coding: utf-8
+# extends Page with some methods letting easily perform common tasks
+
+class Page
+	def execute commands
+	# executes methods on self
+	# "commands" is array of arrays
+	# page.execute([
+		# [:replace, 'something', 'whatever'],
+		# [:append, 'some things']
+	# ])
+	#        equals to
+	# page.replace('something', 'whatever')
+	# page.append('some things')
+	
+	# allowed modifiers:
+	# r, required
+	# oi:module, only-if:module
+	# !oi:module, only-if-not:module
+	# s:append to summary, summary:append to summary
+		originalText = self.text.dup
+	
+		commands.each do |cmd|
+			f=cmd.shift
+			if f.class==Array
+				methodName=f.shift
+				modifiers=f.map{|i|
+					i+=':' if !i.include? ':'
+					i=i.split(':',-1)
+					i[0]=i[0].downcase.gsub(/[^a-z!]/,'')
+					
+					i[0]='r' if i[0]=='required'
+					i[0]='oi' if i[0]=='onlyif'
+					i[0]='!oi' if i[0]=='onlyifnot'
+					i[0]='s' if i[0]=='summary'
+					
+					type=i.shift
+					i=i.join(':')
+					
+					[type,i]
+				}
+				modifiers=Hash[*(modifiers.flatten)]
+			else
+				methodName=f
+				modifiers={}
+			end
+			
+			if modifiers['oi']
+				if !@modulesExecd.index(modifiers['oi'].strip)
+					next #skip this command
+				end
+			end
+			if modifiers['!oi']
+				if @modulesExecd.index(modifiers['oi'].strip)
+					next #skip this command
+				end
+			end
+			
+			oldText=self.text
+			self.method(methodName).call(*cmd)
+			newText=self.text
+			
+			@modulesExecd<<methodName if oldText!=newText
+			
+			if modifiers['s'] && oldText!=newText
+				@summaryAppend<<modifiers['s'].strip
+			end
+			
+			if modifiers['r'] && oldText==newText
+				self.text = originalText
+				break #reset text and stop executing commands
+			end
+		end
+	end
+	
+	
+	
+	def replace from, to, once=false
+	# replaces "from" with "to" in page text
+	# "from" may be regex
+		self.text = self.text.send( (once ? 'sub' : 'gsub'), from, to )
+	end
+	def gsub from, to
+		self.replace from, to
+	end
+	def sub from, to
+		self.replace from, to, true
+	end
+	
+	def append txt, newlines=2
+	# appends newlines and text
+	# by default - 2 newlines
+		self.text = self.text.rstrip + ("\n"*newlines) + txt
+	end
+	
+	def prepend txt, newlines=2
+	# prepends text and newlines
+	# by default - 2 newlines
+		self.text = txt + ("\n"*newlines) + self.text.lstrip
+	end
+	
+	def code_cleanup
+	# simple, safe code cleanup
+	# use $alwaysDoCodeCleanup=true to do it automatically just before saving page
+	# based on Nux's cleaner: http://pl.wikipedia.org/wiki/Wikipedysta:Nux/wp_sk.js
+		str=self.text.gsub(/\r\n/,"\n")
+		
+		str.gsub!(/\{\{\s*([^|{}]+ |uni|)stub2?(\|[^{}]+)?\}\}/i){
+			if $1=='sekcja '
+				'{{sekcja stub}}'
+			else
+				'{{stub}}'
+			end
+		}
+		str.gsub!(/\{\{\{(?:poprzednik|następca|pop|nast|lata|info|lang)\|(.+?)\}\}\}/i,'\1')
+		str.gsub!(/(={1,5})\s*Przypisy\s*\1\s*<references\s?\/>/){
+			if $1=='=' || $1=='=='
+				'{{Przypisy}}'
+			else
+				'{{Przypisy|stopień= '+$1+'}}'
+			end
+		}
+
+		# sklejanie skrótów linkowych
+		str.gsub!(/m\.? ?\[\[n\.? ?p\.? ?m\.?\]\]/, 'm [[n.p.m.]]');
+
+		# korekty dat - niepotrzebny przecinek
+		str.gsub!(/(\[\[[0-9]+ (stycznia|lutego|marca|kwietnia|maja|czerwca|lipca|sierpnia|września|października|listopada|grudnia)\]\]), (\[\[[0-9]{4}\]\])/i, '\1 \3');
+
+		# linkowanie do wieków
+		str.gsub!(/\[\[([XVI]{1,5}) [wW]\.?\]\]/, '[[\1 wiek|\1 w.]]');
+		str.gsub!(/\[\[([XVI]{1,5}) [wW]\.?\|/, '[[\1 wiek|');
+		str.gsub!(/\[\[(III|II|IV|VIII|VII|VI|IX|XIII|XII|XI|XIV|XV|XVIII|XVII|XVI|XIX|XXI|XX)\]\]/, '[[\1 wiek|\1]]');
+		str.gsub!(/\[\[(III|II|IV|VIII|VII|VI|IX|XIII|XII|XI|XIV|XV|XVIII|XVII|XVI|XIX|XXI|XX)\|/, '[[\1 wiek|');
+
+		# rozwijanie typowych linków
+		str.gsub!(/\[\[ang\.\]\]/, '[[język angielski|ang.]]');
+		str.gsub!(/\[\[cz\.\]\]/, '[[język czeski|cz.]]');
+		str.gsub!(/\[\[fr\.\]\]/, '[[język francuski|fr.]]');
+		str.gsub!(/\[\[łac\.\]\]/, '[[łacina|łac.]]');
+		str.gsub!(/\[\[niem\.\]\]/, '[[język niemiecki|niem.]]');
+		str.gsub!(/\[\[pol\.\]\]/, '[[język polski|pol.]]');
+		str.gsub!(/\[\[pl\.\]\]/, '[[język polski|pol.]]');
+		str.gsub!(/\[\[ros\.\]\]/, '[[język rosyjski|ros.]]');
+		str.gsub!(/\[\[(((G|g)iga|(M|m)ega|(K|k)ilo)herc|[GMk]Hz)\|/, '[[herc|');
+
+		# unifikacja nagłówkowa
+		str.gsub!(/[ \n\t]*\n'''? *(Zobacz|Patrz) (też|także):* *'''?[ \n\t]*/i, "\n\n== Zobacz też ==\n");
+		str.gsub!(/[ \n\t]*\n(=+) *(Zobacz|Patrz) (też|także):* *=+[ \n\t]*/i, "\n\n\\1 Zobacz też \\1\n");
+		str.gsub!(/[ \n\t]*\n'''? *((Zewnętrzn[ey] )?(Linki?|Łącza|Stron[ay]|Zobacz w (internecie|sieci))( zewn[eę]trzn[aey])?):* *'''?[ \n\t]*/i, "\n\n== Linki zewnętrzne ==\n");
+		str.gsub!(/[ \n\t]*\n(=+) *((Zewnętrzn[ey] )?(Linki?|Łącza|Stron[ay]|Zobacz w (internecie|sieci))( zewn[eę]trzn[aey])?):* *=+[ \n\t]*/i, "\n\n\\1 Linki zewnętrzne \\1\n");
+
+		# nagłówki
+		str.gsub!(/(^|\n)(=+) *([^=\n]*[^ :=\n])[ :]*=/, '\1\2 \3 ='); # =a= > = a =, =a:= > = a =
+		str.gsub!(/(^|\n)(=+[^=\n]+=+)[\n]{2,}/, "\\1\\2\n");	# jeden \n
+
+		# listy ze spacjami
+		str.gsub!(/(\n[#*:;]+)([^ \t\n#*:;{])/, '\1 \2');
+		
+		# poprawa nazw przestrzeni i drobne okoliczne
+		str.gsub!(/\[\[(:?) *(image|grafika|file|plik) *: *([^ ])/i){'[['+$1+'Plik:'+$3.upcase}
+		str.gsub!(/\[\[(:?) *(category|kategoria) *: *([^ ])/i){'[['+$1+'Kategoria:'+$3.upcase}
+		str.gsub!(/\[\[ *(:?) *(template|szablon) *: *([^ ])/i){'[['+'Szablon:'+$3.upcase}
+		str.gsub!(/\[\[ *(:?) *(special|specjalna) *: *([^ ])/i){'[['+'Specjalna:'+$3.upcase}
+		
+		3.times { str.gsub!('{{stub}}{{stub}}', '{{stub}}') }
+		
+		self.text = str
+	end
+	
+	def friendly_infobox
+	# cleans up infoboxes
+	# might make mistakes! use at your own risk!
+		def makeFriendly(nazwa,zaw)
+			zaw.gsub!(/<!--.+?-->/,'')
+			nazwa=nazwa.gsub('_',' ').strip
+			
+			#escapowanie parametrów
+			zaw.gsub!(/<<<(#+)>>>/,"<<<#\\1>>>")
+			#wewnętrzne szablony
+			while zaw=~/\{\{[^}]+\|[^}]+\}\}/
+				zaw.gsub!($&,$&.gsub(/\|/,'<<<#>>>'))
+			end
+			#wewnętrzne linki
+			while zaw=~/\[\[[^\]]+\|[^\]]+\]\]/
+				zaw.gsub!($&,$&.gsub(/\|/,'<<<#>>>'))
+			end
+			
+			zaw.sub!(/\A\s*\|\s*/,'') #usunięcie pierwszego pipe'a
+			lines=zaw.split('|')
+			
+			# te tablice przechowują odpowiednio nazwy i wartości kolejnych parametrów
+			names=[]
+			values=[]
+				
+			for line in lines
+				line.gsub!(/<<<#>>>/,'|')
+				line.gsub!(/<<<#(#+)>>>/,"<<<\\1>>>") #odescapowanie
+				
+				line=~/\A\s*(.+?)\s*=\s*([\s\S]*?)\s*\Z/
+				if $&==nil
+					next
+				end
+				name=$1.strip
+				value=$2.strip
+				
+				names<<name
+				values<<value
+			end
+			
+			zaw=''
+			names.each_index{|i|
+				zaw+=' | '+names[i]+' = '+values[i]+"\n"
+			}
+			
+			# grupowane koordynaty
+			zaw.gsub!(/\s*\| minut/, ' | minut')
+			zaw.gsub!(/\s*\| sekund/, ' | sekund')
+			
+			return '{{'+nazwa[0,1].upcase+nazwa[1,999]+"\n"+zaw+'}}'+"\n"
+		end
+
+		nstr=''
+		while str!=''
+			str=~/(\s*)\{\{([^|}]+[ _]infobo[^|}]+|[wW]ładca)((?:[^{}]|[^{}][{}][^{}]|\{\{(?:[^{}]|[^{}][{}][^{}]|\{\{[^{}]+\}\})+\}\})+)\}\}(?:\s*)/
+			
+			spaces=($1!='' ? "\n" : '')
+			before=($`==nil ? '' : $`)
+			name=$2
+			inner=$3
+			match=$&
+			if match!=nil
+				result=makeFriendly(name,inner)
+				nstr+=before+spaces+result
+			else
+				nstr+=str
+				break
+			end
+			
+			str=str.sub(before+match,'')
+		end
+	
+		self.text = nstr
+	end
+	
+	def change_category from, to
+		from=from.sub(/\A\s*([cC]ategory|[kK]ategoria):/, '').strip
+		to=to.sub(/\A\s*([cC]ategory|[kK]ategoria):/, '').strip
+		self.text = self.text.gsub!(/\[\[ *(?:[cC]ategory|[kK]ategoria) *: *#{Regexp.escape from} *(\|[^\]]+ *|)\]\]/){'[[Kategoria:'+to+$1.rstrip+']]'}
+	end
+end

data/lib/sunflower/core.rb

@@ -0,0 +1,253 @@
+# coding: utf-8
+require 'rest-client'
+require 'json'
+require 'cgi'
+
+# Main class. To start working, you have to create new Sunflower:
+#   s = Sunflower.new('en.wikipedia.org')
+# And then log in:
+#   s.login('Username','password')
+#
+# If you have ran setup, you can just use
+#   s = Sunflower.new.login
+#
+# Then you can request data from API using #API method.
+# To log data to file, use #log method (works like puts, append new line if needed) of #log2 (like print).
+# You can use multiple Sunflowers at once, to work on multiple wikis.
+class Sunflower
+	# Path to user data file.
+	def self.path
+		File.join(ENV['HOME'], 'sunflower-userdata')
+	end
+
+	attr_accessor :cookie, :headers, :wikiURL, :warnings, :log
+	
+	# Initialize a new Sunflower working on a wiki with given URL, for ex. "pl.wikipedia.org".
+	def initialize url=''
+		begin
+			r=File.read(Sunflower.path)
+			@userdata=r.split(/\r?\n/).map{|i| i.strip}
+		rescue
+			@userdata=[]
+		end
+		
+		if url==''
+			if !@userdata.empty?
+				url=@userdata[0]
+			else
+				raise RuntimeError, 'Sunflower - initialize: no URL supplied and no userdata found!'
+			end
+		end
+		
+		@warnings=true
+		@log=true
+		
+		@wikiURL=url
+		@logData=''
+		
+		@loggedin=false
+	end
+	
+	# Call the API. Returns a hash of JSON response.
+	def API request
+		#$stderr.puts 'Warning: Sunflower: API request before logging in! ('+request+')' unless @loggedin || !@warnings
+		self.log 'http://'+@wikiURL+'/w/api.php?'+request+'&format=jsonfm'
+		resp = RestClient.get(
+			'http://'+@wikiURL+'/w/api.php?'+request+'&format=json',
+			{:user_agent => 'Sunflower alpha', :cookies => @cookies}
+		)
+		JSON.parse resp.to_str
+	end
+	
+	# Log in using given info.
+	def login user='', password=''
+		if user=='' || password==''
+			if !@userdata.empty?
+				user=@userdata[1] if user==''
+				password=@userdata[2] if password==''
+			else
+				raise RuntimeError, 'Sunflower - login: no user/pass supplied and no userdata found!'
+			end
+		end
+		
+		if user.index(/[#<>\[\]\|\{\}]/)
+			raise RuntimeError, 'Sunflower - bad username!'
+		end
+		
+		
+		# 1. get the login token
+		response = RestClient.post(
+			'http://'+@wikiURL+'/w/api.php?'+"action=login&lgname=#{user}&lgpassword=#{password}"+'&format=json', 
+			nil,
+			{:user_agent => 'Sunflower alpha'}
+		)
+		
+		@cookies = response.cookies
+		json = JSON.parse response.to_str
+		token, prefix = json['login']['token'], json['login']['cookieprefix']
+		
+		
+		# 2. actually log in
+		response = RestClient.post(
+			'http://'+@wikiURL+'/w/api.php?'+"action=login&lgname=#{user}&lgpassword=#{password}&lgtoken=#{token}"+'&format=json',
+			nil,
+			{:user_agent => 'Sunflower alpha', :cookies => @cookies}
+		)
+		
+		json = JSON.parse response.to_str
+		
+		@cookies = @cookies.merge(response.cookies).merge({
+			"#{prefix}UserName" => json['login']['lgusername'].to_s,
+			"#{prefix}UserID" => json['login']['lguserid'].to_s,
+			"#{prefix}Token" => json['login']['lgtoken'].to_s
+		})
+		
+		
+		raise RuntimeError, 'Sunflower - unable to log in (no cookies received)!' if !@cookies
+		
+		
+		@loggedin=true		
+		r=self.API('action=query&list=watchlistraw')
+		if r['error'] && r['error']['code']=='wrnotloggedin'
+			@loggedin=false
+			raise RuntimeError, 'Sunflower - unable to log in!'
+		end
+		
+		r=self.API('action=query&list=allusers&aulimit=1&augroup=bot&aufrom='+user)
+		unless r['query']['allusers'][0]['name']==user
+			$stderr.puts 'Warning: Sunflower - this user does not have bot rights!' if @warnings
+			@haveBotRights=false
+		else
+			@haveBotRights=true
+		end
+		
+		return self
+	end
+	
+	def log2(t)
+		@logData+=t
+		if @log
+			f=File.open('log.txt','a')
+			f.write t
+			f.close
+		end
+	end
+	
+	def log(t)
+		self.log2(t.to_s.chomp+"\n")
+	end
+	
+	def isBot?
+		@haveBotRights
+	end
+end
+
+# Class representng single Wiki page. To load specified page, use #new/#get/#load method.
+#
+# If you are using multiple Sunflowers, you have to specify which wiki this page belongs to using second argument of function; you can pass whole URL (same as when creating new Sunflower) or just language code.
+#
+# To save page, use #save/#put method. Optional argument is new title page, if ommited, page is saved at old title. Summary can be passed as second parameter. If it's ommited, global variable $summary is used. If it's empty too, error is raised.
+#
+# To get Sunflower instance which this page belongs to, use #sunflower of #belongs_to.
+class Page
+	attr_accessor :text
+	
+	attr_reader :orig_text
+	
+	attr_reader :sunflower
+	alias :belongs_to :sunflower
+	
+	attr_reader :pageid, :ns, :title, :touched, :lastrevid, :counter, :length, :starttimestamp, :edittoken, :protection #prop=info
+	
+	def initialize title='', wiki=''
+		raise RuntimeError, 'Sunflower - title invalid: '+title if title.index(/[#<>\[\]\|\{\}]/)
+		
+		@modulesExecd=[] #used by sunflower-commontasks.rb
+		@summaryAppend=[] #used by sunflower-commontasks.rb
+		
+		@title=title
+		wiki=wiki+'.wikipedia.org' if wiki.index('.')==nil && wiki!=''
+		
+		if wiki=='' 
+			count=ObjectSpace.each_object(Sunflower){|o| @sunflower=o}
+			raise RuntimeError, 'Sunflower - you must pass wiki name if using multiple Sunflowers at once!' if count>1
+		else
+			ObjectSpace.each_object(Sunflower){|o| @sunflower=o if o.wikiURL==wiki}
+		end
+		
+		if title==''
+			@text=''
+			@orig_text=''
+			return
+		end
+		
+		r=@sunflower.API('action=query&prop=info&inprop=protection&intoken=edit&titles='+CGI.escape(@title))
+		r=r['query']['pages'][r['query']['pages'].keys[0] ]
+		r.each{|key,value|
+			self.instance_variable_set('@'+key, value)
+		}
+		
+		r=@sunflower.API('action=query&prop=revisions&rvprop=content&titles='+CGI.escape(@title))
+		
+		begin
+			@text=r['query']['pages'][@pageid.to_s]['revisions'][0]['*']
+		rescue Exception
+			@text=''
+		end
+		@orig_text=@text
+	end
+	
+	def dumpto file
+		if file.respond_to? :write #probably file or IO
+			file.write @text
+		else #filename?
+			f=File.open(file.to_s, 'w')
+			f.write @text
+			f.close
+		end
+	end
+	
+	def dump
+		self.dumpto @title.gsub(/[^a-zA-Z0-9\-]/,'_')+'.txt'
+	end
+	
+	def save title=@title, summary=$summary
+		raise RuntimeError, 'Sunflower - title invalid: '+title if title.index(/[#<>\[\]\|\{\}]/)
+		raise RuntimeError, 'Sunflower - no summary!' if (summary==nil || summary=='') && @summaryAppend==[]
+		
+		summary='' if summary==nil
+		for i in @summaryAppend.uniq
+			summary+=', '+i
+		end
+		summary.sub!(/^, /,'')
+		
+		
+		if @orig_text==@text && title==@title
+			@sunflower.log('Page '+title+' not saved - no changes.')
+			return
+		end
+		
+		
+		
+		self.code_cleanup if $alwaysDoCodeCleanup && self.respond_to?('code_cleanup')
+		
+		r=@sunflower.API("action=edit&bot=1&title=#{CGI.escape(title)}&text=#{CGI.escape(@text)}&summary=#{CGI.escape(summary)}&token=#{CGI.escape(@edittoken)}")# if @sunflower.isBot?
+	end
+	alias :put :save
+	
+	def self.get title, wiki=''
+		Page.new(title, wiki)
+	end
+	
+	def self.load title, wiki=''
+		Page.new(title, wiki)
+	end
+end
+
+class Hash
+	# just a lil patch
+	def first
+		self.values[0]
+	end
+end
+