rutils 0.0.3

data/CHANGELOG

@@ -0,0 +1,5 @@
+Версия 0.03 - 18.10.2005
+* Легкий рефакторинг и чистка документации, добавлена реализация BiDi-транслита
+
+Версия 0.02 - 12.07.2005
+* Заменен маркер подстановки тегов в Gilenson. Ранее без oniguruma из-за его применения "проглатывалась" буква "р"

data/README

@@ -0,0 +1,104 @@
+== Добро пожаловать в RuTils
+
+RuTils - простой обработчик русского текста, позволяющий использовать и обрабатывать
+русский текст несколькими несложными способами. Основная цель RuTils - сделать
+разработку русскоязычных приложений на Ruby (и Rails) максимально простой и приятной (в идеале - столь же
+простой как и разработку оных на английском)
+
+Весь функционал RuTils поддерживает только UTF-8 (настройка $KCODE / KanjiCode 'u'). Стандартно работа RuTils проверяется
+как на стандартной версии Ruby, так и на парсере регулярных выражений Oniguruma (правда имейте в виду, что с ним
+Gilenson работает медленнее).
+
+
+Это версия RuTils
+
+	$Revision: 1.6 $
+	
+Пожалуйста упоминайте версию при сообщении ошибок.
+
+Удостоверьтесь, что ваш скрипт правильно обрабатывает Unicode - то есть:
+
+* Переменная $KCODE включена в режим 'u'
+* В скрипт загружена библиотека jcode
+
+Если вы используете RuTils для сайта под mod_ruby воспользуйтесь директивой RubyKanjiCode в своем httpd.conf.
+
+== Cумма прописью
+
+RuTils реализует сумму прописью для целых и дробных чисел, с дополнительным учетом рода. Например:
+
+	4.propisju	=> "четыре"
+	345.propisju => "триста сорок пять"
+	231.propisju(2) => "двести тридцать одна"
+	341.propisju_items(1, "чемодан", "чемодана", "чемоданов") => "триста сорок один чемодан"
+	(212.40).propisju_items(2, "сволочь", "сволочи", "сволочей") => "двести двенадцать целых четыре десятых сволочи"
+	
+Также реализуется выбор варианта числительного в зависимости от числа
+
+	15.items("кодер", "кодера", "кодеров") => "кодеров"
+
+== Транслит
+
+RuTils на данный момент реализует простейший транслит "в одну сторону".
+
+ 	"Вот такое вот дело".translify => "Vot takoye vot delo"
+	"Несомненный прогресс по сравнению с PHP".dirify => "nesomnennyi-progress-po-sravneniu-s-php"
+	
+В ближайшее время будет добавлен BiDi-транслит.
+
+== Обработка русской типографики в HTML
+
+RuTils включает Gilenson - порт Тыпографицы[http://pixel-apes.com/typografica] от
+Pixel Apes на Ruby. Тыпографица - механизм автоматической расстановки подстановок в тексте
+перед его выводом в HTML, оформляющий неразрывные пробелы, типографские кавычки
+и реализующая элементарные макроподстановки.
+
+Большое спасибо Роману Иванову aka Kukutz и Николаю Яремко aka Kuso Mendokuzee за изначальную реализацию
+на PHP.
+
+Имейте в виду, что на баги в Gilenson жаловаться разработчикам Typografica не стоит -
+они вас не поймут и будут правы. Поддержку Gilenson PixelApes не осуществляют.
+
+В комплекте также есть скрипт gilensize, которым можно поточно обрабатывать Unicode-тексты в среде UNIX
+пользуясь стандартным выводом
+
+	$ cat myfile.txt | gilensize > myfile.html
+
+== Интеграция с Rails, RedCloth и BlueCloth
+
+RuTils в первую очередь задумывался как максимально "прозрачный" механизм обработки русского текста
+в контексте Rails-приложения. Если вы используете RuTils в одном приложении с RedCloth или BlueCloth,
+RuTils автоматически будет обрабатывать типографику во всех текстах, пропускаемых через них. Имейте в виду, что для
+корректной работы этой функции RuTils надо загружать после модулей RedCloth и BlueCloth.
+
+
+В принципе если вы пользуетесь RedCloth или BlueCloth все что ими обрабатывается будет автоматически
+обрабатываться и Gilenson'ом тоже. В случае с RedCloth Glienson автоматически заменяет стандартные для
+Textile английские кавычки и типографские знаки на свои - русские.
+
+Перегрузку всех функций (RedCloth, BlueCloth и компоненты Rails) можно включать и отключать в любое время
+с помощью метода overrides= модуля RuTils. Когда перегрузка выключена, все сторонние библиотеки будут работать
+в стандартном режиме (например, RedCloth будет расставлять английские типографские кавычки). 
+
+== Требования
+
+* Ruby 1.8.2, немного прямых рук.
+* Rake[http://rake.rubyforge.org], Rails, RedCloth и BlueCloth для выполнения тестов 
+
+== Как использовать
+
+Просто включите rutils в свою программу как gem
+
+	require_gem 'rutils'
+	
+или как библиотеку
+
+	require 'rutils'
+	
+== Где получить помощь
+
+На странице проекта на RubyForge[http://rubyforge.org/projects/rutils]
+
+== Работает ли это с текстом  в кодировке Windows-1251
+
+Нет и никогда не будет. 

data/TODO

@@ -0,0 +1,26 @@
+=TODO
+
+==Gilenson
+
+* Заменить все entities в Гиленсоне на UTF-эквиваленты (в том числе и в тестах)
+	(пока генерируемый им код содержит, например, raquo и nbsp - неприменимо для  XML)
+* Выяснить, стоит ли отрабатывать типографику в атрибутах тегов
+* Полностью рефакторнуть (вынести каждую трансформацию в метод)
+	* чтобы тестить трансформации по одной
+	* чтобы применять трансформации по одной буде на то нужда
+
+==Pluralization
+
+* Истинная плюрализация без передачи рода и вариантов (как в Rails)
+
+==Даты
+
+* В принципе нужно обеспечить полноценное покрытие stfmt
+
+==Rails
+
+* distance_of_time_in_words и тому подобные
+
+==Транслит
+
+* bidi-транслит (Данил)

data/bin/gilensize

@@ -0,0 +1,8 @@
+#!/usr/bin/env ruby
+$KCODE = 'u'
+require 'rubygems'
+require_gem 'rutils'
+
+while st = gets do
+	puts RuTils::Gilenson::Formatter.new(st).to_html
+end

data/lib/datetime/datetime.rb

@@ -0,0 +1,61 @@
+require 'date'
+
+module RuTils
+	module DateTime
+	  ABBR_MONTHNAMES = %w{ Янв Фев Мар Апр Май Июн Июл Авг Сен Окт Ноя Дек }
+	  MONTHNAMES = %w{ Январь Февраль Март Апрель Май Июнь Июль Август Сентябрь Октябрь Ноябрь Декабрь }
+		def self.distance_of_time_in_words(from_time, to_time = 0, include_seconds = false, absolute = false) #nodoc
+			from_time = from_time.to_time if from_time.respond_to?(:to_time)
+			to_time = to_time.to_time if to_time.respond_to?(:to_time)
+			distance_in_minutes = (((to_time - from_time).abs)/60).round
+			distance_in_seconds = ((to_time - from_time).abs).round
+
+			case distance_in_minutes
+				when 0..1
+					return (distance_in_minutes==0) ? 'меньше минуты' : '1 минуту' unless include_seconds
+
+				case distance_in_seconds
+					 when 0..5	 then 'менее чем 5 секунд'
+					 when 6..10	 then 'менее чем 10 секунд'
+					 when 11..20 then 'менее чем 20 секунд'
+					 when 21..40 then 'пол-минуты'
+					 when 41..59 then 'меньше минуты'
+					 else					'1 минуту'
+				 end
+														 
+				 when 2..45			 then distance_in_minutes.propisju_items(2, "минута", "минуты", "минут") 
+				 when 46..90		 then 'около часа'
+				 when 90..1440	 then "около " + (distance_in_minutes.to_f / 60.0).round.items("час", "часа", "часов")
+				 when 1441..2880 then '1 день'
+				 else									(distance_in_minutes / 1440).round.items("день", "дня", "дней")
+			 end
+		end
+		
+	end
+end
+
+class RuTils::DateTime::RussianDate < Date
+	  # Full month names, in English.  Months count from 1 to 12; a
+	  # month's numerical representation indexed into this array
+	  # gives the name of that month (hence the first element is nil).
+	  MONTHNAMES = [nil] + %w(Январь Февраль Март Апрель Май Июнь Июль
+				  Август Сентябрь Октябрь Ноябрь Декабрь)
+
+	  # Full names of days of the week, in English.  Days of the week
+	  # count from 0 to 6 (except in the commercial week); a day's numerical
+	  # representation indexed into this array gives the name of that day.
+	  DAYNAMES = %w(Воскресенье Понедельник Вторник Среда Четверг Пятница Суббота)
+
+	  # Abbreviated month names, in English.
+	  ABBR_MONTHNAMES = [nil] + %w(Янв Фев Мар Апр Май Июнь
+				       Июль Авг Сен Окт Ноя Дек)
+	  # Abbreviated day names, in English.
+	  ABBR_DAYNAMES = %w(Вск Пн Вт Ср Чт Пт Сб)
+
+end
+
+class Date
+	def ru_strftime(*args)
+		RuTils::DateTime::RussianDate.new(self).strftime(*args)
+	end
+end

data/lib/gilenson/gilenson.rb

@@ -0,0 +1,280 @@
+module RuTils
+	class Gilenson < String #:nodoc:
+
+		def initialize(*args)
+			# Задача (вкратце) состоит в том чтобы все ступени разработки развести в отдельные методы
+			# и тестировать их отдельно друг от друга (а также иметь возможность их по-одному включать и выключать).
+			# Фильтры, которые начинаются с lift работают с блоком (например - вытащить таги, провести обработку
+			# текста и вернуть все назад)
+						
+			# Фильтры обрабатываются именно в таком порядке. Этот массив стравнивается с настройками, и если настройки
+			# для конкретного фильтра установлены в false этот фильтр обработан не будет.
+			# Каждый фильтр должен именоваться process_{filter}, принимать аргументом текст для обработки и возвращать его же!
+			# После того как фильтр включен в массив order_of_filters и для него написан метод фильтр по лумолчанию включается,
+			# и его настройку можно поменять с помощью аксессора с соотв. именем. Это делается автоматом.
+			# Главный обработчик должен сам понимать, использовать ли блок (если метод-делегат начинается с lift_)
+			# или просто process.
+			
+			# Аксессор само собой генерируется автоматом.
+			
+			@@order_of_filters = [
+					:inches,
+					:dashes,
+					:emdashes,
+					:specials,
+					:spacing,
+					:dashglue,
+					:nonbreakables,
+					:plusmin,
+					:degrees,
+					:phones,
+					:simple_quotes,
+					:typographer_quotes,
+					:compound_quotes,
+			]	
+			
+			# Символы, используемые в подстановках. Меняются через substitute_set(subst_name, subst_content)
+			# Нужно потому как ващето &nbsp; недопустим в XML, равно как и всякие mdash.
+			@@spec_chars = {
+				:laquo=>'&laquo;', #left acute
+				:raquo=>'&raquo;', #right acute
+				:ndash=>'&ndash;', #en dash
+				:mdash=>'&mdash;', #en dash
+				:inch=>'&quot;', #en dash
+			}		
+
+		  @@phonemasks = [[	/([0-9]{4})\-([0-9]{2})\-([0-9]{2}) ([0-9]{2}):([0-9]{2}):([0-9]{2})/,
+			                  /([0-9]{4})\-([0-9]{2})\-([0-9]{2})/,
+			                  /(\([0-9\+\-]+\)) ?([0-9]{3})\-([0-9]{2})\-([0-9]{2})/,
+			                  /(\([0-9\+\-]+\)) ?([0-9]{2})\-([0-9]{2})\-([0-9]{2})/,
+			                  /(\([0-9\+\-]+\)) ?([0-9]{3})\-([0-9]{2})/,
+			                  /(\([0-9\+\-]+\)) ?([0-9]{2})\-([0-9]{3})/,
+			                  /([0-9]{3})\-([0-9]{2})\-([0-9]{2})/,
+			                  /([0-9]{2})\-([0-9]{2})\-([0-9]{2})/,
+			                  /([0-9]{1})\-([0-9]{2})\-([0-9]{2})/,
+			                  /([0-9]{2})\-([0-9]{3})/,
+			                  /([0-9]+)\-([0-9]+)/,
+											],[		
+											 '<nobr>\1&ndash;\2&ndash;\3&nbsp;\4:\5:\6</nobr>',
+			                 '<nobr>\1&ndash;\2&ndash;\3</nobr>',
+			                 '<nobr>\1&nbsp;\2&ndash;\3&ndash;\4</nobr>',
+			                 '<nobr>\1&nbsp;\2&ndash;\3&ndash;\4</nobr>',
+			                 '<nobr>\1&nbsp;\2&ndash;\3</nobr>',
+			                 '<nobr>\1&nbsp;\2&ndash;\3</nobr>',
+			                 '<nobr>\1&ndash;\2&ndash;\3</nobr>',
+			                 '<nobr>\1&ndash;\2&ndash;\3</nobr>',
+			                 '<nobr>\1&ndash;\2&ndash;\3</nobr>',
+			                 '<nobr>\1&ndash;\2</nobr>',
+			                 '<nobr>\1&ndash;\2</nobr>'
+										]]
+										
+		  @@glueleft =  ['рис.', 'табл.', 'см.', 'им.', 'ул.', 'пер.', 'кв.', 'офис', 'оф.', 'г.']
+		  @@glueright = ['руб.', 'коп.', 'у.е.', 'мин.']
+
+		  @@settings = {
+											"inches" => true, # преобразовывать дюймы в &quot;
+		                  "laquo" => true,  # кавычки-ёлочки
+		                  "farlaquo" => false,  # кавычки-ёлочки для фара (знаки "больше-меньше")
+		                  "quotes" => true, # кавычки-английские лапки
+		                  "dash" => true,   # короткое тире (150)
+		                  "emdash" => true, # длинное тире двумя минусами (151)
+		                  "(c)" => true, 
+											"(r)" => true,
+											"(tm)" => true,
+											"(p)" => true,
+											"+-" => true, # спецсимволы, какие - понятно
+		                  "degrees" => true, # знак градуса
+		                  "<-->" => true,    # отступы $Indent*
+		                  "dashglue" => true, "wordglue" => true, # приклеивание предлогов и дефисов
+		                  "spacing" => true, # запятые и пробелы, перестановка
+		                  "phones" => true,  # обработка телефонов
+		                  "fixed" => false,   # подгон под фиксированную ширину
+		                  "html" => false     # запрет тагов html
+		               }
+			# irrelevant - indentation with images
+			@@indent_a = "<!--indent-->"
+			@@indent_b = "<!--indent-->"
+			
+			@@mark_tag = "\xF0\xF0\xF0\xF0" # Подстановочные маркеры тегов - BOM
+			@@mark_ignored = "\xFF\xFF\xFF\xFF" # Подстановочные маркеры неизменяемых групп - BOM+ =)
+		  
+			@@ignore = /notypo/ # regex, который игнорируется. Этим надо воспользоваться для обработки pre и code
+
+			self.methods.each do | m |
+				next unless m.include?("process_")
+				raise NoMethodError, "No hook for " + m unless @@order_of_filters.include?(m.gsub(/process_/, '').to_sym)
+			end
+			
+			@@order_of_filters.each do |filter|
+				raise NoMethodError, "No process method for " + filter unless self.methods.include?("process_#{filter}".to_sym)
+			end
+
+			super(*args)
+
+		end
+		
+			
+			def to_html(*opts)
+				text = self.to_s.clone
+				lift_tags(text) do | text |
+#					lift_ignored(text) do |text|
+						for filter in @@order_of_filters
+							raise "UnknownFilter #process_#{filter} in filterlist!" unless self.respond_to?("process_#{filter}".to_sym)
+							self.send("process_#{filter}".to_sym, text) # if @settings[filter.to_sym] # вызываем конкретный фильтр
+						end
+#					end
+				end
+				text
+			end
+				
+			# Вытаскивает теги из текста, выполняет переданный блок и возвращает теги на место.
+			# Теги в процессе заменяются на специальный маркер			
+			def lift_tags(text, marker="\xF0\xF0\xF0\xF0", &block)
+				
+			 # Выцепляем таги
+			 #	re =  /<\/?[a-z0-9]+("+ # имя тага
+			 #                              "\s+("+ # повторяющая конструкция: хотя бы один разделитель и тельце
+			 #                                     "[a-z]+("+ # атрибут из букв, за которым может стоять знак равенства и потом
+			 #                                              "=((\'[^\']*\')|(\"[^\"]*\")|([0-9@\-_a-z:\/?&=\.]+))"+ # 
+			 #                                           ")?"+
+			 #                                  ")?"+
+			 #                            ")*\/?>|\xA2\xA2[^\n]*?==/i;
+
+			  re =  /(<\/?[a-z0-9]+(\s+([a-z]+(=((\'[^\']*\')|(\"[^\"]*\")|([0-9@\-_a-z:\/?&=\.]+)))?)?)*\/?>)/ui
+				
+				tags = text.scan(re).inject([]) { | ar, match | ar << match[0] }
+		    text.gsub!(re, "\xF0\xF0\xF0\xF0") #маркер тега
+				
+				yield(text, marker) if block_given? #делаем все что надо сделать без тегов
+				
+ 				tags.each { | tag | text.sub!(marker, tag) }  # Вставляем таги обратно.
+
+			end
+
+			# Выцепляет игнорированные символы, выполняет блок с текстом
+			# без этих символов а затем вставляет их на место			
+			def lift_ignored(text, marker = "\xFF\xFF\xFF\xFF", &block)
+				ignored = text.scan(@ignore)
+		    text.gsub!(@ignore, marker)
+				
+				# обрабатываем текст
+				yield(text, marker) if block_given?				
+				
+				# возвращаем игнорированные символы
+				ignored.each { | tag | text.sub!(marker, tag) }
+			end
+
+			# Кавычки - лапки			
+			def process_simple_quotes(text)
+		      text.gsub!( /\"\"/ui, "&quot;&quot;")
+		      text.gsub!( /\"\.\"/ui, "&quot;.&quot;")
+		      _text = '""';
+		      while _text != text do  
+		        _text = text
+		        text.gsub!( /(^|\s|\xFF\xFF\xFF\xFF|\xF0\xF0\xF0\xF0|>)\"([0-9A-Za-z\'\!\s\.\?\,\-\&\;\:\_\xF0\xF0\xF0\xF0\xFF\xFF\xFF\xFF]+(\"|&#148;))/ui, '\1&#147;\2')
+						#this doesnt work in-place. somehow.
+		        text.replace text.gsub( /(\&\#147\;([A-Za-z0-9\'\!\s\.\?\,\-\&\;\:\xF0\xF0\xF0\xF0\xFF\xFF\xFF\xFF\_]*).*[A-Za-z0-9][\xF0\xF0\xF0\xF0\xFF\xFF\xFF\xFF\?\.\!\,]*)\"/ui, '\1&#148;')
+		      end
+			end
+			
+			# Кавычки - елочки
+			def process_typographer_quotes(text)
+		    # 2. ёлочки
+	      text.gsub!( /\"\"/ui, "&quot;&quot;");
+	      text.gsub!( /(^|\s|\xFF\xFF\xFF\xFF|\xF0\xF0\xF0\xF0|>|\()\"((\xFF\xFF\xFF\xFF|\xF0\xF0\xF0\xF0)*[~0-9ёЁA-Za-zА-Яа-я\-:\/\.])/ui, "\\1&laquo;\\2");
+	      # nb: wacko only regexp follows:
+	      text.gsub!( /(^|\s|\xFF\xFF\xFF\xFF|\xF0\xF0\xF0\xF0|>|\()\"((\xFF\xFF\xFF\xFF|\xF0\xF0\xF0\xF0|\/&nbsp;|\/|\!)*[~0-9ёЁA-Za-zА-Яа-я\-:\/\.])/ui, "\\1&laquo;\\2")
+	      _text = "\"\"";
+	      while (_text != text) do
+					_text = text;
+	        text.gsub!( /(\&laquo\;([^\"]*)[ёЁA-Za-zА-Яа-я0-9\.\-:\/](\xFF\xFF\xFF\xFF|\xF0\xF0\xF0\xF0)*)\"/sui, "\\1&raquo;")
+	        # nb: wacko only regexps follows:
+	        text.gsub!( /(\&laquo\;([^\"]*)[ёЁA-Za-zА-Яа-я0-9\.\-:\/](\xFF\xFF\xFF\xFF|\xF0\xF0\xF0\xF0)*\?(\xFF\xFF\xFF\xFF|\xF0\xF0\xF0\xF0)*)\"/sui, "\\1&raquo;")
+	        text.gsub!( /(\&laquo\;([^\"]*)[ёЁA-Za-zА-Яа-я0-9\.\-:\/](\xFF\xFF\xFF\xFF|\xF0\xF0\xF0\xF0|\/|\!)*)\"/sui, "\\1&raquo;")
+	      end
+			end
+			
+			# Cложные кавычки
+			def process_compound_quotes(text)
+        text.gsub!(/(\&\#147\;(([A-Za-z0-9'!\.?,\-&;:]|\s|\xF0\xF0\xF0\xF0|\xFF\xFF\xFF\xFF)*)&laquo;(.*)&raquo;)&raquo;/ui,"\\1&#148;");
+			end
+
+			# Обрабатывает короткое тире
+			def process_dashes(text)
+	      text.gsub!( /(\s|;)\-(\s)/ui, "\\1&ndash;\\2")
+			end
+			
+			# Обрабатывает длинные тире			
+			def process_emdashes(text)
+	      text.gsub!( /(\s|;)\-\-(\s)/ui, "\\1&mdash;\\2")
+			end
+
+			# Обрабатывает знаки копирайта, торговой марки и т.д.
+			def process_specials(text)
+	      # 4. (с)
+	      text.gsub!(/\([сСcC]\)((?=\w)|(?=\s[0-9]+))/u, "&copy;")
+	      # 4a. (r)
+	      text.gsub!( /\(r\)/ui, "<sup>&#174;</sup>")
+
+	      # 4b. (tm)
+	      text.gsub!( /\(tm\)|\(тм\)/ui, "&#153;")
+	      # 4c. (p)   
+	      text.gsub!( /\(p\)/ui, "&#167;")
+			end
+						
+			# Склейка дефисоов
+			def process_dashglue(text)
+		    text.gsub!( /([a-zа-яА-Я0-9]+(\-[a-zа-яА-Я0-9]+)+)/ui, '<nobr>\1</nobr>')
+			end
+			
+			# Запятые и пробелы
+			def process_spacing(text)
+		      text.gsub!( /(\s*)([,]*)/sui, "\\2\\1");
+		      text.gsub!( /(\s*)([\.?!]*)(\s*[ЁА-ЯA-Z])/su, "\\2\\1\\3");
+			end
+			
+			# Неразрывные пробелы - пока глючит страшным образом
+			def process_nonbreakables(text)
+	 		    text.replace " " + text + " ";
+	    	  _text = " " + text + " ";
+	    	  until _text == text
+	     		    _text.replace text.clone
+		         text.gsub!( /(\s+)([a-zа-яА-Я]{1,2})(\s+)([^\\s$])/ui, '\1\2&nbsp;\4')
+		         text.gsub!( /(\s+)([a-zа-яА-Я]{3})(\s+)([^\\s$])/ui,   '\1\2&nbsp;\4')
+	 	      end
+ 
+		      for i in @glueleft
+		         text.gsub!( /(\s)(#{i})(\s+)/sui, '\1\2&nbsp;')
+		      end
+
+					for i in @glueright 
+		         text.gsub!( /(\s)(#{i})(\s+)/sui, '&nbsp;\2\3')
+					end
+					
+			end
+
+			# Знак дюйма						
+			def process_inches(text)
+				text.gsub!(/\s([0-9]{1,2}([\.,][0-9]{1,2})?)\"/ui, ' \1&quot;') if @settings["inches"]
+			end
+			
+			# Обрабатывает знак +/-
+			def process_plusmin(text)
+			  text.gsub!(/\+\-/ui, "&#177;") if @settings["+-"]
+			end
+			
+			# Обрабатывает телефоны
+			def process_phones(text)
+				@phonemasks[0].each_with_index do |regex, i|
+	      	text.gsub!(regex, @phonemasks[1][i])
+				end
+			end
+			
+			# Обрабатывает знак градуса, набранный как caret
+			def process_degrees(text)
+		  	text.gsub!( /-([0-9])+\^([FCС])/, '&ndash;\1&#176\2')
+		    text.gsub!( /\+([0-9])+\^([FCС])/, "+\\1&#176\\2")
+		    text.gsub!( /\^([FCС])/, "&#176\\1")
+			end
+		end
+end