rutils 0.1.1 → 0.1.2

data/CHANGELOG

@@ -1,3 +1,6 @@
+Версия 0.1.2 - 01.11.2005
+* Добавлен BiDi-транслит c тестами (mash)
+
 Версия 0.04 - 20.10.2005
 * Чистка документации
 

data/README

@@ -19,6 +19,11 @@ Gilenson работает медленнее).
 
 Если вы используете RuTils для сайта под mod_ruby воспользуйтесь директивой RubyKanjiCode в своем httpd.conf.
 
+Большое спасибо Роману Иванову aka Kukutz и Николаю Яремко aka Kuso Mendokuzee за реализацию большинства алгоритмов
+на PHP.
+
+Разработку RuTils ведут Julik[http://live.julik.nl] и Mash[http://imfo.ru]
+
 == Cумма прописью и выбор числительного
 
 RuTils реализует сумму прописью для целых и дробных чисел, с дополнительным учетом рода. Например:
@@ -35,23 +40,37 @@ RuTils реализует сумму прописью для целых и др
 
 == Транслит
 
-RuTils на данный момент реализует простейший транслит "в одну сторону".
+RuTils на данный момент реализует простейший транслит "в одну сторону" и "взаимно-однозначный транслит" (BiDi-транслит).
+
+Простейший транслит "в одну сторону".
 
  	"Вот такое вот дело".translify => "Vot takoye vot delo"
 	"Несомненный прогресс по сравнению с PHP".dirify => "nesomnennyi-progress-po-sravneniu-s-php"
 	
-В ближайшее время будет добавлен BiDi-транслит.
+== BiDi-транслит.
+
+Порт BiDiTranslit[http://pixel-apes.com/translit/article#h256-10] от Pixel Apes.
+Реализует транслитерацию "в обе стороны", предоставляя возможность получить валидный URL
+из строки, содержащей русские и английские буквы. С некоторыми потерями (запятых и прочих
+"слабозначащих" символов) возможно восстановление исходной строки.
+
+Два режима работы:
+
+* Уничтожение всех слешей, которые встретятся во входной строке. В этом случае методы вызываются с передачей в них false. Например, "Web/Скрипты".bidi_translify(false)
+* Пропуск слэшей (используется по умолчанию). Например, "Web/+Skripty".bidi_detranslify
+
+	"WebРазработка/Скрипты".bidi_translify     => "Web+Razrabotka+/+Skripty"
+	"+Ustanovka__+mod_perl".bidi_detranslify   => "Установка mod_perl"
+	"WebРазработка/Мимо".bidi_translify(false) => "Web+RazrabotkaMimo"
+	"+PKHP+/Scripts".bidi_translify(false)     => "ПХПScripts"
 
 == Обработка русской типографики в HTML
 
-RuTils включает Gilenson - порт Тыпографицы[http://pixel-apes.com/typografica] от
-Pixel Apes на Ruby. Тыпографица - механизм автоматической расстановки подстановок в тексте
+Gilenson - порт Typografica[http://pixel-apes.com/typografica] от
+Pixel Apes. Тыпографица - механизм автоматической расстановки подстановок в тексте
 перед его выводом в HTML, оформляющий неразрывные пробелы, типографские кавычки
 и реализующая элементарные макроподстановки.
 
-Большое спасибо Роману Иванову aka Kukutz и Николаю Яремко aka Kuso Mendokuzee за изначальную реализацию
-на PHP.
-
 Имейте в виду, что на баги в Gilenson жаловаться разработчикам Typografica не стоит -
 они вас не поймут и будут правы. Поддержку Gilenson PixelApes не осуществляют.
 
@@ -81,14 +100,17 @@ Textile английские кавычки и типографские знак
 Если вы хотите использовать rutils как дополенние к Rails в одном конкретном приложении, скопируйте
 директорию rutils в папку vendor/plugins вашего приложения. Вы можете воспользоваться командой
 rutilize чтобы сделать это автоматически. После этого вы сможете использовать RuTils без
-необходимости установки gem'а.
+необходимости установки gem'а на вашем сервере.
 
-  $ rutilize /Sites/my_app
+  $ rutilize /Sites/my_app1 /Sites/my_app2 /Sites/my_another_app
+  
+Вы можете свободно распространять RuTils со своим Rails-приложением при условии сохранения структуры
+и файла README.
 
 == Требования
 
 * Ruby 1.8.2, немного прямых рук.
-* Rake[http://rake.rubyforge.org], Rails, RedCloth и BlueCloth для выполнения тестов 
+* Rake[http://rake.rubyforge.org], Rails[http://rubyonrails.org], RedCloth[http://www.whytheluckystiff.net/ruby/redcloth/] и BlueCloth[http://www.deveiate.org/projects/BlueCloth] для выполнения тестов 
 
 == Как использовать
 

data/lib/pluralizer/pluralizer.rb

@@ -157,12 +157,12 @@ module RuTils
 				it << ["десятитысячная", "десятитысячных"]
 				it << ["стотысячная", "стотысячных"]
 				it << ["миллионная", "милллионных"]
-		 # 	it << ["десятимиллионная", "десятимилллионных", "десятимиллионных"]
-		 # 	it << ["стомиллионная", "стомилллионных", "стомиллионных"]
-		 # 	it << ["миллиардная", "миллиардных", "миллиардных"]
-		 # 	it << ["десятимиллиардная", "десятимиллиардных", "десятимиллиардных"]
-		 # 	it << ["стомиллиардная", "стомиллиардных", "стомиллиардных"]
-		 # 	it << ["триллионная", "триллионных", "триллионных"]
+		  	it << ["десятимиллионная", "десятимилллионных", "десятимиллионных"]
+		  	it << ["стомиллионная", "стомилллионных", "стомиллионных"]
+		  	it << ["миллиардная", "миллиардных", "миллиардных"]
+		  	it << ["десятимиллиардная", "десятимиллиардных", "десятимиллиардных"]
+		  	it << ["стомиллиардная", "стомиллиардных", "стомиллиардных"]
+		  	it << ["триллионная", "триллионных", "триллионных"]
 
 				while it[signs].nil?
 					remainder = (remainder/10).round

data/lib/rutils.rb

@@ -4,10 +4,13 @@ require 'jcode' # вот от этого надо бы избавиться - с
 
 # Главный контейнер модуля
 module RuTils
+  # Папка, куда установлен модуль RuTils. Нужно чтобы автоматически копировать RuTils в другие приложения.
   INSTALLATION_DIRECTORY = File.expand_path(File.dirname(__FILE__) + '/../')
   MAJOR = 0
   MINOR = 1
-  TINY = 1
+  TINY = 2
+
+  # Версия RuTils
 	VERSION = "#{MAJOR}.#{MINOR}.#{TINY}"
 end
 

data/lib/transliteration/transliteration.rb

@@ -58,77 +58,76 @@ end
 		
 # Реализует транслитерацию "в обе стороны", дающую возможность автоматически использовать URL как ключ записи
 module RuTils::Transliteration::BiDi  #:nodoc:
-		TABLE_TO = {
-			 "А"=>"A","Б"=>"B","В"=>"V","Г"=>"G","Д"=>"D",
-			 "Е"=>"E","Ё"=>"JO","Ж"=>"ZH","З"=>"Z","И"=>"I",
-			 "Й"=>"JJ","К"=>"K","Л"=>"L","М"=>"M","Н"=>"N",
-			 "О"=>"O","П"=>"P","Р"=>"R","С"=>"S","Т"=>"T",
-			 "У"=>"U","Ф"=>"F","Х"=>"KH","Ц"=>"C","Ч"=>"CH",
-			 "Ш"=>"SH","Щ"=>"SHH","Ъ"=>"_~","Ы"=>"Y","Ь"=>"_'",
-			 "Э"=>"EH","Ю"=>"JU","Я"=>"JA","а"=>"a","б"=>"b",
-			 "в"=>"v","г"=>"g","д"=>"d","е"=>"e","ё"=>"jo",
-			 "ж"=>"zh","з"=>"z","и"=>"i","й"=>"jj","к"=>"k",
-			 "л"=>"l","м"=>"m","н"=>"n","о"=>"o","п"=>"p",
-			 "р"=>"r","с"=>"s","т"=>"t","у"=>"u","ф"=>"f",
-			 "х"=>"kh","ц"=>"c","ч"=>"ch","ш"=>"sh","щ"=>"shh",
-			 "ъ"=>"~","ы"=>"y","ь"=>"'","э"=>"eh","ю"=>"ju",
-			 "я"=>"ja"," "=>"__","_"=>"__"
-		}.sort do |one, two|
-			two[1].jsize <=> one[1].jsize
-		end
+	TABLE_TO = {
+		"А"=>"A","Б"=>"B","В"=>"V","Г"=>"G","Д"=>"D",
+		"Е"=>"E","Ё"=>"JO","Ж"=>"ZH","З"=>"Z","И"=>"I",
+		"Й"=>"JJ","К"=>"K","Л"=>"L","М"=>"M","Н"=>"N",
+		"О"=>"O","П"=>"P","Р"=>"R","С"=>"S","Т"=>"T",
+		"У"=>"U","Ф"=>"F","Х"=>"KH","Ц"=>"C","Ч"=>"CH",
+		"Ш"=>"SH","Щ"=>"SHH","Ъ"=>"_~","Ы"=>"Y","Ь"=>"_'",
+		"Э"=>"EH","Ю"=>"JU","Я"=>"JA","а"=>"a","б"=>"b",
+		"в"=>"v","г"=>"g","д"=>"d","е"=>"e","ё"=>"jo",
+		"ж"=>"zh","з"=>"z","и"=>"i","й"=>"jj","к"=>"k",
+		"л"=>"l","м"=>"m","н"=>"n","о"=>"o","п"=>"p",
+		"р"=>"r","с"=>"s","т"=>"t","у"=>"u","ф"=>"f",
+		"х"=>"kh","ц"=>"c","ч"=>"ch","ш"=>"sh","щ"=>"shh",
+		"ъ"=>"~","ы"=>"y","ь"=>"'","э"=>"eh","ю"=>"ju",
+		"я"=>"ja",
+		# " "=>"__","_"=>"__"
+		# так сразу не получится, будут проблемы с "Ь"=>"_'"
+	}.sort do |one, two|
+		two[1].jsize <=> one[1].jsize
+	end
 
-		#
-		#  TABLE_FROM = TABLE_TO.clone.reject{|i| i[0] == '_' } или какньть еще - покрасившее
-		#
-		TABLE_FROM = TABLE_TO.clone
-		TABLE_FROM.slice!(6) # remove "_"=>"__" from "Hash"
-	
-		def self.translify(str, allow_slashes = true)
-			slash = allow_slashes ? '/' : '';
-	
-			s = str.clone.gsub(/[^\- _0-9a-zA-ZА-ёЁ#{slash}]/, '')
-			lang_fr = s.scan(/[А-ёЁ ]+/)
-			lang_fr.each do |fr|
-				TABLE_TO.each do | translation |
-					fr.gsub!(/#{translation[0]}/, translation[1])
-				end
-			end
-	
-			lang_sr = s.scan(/[0-9A-Za-z\_\-\.\/\']+/)
-	
-			string = ""
-			if s =~ /\A[А-ёЁ ]/
-				lang_fr, lang_sr = lang_sr, lang_fr
-				string = "+"
-			end
-	
-			0.upto([lang_fr.length, lang_sr.length].min-1) do |x|
-				string += lang_sr[x] + "+" + lang_fr[x] + "+";
-			end
-	
-			if (lang_fr.length < lang_sr.length)
-				string += lang_sr[lang_sr.length-1]
-			else
-				string[0, string.length-1]
+	TABLE_FROM = TABLE_TO.unshift([" ","__"]).clone
+	TABLE_TO.unshift(["_","__"])
+
+	def self.translify(str, allow_slashes = true)
+		slash = allow_slashes ? '/' : '';
+
+		s = str.clone.gsub(/[^\- _0-9a-zA-ZА-ёЁ#{slash}]/, '')
+		lang_fr = s.scan(/[А-ёЁ ]+/)
+		lang_fr.each do |fr|
+			TABLE_TO.each do | translation |
+				fr.gsub!(/#{translation[0]}/, translation[1])
 			end
 		end
 
-		def self.detranslify(str, allow_slashes = true)
-			slash = allow_slashes ? '/' : '';
-	
-			str.split('/').inject("") do | out, pg|
-				strings = pg.split('+')
-				1.step(strings.length-1, 2) do |x|
-				    TABLE_FROM.each do | translation |
-					    strings[x].gsub!(/#{translation[1]}/, translation[0])
-				    end
+		lang_sr = s.scan(/[0-9A-Za-z\_\-\.\/\']+/)
+
+		string = ""
+		if s =~ /\A[А-ёЁ ]/
+			lang_fr, lang_sr = lang_sr, lang_fr
+			string = "+"
+		end
+
+		0.upto([lang_fr.length, lang_sr.length].min-1) do |x|
+			string += lang_sr[x] + "+" + lang_fr[x] + "+";
+		end
+
+		if (lang_fr.length < lang_sr.length)
+			string += lang_sr[lang_sr.length-1]
+		else
+			string[0, string.length-1]
+		end
+	end
+
+	def self.detranslify(str, allow_slashes = true)
+		slash = allow_slashes ? '/' : '';
+
+		str.split('/').inject(out = "") do |out, pg|
+			strings = pg.split('+')
+			1.step(strings.length-1, 2) do |x|
+				TABLE_FROM.each do | translation |
+					strings[x].gsub!(/#{translation[1]}/, translation[0])
 				end
-				out << slash << strings.to_s
 			end
-			out[slash.length, out.length-1]
+			out << slash << strings.to_s
 		end
+		out[slash.length, out.length-slash.length]
+	end
 end
-		
+
 # Реализует транслитерацию любого объекта, реализующего String или to_s
 module RuTils::Transliteration::StringFormatting
 	
@@ -148,23 +147,23 @@ module RuTils::Transliteration::StringFormatting
 	end
 	
 	# Транслитерирует строку (взаимно-однозначный транслит), и возвращает измененную строку
-	def bidi_translify(allow_slashes = true) #:nodoc:
+	def bidi_translify(allow_slashes = true)
 		RuTils::Transliteration::BiDi::translify(self.to_s, allow_slashes)
 	end
 	
 	# Транслитерирует строку (взаимно-однозначный транслит), меняя объект
-	def bidi_translify!(allow_slashes = true) #:nodoc:
+	def bidi_translify!(allow_slashes = true)
 		self.replace(RuTils::Transliteration::BiDi::translify(self.to_s, allow_slashes))
 	end
 
 	# Заменяет латиницу на кириллицу (взаимно-однозначный транслит), меняя объект
-	def bidi_detranslify!(allow_slashes = true) #:nodoc:
+	def bidi_detranslify!(allow_slashes = true)
 		self.replace(RuTils::Transliteration::BiDi::detranslify(self.to_s, allow_slashes))
 	end
 	
 	# Заменяет латиницу на кириллицу (взаимно-однозначный транслит), и возвращает измененную строку
-	def bidi_detranslify(allow_slashes = true) #:nodoc:
-		RuTils::Transliteration::BiDi::detranslify(self.to_s, allow_slashes =  true)
+	def bidi_detranslify(allow_slashes = true)
+		RuTils::Transliteration::BiDi::detranslify(self.to_s, allow_slashes)
 	end
 end
 

data/test/t_transliteration.rb

@@ -4,7 +4,7 @@ require File.dirname(__FILE__) + '/../lib/rutils'
 
 
 class TranslitTest < Test::Unit::TestCase
-			
+
   def setup
     @string = "Это кусок строки русских букв v peremshku s latinizey i амперсандом (pozor!) & something"
   end
@@ -22,4 +22,69 @@ class TranslitTest < Test::Unit::TestCase
 		assert_equal "eto-kusok-stroki-ruskih-bukv-v-peremshku-s-latinizey-i-ampersandom-pozor-and-something", @string.dirify
 		assert_equal "esche-ruskiy-tekst", "Еще РусСКий теКст".dirify
 	end	
+end
+
+
+class BiDiTranslitTest < Test::Unit::TestCase
+
+  def setup
+	@strings_all_with_slash = {
+	"ThisIsРусскийName/ДляВас/ДемонстрацияOfSwitching" => "ThisIs+Russkijj+Name/+DljaVas+/+Demonstracija+OfSwitching",
+	"Андрэ Нортон Зачумлённый корабльzip" => "+Andreh__Norton__Zachumljonnyjj__korabl'+zip",
+	"Эй Эгегей" => "+EHjj__EHgegejj",
+	"эй-эй" => "+ehjj+-+ehjj",
+	"WebРазработка/Скрипты" => "Web+Razrabotka+/+Skripty",
+	"Смотрите зайцы -- нас много" => "+Smotrite__zajjcy__+--+__nas__mnogo",
+	"Привет Родина" => "+Privet__Rodina",
+	"ЙухХа" => "+JJukhKHa",
+	"Ыхыхых Its English text" => "+Ykhykhykh__+Its+__+English+__+text",
+	"Пьянь" => "+P'jan'",
+	"----____" => "----____",
+	"Madonna - Свежия Песенки" => "Madonna+__+-+__Svezhija__Pesenki",
+	"58-49" => "58-49",
+	"Въезд ГЛЯНЬ ВЪЕЗД" => "+V~ezd__GLJAN_'__V_~EZD",
+	"----____" => "----____",
+	"Въезд ГЛЯНь ВЪЕЗД" => "+V~ezd__GLJAN'__V_~EZD",
+	"Установка mod_perl" => "+Ustanovka__+mod_perl",
+	"Проверка__двери неразумной" => "+Proverka+__+dveri__nerazumnojj",
+	"Проверка_ дверцы" => "+Proverka+_+__dvercy",
+	"Кровать устала _ь" => "+Krovat'__ustala__+_+'",
+	"test__bed" => "test__bed",
+	"test_ bed" => "test_+__+bed",
+	"test__ __bed" => "test__+__+__bed",
+	"a_-_b-_-c" => "a_-_b-_-c",
+	"a - b _ c" => "a+__+-+__+b+__+_+__+c",
+	}
+	
+	@strings_tran_without_slash = {
+	"Андрэ/ Н/о/ртон /Зачум//лённый корабль/z/ip" => "+Andreh__Norton__Zachumljonnyjj__korabl'+zip",
+	"WebРазработка/Мимо" => "Web+RazrabotkaMimo",
+	"test_/_bed" => "test__bed",
+	}
+	
+	@strings_detran_without_slash = {
+	"Webds" => "/We/bds/",
+	"WebРазработкаМимо" => "Web/+Razrabotka+/+Mimo",
+	"WebСкрипты" => "Web/+Skripty",
+	"ПХПScripts" => "+PKHP+/Scripts",
+	}
+  end
+
+	def test_bidi_translify
+		@strings_all_with_slash.each do |strFrom, strTo|
+			assert_equal strTo, strFrom.bidi_translify
+		end
+		@strings_tran_without_slash.each do |strFrom, strTo|
+			assert_equal strTo, strFrom.bidi_translify(false)
+		end
+	end
+
+	def test_bidi_detranslify
+		@strings_all_with_slash.each do |strTo, strFrom|
+			assert_equal strTo, strFrom.bidi_detranslify
+		end
+		@strings_detran_without_slash.each do |strTo, strFrom|
+			assert_equal strTo, strFrom.bidi_detranslify(false)
+		end
+	end
 end

metadata

@@ -3,8 +3,8 @@ rubygems_version: 0.8.11
 specification_version: 1
 name: rutils
 version: !ruby/object:Gem::Version 
-  version: 0.1.1
-date: 2005-10-29 00:00:00 +02:00
+  version: 0.1.2
+date: 2005-11-01 00:00:00 +01:00
 summary: Simple processing of russian strings
 require_paths: 
   - lib