typograph 0.0.1.pre.1

data/.gitignore

@@ -0,0 +1,17 @@
+*.gem
+*.rbc
+.bundle
+.config
+.yardoc
+Gemfile.lock
+InstalledFiles
+_yardoc
+coverage
+doc/
+lib/bundler/man
+pkg
+rdoc
+spec/reports
+test/tmp
+test/version_tmp
+tmp

data/Gemfile

@@ -0,0 +1,4 @@
+source 'https://rubygems.org'
+
+# Specify your gem's dependencies in typograph.gemspec
+gemspec

data/LICENSE.txt

@@ -0,0 +1,22 @@
+Copyright (c) 2012 sterebooster
+
+MIT License
+
+Permission is hereby granted, free of charge, to any person obtaining
+a copy of this software and associated documentation files (the
+"Software"), to deal in the Software without restriction, including
+without limitation the rights to use, copy, modify, merge, publish,
+distribute, sublicense, and/or sell copies of the Software, and to
+permit persons to whom the Software is furnished to do so, subject to
+the following conditions:
+
+The above copyright notice and this permission notice shall be
+included in all copies or substantial portions of the Software.
+
+THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND,
+EXPRESS OR IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF
+MERCHANTABILITY, FITNESS FOR A PARTICULAR PURPOSE AND
+NONINFRINGEMENT. IN NO EVENT SHALL THE AUTHORS OR COPYRIGHT HOLDERS BE
+LIABLE FOR ANY CLAIM, DAMAGES OR OTHER LIABILITY, WHETHER IN AN ACTION
+OF CONTRACT, TORT OR OTHERWISE, ARISING FROM, OUT OF OR IN CONNECTION
+WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE SOFTWARE.

data/README.md

@@ -0,0 +1,46 @@
+# Typograph
+
+Gem for typographing russian texts. Ruby port of [SamDark's Typograph](https://github.com/samdark/Typograph).
+
+## TODO
+ - implement best opensource russian typograph as ruby gem
+  - Port [Typograph](https://github.com/samdark/Typograph) (one of the best opensource russain typographs)
+ - add to [multi_typograf](https://github.com/stereobooster/multi_typograf)
+ - implement english typograph
+ - implement typograph for other languages. Implement settings throught YAML
+  - [web typography 6](http://habrahabr.ru/post/25958/)
+  - [foreign typography](http://habrahabr.ru/post/117142/)
+  - [deutch](http://habrahabr.ru/post/12742/)
+  - http://de.wikipedia.org/wiki/Geviertstrich
+  - http://de.wikipedia.org/wiki/Typografie_für_HTML
+
+## Alternatives
+
+### ruby gems, wrappers for online services - russian
+ - [art_typograf](https://github.com/stereobooster/art_typograf) wrapper for http://www.artlebedev.ru/tools/typograf/
+ - [typograf](https://github.com/stereobooster/typograf) wrapper for http://www.typograf.ru/
+
+### ruby gems - russian
+ - [typographer](https://github.com/brain-geek/typographer)
+ - [typography](https://github.com/antonversal/typography)
+ - [typographica](https://github.com/akolosov/typographica)
+
+### ruby - english
+ - [SmartyPants](http://rubydoc.info/gems/redcarpet/2.1.1/Redcarpet/Render/SmartyPants)
+ - [rubypants](https://github.com/jmcnevin/rubypants)
+
+### other
+ - [habari-typography](https://github.com/ahutchings/habari-typography)
+ - [typography-helper](https://github.com/hunter/typography-helper) english
+
+## Usage
+
+TODO: Write usage instructions here
+
+## Contributing
+
+1. Fork it
+2. Create your feature branch (`git checkout -b my-new-feature`)
+3. Commit your changes (`git commit -am 'Add some feature'`)
+4. Push to the branch (`git push origin my-new-feature`)
+5. Create new Pull Request

data/Rakefile

@@ -0,0 +1,21 @@
+require "bundler/gem_tasks"
+
+require 'rspec/core/rake_task'
+desc "Run all specs"
+RSpec::Core::RakeTask.new(:spec)
+
+task :default => :spec
+
+LANG = "ru_RU.UTF-8"
+
+SET_CMD = case RUBY_PLATFORM 
+  when /mingw32/ then 
+    "set"
+  else 
+    "export"
+  end
+
+desc "run tests"
+task :test do
+  sh "#{SET_CMD} LANG=#{LANG} && chcp 65001 && bundle exec rake"
+end

data/lib/typograph/adapter.rb

@@ -0,0 +1,26 @@
+# encoding: utf-8
+
+require 'htmlentities'
+
+module Typograph
+  class Adapter
+    def initialize(options={})
+      @options = options
+    end
+
+    def process(text)
+
+    end
+
+    # Приводим символы в строке к единой форме для последующей обработки
+    def normalize(str)
+      # Убираем неразрывные пробелы
+      str.gsub!(/ | /, ' ')
+      # Приводим кавычки к «"»
+      str.gsub!(/(„|“|")/, '"')
+      # 
+      str.gsub!(/^\s+|\s+$/, '')
+      HTMLEntities.new.decode(str)
+    end
+  end
+end

data/lib/typograph/adapters/russian.rb

@@ -0,0 +1,267 @@
+# encoding: utf-8
+
+module Typograph
+  module Adapters
+    class Russian < Adapter
+      def initialize(options={})
+        @options = options
+
+        abbr = 'ООО|ОАО|ЗАО|ЧП|ИП|НПФ|НИИ|ООО\p{Zs}ТПК'
+        prepos = 'а|в|во|вне|и|или|к|о|с|у|со|об|обо|от|ото|то|на|не|ни|но|из|изо|за|уж|на|по|под|подо|пред|предо|про|над|надо|как|без|безо|что|да|для|до|там|ещё|их|ко|меж|между|перед|передо|около|через|сквозь|для|при|я'
+        metrics = 'мм|см|м|км|г|кг|б|кб|мб|гб|dpi|px'
+        shortages = 'г|гр|тов|пос|c|ул|д|пер|м|зам|см'
+        money = 'руб\.|долл\.|евро|у\.е\.'
+        countables = 'млн|тыс'
+
+        @rules_strict = {
+          # Много пробелов или табуляций -> один пробел
+          /( |\t)+/ => ' ',
+          # Запятые после «а» и «но». Если уже есть — не ставим.
+          /([^,])\s(а|но)\s/ => '\1, \2 ',
+        }
+
+        @rules_symbols = {
+          # Лишние знаки.
+          # TODO: сделать красиво
+          /([^!])!!([^!])/ => '\1!\2',
+          /([^?])\?\?([^?])/ => '\1?\2',
+          /(\p{L})\s*\.\.(\p{Zs})/ => '\1.\2', # new
+          /(\p{L});[;\s]*(;)/ => '\1;', # new
+          /(\p{L}),[,\s]*(,)/ => '\1,', # new
+          /(\p{L}):[:\s]*(:)/ => '\1:', # new
+
+          /([!\?])\s*(!\s*)[!\s]*(!)/     => '\1!!', # new
+          /(\?\s*)(\?\s*)[\?\s]*(\?)/ => '???', # new
+          /(\.\s*)(\.\s*)[\.\s]*(\.)/ => '...', # new
+          /(,\s*)[,\s]*(,)/ => ',', # new
+          /;{2,}/ => ';', # new
+          /,{2,}/ => ',', # new
+          /:{2,}/ => ':', # new
+
+          # /([;,:])(\S)/ => '\1 \2', # new
+
+          # Занятная комбинация
+          /!\?/ => '?!',
+
+          # Знаки (c), (r), (tm)
+          /\((c|с)\)/i => '©',
+          /\(r\)/i     => '<sup><small>®</small></sup>',
+          /\(tm\)/i    => '<sup>™</sup>',
+
+          # От 2 до 5 знака точки подряд - на знак многоточия (больше - мб авторской задумкой).
+          /\s*\.{2,5}/ => '…',
+
+          # Дроби
+          # TODO: найти замену \b
+          /\b1\/2\b/ => '½',
+          /\b1\/3\b/ => '⅓',
+          /\b1\/4\b/ => '¼',
+          /\b3\/4\b/ => '¾',
+
+          # LО'Лайт, O'Reilly
+          /([a-zA-Z])'([а-яА-Яa-zA-Z])/i => '\1’\2',
+
+          /'/ => '&#39;', # str_replace?
+
+          # Размеры 10x10, правильный знак + убираем лишние пробелы
+          /(\p{Nd}+)\p{Zs}{0,}?[x|X|х|Х|*]\p{Zs}{0,}(\p{Nd}+)/ => '\1×\2',
+
+          # +-
+          /([^\+]|^)\+-/ => '\1±',
+
+          # Стрелки
+          /([^-]|^)->/ => '\1→',
+          /<-([^-]|$)/ => '←\1'
+        }
+
+        @rules_quotes = {
+          # Разносим неправильные кавычки
+          /([^"]\p{L}+)"(\p{L}+)"/ => '\1 "\2"',
+          /"(\p{L}+)"(\p{L}+)/ => '"\1" \2',
+
+          # Превращаем кавычки в ёлочки.
+          /(\P{L})?"([^"]*)"(\P{L})?/ => '\1«\2»\3'
+        }
+
+        @rules_braces = {
+          # Оторвать скобку от слова
+          /(\p{L})\(/ => '\1 (',
+          # Слепляем скобки со словами
+          /\( /m => '(',
+          / \)/m => ')'
+        }
+
+        @rules_main = {
+          # Конфликт с «газо- и электросварка»
+          # Оторвать тире от слова
+          # /(\p{L})- / => '\1 - ',
+
+          # Знаки с предшествующим пробелом… нехорошо!
+          /(\p{L}|>|\p{Nd}) +([?!:,;]|…)/ => '\1\2',
+          /([?!:,;])(\p{L}|<)/ => '\1 \2',
+          # Для точки отдельно
+          /(\p{L})\p{Zs}(?:\.)(\p{Zs}|$)/ => '\1.\2',
+          # Но перед кавычками пробелов не ставим
+          /([?!:,;\.])\p{Zs}(»)/ => '\1\2',
+
+          # Неразрывные названия организаций и абревиатуры форм собственности
+          # ~ почему не один &nbsp;?
+          # ! названия организаций тоже могут содержать пробел !
+          /(#{abbr})\p{Zs}+(«[^»]*»)/ => '<nobr>\1 \2</nobr>',
+
+          # Нельзя отрывать сокращение от относящегося к нему слова.
+          # Например: тов. Сталин, г. Воронеж
+          # Ставит пробел, если его нет.
+          /(^|[^a-zA-Zа-яА-Я])(#{shortages})\.\s?([А-Я0-9]+)/m => '\1\2.&nbsp;\3',
+
+          # Не отделять стр., с. и т.д. от номера.
+          /(стр|с|табл|рис|илл)\.\p{Zs}*(\p{Nd}+)~/mi => '\1.&nbsp;\2',
+
+          # Не разделять 2007 г., ставить пробел, если его нет. Ставит точку, если её нет.
+          /({Nd}+)\p{Zs}*([гГ])\.\s/m => '\1&nbsp;\2. ',
+
+          # Неразрывный пробел между цифрой и единицей измерения
+          /(\p{Nd}+)\s*(#{metrics})/m => '\1&nbsp;\2',
+
+          # Сантиметр и другие ед. измерения в квадрате, кубе и т.д.
+          /(\p{Zs}#{metrics})(\p{Nd}+)/ => '\1<sup>\2</sup>',
+
+          # Знак дефиса или два знака дефиса подряд — на знак длинного тире.
+          # + Нельзя разрывать строку перед тире, например: Знание&nbsp;— сила, Курить&nbsp;— здоровью вредить.
+          /\p{Zs}+(?:--?|—)(?=\p{Zs})/ => '&nbsp;—',
+          /^(?:--?|—)(?=\p{Zs})/ => '—',
+
+          # Прямая речь
+          /(?:^|\s+)(?:--?|—)(?=\p{Zs})/ => "—",
+
+          # Знак дефиса, ограниченный с обоих сторон цифрами — на знак короткого тире.
+          /(?<=\p{Nd})-(?=\p{Nd})/ => '–',
+
+          # Знак дефиса, ограниченный с обоих сторон пробелами — на знак длинного тире.
+          /(\s)(&ndash|–)(\s)/ => '&nbsp;&mdash; ',
+
+          # Знак дефиса, идущий после тэга и справа пробел — на знак длинного тире.
+          /(?<=>)(&ndash|–|-)(\s)/ => '&mdash; ',
+
+          # Расстановка дефисов перед -ка, -де, -кась
+          /\b(\S+)\s(ка|де|кась)\b/i => '<nobr>\1-\2</nobr>',
+
+          # Расстановка дефиса после кое-, кой-
+          /\b(кое|кой)[\s-](как|кого|какой)\b/i => '<nobr>\1-\2</nobr>',
+
+          # Расстановка дефисов перед «-либо», «-нибудь».
+          /(кто|что|где|когда|почему|зачем|кем|чем)[\s-]?(либо|нибудь|то)/i => '<nobr>\1–\2</nobr>',
+
+          # Расстановка дефисов в предлогах «из-за», «из-под», «по-над», «по-под». 
+          /\b(из)[\s-]?(за|под)\b/i => '<nobr>\1–\2</nobr>',
+          /\b(по)[\s-]?(над|под)\b/i => '<nobr>\1–\2</nobr>',
+
+          # Нельзя оставлять в конце строки предлоги и союзы
+          /(?<=\p{Zs}|^|\P{L})(#{prepos})(\s+)/i => '\1&nbsp;',
+
+          # Нельзя отрывать частицы бы, ли, же от предшествующего слова, например: как бы, вряд ли, так же.
+          # /(?<=[^\p{Zs}])(\p{Zs}+)(ж|бы|б|же|ли|ль|либо|или)(?=<.*?>*[\p{Zs})!?.])/i => '&nbsp;\2',
+          /(?<=\S)(\s+)(ж|бы|б|же|ли|ль|либо|или)(?=(<.*?>)*[\p{Zs})!?.…])/i => '&nbsp;\2',
+
+          # Неразрывный пробел после инициалов.
+          /([А-ЯA-Z]\.)\s?([А-ЯA-Z]\.)\p{Zs}?([А-Яа-яA-Za-z]+)/m => '\1\2&nbsp;\3',
+
+          # Сокращения сумм не отделяются от чисел.
+          /(\p{Nd}+)\p{Zs}?(#{countables})/m   =>  '\1&nbsp;\2',
+
+          # «уе» в денежных суммах
+          /(\p{Nd}+|#{countables})\p{Zs}?уе/m  =>  '\1&nbsp;у.е.',
+
+          # Денежные суммы, расставляя пробелы в нужных местах.
+          /(\p{Nd}+|#{countables})\p{Zs}?(#{money})/m  =>  '\1&nbsp;\2',
+
+          # Неразрывные пробелы в кавычках
+          # "/($sym[lquote]\S*)(\s+)(\S*$sym[rquote])/U" => '\1'.\sym["nbsp"].'\3',
+
+          # Телефоны
+          /(?:тел\.?\/?факс:?\s?\((\d+)\))/i => 'тел./факс:&nbsp(\1)',
+
+          /тел[:\.] ?(\p{Nd}+)/m => '<nobr>тел: \1</nobr>',
+
+          # Номер версии программы пишем неразрывно с буковкой v.
+          /([vв]\.) ?(\p{Nd})/i => '\1&nbsp;\2',
+          /(\p{L}) ([vв]\.)/i => '\1&nbsp;\2',
+
+          # % не отделяется от числа
+          /(\p{Nd}+)\p{Zs}+%/ => '\1%',
+
+          # IP-адреса рвать нехорошо
+          /(1\p{Nd}{0,2}|2(\p{Nd}|[0-5]\p{Nd}+)?)\.(0|1\p{Nd}{0,2}|2(\p{Nd}|[0-5]\p{Nd})?)\.(0|1\p{Nd}{0,2}|2(\p{Nd}|[0-5]\p{Nd})?)\.(0|1\p{Nd}{0,2}|2(\p{Nd}|[0-5]\p{Nd})?)/ =>
+          '<nobr>\0</nobr>'
+        }
+      end
+
+      def apply_rules(rules, str)
+        res = str.dup
+        rules.each do |rul, rep|
+          str.gsub!(rul, rep)
+        end
+        str
+      end
+
+      def process(str)
+        # str = apply_rules(rules_quotes, str) <------- DON'T WORK PROP!!!
+        str = apply_rules(@rules_strict, str) #  Сначала применим строгие правила: пробелы, запятые
+        str = quotes(str) #  правильно расставим кавычки
+        str = apply_rules(@rules_main, str)
+        str = apply_rules(@rules_symbols, str)
+        str = apply_rules(@rules_braces, str)
+      end
+
+      def quotes(text)
+        quot11='«'
+        quot12='»'
+        quot21='«'
+        quot22='»'
+        # „“
+
+        quotes = ['&quot;','&laquo;','&raquo;','«','»','&#171;','&#187;','&#147;','&#132;','&#8222;','&#8220;','„','“','”','‘','’']
+        quotes = Regexp.new quotes.join('|')
+        text.gsub!(quotes, '"') #  Единый тип кавычек
+        text.gsub!('""', '"')
+
+        text.gsub!(/"(\P{L})/, '»\1') #  Взято из старой реализации
+        text.gsub!(/(\P{L})"/, '\1«') #  Взято из старой реализации
+
+#       text.gsub!(/([^=]|\A)""(\.{2,4}[а-яА-Я\w\-]+|[а-яА-Я\w\-]+)/, '\1<typo:quot1>"\2') #  Двойных кавычек уже нет
+        text.gsub!(/([^=]|\A)"(\.{2,4}[\p{L}\p{M}]+|[\p{L}\p{M}\-]+)/, '\1<typo:quot1>\2')
+#       text.gsub!(/([а-яА-Я\w\.\-]+)""([\n\.\?\!, \)][^>]{0,1})/, '\1"</typo:quot1>\2') #  Двойных кавычек уже нет
+        text.gsub!(/([\p{L}\p{M}\.\-]+)"([\n\.\?\!, \)][^>]{0,1})/, '\1</typo:quot1>\2')
+        text.gsub!(/(<\/typo:quot1>[\.\?\!]{1,3})"([\n\.\?\!, \)][^>]{0,1})/, '\1</typo:quot1>\2')
+        text.gsub!(/(<typo:quot1>[\p{L}\p{M}\.\- \n]*?)<typo:quot1>(.+?)<\/typo:quot1>/, '\1<typo:quot2>\2</typo:quot2>')
+        text.gsub!(/(<\/typo:quot2>.+?)<typo:quot1>(.+?)<\/typo:quot1>/, '\1<typo:quot2>\2</typo:quot2>')
+        text.gsub!(/(<typo:quot2>.+?<\/typo:quot2>)\.(.+?<typo:quot1>)/, '\1</typo:quot1>.\2')
+        text.gsub!(/(<typo:quot2>.+?<\/typo:quot2>)\.(?!<\/typo:quot1>)/, '\1</typo:quot1>.\2\3\4')
+#       text.gsub!(/""/, '</typo:quot2></typo:quot1>') #  Двойных кавычек уже нет
+        text.gsub!(/(?<=<typo:quot1>)(.+?)<typo:quot2>(.+?)(?!<\/typo:quot2>)/, '\1<typo:quot2>\2')
+#       text.gsub!(/"/, '<typo:quot1>') #  Непонятный хак
+#       text.gsub!(/(<[^>]+)<\/typo:quot\d>/, '\1"') #  Еще более непонятный хак
+
+        text.gsub!(/"$/, '</typo:quot2>') # new
+
+        text.gsub!('<typo:quot1>', quot11)
+        text.gsub!('</typo:quot1>', quot12)
+        text.gsub!('<typo:quot2>', quot21)
+        text.gsub!('</typo:quot2>', quot22)
+
+        text.gsub!(/(^|\s)»(<)/, '\1«\2') # new
+        text.gsub!(/([а-я\w\d,])«(.)/i, '\1 «\2') # new
+        text.gsub!(/» ([:,])/i, '»\1') # new
+        text.gsub!(/«$/, '»') # new
+        text.gsub!(/^»/, '«') # new
+        text.gsub!('.».', '».') # new
+        text.gsub!(/ »(.)/, ' «\1') # new
+        text.gsub!(/^«\s+/, '«') # new
+        text.gsub!(/\s+»$/, '»') # new
+
+        text
+      end
+    end
+  end
+end
+     

data/lib/typograph/processor.rb

@@ -0,0 +1,55 @@
+# encoding: utf-8
+
+module Typograph
+  class Processor
+
+    DEFAULTS = {}
+
+    SAFE_BLOCKS = [
+      ['<pre[^>]*>','</pre>'],
+      ['<style[^>]*>','</style>'],
+      ['<script[^>]*>','</script>'],
+      ['<!--','-->'],
+      ['<code[^>]*>','</code>']
+    ]
+
+    def safe_blocks
+      @pattern ||= begin
+        pattern = SAFE_BLOCKS.map do |val|
+          val.join('.*?')
+        end.join('|')
+        Regexp.new("(#{pattern}|<[^>]*[\\s][^>]*>)", Regexp::IGNORECASE | Regexp::MULTILINE)
+      end
+    end
+
+    # Вызывает типограф, обходя html-блоки и безопасные блоки
+    def process(str)
+      str = @profile.normalize(str)
+      
+      @safe_blocks = {}
+      str.gsub!(safe_blocks) do |match|
+        key = "<#{@safe_blocks.length}>"  
+        @safe_blocks[key] = match
+        key
+      end
+
+      str = @profile.process(str)
+
+      if @safe_blocks
+        str.gsub! /(<\d>)/ do |match|
+          @safe_blocks[match]
+        end
+      end
+      @safe_blocks = {}
+
+      # выдераем дублирующиеся nowrap
+      str.gsub!(/(\<(\/?nobr)\>)+/i, '\1')
+    
+      str
+    end
+
+    def initialize(options = {})
+      @profile = Adapters::Russian.new options
+    end
+  end
+end

data/lib/typograph/version.rb

@@ -0,0 +1,3 @@
+module Typograph
+  VERSION = "0.0.1.pre.1"
+end

data/lib/typograph.rb

@@ -0,0 +1,10 @@
+require "typograph/version"
+require "typograph/processor"
+require "typograph/adapter"
+require "typograph/adapters/russian"
+
+module Typograph
+  def self.process(text, options={})
+    Processor.new(options).process(text)
+  end
+end

data/spec/data/_test.dr_death.dat

@@ -0,0 +1,2 @@
+����� ������ �1"������-�����" �����
+����� ������ �1 �������-����� �����

data/spec/data/_test.fazeful.dat

@@ -0,0 +1,2 @@
+2008 , �����
+2008, �����

data/spec/data/_test.isaykin.dat

@@ -0,0 +1,50 @@
+"����� ���������� �� ����", - ������ ��, -"��!"
+������ ���������� �� ����, � ������ ��, -���!�
+
+"    �� ���� � ������    "
+��� ���� � ������
+
+������ ���������� ���� ��� �������� �����. ��� ���������,"���������" ��, ��������� �������.
+������ ���������� ���� ��� �������� �����. ��� ���������, ����������� ��, ��������� �������.
+
+""��-��""
+���-���
+
+���!,!
+���!
+
+��, , ��!
+��, ��!
+
+"�����.".
+������.
+
+���� ������::
+���� ������:
+
+���� ������: :
+���� ������:
+
+���� ������: : :
+���� ������:
+
+���� ������, , ,
+���� ������,
+
+���� ������;   ;  ;  ;     ;
+���� ������;
+
+"����������!!" - ���� ��!"
+�����������!� � ���� ��!�
+
+�������, �� ����� ���-������ O''Really?
+�������, �� ����� ���-������ O’Really?
+
+������: "������: "�������" � "�����, ����� "��������"", ����� ���� ����".
+������: �������: ��������� � ������, ����� ����������, ����� ���� �����.
+
+��� �����
+���-�����
+
+����� ��
+�����-��