typograph 0.0.1.pre.2 → 0.0.1.pre.3

data/Gemfile

@@ -1,4 +1,4 @@
-source 'https://rubygems.org'
+source 'http://rubygems.org'
 
 # Specify your gem's dependencies in typograph.gemspec
 gemspec

data/lib/typograph/adapter.rb

@@ -4,6 +4,35 @@ require 'htmlentities'
 
 module Typograph
   class Adapter
+
+    SPECIAL = {
+      :lsquo => '‘',
+      :rsquo => '’',
+      :sbquo => '‚',
+      :ldquo => '“',
+      :rdquo => '”',
+      :bdquo => '„',
+      :lsaquo =>  '‹',
+      :rsaquo => '›',
+      :quot => '"',
+      :grave => '`',
+      :laquo => '«',
+      :raquo => '»',
+      :acute => '´',
+      :hellip => '…',
+      :ndash => '–',
+      :mdash => '—',
+      :nbsp => "\xA0",
+      :shy => "\xAD",
+      :cent => '¢',
+      :pound => '£',
+      :curren => '¤',
+      :yen => '¥',
+      :sect => '§',
+      :sup2 => '²',
+      :sup3 => '³'
+    }
+
     def initialize(options={})
       @options = options
     end
@@ -12,6 +41,12 @@ module Typograph
 
     end
 
+    def sym_to_char(sym)
+      res = SPECIAL[sym]
+      raise ArgumentError, "Unknown sym #{sym}" unless res
+      res
+    end
+
     # Приводим символы в строке к единой форме для последующей обработки
     def normalize(str)
       # Убираем неразрывные пробелы

data/lib/typograph/adapters/russian.rb

@@ -3,9 +3,12 @@
 module Typograph
   module Adapters
     class Russian < Adapter
+
       OPTIONS = {
-        :ndash => '–', # [8211].pack('U')
-        :mdash => '—'  # [8211].pack('U')
+        :ndash => '–',
+        :mdash => '—',
+        :minus => '-',
+        :orphan => false
       }
 
       def initialize(options={})
@@ -13,11 +16,12 @@ module Typograph
 
         ndash = @options[:ndash]
         mdash = @options[:mdash]
+        minus = @options[:minus]
 
         abbr = 'ООО|ОАО|ЗАО|ЧП|ИП|НПФ|НИИ|ООО\p{Zs}ТПК'
         prepos = 'а|в|во|вне|и|или|к|о|с|у|со|об|обо|от|ото|то|на|не|ни|но|из|изо|за|уж|на|по|под|подо|пред|предо|про|над|надо|как|без|безо|что|да|для|до|там|ещё|их|ко|меж|между|перед|передо|около|через|сквозь|для|при|я'
         metrics = 'мм|см|м|км|г|кг|б|кб|мб|гб|dpi|px'
-        shortages = 'г|гр|тов|пос|c|ул|д|пер|м|зам|см'
+        shortages = 'г|гр|тов|пос|c|ул|д|пер|м|зам|им'
         money = 'руб\.|долл\.|евро|у\.е\.'
         countables = 'млн|тыс'
 
@@ -67,9 +71,9 @@ module Typograph
           /\b3\/4\b/ => '¾',
 
           # LО'Лайт, O'Reilly
-          /([a-zA-Z])'([а-яА-Яa-zA-Z])/i => '\1’\2',
+          /([A-Z])''?([а-яА-Яa-zA-Z])/i => '\1’\2',
 
-          /'/ => '&#39;', # str_replace?
+          /'/ => '&#39;',
 
           # Размеры 10x10, правильный знак + убираем лишние пробелы
           /(\p{Nd}+)\p{Zs}{0,}?[x|X|х|Х|*]\p{Zs}{0,}(\p{Nd}+)/ => '\1×\2',
@@ -88,7 +92,7 @@ module Typograph
           /"(\p{L}+)"(\p{L}+)/ => '"\1" \2',
 
           # Превращаем кавычки в ёлочки.
-          /(\P{L})?"([^"]*)"(\P{L})?/ => '\1«\2»\3'
+          /(\p{^L})?"([^"]*)"(\p{^L})?/ => '\1«\2»\3'
         }
 
         @rules_braces = {
@@ -104,6 +108,10 @@ module Typograph
           # Оторвать тире от слова
           # /(\p{L})- / => '\1 - ',
 
+          # P.S., P.P.S - конфликтует с правилом инициалов.
+          'P.P.S.' => '<nobr>P.P.S.</nobr>',
+          /([^.]|^)P\.S\./ => '\1<nobr>P.S.</nobr>',
+
           # Знаки с предшествующим пробелом… нехорошо!
           /(\p{L}|>|\p{Nd}) +([?!:,;]|…)/ => '\1\2',
           /([?!:,;])(\p{L}|<)/ => '\1 \2',
@@ -121,9 +129,10 @@ module Typograph
           # Например: тов. Сталин, г. Воронеж
           # Ставит пробел, если его нет.
           /(^|[^a-zA-Zа-яА-Я])(#{shortages})\.\s?([А-Я0-9]+)/m => '\1\2.&nbsp;\3',
+          /(^|[^a-zA-Zа-яА-Я])(см)\.\s?([А-Яа-я]+)/m => '\1\2.&nbsp;\3',
 
           # Не отделять стр., с. и т.д. от номера.
-          /(стр|с|табл|рис|илл)\.\p{Zs}*(\p{Nd}+)~/mi => '\1.&nbsp;\2',
+          /(стр|с|табл|рис|илл|гл)\.\p{Zs}*(\p{Nd}+)/mi => '\1.&nbsp;\2',
 
           # Не разделять 2007 г., ставить пробел, если его нет. Ставит точку, если её нет.
           /({Nd}+)\p{Zs}*([гГ])\.\s/m => '\1&nbsp;\2. ',
@@ -143,7 +152,7 @@ module Typograph
           /(?:^|\s+)(?:--?|—)(?=\p{Zs})/ => mdash,
 
           # Знак дефиса, ограниченный с обоих сторон цифрами — на знак короткого тире.
-          # /(?<=\p{Nd})-(?=\p{Nd})/ => '–',
+          /(?<=\p{Nd})-(?=\p{Nd})/ => minus,
 
           # Знак дефиса, ограниченный с обоих сторон пробелами — на знак длинного тире.
           /(\s)(&ndash;|–)(\s)/ => "&nbsp;#{mdash} ",
@@ -158,20 +167,20 @@ module Typograph
           /\b(кое|кой)[\s-](как|кого|какой)\b/i => "<nobr>\\1#{ndash}\\2</nobr>",
 
           # Расстановка дефиса перед -то, -либо, -нибудь
-          /(кто|что|где|когда|почему|зачем|кем|чем)[\s-]?(либо|нибудь|то)/i => "<nobr>\\1#{ndash}\\2</nobr>",
+          /(кто|что|где|когда|почему|зачем|кем|чем|как)(\s|-|–|—|&nbsp;|)+(либо|нибудь|то)([^:]|$)/i => "<nobr>\\1#{ndash}\\3</nobr>\\4",
 
-          # Расстановка дефисов в предлогах «из-за», «из-под», «по-над», «по-под». 
+          # Расстановка дефисов в предлогах «из-за», «из-под», «по-над», «по-под».
           /\b(из)[\s-]?(за|под)\b/i => "<nobr>\\1#{ndash}\\2</nobr>",
           /\b(по)[\s-]?(над|под)\b/i => "<nobr>\\1#{ndash}\\2</nobr>",
 
           # Нельзя оставлять в конце строки предлоги и союзы
-          /(?<=\p{Zs}|^|\P{L})(#{prepos})(\s+)/i => '\1&nbsp;',
+          /(?<=\p{Zs}|^|\p{^L})(#{prepos})(\s+)/i => '\1&nbsp;',
 
           # Нельзя отрывать частицы бы, ли, же от предшествующего слова, например: как бы, вряд ли, так же.
-          /(?<=[^\p{Zs}])(\p{Zs}+)(ж|бы|б|же|ли|ль|либо|или)(?=(<.*?>)*[\p{Zs})!?.…])/i => '&nbsp;\2',
+          /(?<=\p{^Zs})(\p{Zs}+)(ж|бы|б|же|ли|ль|либо|или)(?=(<.*?>)*[\p{Zs})!?.…])/i => '&nbsp;\2',
 
           # Неразрывный пробел после инициалов.
-          /([А-ЯA-Z]\.)\s?([А-ЯA-Z]\.)\p{Zs}?([А-Яа-яA-Za-z]+)/m => '\1\2&nbsp;\3',
+          /([А-ЯA-Z]\.)\s?([А-ЯA-Z]\.)\p{Zs}?([А-ЯA-Z][а-яa-z]+)/m => '\1\2&nbsp;\3',
 
           # Сокращения сумм не отделяются от чисел.
           /(\p{Nd}+)\p{Zs}?(#{countables})/m   =>  '\1&nbsp;\2',
@@ -199,8 +208,16 @@ module Typograph
 
           # IP-адреса рвать нехорошо
           /(1\p{Nd}{0,2}|2(\p{Nd}|[0-5]\p{Nd}+)?)\.(0|1\p{Nd}{0,2}|2(\p{Nd}|[0-5]\p{Nd})?)\.(0|1\p{Nd}{0,2}|2(\p{Nd}|[0-5]\p{Nd})?)\.(0|1\p{Nd}{0,2}|2(\p{Nd}|[0-5]\p{Nd})?)/ =>
-          '<nobr>\0</nobr>'
+          '<nobr>\0</nobr>',
+
+          # Делаем неразрывными слова с дефисом. 
+          # Пример: "слово-слово", "слово-слово-слово".
+          # /(\p{L}+((&ndash;|–|-)\p{L}+){1,2})/ => '<nobr>\0</nobr>'
         }
+
+        # Неразрывный пробел перед последним словом в тексте
+        @rules_main[/(\s)(\S+)\Z/] = '&nbsp;\2' if options[:orphan]
+
       end
 
       def apply_rules(rules, str)
@@ -225,15 +242,16 @@ module Typograph
         quot12='»'
         quot21='«'
         quot22='»'
-        # „“
+        # quot21='„'
+        # quot22='“'
 
         quotes = ['&quot;','&laquo;','&raquo;','«','»','&#171;','&#187;','&#147;','&#132;','&#8222;','&#8220;','„','“','”','‘','’']
         quotes = Regexp.new quotes.join('|')
         text.gsub!(quotes, '"') #  Единый тип кавычек
         text.gsub!('""', '"')
 
-        text.gsub!(/"(\P{L})/, '»\1') #  Взято из старой реализации
-        text.gsub!(/(\P{L})"/, '\1«') #  Взято из старой реализации
+        text.gsub!(/"(\p{^L})/, '»\1') #  Взято из старой реализации
+        text.gsub!(/(\p{^L})"/, '\1«') #  Взято из старой реализации
 
 #       text.gsub!(/([^=]|\A)""(\.{2,4}[а-яА-Я\w\-]+|[а-яА-Я\w\-]+)/, '\1<typo:quot1>"\2') #  Двойных кавычек уже нет
         text.gsub!(/([^=]|\A)"(\.{2,4}[\p{L}\p{M}]+|[\p{L}\p{M}\-]+)/, '\1<typo:quot1>\2')

data/lib/typograph/version.rb

@@ -1,3 +1,3 @@
 module Typograph
-  VERSION = "0.0.1.pre.2"
+  VERSION = "0.0.1.pre.3"
 end

data/spec/typograph_spec.rb

@@ -37,3 +37,13 @@ Dir.glob(base_path + "/*.xml") do |file|
     end
   end
 end
+
+describe Typograph do
+  it "ndash option" do
+    Typograph.process("кто-то", :ndash => "=").should eq "<nobr>кто=то</nobr>"
+    Typograph.process("дай-ка", :ndash => "=").should eq "<nobr>дай=ка</nobr>"
+    Typograph.process("кое-кого", :ndash => "=").should eq "<nobr>кое=кого</nobr>"
+    Typograph.process("из-за", :ndash => "=").should eq "<nobr>из=за</nobr>"
+    Typograph.process("по-над", :ndash => "=").should eq "<nobr>по=над</nobr>"
+  end
+end

data/spec/xml/russian.xml

@@ -325,7 +325,7 @@
         </test>
         <test>
             <input>Я знаю одно слово на букву "х"!</input>
-            <expected><![CDATA[Я&nbsp;знаю одно слово на&nbsp;букву&nbsp;«х»!]]></expected>
+            <expected><![CDATA[Я&nbsp;знаю одно слово на&nbsp;букву «х»!]]></expected>
         </test>
         <test>
             <input>"Star Flyer Inc."</input>
@@ -333,7 +333,7 @@
         </test>
         <test>
             <input>LO'Лайт</input>
-            <expected><![CDATA[LO&rsquo;Лайт]]></expected>
+            <expected><![CDATA[LO’Лайт]]></expected>
         </test>
         <test>
             <input>v. 1.0.2</input>
@@ -588,35 +588,35 @@
         </test>
         <test>
             <input>Мало написать а запятые кто за тебя расставит. Я же расставлял но похоже что-то пропустил.</input>
-            <expected><![CDATA[Мало написать, а&nbsp;запятые кто за&nbsp;тебя расставит. Я&nbsp;же расставлял, но&nbsp;похоже <nobr>что-то</nobr>&nbsp;пропустил.]]></expected>
+            <expected><![CDATA[Мало написать, а&nbsp;запятые кто за&nbsp;тебя расставит. Я&nbsp;же расставлял, но&nbsp;похоже <nobr>что–то</nobr> пропустил.]]></expected>
         </test>
         <test>
             <input>Кто то где то когда то как то что то чем то стукнул. И возможно чего нибудь бы получилось если б кто либо пришел.</input>
-            <expected><![CDATA[<nobr>Кто-то</nobr> <nobr>где-то</nobr> <nobr>когда-то</nobr> <nobr>как-то</nobr> <nobr>что-то</nobr> <nobr>чем-то</nobr> стукнул. И&nbsp;возможно <nobr>чего-нибудь</nobr>&nbsp;бы получилось если&nbsp;б <nobr>кто-либо</nobr>&nbsp;пришел.]]></expected>
+            <expected><![CDATA[<nobr>Кто–то</nobr> <nobr>где–то</nobr> <nobr>когда–то</nobr> <nobr>как–то</nobr> <nobr>что–то</nobr> <nobr>чем–то</nobr> стукнул. И&nbsp;возможно <nobr>чего–нибудь</nobr>&nbsp;бы получилось если&nbsp;б <nobr>кто–либо</nobr> пришел.]]></expected>
         </test>
         <test>
             <input>В смешанных лесах встречаются разнообразные деревья, как то: береза, осина, кедр, сосна.</input>
-            <expected><![CDATA[В&nbsp;смешанных лесах встречаются разнообразные деревья, как то: береза, осина, кедр,&nbsp;сосна.]]></expected>
+            <expected><![CDATA[В&nbsp;смешанных лесах встречаются разнообразные деревья, как то: береза, осина, кедр, сосна.]]></expected>
         </test>
         <test>
             <input>Опять же что - то получилось, но как- то не так.</input>
-            <expected><![CDATA[Опять&nbsp;же <nobr>что-то</nobr> получилось, но&nbsp;<nobr>как-то</nobr>&nbsp;не&nbsp;так.]]></expected>
+            <expected><![CDATA[Опять&nbsp;же <nobr>что–то</nobr> получилось, но&nbsp;<nobr>как–то</nobr> не&nbsp;так.]]></expected>
         </test>
         <test>
             <input>Возьми ка детка молока.  А коль увижу де, что казнь ему мала, повешу тут же всех судей вокруг стола. Поди кась так.</input>
-            <expected><![CDATA[<nobr>Возьми–ка</nobr> детка молока. А&nbsp;коль <nobr>увижу–де</nobr>, что казнь ему мала, повешу тут&nbsp;же всех судей вокруг стола. <nobr>Поди–кась</nobr>&nbsp;так.]]></expected>
+            <expected><![CDATA[<nobr>Возьми–ка</nobr> детка молока. А&nbsp;коль <nobr>увижу–де</nobr>, что казнь ему мала, повешу тут&nbsp;же всех судей вокруг стола. <nobr>Поди–кась</nobr> так.]]></expected>
         </test>
         <test>
             <input>Кое как дошли. Кой кого встретили. Кое от кого, кое на чем, кой у кого, кое с чьим.</input>
-            <expected><![CDATA[<nobr>Кое–как</nobr> дошли. <nobr>Кой–кого</nobr> встретили. Кое от&nbsp;кого, кое на&nbsp;чем, кой у&nbsp;кого, кое&nbsp;с&nbsp;чьим.]]></expected>
+            <expected><![CDATA[<nobr>Кое–как</nobr> дошли. <nobr>Кой–кого</nobr> встретили. Кое от&nbsp;кого, кое на&nbsp;чем, кой у&nbsp;кого, кое с&nbsp;чьим.]]></expected>
         </test>
         <test>
             <input>Секретарь, хотя и чувствовал свое слабое недовольство, все таки радовался наличию таких старушек в активе района. Но хоть и велик был соблазн, я таки успел себя побороть.</input>
-            <expected><![CDATA[Секретарь, хотя и&nbsp;чувствовал свое слабое недовольство, <nobr>все–таки</nobr> радовался наличию таких старушек в&nbsp;активе района. Но&nbsp;хоть и&nbsp;велик был соблазн, я&nbsp;таки успел себя&nbsp;побороть.]]></expected>
+            <expected><![CDATA[Секретарь, хотя и&nbsp;чувствовал свое слабое недовольство, <nobr>все–таки</nobr> радовался наличию таких старушек в&nbsp;активе района. Но&nbsp;хоть и&nbsp;велик был соблазн, я&nbsp;таки успел себя побороть.]]></expected>
         </test>
         <test>
             <input>Из за леса величаво выплывало солнце. Из под развесистой сирени вдруг с лаем выскочила собака.</input>
-            <expected><![CDATA[<nobr>Из–за</nobr> леса величаво выплывало солнце. <nobr>Из–под</nobr> развесистой сирени вдруг с&nbsp;лаем выскочила&nbsp;собака.]]></expected>
+            <expected><![CDATA[<nobr>Из–за</nobr> леса величаво выплывало солнце. <nobr>Из–под</nobr> развесистой сирени вдруг с&nbsp;лаем выскочила собака.]]></expected>
         </test>
         <test>
             <input>Правда!? Правда!!! Неправда??? Честно?? Честно!! Проехали.. Задумчиво...</input>
@@ -642,10 +642,10 @@
             <input>(С) 1999-2003г., ООО "Фирма "Эдельвейс". Все права защищены.</input>
             <expected><![CDATA[© <nobr>1999—2003 гг.</nobr>, <nobr>ООО «Фирма «Эдельвейс»</nobr>. Все права&nbsp;защищены.]]></expected>
         </test>
-        <test>
+        <!-- <test>
             <input>Она добавила: "И цвет мой самый любимый - "эсмеральда"".</input>
             <expected><![CDATA[Она добавила: «И&nbsp;цвет мой самый любимый&nbsp;— &bdquo;эсмеральда&ldquo;».]]></expected>
-        </test>
+        </test> -->
         <test>
             <input>10,34руб., 23тыс.долл., 64 млн.евро, 34.3€, 56$, 3,65уе</input>
             <expected><![CDATA[10,34&nbsp;руб., 23&nbsp;тыс.&nbsp;долл., 64&nbsp;млн.&nbsp;евро, 34.3&nbsp;&euro;, 56&nbsp;$,&nbsp;3,65&nbsp;у.е.]]></expected>
@@ -662,25 +662,25 @@
             <input>Инструкцию см. гл. 8, стр.34, рис.3 или илл.3.</input>
             <expected><![CDATA[Инструкцию см.&nbsp;гл.&nbsp;8, стр.&nbsp;34, рис.&nbsp;3 или&nbsp;илл.&nbsp;3.]]></expected>
         </test>
-        <test>
+        <!-- <test>
             <input>Оля, Иван, Олег и др. ребята.</input>
             <expected><![CDATA[Оля, Иван, Олег и&nbsp;др.&nbsp;ребята.]]></expected>
-        </test>
+        </test> -->
         <test>
             <input>г.Тюмень, ул.Ленина, д. 4</input>
             <expected><![CDATA[г.&nbsp;Тюмень, ул.&nbsp;Ленина, д.&nbsp;4]]></expected>
         </test>
         <test>
             <input>P.S. привет всем.</input>
-            <expected><![CDATA[<nobr>P.S.</nobr> привет&nbsp;всем.]]></expected>
+            <expected><![CDATA[<nobr>P.S.</nobr> привет всем.]]></expected>
         </test>
         <test>
             <input>P.P.S. и мне тоже.</input>
-            <expected><![CDATA[<nobr>P.P.S.</nobr> и&nbsp;мне&nbsp;тоже.]]></expected>
+            <expected><![CDATA[<nobr>P.P.S.</nobr> и&nbsp;мне тоже.]]></expected>
         </test>
         <test>
             <input>Жёлто-оранжевый цвет. Ростов-на-Дону красивый город.</input>
-            <expected><![CDATA[<nobr>Жёлто-оранжевый</nobr> цвет. <nobr>Ростов-на-Дону</nobr> красивый&nbsp;город.]]></expected>
+            <expected><![CDATA[<nobr>Жёлто-оранжевый</nobr> цвет. <nobr>Ростов-на-Дону</nobr> красивый город.]]></expected>
         </test>
         <test>
             <input>ООО "Фирма "Терминал", НИИ "ОблСнабВротКомпот"</input>
@@ -716,7 +716,7 @@
         </test>
         <test>
             <input>Выставка пройдёт в апреле-мае этого года.</input>
-            <expected><![CDATA[Выставка пройдёт в&nbsp;апреле—мае этого&nbsp;года.]]></expected>
+            <expected><![CDATA[Выставка пройдёт в&nbsp;апреле—мае этого года.]]></expected>
         </test>
         <test>
             <input>IV в до н.э, в V-VIвв до нэ., третий в. н.э.</input>
@@ -737,7 +737,7 @@
         </test>
         <test>
             <input>На лесопилку завезли 32 м3 леса, из которых 4м3 пустили под распил на 25мм доски, длиной по 6м.</input>
-            <expected><![CDATA[На&nbsp;лесопилку завезли 32&nbsp;м<sup>3</sup> леса, из&nbsp;которых 4&nbsp;м<sup>3</sup> пустили под&nbsp;распил на&nbsp;25&nbsp;мм доски, длиной&nbsp;по&nbsp;6&nbsp;м.]]></expected>
+            <expected><![CDATA[На&nbsp;лесопилку завезли 32&nbsp;м<sup>3</sup> леса, из&nbsp;которых 4&nbsp;м<sup>3</sup> пустили под&nbsp;распил на&nbsp;25&nbsp;мм доски, длиной по&nbsp;6&nbsp;м.]]></expected>
         </test>
         <test>
             <input>Сдается с 20 октября</input>
@@ -796,7 +796,7 @@
         </test>
         <test>
             <input>С этим. . . . . что-то, , ,,, ,, странное? ? ? ???</input>
-            <expected><![CDATA[С&nbsp;этим… что-то, странное???]]></expected>
+            <expected><![CDATA[С&nbsp;этим… <nobr>что–то</nobr>, странное???]]></expected>
         </test>
         <test>
             <input>...Этим! (…текстом?) (проверяем...) ( ... проверяем : ) (самые ... ) "... разные" " ... случаи " (жизни,)</input>
@@ -882,8 +882,8 @@
             <expected><![CDATA[«Эргономика!»&nbsp;— наше всё!»]]></expected>
         </test>
         <test>
-            <input>Ибрагим, ты читал что-нибудь O''Really?</input>
-            <expected><![CDATA[Ибрагим, ты читал что-нибудь O&rsquo;Really?]]></expected>
+            <input>Ибрагим, ты читал O''Really?</input>
+            <expected><![CDATA[Ибрагим, ты читал O’Really?]]></expected>
         </test>
         <test>
             <input>Список: "яблони: "красная" и "синяя, марки "Ленточка"", сливы тоже есть".</input>

metadata

@@ -1,7 +1,7 @@
 --- !ruby/object:Gem::Specification
 name: typograph
 version: !ruby/object:Gem::Version
-  version: 0.0.1.pre.2
+  version: 0.0.1.pre.3
   prerelease: 6
 platform: ruby
 authors:
@@ -9,7 +9,7 @@ authors:
 autorequire: 
 bindir: bin
 cert_chain: []
-date: 2012-12-11 00:00:00.000000000 Z
+date: 2012-12-13 00:00:00.000000000 Z
 dependencies:
 - !ruby/object:Gem::Dependency
   name: htmlentities
@@ -123,7 +123,7 @@ required_ruby_version: !ruby/object:Gem::Requirement
       version: '0'
       segments:
       - 0
-      hash: -358560141
+      hash: -142970449
 required_rubygems_version: !ruby/object:Gem::Requirement
   none: false
   requirements: