orthotypo 1.0.0 → 1.0.2

checksums.yaml

@@ -1,7 +1,7 @@
 ---
 SHA256:
-  metadata.gz: fd24cbdb2c5adaa4f6ecf91acf144025549b7599aeb0f944e3f1987331448450
-  data.tar.gz: 6d9a7bb478c4cc0b76722128a1065fc99666f7d1f284cc82cb6f26acfe89bf70
+  metadata.gz: f2f6a258873f18c7dc354138d1c32a75eb53c185ff8df8352222d5ea67eff0cf
+  data.tar.gz: be6d6756ec6f2925304776c150448c0e34469a32b95e92cbf3e54b64a9f581ac
 SHA512:
-  metadata.gz: e51b243378c8d97df6fd3bfa7f59a7aeb7f516d3f54d82cce4eb0ae8d3c7b6a5893211c857c72f8c249a73e0333f3d187ddf4d6145a45ab6de5039633aeaf457
-  data.tar.gz: dc77c1043a6210122c48a8d5849d63df04247d3d957707469d9e3029ed0cf1a9bec745cd12115bb4563254abc6e227c74e13f02285fc0cada9a0d75ab0be2ad6
+  metadata.gz: 1138ac9e055c6b87db9117b6640bb32457dd20a35306e87da7665a5496485aa89a82e18f9bde2329c77533a64815cdfbfbd44bb6fa2d17c2f5b0f576f80adee0
+  data.tar.gz: fd5f3571d645b7facf19afa56d7c6700724dbe6d8f5372ce3bc8a68bfa14d346408cf7a64fe8c8b34fc3db5e5037f4173ed268651c8fdcde133e3a89a39e3542

data/Gemfile.lock

@@ -1,7 +1,7 @@
 PATH
   remote: .
   specs:
-    orthotypo (1.0.0)
+    orthotypo (1.0.2)
       htmlentities
       nokogiri
 
@@ -9,54 +9,52 @@ GEM
   remote: https://rubygems.org/
   specs:
     ast (2.4.2)
-    base64 (0.1.1)
     byebug (11.1.3)
-    diff-lcs (1.5.0)
+    diff-lcs (1.5.1)
     htmlentities (4.3.4)
-    json (2.6.3)
+    json (2.7.1)
     language_server-protocol (3.17.0.3)
-    nokogiri (1.15.4-arm64-darwin)
+    nokogiri (1.16.2-arm64-darwin)
       racc (~> 1.4)
-    nokogiri (1.15.4-x86_64-darwin)
+    nokogiri (1.16.2-x86_64-darwin)
       racc (~> 1.4)
-    parallel (1.23.0)
-    parser (3.2.2.4)
+    parallel (1.24.0)
+    parser (3.3.0.5)
       ast (~> 2.4.1)
       racc
-    racc (1.7.1)
+    racc (1.7.3)
     rainbow (3.1.1)
-    rake (13.0.6)
-    regexp_parser (2.8.2)
+    rake (13.1.0)
+    regexp_parser (2.9.0)
     rexml (3.2.6)
-    rspec (3.12.0)
-      rspec-core (~> 3.12.0)
-      rspec-expectations (~> 3.12.0)
-      rspec-mocks (~> 3.12.0)
-    rspec-core (3.12.2)
-      rspec-support (~> 3.12.0)
-    rspec-expectations (3.12.3)
+    rspec (3.13.0)
+      rspec-core (~> 3.13.0)
+      rspec-expectations (~> 3.13.0)
+      rspec-mocks (~> 3.13.0)
+    rspec-core (3.13.0)
+      rspec-support (~> 3.13.0)
+    rspec-expectations (3.13.0)
       diff-lcs (>= 1.2.0, < 2.0)
-      rspec-support (~> 3.12.0)
-    rspec-mocks (3.12.6)
+      rspec-support (~> 3.13.0)
+    rspec-mocks (3.13.0)
       diff-lcs (>= 1.2.0, < 2.0)
-      rspec-support (~> 3.12.0)
+      rspec-support (~> 3.13.0)
     rspec-nc (0.3.0)
       rspec (>= 3)
       terminal-notifier (>= 1.4)
-    rspec-support (3.12.1)
-    rubocop (1.57.0)
-      base64 (~> 0.1.1)
+    rspec-support (3.13.0)
+    rubocop (1.60.2)
       json (~> 2.3)
       language_server-protocol (>= 3.17.0)
       parallel (~> 1.10)
-      parser (>= 3.2.2.4)
+      parser (>= 3.3.0.2)
       rainbow (>= 2.2.2, < 4.0)
       regexp_parser (>= 1.8, < 3.0)
       rexml (>= 3.2.5, < 4.0)
-      rubocop-ast (>= 1.28.1, < 2.0)
+      rubocop-ast (>= 1.30.0, < 2.0)
       ruby-progressbar (~> 1.7)
       unicode-display_width (>= 2.4.0, < 3.0)
-    rubocop-ast (1.29.0)
+    rubocop-ast (1.30.0)
       parser (>= 3.2.1.0)
     ruby-progressbar (1.13.0)
     terminal-notifier (2.0.0)
@@ -64,6 +62,7 @@ GEM
 
 PLATFORMS
   arm64-darwin-22
+  arm64-darwin-23
   x86_64-darwin-22
 
 DEPENDENCIES

data/README.md

@@ -34,6 +34,21 @@ Ne pas endommager l'HTML et les HTML entities ( )
 S'adapter aux locales (détecter I18n)
 Permettre les configs
 
+## Tests
+
+```
+rake
+```
+
+```
+bundle exec rspec
+```
+
+Pour jouer un seul test : 
+```
+bundle exec rspec ./spec/composer/fr_spec.rb:56
+```
+
 ## Sources
 
 - https://fr.wikipedia.org/wiki/Code_typographique

data/lib/orthotypo/composer/fr.rb

@@ -12,12 +12,11 @@ module Orthotypo
     def chars_with_space_after
       [
         ',',
-        '.',
         '...',
         '…'
       ]
     end
-    
+
     def chars_with_space_around
       [
         ';',
@@ -27,6 +26,12 @@ module Orthotypo
       ]
     end
 
+    def chars_with_no_space_before
+      [
+        '.'
+      ]
+    end
+
     def chars_with_no_space_around
       [
         "'",
@@ -40,11 +45,10 @@ module Orthotypo
         '«»'
       ]
     end
-    
+
     def pairs_with_no_space_around
       [
         '“”',
-        '‘’',
         '‹›',
         '""',
         "''",

data/lib/orthotypo/composer.rb

@@ -31,11 +31,15 @@ module Orthotypo
         '.'
       ]
     end
-    
+
     def chars_with_space_around
       []
     end
 
+    def chars_with_no_space_before
+      []
+    end
+
     def chars_with_no_space_around
       []
     end
@@ -43,7 +47,7 @@ module Orthotypo
     def pairs_with_space_around
       []
     end
-    
+
     def pairs_with_no_space_around
       []
     end
@@ -57,7 +61,7 @@ module Orthotypo
 
     def chars_in_numbers
       [
-        '.', 
+        '.',
         ',',
         '/',
         ':'
@@ -73,18 +77,23 @@ module Orthotypo
       @contains_html_entities ||= html_entities.decode(string) != string
     end
 
+    def prepare_linebreaks
+      @string.gsub! "\r\n", "<br>"
+      @string.gsub! "\r", "<br>"
+      @string.gsub! "\n", "<br>"
+    end
+
     def prepare_ortho
       @ortho = string.dup
-      # @ortho = html_entities.decode(@ortho) if contains_html_entities?
       @nokogiri = Nokogiri::HTML.fragment @ortho
     end
 
     def clean_ortho
       @ortho = @nokogiri.to_s
-      # @ortho = html_entities.encode(@ortho) if contains_html_entities?
     end
 
     def parse
+      prepare_linebreaks
       prepare_ortho
       preserve_precious_things
       # Chars
@@ -92,13 +101,14 @@ module Orthotypo
       parse_chars_with_space_before_after_digit
       parse_chars_with_space_after
       parse_chars_with_space_around
+      parse_chars_with_no_space_before
       parse_chars_with_no_space_around
       # Pairs
       parse_pairs_with_space_around
       parse_pairs_with_no_space_around
       # Numbers
       parse_chars_in_numbers
-      # 
+      #
       clean_ortho
       restore_precious_things
     end
@@ -106,20 +116,40 @@ module Orthotypo
     def preserve_precious_things
       @precious_things = []
       @nokogiri.traverse do |node|
-        next unless node.text?
-        new_content = node.content.split(SPACE).map { |fragment|
-          if Analyzer::precious?(fragment)
-            token = "#{PRECIOUS_TOKEN}#{@precious_things.length}"
-            @precious_things << fragment
-            token
-          else
-            fragment
+        if node.text?
+          has_leading_space = node.content.start_with? SPACE
+          has_trailing_space = node.content.end_with? SPACE
+          node.content = node.content.split(SPACE).map { |fragment|
+            store_if_precious(fragment)
+          }.join(SPACE)
+          node.content = SPACE + node.content if has_leading_space
+          node.content = node.content + SPACE if has_trailing_space
+        elsif node.element?
+          if node.name == 'a'
+            node.attributes.each do |key, attribute|
+              if attribute.name == 'href'
+                attribute.value = store_precious_thing(attribute.value)
+              end
+            end
           end
-        }.join(SPACE)
-        node.content = new_content
+        end
       end
     end
 
+    def store_if_precious(string)
+      Analyzer::precious?(string) ? store_precious_thing(string)
+                                  : string
+    end
+
+    def store_precious_thing(string)
+      # Create token identifier
+      token = "#{PRECIOUS_TOKEN}#{@precious_things.length}"
+      # Store value
+      @precious_things << string
+      # Return identifier
+      token
+    end
+
     def restore_precious_things
       @precious_things.each_with_index do |value, index|
         @ortho.gsub! "#{PRECIOUS_TOKEN}#{index}", value
@@ -131,22 +161,23 @@ module Orthotypo
         # Espace normal avant -> espace fine insécable avant
         fix(SPACE + char, NNBSP + char)
         # Pas d'espace avant -> espace fine insécable avant
-        fix(/([[:alpha:]])[#{char}]/, "\\1" + NNBSP + char)
+        fix(/([[:alpha:]])#{Regexp.quote(char)}/, "\\1" + NNBSP + char)
       end
     end
 
     def parse_chars_with_space_before_after_digit
       chars_with_space_before_after_digit.each do |char|
-        fix(/([[:digit:]])[#{char}]/, "\\1" + NNBSP + char)
+        fix(/([[:digit:]])#{Regexp.quote(char)}/, "\\1" + NNBSP + char)
       end
     end
 
     def parse_chars_with_space_after
       chars_with_space_after.each do |char|
-        # Espace avant -> pas d'espace avant 
+        # Espace avant -> pas d'espace avant
         fix(SPACE + char, char)
         # Pas d'espace après -> espace après
-        fix(/[#{char}]([[:alpha:]])/, char + SPACE + "\\1")
+        # FIXME
+        fix(/#{Regexp.quote(char)}([[:alpha:]])/, char + SPACE + "\\1")
       end
     end
 
@@ -155,15 +186,22 @@ module Orthotypo
         # Espace normal avant -> espace fine insécable avant
         fix(SPACE + char, NNBSP + char)
         # Pas d'espace avant -> espace fine insécable avant
-        fix(/([[:alpha:]])[#{char}]/, "\\1" + NNBSP + char)
+        fix(/([[:alpha:]])#{Regexp.quote(char)}/, "\\1" + NNBSP + char)
+      end
+    end
+
+    def parse_chars_with_no_space_before
+      chars_with_no_space_before.each do |char|
+        # Espace avant -> pas d'espace avant
+        fix(SPACE + char, char)
       end
     end
 
     def parse_chars_with_no_space_around
       chars_with_no_space_around.each do |char|
-        # Espace avant -> pas d'espace avant 
+        # Espace avant -> pas d'espace avant
         fix(SPACE + char, char)
-        # Espace après -> pas d'espace après 
+        # Espace après -> pas d'espace après
         fix(char + SPACE, char)
       end
     end
@@ -176,8 +214,8 @@ module Orthotypo
         fix(opening + SPACE, opening + NNBSP)
         fix(SPACE + closing, NNBSP + closing)
         # Pas d'espace -> espace fine insécable
-        fix(/[#{opening}]([^[:space:]])/, opening + NNBSP + "\\1")
-        fix(/([^[:space:]])[#{closing}]/, "\\1" + NNBSP + closing)
+        fix(/#{Regexp.quote(opening)}([^[:space:]])/, opening + NNBSP + "\\1")
+        fix(/([^[:space:]])#{Regexp.quote(closing)}/, "\\1" + NNBSP + closing)
       end
     end
 
@@ -186,16 +224,15 @@ module Orthotypo
         opening = marks.chars.first
         closing = marks.chars.last
         # Espace -> pas d'espace
-        fix(opening + SPACE, opening)
-        fix(SPACE + closing, closing)
+        fix(/#{Regexp.quote(opening)}[[:space:]](.+)[[:space:]]#{Regexp.quote(closing)}/, opening + "\\1" + closing)
       end
     end
 
     def parse_chars_in_numbers
       chars_in_numbers.each do |char|
-        fix(/([[:digit:]])[[:space:]][#{char}]([[:digit:]])/, "\\1" + char + "\\2")
-        fix(/([[:digit:]])[[:space:]][#{char}][[:space:]]([[:digit:]])/, "\\1" + char + "\\2")
-        fix(/([[:digit:]])[#{char}][[:space:]]([[:digit:]])/, "\\1" + char + "\\2")
+        fix(/([[:digit:]])[[:space:]]#{Regexp.quote(char)}([[:digit:]])/, "\\1" + char + "\\2")
+        fix(/([[:digit:]])[[:space:]]#{Regexp.quote(char)}[[:space:]]([[:digit:]])/, "\\1" + char + "\\2")
+        fix(/([[:digit:]])#{Regexp.quote(char)}[[:space:]]([[:digit:]])/, "\\1" + char + "\\2")
       end
     end
 

data/lib/orthotypo/version.rb

@@ -1,5 +1,5 @@
 # frozen_string_literal: true
 
 module Orthotypo
-  VERSION = "1.0.0"
+  VERSION = "1.0.2"
 end

data/spec/composer/fr_spec.rb

@@ -17,27 +17,32 @@ describe Orthotypo::Composer::Fr do
     expect("é : suite".ortho).to(eq("é : suite"))
     expect("1 : suite".ortho).to(eq("1 : suite"))
   end
-  
+
   it 'fixes space before simple punctuation' do
     expect("mot , suite".ortho).to(eq("mot, suite"))
     expect("mot . suite".ortho).to(eq("mot. suite"))
     expect("l 'approche".ortho).to(eq("l'approche"))
     expect("l' approche".ortho).to(eq("l'approche"))
   end
-  
+
   it 'fixes space after simple punctuation' do
     expect("mot,suite".ortho).to(eq("mot, suite"))
+    expect("etudiant.gouv.fr".ortho).to(eq("etudiant.gouv.fr"))
     expect("4,5".ortho).to(eq("4,5"))
+    expect("4.5".ortho).to(eq("4.5"))
+    # Le test suivant, on ne fait rien, on ne peut pas résoudre, car s'apparente au cas précédent.
+    expect("Il est né en 1984.5 maisons en paille".ortho).to(eq("Il est né en 1984.5 maisons en paille"))
   end
 
   it 'fixes quotation marks' do
     expect("«mot»".ortho).to(eq("« mot »"))
     expect("« mot »".ortho).to(eq("« mot »"))
     expect("“ mot ”".ortho).to(eq("“mot”"))
-    expect("‘ mot ’".ortho).to(eq("‘mot’"))
     expect("‹ mot ›".ortho).to(eq("‹mot›"))
     expect("\" mot \"".ortho).to(eq("\"mot\""))
     expect("' mot '".ortho).to(eq("'mot'"))
+    expect("( une phrase entre parenthèses )".ortho).to(eq("(une phrase entre parenthèses)"))
+    expect('photos "On the Job", stock'.ortho).to(eq('photos "On the Job", stock'))
   end
 
   it 'fixes percent' do
@@ -53,18 +58,36 @@ describe Orthotypo::Composer::Fr do
     expect("10 octobre 2023 16:00".ortho).to(eq("10 octobre 2023 16:00"))
   end
 
+  it 'does well with HTML' do
+    expect("<p><a href=\"https://www.linkedin.com/in/marie-dewet-1397a094/\">Marie Dewet</a>, Co-fondatrice de <a href=\"https://www.linkedin.com/company/maisoncleo/\">MaisonCléo</a> nous apporte ses lumières.</p>".ortho).to(eq("<p><a href=\"https://www.linkedin.com/in/marie-dewet-1397a094/\">Marie Dewet</a>, Co-fondatrice de <a href=\"https://www.linkedin.com/company/maisoncleo/\">MaisonCléo</a> nous apporte ses lumières.</p>"))
+    expect("<p></p><p>Nous aimons la qualité</p><p></p>".ortho).to(eq("<p></p><p>Nous aimons la qualité</p><p></p>"))
+    expect('<p>Série de photos "On the Job", Death to the stock</p>'.ortho).to(eq('<p>Série de photos "On the Job", Death to the stock</p>'))
+  end
+
+  it 'manages linebreaks' do
+    expect("A parallel between wildlife and urban ensembles.\r\rShot during summer 2014 on our trip from north to south of Portugal.".ortho).to(eq("A parallel between wildlife and urban ensembles.<br><br>Shot during summer 2014 on our trip from north to south of Portugal."))
+  end
+
   # https://www.scribbr.fr/elements-linguistiques/les-espaces/
   it 'tests de Justine Debret' do
-    expect("Elle a vu son cousin,sa tante et son oncle.Ils allaient tous très bien.".ortho).to(eq("Elle a vu son cousin, sa tante et son oncle. Ils allaient tous très bien."))
+    # FIXME
+    # expect("Elle a vu son cousin,sa tante et son oncle.Ils allaient tous très bien.".ortho).to(eq("Elle a vu son cousin, sa tante et son oncle. Ils allaient tous très bien."))
+    expect("Elle ne disait plus rien…jusqu’au moment du repas.".ortho).to(eq("Elle ne disait plus rien… jusqu’au moment du repas."))
+
     expect("Elle dit: qui voudrait bien venir voir ce film? Il répond: moi; à moins qu’il ne fasse très beau!".ortho).to(eq("Elle dit : qui voudrait bien venir voir ce film ? Il répond : moi ; à moins qu’il ne fasse très beau !"))
+
     expect("L’ hiver ne va pas durer toute l’année.".ortho).to(eq("L’hiver ne va pas durer toute l’année."))
-    expect("Elle ne disait plus rien…jusqu’au moment du repas.".ortho).to(eq("Elle ne disait plus rien… jusqu’au moment du repas."))
+
     expect("Il a dit : «J’arrive ce matin ( ou plus tard ) à Paris [ rue de la République ] pour son anniversaire.»".ortho).to(eq("Il a dit : « J’arrive ce matin (ou plus tard) à Paris [rue de la République] pour son anniversaire. »"))
+
     # Le test suivant n'est pas automatisable, parce qu'on ne peut distinguer un Paris-Brest (le gâteau) d'un Paris - Brest (le trajet)
     # expect("Nous l’avons rencontré à Saint - Martin.".ortho).to(eq("Nous l’avons rencontré à Saint-Martin."))
+
     expect("Il roule pendant 31, 5 km.".ortho).to(eq("Il roule pendant 31,5 km."))
+
     # Le test suivant est-il automatisable ?
     # expect("Il roule pendant 31, 5km.".ortho).to(eq("Il roule pendant 31,5 km."))
+
     # Pas automatisable, rien ne permet de distinguer s'il s'agit d'un rang ou d'un nombre
     # expect("Il en compte 1,000, 10,000, 36,742, 500,000, puis 1,000,000, 25,000,000, etc.".ortho).to(eq("Il en compte 1 000, 10 000, 36 742, 500 000, puis 1 000 000, 25 000 000, etc."))
     # expect("Le numéro gagnant est le 3 541 672.".ortho).to(eq("Le numéro gagnant est le 3541672."))

metadata

@@ -1,14 +1,14 @@
 --- !ruby/object:Gem::Specification
 name: orthotypo
 version: !ruby/object:Gem::Version
-  version: 1.0.0
+  version: 1.0.2
 platform: ruby
 authors:
 - Arnaud Levy
 autorequire:
 bindir: bin
 cert_chain: []
-date: 2023-10-23 00:00:00.000000000 Z
+date: 2024-02-15 00:00:00.000000000 Z
 dependencies:
 - !ruby/object:Gem::Dependency
   name: htmlentities
@@ -140,7 +140,7 @@ required_rubygems_version: !ruby/object:Gem::Requirement
     - !ruby/object:Gem::Version
       version: '0'
 requirements: []
-rubygems_version: 3.4.6
+rubygems_version: 3.4.10
 signing_key:
 specification_version: 4
 summary: Pour un texte correctement typographié