hitomalu_formatter 0.1.2 → 0.1.5

checksums.yaml

@@ -1,7 +1,7 @@
 ---
 SHA256:
-  metadata.gz: 466cef2256b10fed9188c4852ba797d11949ea629d8b368f3c253cce0eb0cd6b
-  data.tar.gz: f85b00ad233739445c5a8ff3fdb7f21c07cb3aca6d42d29ce3513d86048258e6
+  metadata.gz: 92b65e324f9f9163600a9af6e03d864592d0a7780f6d040201d203756b746c25
+  data.tar.gz: 6071e129eab94156b61d2715c7e7d7bc296cebb28ca32988ff97af415c5af861
 SHA512:
-  metadata.gz: aa0e0784adb8646ef44e1a20b22478f3ba892ce9fb459d9e827d9af58594b54bd628e8fb410950166e7252e473b45b0fc34d9f3e906b413f782cc709fba99b7b
-  data.tar.gz: ce6488768829e93fc71c72b6cc1cbefd597c90c7116a382cb9d490a52d7b89e634495b209aa08ef6fac4e71c27563c0f6caa79bfb3ffd48bb2faca06a2875dd2
+  metadata.gz: 38a235ffe10dddd9d1535f4de5db56fe69f5f21a656566b917abd943acf193728921e30975418b04f2fb43092cf70e2493ccd1072bd65f271c479d8e447bc8a2
+  data.tar.gz: 121844e97893f54f05d3ffb4f1f5d6a254a6c72fd49a444667ca3f8d8d7b506b95e7b790abe74e23a4507aa9846631a3520b969cefa15dc2f69e00a4677fe56c

data/CHANGELOG.md

@@ -1,5 +1,8 @@
 ## [Unreleased]
 
+## [0.1.5] - 2022-08-16
+## [0.1.4] - 2022-08-16
+## [0.1.3] - 2022-08-04
 ## [0.1.2] - 2022-08-03
 
 - a little fix

data/Gemfile.lock

@@ -1,7 +1,7 @@
 PATH
   remote: .
   specs:
-    hitomalu_formatter (0.1.2)
+    hitomalu_formatter (0.1.5)
 
 GEM
   remote: https://rubygems.org/

data/lib/hitomalu_formatter/formatter.rb

@@ -7,7 +7,14 @@ module Hitomalu
     # cf. https://developer.mozilla.org/ja/docs/Web/HTML/Inline_elements
     # rp と rt は上に記載がないが、改行させたくないので追加
     # node.name が 'comment' であるコメントノードもインライン扱い
-    INLINE_TAGS = [ 'a', 'abbr', 'acronym', 'audio', 'b', 'bdi', 'bdo', 'big', 'br', 'button', 'canvas', 'cite', 'code', 'comment', 'data', 'datalist', 'del', 'dfn', 'em', 'embed', 'i', 'iframe', 'img', 'input', 'ins', 'kbd', 'label', 'map', 'mark', 'meter', 'noscript', 'object', 'output', 'picture', 'progress', 'q', 'rp', 'rt', 'ruby', 's', 'samp', 'script', 'select', 'slot', 'small', 'span', 'strong', 'sub', 'sup', 'svg', 'template', 'textarea', 'time', 'u', 'tt', 'var', 'video', 'wbr' ]
+    INLINE_TAGS = [ 'a', 'abbr', 'acronym', 'audio', 'b', 'bdi', 'bdo', 'big', 'br', 'button', 'canvas', 'cite', 'code', 'comment', 'data', 'datalist', 'del', 'dfn', 'em', 'embed', 'i', 'iframe', 'img', 'input', 'ins', 'kbd', 'label', 'map', 'mark', 'meter', 'nobr', 'noscript', 'object', 'output', 'picture', 'progress', 'q', 'rp', 'rt', 'ruby', 's', 'samp', 'script', 'select', 'slot', 'small', 'span', 'strong', 'sub', 'sup', 'svg', 'template', 'text', 'textarea', 'time', 'u', 'tt', 'var', 'video', 'wbr' ]
+    INLINE_TAGS_REGEXP = INLINE_TAGS.join('|')
+
+    ADD_BREAK_LINE_TAGS = [ 'br', 'hr', 'col' ]
+    ADD_BREAK_LINE_TAGS_REGEXP = ADD_BREAK_LINE_TAGS.join('|')
+
+    # フォーマットで改行が増えないタグ (改行が増えるタグで改行増殖を抑えるために使う)
+    BREAK_LINE_NOT_INCREASE_TAGS = INLINE_TAGS - ADD_BREAK_LINE_TAGS
 
     def self.format(html)
       # 改行コード \n を \r\n に統一しておく
@@ -22,17 +29,29 @@ module Hitomalu
       body = doc.at_css('body')
 
       body.traverse { |node|
+        # テキストノードが空白文字以外を含み、親が非インライン要素(=ブロックノード)でもpreでもないならば中身の先頭と最後のスペースを消す
+        # (親のブロック要素に接しているところ = 兄弟がいない方向のみ)
+        if node.instance_of?(Nokogiri::XML::Text) && /\S/.match(node.content) && !(INLINE_TAGS + CONTENT_NO_MODIFY_TAGS).include?(node.parent.name)
+          if node.previous_sibling.nil?
+            node.content = node.content.gsub(/(\A\s+)/, "")
+          end
+          if node.next_sibling.nil?
+            node.content = node.content.gsub(/(\s+\Z)/, "")
+          end
+        end
+
+
         # 中身がないと、li などの閉じタグ省略可能なタグについてNokogiriが閉じタグ省略を行い、整形をかけるたびに閉じタグがついたりなくなったりするので、
         # 中身がないかスペースだけの場合、仮文字列にして最後に空文字列に置換する
-        # ただし、 <img src="1.jpg"> <img src="2.jpg"> のようなインライン要素の間のスペースと改行は保持する必要があるので保持する。
         # <li></li> の中に |mykaramojiretsu| を入れるために + ではなく * が必要
-        if /\A[ ]*\Z/.match?(node.content) && (node.previous_sibling.nil? || !INLINE_TAGS.include?(node.previous_sibling.name))
-          node.content = "|mykaramojiretsu|"
+        if /\A[ ]*\Z/.match?(node.content)
+          node.content = node.content + "|mykaramojiretsu|"
         end
 
         # インライン要素は、ブロック内先頭やテキストノードやインライン要素の次では改行しない
         # (前がブロック要素の終わりやコメントノードだと改行する)
-        if INLINE_TAGS.include?(node.name) && (node.previous_sibling.nil? || (node.previous_sibling.instance_of?(Nokogiri::XML::Text) || INLINE_TAGS.include?(node.previous_sibling.name)))
+        # (前が最後に改行を足すタグの場合、|nobreakline| を足すとスペースが増えて、フォーマットをかける度に結果が変わるので、|nobreakline| を足しません)
+        if INLINE_TAGS.include?(node.name) && (node.previous_sibling.nil? || (INLINE_TAGS.include?(node.previous_sibling.name) && !ADD_BREAK_LINE_TAGS.include?(node.previous_sibling.name)))
           node.add_previous_sibling("|nobreakline|")
         end
 
@@ -54,9 +73,24 @@ module Hitomalu
           node.next_sibling.content = "|mykaigyo|"
         end
 
+        # この下の処理で先頭改行をスペースに置換している & ブロック要素閉じタグの後には改行を入れる処理の関係上、
+        # </summary>\r\nnakami のような ブロック要素閉じタグ直後に改行が来ている場合、スペースが増殖してしまう (= 2回フォーマットをかけると結果が変わってしまう)
+        # それを防ぐため、ブロック要素閉じタグ直後の場合は先頭の改行を削除する
+        if node.instance_of?(Nokogiri::XML::Text) && !node.previous_sibling.nil? && !BREAK_LINE_NOT_INCREASE_TAGS.include?(node.previous_sibling.name) && !CONTENT_NO_MODIFY_TAGS.include?(node.parent.name)
+          node.content = node.content.gsub(/\A *(\r\n|\n)*/, "")
+        end
+      
+        # 上の事を、直後がブロック要素開始タグの場合にも末尾の改行についてする
+        if node.instance_of?(Nokogiri::XML::Text) && !node.next_sibling.nil? && !BREAK_LINE_NOT_INCREASE_TAGS.include?(node.next_sibling.name) && !CONTENT_NO_MODIFY_TAGS.include?(node.parent.name)
+          node.content = node.content.gsub(/ *(\r\n|\n)*\Z/, "")
+        end
+
         # タグの中身を整形する(見やすくするため)
-        if node.instance_of?(Nokogiri::XML::Text) && !CONTENT_NO_MODIFY_TAGS.include?(node.parent.name)
-          node.content = node.content.strip.gsub(/\s{2,}/, " ")
+        # 英文など、スペースが重要な言語があるので、stripはしない (Hello <a href="#world">world</a> のような文でスペースが、stripで無くなってしまう)
+        # \r\n を 2文字で1つのもの扱いにするため \s ではなく () で列挙している
+        # 連続する改行・スペースをスペース1つにし、先頭と最後の改行・スペースを除去し、文中の改行を除去する
+        if node.instance_of?(Nokogiri::XML::Text) && (CONTENT_NO_MODIFY_TAGS & node.ancestors.map do |ancestor| ancestor.name end).empty?
+          node.content = node.content.gsub(/(\r\n|\n| |\t|\f){2,}/, " ").gsub(/(\A ?(\r\n|\n) ?| ?(\r\n|\n) ?\Z)/, " ").gsub("\r\n", " ")
         end
 
         # 閉じタグとテキストノードの間に改行がなければ入れる(見やすくするため)
@@ -73,19 +107,20 @@ module Hitomalu
       body_str = body.to_s.gsub(/(\|mykaigyo\|)+/, "\r\n").gsub('|myspace|', ' ').gsub(/(<\/wbr>|\|mykaramojiretsu\||\A<body>(\n|\r\n)*|(\n|\r\n)*<\/body>\Z)/, "").gsub(/(?<!\r)\n/, "\r\n")
       
       # </span></div> のような閉じタグの間に改行が無かったら改行を入れる (Nokogiri の add_next_sibling は 20000回するとメモリを6GB以上使うので文字列処理でやる)
-      # ただし、</ruby>の前には入れない(</rp>などの短いインライン要素が来るため)
+      # ただし、片方または両方がインライン要素の閉じタグだったら入れない
       prev_str = ""
       while body_str != prev_str do
           prev_str = body_str
-          body_str = body_str.gsub(/(<\/[a-z]+>)(<\/(?!ruby))/, "\\1\r\n\\2")
+          body_str = body_str.gsub(/(<\/(?!(#{INLINE_TAGS_REGEXP}))[a-z]+>)(<\/(?!(#{INLINE_TAGS_REGEXP}))[a-z]+>)/, "\\1\r\n\\3")
       end
 
       # 開始タグの前に改行がなければ改行を入れる (add_prev_sibling は重いので文字列処理でやる) (文章の先頭からは消す)
       # その後、使い終わった改行しない印を消す
-      body_str = body_str.gsub(/(?<!\r\n)(?<!\|nobreakline\|)(?<!\|nobreakline\| )<(?!\/)/, "\r\n<").gsub(/(\A\r\n|\|nobreakline\|)/, "")
+       # また、閉じタグしか無い行の先頭のスペースを消す (閉じタグで改行されるのはブロック要素の閉じタグだけであるため、pre以外ならスペースを消して問題ない)
+      body_str = body_str.gsub(/(?<!\r\n)(?<!\|nobreakline\|)(?<!\|nobreakline\| )<(?!\/)/, "\r\n<").gsub(/(\A\r\n|\|nobreakline\|)/, "").gsub(/^ *(?!<\/pre>)(<\/[a-z]+>)$/, "\\1")
       
       # <br> や <hr> や <col> の後ろに改行がなければ改行を入れる (add_next_sibling は重いので文字列処理でやる)
-      body_str = body_str.gsub(/(<(?:br|hr|col)>)(?!\r\n)/, "\\1\r\n")
+      body_str = body_str.gsub(/(<(?:#{ADD_BREAK_LINE_TAGS_REGEXP})>)(?!\r\n)/, "\\1\r\n")
     end
   end
 end

data/lib/hitomalu_formatter/version.rb

@@ -1,5 +1,5 @@
 # frozen_string_literal: true
 
 module HitomaluFormatter
-  VERSION = "0.1.2"
+  VERSION = "0.1.5"
 end

metadata

@@ -1,14 +1,14 @@
 --- !ruby/object:Gem::Specification
 name: hitomalu_formatter
 version: !ruby/object:Gem::Version
-  version: 0.1.2
+  version: 0.1.5
 platform: ruby
 authors:
 - t-hazawa
 autorequire: 
 bindir: exe
 cert_chain: []
-date: 2022-08-03 00:00:00.000000000 Z
+date: 2022-08-16 00:00:00.000000000 Z
 dependencies: []
 description: 
 email: []