bluefeather 0.11 → 0.20

data/Rakefile.rb

@@ -16,7 +16,7 @@ require 'rake/gempackagetask'
 require 'spec/rake/spectask'
 require 'rake/clean'
 
-$KCODE = 'u'
+$KCODE = 'u' unless defined?(Encoding)
 $LOAD_PATH.unshift './lib'
 require 'bluefeather'
 

data/doc/author-and-license.bfdoc

@@ -7,7 +7,7 @@ CSS: black.css
 連絡先・ライセンス
 ====
 
-BlueFeather は、改変元である BlueCloth のライセンス（利用条件）に基づき、General Public License（GPL）バージョン 2 の元で配布されるフリーソフトウェアです。
+BlueFeather は、改変元である BlueCloth のライセンス（利用条件）に基づき、General Public License（GPL）バージョン 2 （またはそれ以降）の元で配布されるフリーソフトウェアです。
 詳しくは、`bluefeather.rb` のファイル頭にある著作権表示、および同梱の `license/` ディレクトリ内にある GPL 公衆利用許諾契約書を参照してください。
 
 * [Wikipedia - GNU General Public License](http://ja.wikipedia.org/wiki/GNU_General_Public_License)

data/doc/author-and-license.html

@@ -11,14 +11,14 @@
 
 <h1 id="bfheader-22033ed9a491d8394d357096e69dee5e">連絡先・ライセンス</h1>
 
-<p>BlueFeather は、改変元である BlueCloth のライセンス（利用条件）に基づき、General Public License（GPL）バージョン 2 の元で配布されるフリーソフトウェアです。
+<p>BlueFeather は、改変元である BlueCloth のライセンス（利用条件）に基づき、General Public License（GPL）バージョン 2 （またはそれ以降）の元で配布されるフリーソフトウェアです。
 詳しくは、<code>bluefeather.rb</code> のファイル頭にある著作権表示、および同梱の <code>license/</code> ディレクトリ内にある GPL 公衆利用許諾契約書を参照してください。</p>
 
 <ul>
 <li><a href="http://ja.wikipedia.org/wiki/GNU_General_Public_License">Wikipedia - GNU General Public License</a></li>
 </ul>
 
-<p>BlueFeather への要望、ご意見、バグ報告などがありましたら、<a href="http://ruby.morphball.net/bluefeather/">BlueFeather 配布サイト</a>よりメッセージを送信していただくか、もしくは Dice（<a href="&#109;&#097;&#x69;&#x6C;t&#x6F;:&#x74;&#x65;&#x74;&#x72;&#x61;&#x64;&#x69;&#099;&#101;&#064;&#x67;&#109;&#x61;&#105;&#108;&#x2E;&#099;&#111;&#x6D;">&#x74;&#x65;&#x74;&#x72;&#x61;&#x64;&#x69;&#099;&#101;&#064;&#x67;&#109;&#x61;&#105;&#108;&#x2E;&#099;&#111;&#x6D;</a>）までメールでご連絡していただけるよう、よろしくお願いします。</p>
+<p>BlueFeather への要望、ご意見、バグ報告などがありましたら、<a href="http://ruby.morphball.net/bluefeather/">BlueFeather 配布サイト</a>よりメッセージを送信していただくか、もしくは Dice（<a href="&#x6D;&#097;&#x69;&#x6C;&#116;o&#058;&#116;&#101;&#116;&#114;&#097;&#100;&#105;&#099;&#x65;&#064;&#103;m&#x61;il&#x2E;&#x63;&#111;&#109;">&#x6D;&#097;&#x69;&#x6C;&#116;o&#058;&#116;&#101;&#116;&#114;&#097;&#100;&#105;&#099;&#x65;&#064;&#103;m&#x61;il&#x2E;&#x63;&#111;&#109;</a>）までメールでご連絡していただけるよう、よろしくお願いします。</p>
 
 </body>
 </html>

data/doc/class-reference.bfdoc

@@ -25,15 +25,18 @@ BFMarkdown 記法で書かれた文字列をパースして、結果のHTML片
 
 	BlueFeather.parse_text(File.read(path))
 
-### `BlueFeather.parse_document(str)` {#parse_document}
+### `BlueFeather.parse_document(str, default_enc = EncodingType::UTF8)` {#parse_document}
 
 BFMarkdown 記法で書かれた文字列をパースして、結果のHTML文書を返す。
 
-### `BlueFeather.parse_document_file(str)` {#parse_document_file}
+default_enc は [EncodingType 定数](#EncodingType)で指定することができる。
+詳細については[エンコーディングの取り扱い](encoding-rule.html)を参照。
+
+### `BlueFeather.parse_document_file(path, default_enc = EncodingType::UTF8)` {#parse_document_file}
 
 ファイル `path` の内容を読み取ってパースし、結果のHTML文書を返す。以下の記述と同じ。
 
-	BlueFeather.parse_document(File.read(path))
+	BlueFeather.parse_document(File.read(path), default_enc)
 
 ### `BlueFeather::VERSION`
 ### `BlueFeather::VERSION_NUMBER`
@@ -44,10 +47,18 @@ BlueFeather のバージョンを表す定数。VERSION は文字列、VERSION_N
 ----
 文書のメタデータと Markdown テキストの組を保持するクラス。
 
-### `Document.parse(str)`
+### `Document.parse(str, default_enc = EncodingType::UTF8)` {#Document-parse}
 
 BFMarkdown記法で書かれた文字列をパースして、Document オブジェクトを返す。この時点ではテキストの変換は行わない。
 
+default_enc は [EncodingType 定数](#EncodingType)で指定することができる。
+詳細については[エンコーディングの取り扱い](encoding-rule.html)を参照。
+
+### `Document.parse_io(io, default_enc = EncodingType::UTF8)` {#Document-parse_io}
+
+引数として IO オブジェクトを受け取ること以外は [`Document.parse`](#Document-parse) と同じ。
+
+
 ### `Document.new(headers = {}, body = '')`
 
 メタデータ（Hash）とテキスト（String）から、Document オブジェクトを生成して返す。この時点ではテキストの変換は行わない。
@@ -67,6 +78,10 @@ BFMarkdown記法で書かれた文字列をパースして、Document オブジ
 
 それぞれ `doc['title']`, `doc['css']` と同じ。
 
+### `encoding_type`
+
+その文書のエンコーディングを取得する。返り値は EncodingType モジュール内の定数か、もしくは nil。
+
 
 ### `to_html`
 
@@ -103,3 +118,14 @@ Parser オブジェクトを生成する。`*restrictions` には以下の Symbo
 ### `display_warnings = bool`
 
 BlueFeather では不正なIDなどを見つけたときに、出力されるHTMLの中に警告を含める機能がある。これを有効にするかどうかのスイッチ（標準では true）。
+
+
+`BlueFeather::EncodingType` モジュール {#EncodingType}
+----
+### `UTF8`, `UTF_8`
+### `EUC`, `EUCJP`, `EUC_JP`
+### `SJIS`, `SHIFT_JIS`
+### `ASCII`, `US_ASCII`
+
+BlueFeather におけるエンコーディングの種類を表す定数（String）。
+

data/doc/class-reference.html

@@ -20,14 +20,15 @@
 <li><a href="#bfheader-fa1477eb445b3fdc80dd2c0525218ab7" rel="toc"><code>BlueFeather.parse_text(str)</code></a></li>
 <li><a href="#parse<em>text</em>file" rel="toc"><code>BlueFeather.parse_file(path)</code></a></li>
 <li><a href="#bfheader-858e9b32f250472d1729d73a2609d7b9" rel="toc"><code>BlueFeather.parse_text_file(path)</code></a></li>
-<li><a href="#parse_document" rel="toc"><code>BlueFeather.parse_document(str)</code></a></li>
-<li><a href="#parse<em>document</em>file" rel="toc"><code>BlueFeather.parse_document_file(str)</code></a></li>
+<li><a href="#parse_document" rel="toc"><code>BlueFeather.parse_document(str, default_enc = EncodingType::UTF8)</code></a></li>
+<li><a href="#parse<em>document</em>file" rel="toc"><code>BlueFeather.parse_document_file(path, default_enc = EncodingType::UTF8)</code></a></li>
 <li><a href="#bfheader-3857f80b19708653b12301c67de2e1db" rel="toc"><code>BlueFeather::VERSION</code></a></li>
 <li><a href="#bfheader-042b8b21520ede9536ad15036ee9f27c" rel="toc"><code>BlueFeather::VERSION_NUMBER</code></a></li>
 </ul></li>
 <li><a href="#bfheader-8736ab72a1f0a3f39997a38e5ea6ffa5" rel="toc"><code>BlueFeather::Document</code> クラス</a>
 <ul>
-<li><a href="#bfheader-f610b3e9bb522e93c220281e2be98d96" rel="toc"><code>Document.parse(str)</code></a></li>
+<li><a href="#Document-parse" rel="toc"><code>Document.parse(str, default_enc = EncodingType::UTF8)</code></a></li>
+<li><a href="#Document-parse_io" rel="toc"><code>Document.parse_io(io, default_enc = EncodingType::UTF8)</code></a></li>
 <li><a href="#bfheader-0ee4e10469def3879abce3265424e49a" rel="toc"><code>Document.new(headers = {}, body = '')</code></a></li>
 <li><a href="#bfheader-9a4a2896cad3fd8123e63e051634fad7" rel="toc"><code>headers</code></a></li>
 <li><a href="#bfheader-d80932823b30aed42cdd3426641abdc7" rel="toc"><code>body</code></a></li>
@@ -35,6 +36,7 @@
 <li><a href="#bfheader-6d1c97a406278a22629ccccc9590d9d6" rel="toc"><code>self[key] = value</code></a></li>
 <li><a href="#bfheader-92f24a1f999095d1e7e6125d7916d913" rel="toc"><code>title</code></a></li>
 <li><a href="#bfheader-e364b84145e7b2539f6f4cc865ce3605" rel="toc"><code>css</code></a></li>
+<li><a href="#bfheader-75ce338ba301a5d0566fc17b978e7ef9" rel="toc"><code>encoding_type</code></a></li>
 <li><a href="#bfheader-ac3aad72cd17d2c5d24bbef5ce7a9a0c" rel="toc"><code>to_html</code></a></li>
 </ul></li>
 <li><a href="#bfheader-f93be37288db08fefc350b1b097b132a" rel="toc"><code>BlueFeather::Parser</code> クラス</a>
@@ -51,6 +53,13 @@
 <li><a href="#bfheader-0b7fc6da6625a0e867d3a1d6f063d751" rel="toc"><code>display_warnings</code></a></li>
 <li><a href="#bfheader-9d774efbf227885f2175f1405f450fa7" rel="toc"><code>display_warnings = bool</code></a></li>
 </ul></li>
+<li><a href="#EncodingType" rel="toc"><code>BlueFeather::EncodingType</code> モジュール</a>
+<ul>
+<li><a href="#bfheader-09f0d7e312745126885b6e05dbb8871d" rel="toc"><code>UTF8</code>, <code>UTF_8</code></a></li>
+<li><a href="#bfheader-7bf1da914437f82fadb58dba6bb64656" rel="toc"><code>EUC</code>, <code>EUCJP</code>, <code>EUC_JP</code></a></li>
+<li><a href="#bfheader-078b01e339b95e89823c0a1dc642ee16" rel="toc"><code>SJIS</code>, <code>SHIFT_JIS</code></a></li>
+<li><a href="#bfheader-936a18b71e0ca92a9d907406dbb7b411" rel="toc"><code>ASCII</code>, <code>US_ASCII</code></a></li>
+</ul></li>
 </ul>
 
 <h2 id="bfheader-80ceaec8f5a40f3d46aac3444c6df2e7"><code>BlueFeather</code> モジュール</h2>
@@ -70,15 +79,18 @@
 <pre><code>BlueFeather.parse_text(File.read(path))
 </code></pre>
 
-<h3 id="parse_document"><code>BlueFeather.parse_document(str)</code></h3>
+<h3 id="parse_document"><code>BlueFeather.parse_document(str, default_enc = EncodingType::UTF8)</code></h3>
 
 <p>BFMarkdown 記法で書かれた文字列をパースして、結果のHTML文書を返す。</p>
 
-<h3 id="parse_document_file"><code>BlueFeather.parse_document_file(str)</code></h3>
+<p>default_enc は <a href="#EncodingType">EncodingType 定数</a>で指定することができる。
+詳細については<a href="encoding-rule.html">エンコーディングの取り扱い</a>を参照。</p>
+
+<h3 id="parse_document_file"><code>BlueFeather.parse_document_file(path, default_enc = EncodingType::UTF8)</code></h3>
 
 <p>ファイル <code>path</code> の内容を読み取ってパースし、結果のHTML文書を返す。以下の記述と同じ。</p>
 
-<pre><code>BlueFeather.parse_document(File.read(path))
+<pre><code>BlueFeather.parse_document(File.read(path), default_enc)
 </code></pre>
 
 <h3 id="bfheader-3857f80b19708653b12301c67de2e1db"><code>BlueFeather::VERSION</code></h3>
@@ -91,10 +103,17 @@
 
 <p>文書のメタデータと Markdown テキストの組を保持するクラス。</p>
 
-<h3 id="bfheader-f610b3e9bb522e93c220281e2be98d96"><code>Document.parse(str)</code></h3>
+<h3 id="Document-parse"><code>Document.parse(str, default_enc = EncodingType::UTF8)</code></h3>
 
 <p>BFMarkdown記法で書かれた文字列をパースして、Document オブジェクトを返す。この時点ではテキストの変換は行わない。</p>
 
+<p>default_enc は <a href="#EncodingType">EncodingType 定数</a>で指定することができる。
+詳細については<a href="encoding-rule.html">エンコーディングの取り扱い</a>を参照。</p>
+
+<h3 id="Document-parse_io"><code>Document.parse_io(io, default_enc = EncodingType::UTF8)</code></h3>
+
+<p>引数として IO オブジェクトを受け取ること以外は <a href="#Document-parse"><code>Document.parse</code></a> と同じ。</p>
+
 <h3 id="bfheader-0ee4e10469def3879abce3265424e49a"><code>Document.new(headers = {}, body = '')</code></h3>
 
 <p>メタデータ（Hash）とテキスト（String）から、Document オブジェクトを生成して返す。この時点ではテキストの変換は行わない。</p>
@@ -117,6 +136,10 @@
 
 <p>それぞれ <code>doc['title']</code>, <code>doc['css']</code> と同じ。</p>
 
+<h3 id="bfheader-75ce338ba301a5d0566fc17b978e7ef9"><code>encoding_type</code></h3>
+
+<p>その文書のエンコーディングを取得する。返り値は EncodingType モジュール内の定数か、もしくは nil。</p>
+
 <h3 id="bfheader-ac3aad72cd17d2c5d24bbef5ce7a9a0c"><code>to_html</code></h3>
 
 <p>その文書をHTML文書に変換する。返り値は String。</p>
@@ -161,5 +184,17 @@
 
 <p>BlueFeather では不正なIDなどを見つけたときに、出力されるHTMLの中に警告を含める機能がある。これを有効にするかどうかのスイッチ（標準では true）。</p>
 
+<h2 id="EncodingType"><code>BlueFeather::EncodingType</code> モジュール</h2>
+
+<h3 id="bfheader-09f0d7e312745126885b6e05dbb8871d"><code>UTF8</code>, <code>UTF_8</code></h3>
+
+<h3 id="bfheader-7bf1da914437f82fadb58dba6bb64656"><code>EUC</code>, <code>EUCJP</code>, <code>EUC_JP</code></h3>
+
+<h3 id="bfheader-078b01e339b95e89823c0a1dc642ee16"><code>SJIS</code>, <code>SHIFT_JIS</code></h3>
+
+<h3 id="bfheader-936a18b71e0ca92a9d907406dbb7b411"><code>ASCII</code>, <code>US_ASCII</code></h3>
+
+<p>BlueFeather におけるエンコーディングの種類を表す定数（String）。</p>
+
 </body>
 </html>

data/doc/en/author-and-license.bfdoc

@@ -8,7 +8,8 @@ Author and License
 ====
 
  BlueFeather is a free software. it is distributed by General Public License
-(GPL) version 2. For details, see top of `bluefeather.rb`, and `license/` directory.
+(GPL) version 2 or later. For details, see top of `bluefeather.rb`, and
+`license/` directory.
 
 * [Wikipedia - GNU General Public License](http://en.wikipedia.org/wiki/GNU_General_Public_License)
 

data/doc/en/author-and-license.html

@@ -12,7 +12,8 @@
 <h1 id="bfheader-e34a2a350728e95ad54ff76bbdcacac6">Author and License</h1>
 
 <p>BlueFeather is a free software. it is distributed by General Public License
-(GPL) version 2. For details, see top of <code>bluefeather.rb</code>, and <code>license/</code> directory.</p>
+(GPL) version 2 or later. For details, see top of <code>bluefeather.rb</code>, and
+<code>license/</code> directory.</p>
 
 <ul>
 <li><a href="http://en.wikipedia.org/wiki/GNU_General_Public_License">Wikipedia - GNU General Public License</a></li>
@@ -23,7 +24,7 @@
 <p>If you want to send requests, comments, or bug reports to BlueFeather, please
 feel free to post messages from
 <a href="http://ruby.morphball.net/bluefeather/index_en.html">http://ruby.morphball.net/bluefeather/index_en.html</a> or to send mail to Dice.
-(<a href="&#109;&#x61;&#105;&#108;&#x74;&#111;:&#116;&#x65;&#x74;&#x72;&#097;d&#x69;&#x63;&#x65;&#064;&#x67;&#109;&#097;&#105;&#x6C;&#046;&#x63;o&#109;">&#116;&#x65;&#x74;&#x72;&#097;d&#x69;&#x63;&#x65;&#064;&#x67;&#109;&#097;&#105;&#x6C;&#046;&#x63;o&#109;</a>)</p>
+(<a href="&#109;&#097;&#x69;&#108;&#116;&#x6F;&#x3A;&#x74;&#x65;&#x74;&#114;&#097;&#x64;&#x69;&#x63;&#x65;&#x40;&#x67;&#109;&#x61;i&#x6C;&#x2E;&#099;&#x6F;&#x6D;">&#109;&#097;&#x69;&#108;&#116;&#x6F;&#x3A;&#x74;&#x65;&#x74;&#114;&#097;&#x64;&#x69;&#x63;&#x65;&#x40;&#x67;&#109;&#x61;i&#x6C;&#x2E;&#099;&#x6F;&#x6D;</a>)</p>
 
 </body>
 </html>

data/doc/en/encoding-rule.bfdoc

@@ -0,0 +1,44 @@
+Encoding: ascii
+Title: Encoding Rule - BlueFeather Manual
+CSS: black.css
+
+<div class="back"><a href="index.html">BlueFeather Manual</a></div>
+
+Encoding Rule
+====
+
+
+{toc}
+
+
+1. Converting to html part
+----
+(converting *.bftext files, parsing by `parse_text` or others.)
+
+BlueFeather doesn't specially treat.
+If ruby 1.8.x ealier, it is based on $KCODE value then.
+Else if ruby 1.9.x later, it is based on encoding which String object has.
+
+When you use `bluefeather` command, it is based on -e (--encoding) option. Default is UTF-8.
+
+
+
+2. Converting to html document
+----
+(converting *.bfdoc files, parsing by `parse_document` or others.)
+
+BlueFeather uses the following order.
+
+1. Encoding header of document metadata (PRIMARY)
+2. Specified encoding at convert
+3. UTF-8
+
+
+If you want to know about encoding header, see the [Metadata reference](metadata-reference.html).
+
+You can specify encoding.
+If you use with [`parse_document`](class-reference.html#parse_document) or [`parse_document_file`](class-reference.html#parse_document), you must use 2nd argument of these methods for it.
+If you use `bluefeather` command, you must use -e (--encoding) option for it.
+
+
+

data/doc/en/encoding-rule.html

@@ -0,0 +1,47 @@
+<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
+<html>
+<head>
+<title>Encoding Rule - BlueFeather Manual</title>
+<link rel="stylesheet" type="text/css" href="black.css" />
+</head>
+<body>
+
+<div class="back"><a href="index.html">BlueFeather Manual</a></div>
+
+<h1 id="bfheader-06a0303193523282130e680a0d2f058f">Encoding Rule</h1>
+
+<ul>
+<li><a href="#bfheader-84fb6cab35fe13eef58167e5cbcf8fe9" rel="toc">1. Converting to html part</a></li>
+<li><a href="#bfheader-db7b980112a4cd59806c96e2ad4cbe9e" rel="toc">2. Converting to html document</a></li>
+</ul>
+
+<h2 id="bfheader-84fb6cab35fe13eef58167e5cbcf8fe9">1. Converting to html part</h2>
+
+<p>(converting *.bftext files, parsing by <code>parse_text</code> or others.)</p>
+
+<p>BlueFeather doesn't specially treat.
+If ruby 1.8.x ealier, it is based on $KCODE value then.
+Else if ruby 1.9.x later, it is based on encoding which String object has.</p>
+
+<p>When you use <code>bluefeather</code> command, it is based on -e (--encoding) option. Default is UTF-8.</p>
+
+<h2 id="bfheader-db7b980112a4cd59806c96e2ad4cbe9e">2. Converting to html document</h2>
+
+<p>(converting *.bfdoc files, parsing by <code>parse_document</code> or others.)</p>
+
+<p>BlueFeather uses the following order.</p>
+
+<ol>
+<li>Encoding header of document metadata (PRIMARY)</li>
+<li>Specified encoding at convert</li>
+<li>UTF-8</li>
+</ol>
+
+<p>If you want to know about encoding header, see the <a href="metadata-reference.html">Metadata reference</a>.</p>
+
+<p>You can specify encoding.
+If you use with <a href="class-reference.html#parse_document"><code>parse_document</code></a> or <a href="class-reference.html#parse_document"><code>parse_document_file</code></a>, you must use 2nd argument of these methods for it.
+If you use <code>bluefeather</code> command, you must use -e (--encoding) option for it.</p>
+
+</body>
+</html>

data/doc/en/format-extension.bfdoc

@@ -222,6 +222,14 @@ BlueFeather Original
 
  Default is h2 - h6.
 
+ Following formats are usable to specify levels.
+
+	{toc:h3-}    (same as previous example)
+	{toc:h3}     (h3 only)
+	{toc:h3..h4} (from h3 to h4)
+	{toc:..h4}   (from h2 to h4)
+
+
  Be careful, Headers *written by Markdown on the document root*, are only
 included in TOC. So following headers are NOT included in TOC.
 

data/doc/en/format-extension.html

@@ -316,6 +316,14 @@ Markdown)</p></li>
 
 <p>Default is h2 - h6.</p>
 
+<p>Following formats are usable to specify levels.</p>
+
+<pre><code>{toc:h3-}    (same as previous example)
+{toc:h3}     (h3 only)
+{toc:h3..h4} (from h3 to h4)
+{toc:..h4}   (from h2 to h4)
+</code></pre>
+
 <p>Be careful, Headers <em>written by Markdown on the document root</em>, are only
 included in TOC. So following headers are NOT included in TOC.</p>
 

data/doc/en/index.bfdoc

@@ -1,7 +1,8 @@
 Encoding: ASCII
+Title: BlueFeather Manual
 CSS: black.css
 
-<div class="back"><a>　</a></div>
+<div class="back"><a> </a></div>
 
 
 BlueFeather Manual
@@ -9,7 +10,7 @@ BlueFeather Manual
 
 -> [Japanese version (original)](../index.html)
 
-(2009-02-27: this document based on version 0.11)
+(2009-05-04: this document based on version 0.20)
 
  BlueFeather is software for converting text written by extended Markdown like 
 [PHP Markdown Extra][] to html. It is pair of command-line tool and pure Ruby
@@ -25,6 +26,7 @@ files are in the directory, '`doc/en/`'.
 * [Installing and Basic Usage](basic-usage.html)
 * [Difference from BlueCloth](difference.html)
 * [Markdown Syntax Extension](format-extension.html)
+* [Encoding Rule](encoding-rule.html)
 
 ~
 
@@ -34,7 +36,7 @@ files are in the directory, '`doc/en/`'.
 ~
 
 * [Author and License](author-and-license.html)
-* [BlueFeather Website（http://ruby.morphball.net/bluefeather/index_en.html）](http://ruby.morphball.net/bluefeather/index_en.html)
+* [BlueFeather Website (http://ruby.morphball.net/bluefeather/index_en.html)](http://ruby.morphball.net/bluefeather/index_en.html)
 
 
 [BlueCloth 1.0.0]: http://www.deveiate.org/projects/BlueCloth

data/doc/en/index.html

@@ -6,13 +6,13 @@
 </head>
 <body>
 
-<div class="back"><a>　</a></div>
+<div class="back"><a> </a></div>
 
 <h1 id="bfheader-35661d482100191843f35ae0ff825d35">BlueFeather Manual</h1>
 
 <p>-> <a href="../index.html">Japanese version (original)</a></p>
 
-<p>(2009-02-27: this document based on version 0.11)</p>
+<p>(2009-05-04: this document based on version 0.20)</p>
 
 <p>BlueFeather is software for converting text written by extended Markdown like 
 <a href="http://michelf.com/projects/php-markdown/extra/">PHP Markdown Extra</a> to html. It is pair of command-line tool and pure Ruby
@@ -28,6 +28,7 @@ files are in the directory, '<code>doc/en/</code>'.</p>
 <li><a href="basic-usage.html">Installing and Basic Usage</a></li>
 <li><a href="difference.html">Difference from BlueCloth</a></li>
 <li><a href="format-extension.html">Markdown Syntax Extension</a></li>
+<li><a href="encoding-rule.html">Encoding Rule</a></li>
 </ul>
 
 
@@ -41,7 +42,7 @@ files are in the directory, '<code>doc/en/</code>'.</p>
 
 <ul>
 <li><a href="author-and-license.html">Author and License</a></li>
-<li><a href="http://ruby.morphball.net/bluefeather/index_en.html">BlueFeather Website（http://ruby.morphball.net/bluefeather/index_en.html）</a></li>
+<li><a href="http://ruby.morphball.net/bluefeather/index_en.html">BlueFeather Website (http://ruby.morphball.net/bluefeather/index_en.html)</a></li>
 </ul>
 
 </body>

data/doc/encoding-rule.bfdoc

@@ -0,0 +1,39 @@
+Title: エンコーディングの取り扱い - BlueFeather マニュアル
+CSS: black.css
+
+<div class="back"><a href="index.html">BlueFeather マニュアル</a></div>
+
+エンコーディングの取り扱い
+====
+
+
+{toc}
+
+
+1. HTML片へ変換するとき
+----
+（拡張子 *.bftext のファイル変換、parse_text による変換など）
+
+特殊な処理を行いません。ruby 1.8.x 以前であればそのときの $KCODE が、ruby 1.9.x 以降であれば文字列の持つエンコーディングが反映されます。
+
+`bluefeather` コマンドでは、-e (--encoding) オプションの指定に従います。指定がなければ UTF-8 です。
+
+
+
+2. 完全なHTML文書へ変換するとき
+----
+（拡張子 *.bfdoc のファイル変換、parse_document による変換など）
+
+以下の優先順序に従います。
+
+1. 文書メタデータの Encoding ヘッダ（最優先）
+2. 変換時に指定したエンコーディング
+3. UTF-8
+
+
+「文書メタデータの Encoding ヘッダ」については、[メタデータリファレンス](metadata-reference.html)内の[説明](metadata-reference.html#encoding)を参照してください。
+
+変換時のエンコーディング指定は、[`parse_document`](class-reference.html#parse_document) メソッドや [`parse_document_file`](class-reference.html#parse_document) メソッドによる変換時にはメソッドの第二引数（default_enc）で、`bluefeather` コマンドであれば -e (--encoding) オプションで、それぞれ指定することが可能です。
+
+
+

data/doc/encoding-rule.html

@@ -0,0 +1,44 @@
+<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
+<html>
+<head>
+<title>エンコーディングの取り扱い - BlueFeather マニュアル</title>
+<meta http-equiv="Content-Type" content="text/html; charset=utf-8">
+<link rel="stylesheet" type="text/css" href="black.css" />
+</head>
+<body>
+
+<div class="back"><a href="index.html">BlueFeather マニュアル</a></div>
+
+<h1 id="bfheader-2958c11cbc27bd969295196367b69edd">エンコーディングの取り扱い</h1>
+
+<ul>
+<li><a href="#bfheader-27481ff9fea6dc4e00937ed0decddca1" rel="toc">1. HTML片へ変換するとき</a></li>
+<li><a href="#bfheader-17800f328e4f623b4f7a4d5a811bfae9" rel="toc">2. 完全なHTML文書へ変換するとき</a></li>
+</ul>
+
+<h2 id="bfheader-27481ff9fea6dc4e00937ed0decddca1">1. HTML片へ変換するとき</h2>
+
+<p>（拡張子 *.bftext のファイル変換、parse_text による変換など）</p>
+
+<p>特殊な処理を行いません。ruby 1.8.x 以前であればそのときの $KCODE が、ruby 1.9.x 以降であれば文字列の持つエンコーディングが反映されます。</p>
+
+<p><code>bluefeather</code> コマンドでは、-e (--encoding) オプションの指定に従います。指定がなければ UTF-8 です。</p>
+
+<h2 id="bfheader-17800f328e4f623b4f7a4d5a811bfae9">2. 完全なHTML文書へ変換するとき</h2>
+
+<p>（拡張子 *.bfdoc のファイル変換、parse_document による変換など）</p>
+
+<p>以下の優先順序に従います。</p>
+
+<ol>
+<li>文書メタデータの Encoding ヘッダ（最優先）</li>
+<li>変換時に指定したエンコーディング</li>
+<li>UTF-8</li>
+</ol>
+
+<p>「文書メタデータの Encoding ヘッダ」については、<a href="metadata-reference.html">メタデータリファレンス</a>内の<a href="metadata-reference.html#encoding">説明</a>を参照してください。</p>
+
+<p>変換時のエンコーディング指定は、<a href="class-reference.html#parse_document"><code>parse_document</code></a> メソッドや <a href="class-reference.html#parse_document"><code>parse_document_file</code></a> メソッドによる変換時にはメソッドの第二引数（default_enc）で、<code>bluefeather</code> コマンドであれば -e (--encoding) オプションで、それぞれ指定することが可能です。</p>
+
+</body>
+</html>

data/doc/format-extension.bfdoc

@@ -223,7 +223,16 @@ PHP Markdown Extra
 
 >{toc:h3..}
 
-指定がなかった場合の標準はレベル2、つまり h2 ～ h6 が目次に含まれます。
+指定がなかった場合には、標準で h2 ～ h6 が目次に含まれます。
+
+見出しレベルの指定には、以下のような書き方を使うことができます。
+
+	{toc:h3-}    (上記の例と同じ）
+	{toc:h3}     (h3 のみ）
+	{toc:h3..h4} (h3 ～ h4）
+	{toc:..h4}   (h2 ～ h4)
+	
+
 
 なお、目次にリストアップされるのは、_Markdown記法の変換によって生成され、なおかつ他のブロック要素に含まれていない見出しのみ_です。
 つまり、次のような見出しは目次に含まれません。

data/doc/format-extension.html

@@ -315,7 +315,15 @@
     </ul>
 </blockquote>
 
-<p>指定がなかった場合の標準はレベル2、つまり h2 ～ h6 が目次に含まれます。</p>
+<p>指定がなかった場合には、標準で h2 ～ h6 が目次に含まれます。</p>
+
+<p>見出しレベルの指定には、以下のような書き方を使うことができます。</p>
+
+<pre><code>{toc:h3-}    (上記の例と同じ）
+{toc:h3}     (h3 のみ）
+{toc:h3..h4} (h3 ～ h4）
+{toc:..h4}   (h2 ～ h4)
+</code></pre>
 
 <p>なお、目次にリストアップされるのは、<em>Markdown記法の変換によって生成され、なおかつ他のブロック要素に含まれていない見出しのみ</em>です。
 つまり、次のような見出しは目次に含まれません。</p>

data/doc/index.bfdoc

@@ -9,12 +9,12 @@ BlueFeather マニュアル
 → [English version](en/index.html)
 
 
-（2009-02-27 バージョン 0.11 準拠）
+（2009-05-04 バージョン 0.20 準拠）
 
 BlueFeather は、拡張 Markdown 記法で書かれたテキストを html に変換するソフトウェアです。
 コマンドラインツールと、Ruby スクリプト内で変換を行うためのライブラリがセットになっています。
 
-広く使われている Markdown 実装である [BlueCloth][] をベースとしつつ、既知のバグの修正やインターフェースの変更、そして記法・機能へのさまざまな拡張を施しています。
+広く使われている Markdown 実装である [BlueCloth 1.0.0][] をベースとしつつ、既知のバグの修正やインターフェースの変更、そして記法・機能へのさまざまな拡張を施しています。
 
 なお、このマニュアルページそのものも、 BlueFeather を用いて生成された html 文書です。変換前のテキストファイルは `doc` ディレクトリ内に同梱しています。
 
@@ -22,6 +22,7 @@ BlueFeather は、拡張 Markdown 記法で書かれたテキストを html に
 * [インストール・基本的な使い方](basic-usage.html)
 * [BlueCloth との違い](difference.html)
 * [Markdown 記法の拡張](format-extension.html)
+* [エンコーディングの取り扱い](encoding-rule.html)
 
 ~
 
@@ -33,4 +34,4 @@ BlueFeather は、拡張 Markdown 記法で書かれたテキストを html に
 * [連絡先・ライセンス](author-and-license.html)
 * [BlueFeather 配布サイト（http://ruby.morphball.net/bluefeather/）](http://ruby.morphball.net/bluefeather/)
 
-[BlueCloth]: http://www.deveiate.org/projects/BlueCloth
+[BlueCloth 1.0.0]: http://www.deveiate.org/projects/BlueCloth

data/doc/index.html

@@ -13,12 +13,12 @@
 
 <p>→ <a href="en/index.html">English version</a></p>
 
-<p>（2009-02-27 バージョン 0.11 準拠）</p>
+<p>（2009-05-04 バージョン 0.20 準拠）</p>
 
 <p>BlueFeather は、拡張 Markdown 記法で書かれたテキストを html に変換するソフトウェアです。
 コマンドラインツールと、Ruby スクリプト内で変換を行うためのライブラリがセットになっています。</p>
 
-<p>広く使われている Markdown 実装である <a href="http://www.deveiate.org/projects/BlueCloth">BlueCloth</a> をベースとしつつ、既知のバグの修正やインターフェースの変更、そして記法・機能へのさまざまな拡張を施しています。</p>
+<p>広く使われている Markdown 実装である <a href="http://www.deveiate.org/projects/BlueCloth">BlueCloth 1.0.0</a> をベースとしつつ、既知のバグの修正やインターフェースの変更、そして記法・機能へのさまざまな拡張を施しています。</p>
 
 <p>なお、このマニュアルページそのものも、 BlueFeather を用いて生成された html 文書です。変換前のテキストファイルは <code>doc</code> ディレクトリ内に同梱しています。</p>
 
@@ -26,6 +26,7 @@
 <li><a href="basic-usage.html">インストール・基本的な使い方</a></li>
 <li><a href="difference.html">BlueCloth との違い</a></li>
 <li><a href="format-extension.html">Markdown 記法の拡張</a></li>
+<li><a href="encoding-rule.html">エンコーディングの取り扱い</a></li>
 </ul>
 
 

data/lib/bluefeather.rb

@@ -42,8 +42,8 @@ require 'uri'
 
 
 module BlueFeather
-	VERSION = '0.11'
-	VERSION_NUMBER = 0.11
+	VERSION = '0.20'
+	VERSION_NUMBER = 0.20
 
 
 	# Fancy methods
@@ -54,8 +54,8 @@ module BlueFeather
 		
 		alias parse parse_text
 		
-		def parse_document(src)
-			Parser.new.parse_document(src)
+		def parse_document(src, default_enc = EncodingType::UTF8)
+			Parser.new.parse_document(src, default_enc)
 		end
 
 
@@ -65,8 +65,8 @@ module BlueFeather
 		
 		alias parse_file parse_text_file
 		
-		def parse_document_file(path)
-			Parser.new.parse_document_file(path)
+		def parse_document_file(path, default_enc = EncodingType::UTF8)
+			Parser.new.parse_document_file(path, default_enc)
 		end
 	end
 	
@@ -95,9 +95,16 @@ module BlueFeather
 	
 	module EncodingType
 		EUC = 'euc-jp'
+		EUCJP = EUC_JP = EUC
+		
 		SJIS = 'shift-jis'
+		SHIFT_JIS = SJIS
+		
 		UTF8 = 'utf-8'
+		UTF_8 = UTF8
+		
 		ASCII = 'ascii'
+		US_ASCII = ASCII
 		
 		def self.type_to_kcode(type)
 			case type
@@ -125,6 +132,7 @@ module BlueFeather
 				raise EncodingError, "not adapted encoding type - #{type} (shift-jis, euc-jp, utf-8, or ascii)"
 			end
 		end
+
 	end
 	
 	module Util
@@ -184,36 +192,84 @@ module BlueFeather
 		alias text= body=
 		
 		class << self
-			def parse(source)
-				s = StringScanner.new(source)
+			def parse_io(input, default_enc = EncodingType::UTF8)
 				headers = {}
+				body = nil
+				first_pos = input.pos
 				
-				Util.change_kcode(nil){
+				Util.change_kcode(EncodingType.type_to_kcode(default_enc)){
+					# default encoding
+					if defined?(Encoding) then
+						input.set_encoding(Encoding.find(default_enc))
+					end
+					
+					
+					
 					# get headers
-					while s.scan(HEADER_PATTERN) do
-						key = s[1].downcase; value = s[2]
-						headers[key] = value
+					pos_before_gets = nil
+
+					loop do
+						pos_before_gets = input.pos
 						
-						if key == 'encoding' then
-							if s.string.respond_to?(:force_encoding) then
-								s.string.force_encoding(value)
-							else
-								$KCODE = EncodingType.type_to_kcode(value.downcase)
+						line = input.gets
+						if line and line.chomp =~ HEADER_PATTERN then
+							key = $1.downcase; value = $2
+							
+							if key == 'encoding' and not headers.include?('encoding') then
+								kc = EncodingType.type_to_kcode(value.downcase)
+								if input.respond_to?(:set_encoding) then
+									input.set_encoding(value.downcase)
+									
+									# rewind (reason => [ruby-list:45988])
+									input.pos = first_pos
+								else
+									$KCODE = kc
+								end
 							end
+							
+							headers[key] = value
+						else
+							# EOF or Metadata end
+							break
 						end
 					end
 					
+					# back
+					input.pos = pos_before_gets
+					
+					
+					
 					# skip blank lines
-					while s.scan(BLANK_LINE_PATTERN) do
+					loop do
+						pos_before_gets = input.pos
+
+						line = input.gets
+						if line.nil? or not line =~ BLANK_LINE_PATTERN then
+							break
+						end
 					end
+					
+					# back
+					input.pos = pos_before_gets
+					
+					
+					
+					# get body
+					body = input.read
+
 				}
 				
-				body = s.peek(source.length - s.pos + 1)
+				
 				return self.new(headers, body)
 			end
 			
+			def parse(str, default_enc = EncodingType::UTF8)
+				parse_io(StringIO.new(str), default_enc)
+			end
+	
 		end
 		
+		
 		def initialize(headers = {}, body = '')
 			@headers = headers
 			@body = body
@@ -437,12 +493,19 @@ module BlueFeather
 		alias parse_file parse_text_file
 		
 		
-		def parse_document(source)
-			document_to_html(Document.parse(source))
+		def parse_document(source, default_enc = EncodingType::UTF8)
+			doc = Document.parse_io(source, default_enc)
+			
+			return document_to_html(doc)
 		end
 		
-		def parse_document_file(path)
-			parse_document(File.read(path))
+		def parse_document_file(path, default_enc = EncodingType::UTF8)
+			doc = nil
+			open(path){|f|
+				doc = Document.parse_io(f, default_enc)
+			}
+			
+			return document_to_html(doc)
 		end
 		
 		
@@ -453,11 +516,6 @@ module BlueFeather
 			
 			if doc.encoding_type then
 				Util.change_kcode(doc.kcode){
-					# for scene when doc.encoding changed after Document.parse
-					if doc.body.respond_to?(:force_encoding) then
-						doc.body.force_encoding(doc.encoding_type)
-					end
-					
 					body_html = parse_text(doc.body, rs)
 				}
 			else
@@ -855,7 +913,22 @@ module BlueFeather
 			[ ]*$   # optional space on line-foot
 		}ix
 		
-		TOCStartLevelRegexp = /^h([1-6])[.]{2,}$/i       # $1 = level
+		TOCStartLevelRegexp = %r{
+			^
+			(?:              # optional start
+				h 
+				([1-6])        # $1 = start level
+			)?
+			
+			(?:              # range symbol
+				[.]{2,}|[-]    # .. or -
+			)
+			
+			(?:              # optional end
+				h?             # optional 'h'
+				([1-6])        # $2 = end level
+			)?$
+		}ix       
 
 		### Transform any Markdown-style horizontal rules in a copy of the specified
 		### +str+ and return it.
@@ -863,19 +936,25 @@ module BlueFeather
 			@log.debug " Transforming tables of contents"
 			str.gsub(TOCRegexp){
 				start_level = 2 # default
+				end_level = 6
 			
 				param = $1
 				if param then
 					if param =~ TOCStartLevelRegexp then
-						start_level = $1.to_i
+						if !($1) and !($2) then
+							rs.warnings << "illegal TOC parameter - #{param} (valid example: 'h2..h4')"
+						else
+							start_level = ($1 ? $1.to_i : 2)
+							end_level = ($2 ? $2.to_i : 6)
+						end
 					else
-						rs.warnings << "illegal TOC parameter - #{param} (valid example: 'h2..')"
+						rs.warnings << "illegal TOC parameter - #{param} (valid example: 'h2..h4')"
 					end
 				end
 			
 				ul_text = "\n\n"
 				rs.headers.each do |header|
-					if header.level >= start_level then
+					if header.level >= start_level and header.level <= end_level then
 						ul_text << ' ' * TabWidth * (header.level - start_level)
 						ul_text << '* '
 						ul_text << %Q|<a href="##{header.id}" rel="toc">#{header.content_html}</a>|
@@ -1212,9 +1291,17 @@ module BlueFeather
 				codeblock = $1
 				remainder = $2
 				
+				
+				tmpl = %{\n\n<pre><code>%s\n</code></pre>\n\n%s}
+				
+				# patch for ruby 1.9.1 bug
+				if tmpl.respond_to?(:force_encoding) then
+					tmpl.force_encoding(str.encoding)
+				end
+				args = [ encode_code( outdent(codeblock), rs ).rstrip, remainder ]
 				# Generate the codeblock
-				%{\n\n<pre><code>%s\n</code></pre>\n\n%s} %
-					[ encode_code( outdent(codeblock), rs ).rstrip, remainder ]
+				
+				 tmpl % args
 			}
 		end
 		

data/lib/bluefeather/cui.rb

@@ -1,4 +1,6 @@
+#
 # BlueFeather Command-line Interface
+#
 require 'optparse'
 require 'benchmark'
 require 'stringio'
@@ -108,6 +110,7 @@ More info:
 				return false
 			end
 			
+			message_out.puts "default encoding: #{encoding}"
 			
 			unless defined?(Encoding) then
 				# ruby 1.8 or earlier
@@ -129,7 +132,7 @@ More info:
 					
 					# default: text
 					if format == DOCUMENT then
-						@stdout.write(BlueFeather.parse_document(src))
+						@stdout.write(BlueFeather.parse_document(src, encoding))
 					else
 						@stdout.write(BlueFeather.parse_text(src))
 					end
@@ -173,17 +176,15 @@ More info:
 								end
 							end
 							
-							open_mode = (defined?(Encoding) ? "r:#{encoding}" : 'r')
-							
 							# parse
 							parsing_sec = Benchmark.realtime{
 								case current_format
 								when DOCUMENT
 									message_out.puts "[document] #{src}" if verbose
-									text = src.open(open_mode){|x| x.read}
-									html = BlueFeather.parse_document(text)
+									html = BlueFeather.parse_document_file(src, encoding)
 								when TEXT
 									message_out.puts "[text] #{src}" if verbose
+									open_mode = (defined?(Encoding) ? "r:#{encoding}" : 'r')
 									text = src.open(open_mode){|x| x.read}
 									html = BlueFeather.parse_text(text)
 								end
@@ -196,7 +197,7 @@ More info:
 								message_out.puts "#{src} => #{dest} (#{File.size(dest)} byte)"
 						
 								if verbose then
-									message_out.puts sprintf('(parsing time: %g sec)', parsing_sec)
+									message_out.puts sprintf('  (parsing time: %g sec)', parsing_sec)
 								end
 							end # if html
 						end # if ext == suffix

data/spec/encoding_sample_eucjp.bfdoc

@@ -0,0 +1,3 @@
+Encoding: EUC-JP
+
+���Υƥ����ȥե�����ϡ����󥳡��ǥ��󥰥ƥ����ѤΥƥ����ȤǤ���

data/spec/encoding_sample_sjis.bfdoc

@@ -0,0 +1,3 @@
+Encoding: Shift-JIS
+
+���̃e�L�X�g�t�@�C���́A�G���R�[�f�B���O�e�X�g�p�̃e�L�X�g�ł��B

data/spec/encoding_sample_utf8.bfdoc

@@ -0,0 +1,3 @@
+Encoding: UTF-8
+
+このテキストファイルは、エンコーディングテスト用のテキストです。

data/spec/toc.rb

@@ -3,18 +3,8 @@ require(Pathname.new(__FILE__).parent + 'lib/common.rb')
 
 
 describe 'TOC:' do
-	before(:each) do
-		@bf = BlueFeather::Parser.new
-		@html = @bf.parse_text(@src)
-		@doc = Hpricot(@html)
-	end
-
-
-	describe 'basic:' do
-		before(:all) do
-			@src = <<-MARKDOWN
-{toc}
-
+	before(:all) do
+		@header_part = <<MARKDOWN
 # h1 #
 ## h2a ##
 ## h2b ##
@@ -22,15 +12,32 @@ describe 'TOC:' do
 ### h3b ###
 ### h3c ###
 ## h2c ##
-			MARKDOWN
-		end
-		
+MARKDOWN
+	end
+
+	before(:each) do
+		@bf = BlueFeather::Parser.new
+		@html = @bf.parse_text(@src)
+		@doc = Hpricot(@html)
+	end
+	
+	
+	share_as :ContentOverview do
 		specify 'overview' do
 			@doc.should have_element('ul')
 			@doc.should have_elements(1, 'h1')
 			@doc.should have_elements(3, 'h2')
 			@doc.should have_elements(3, 'h3')
 		end
+	end
+
+
+	describe 'basic:' do
+		include ContentOverview
+		before(:all) do
+			@src = "{toc}\n\n" +  @header_part
+		end
+		
 		
 		specify 'list structure' do
 			toc = @doc.at('ul')
@@ -57,7 +64,33 @@ describe 'TOC:' do
 
 	end
 
-	
+	describe 'range:' do
+		include ContentOverview
+		before(:all) do
+			@src = "{toc:h1..h2}\n\n" +  @header_part
+		end
+		
+		specify 'list structure' do
+			toc = @doc.at('ul')
+			toc['class'] = 'toc'
+			
+			@doc.should have_elements(1, 'ul.toc > li')
+			@doc.should have_elements(1, 'ul.toc > li > ul')
+			@doc.should have_elements(3, 'ul.toc > li > ul > li')
+		end
+		
+		specify 'list content' do
+			toc = @doc.at('ul')
+			toc['class'] = 'toc'
+			
+			items2 = @doc.search('ul.toc > li > ul > li')
+			items2[0].inner_text.should == 'h2a'
+			items2[1].inner_text.should == 'h2b'
+			items2[2].inner_text.should == 'h2c'
+		end
+
+	end
+
 	
 
 

metadata

@@ -1,7 +1,7 @@
 --- !ruby/object:Gem::Specification 
 name: bluefeather
 version: !ruby/object:Gem::Version 
-  version: "0.11"
+  version: "0.20"
 platform: ruby
 authors: 
 - Dice
@@ -9,7 +9,7 @@ autorequire:
 bindir: bin
 cert_chain: []
 
-date: 2009-02-27 00:00:00 +09:00
+date: 2009-05-04 00:00:00 +09:00
 default_executable: 
 dependencies: []
 
@@ -34,6 +34,9 @@ files:
 - spec/code-block.rb
 - spec/cui.rb
 - spec/dl.rb
+- spec/encoding_sample_eucjp.bfdoc
+- spec/encoding_sample_sjis.bfdoc
+- spec/encoding_sample_utf8.bfdoc
 - spec/escape-char.rb
 - spec/footnote.rb
 - spec/header-id.rb
@@ -72,12 +75,16 @@ files:
 - doc/en/class-reference.html
 - doc/en/difference.bfdoc
 - doc/en/difference.html
+- doc/en/encoding-rule.bfdoc
+- doc/en/encoding-rule.html
 - doc/en/format-extension.bfdoc
 - doc/en/format-extension.html
 - doc/en/index.bfdoc
 - doc/en/index.html
 - doc/en/metadata-reference.bfdoc
 - doc/en/metadata-reference.html
+- doc/encoding-rule.bfdoc
+- doc/encoding-rule.html
 - doc/format-extension.bfdoc
 - doc/format-extension.html
 - doc/index.bfdoc