securemark 0.295.9 → 0.296.0

package/CHANGELOG.md

@@ -1,5 +1,9 @@
 # Changelog
 
+## 0.296.0
+
+- Change link, media, annotation, and reference parsers to disallow invisible leading content.
+
 ## 0.295.9
 
 - Refactoring.

package/design.md

@@ -296,7 +296,7 @@ CommonMarkは初手設計ミスったせいで構文一つで最悪計算量32n
 SecuremarkのAnnotation構文に典型的であるように文脈を変更する構文の中にその文脈に依存し変更される他の構文が存在する場合文脈の相違から解析結果を再利用不能(`αAβ | αA'B`)なバックトラックが生じる。またこの結果再帰的バックトラックが生じる可能性があり再帰的バックトラックは一般的にメモ化により解決されるがCommonMarkは最小計算量と実行性能を追及するためメモ化を廃止していることからメモ化により性能を低下させてまで文脈依存構文の問題を解決するつもりはないと思われる(すなわちCommonMarkは機械を至上とし人間に制約を課す低水準の言語であり人間の需要と生産性を至上とする高水準の言語であるSecuremarkの対極に位置する)。従ってCommonMarkは再帰的バックトラックなしで解析可能な構文と最小計算量に制約され基本的に再帰的バックトラックが生じるものである文脈依存構文を追加できないという拡張性の欠陥が存在する(CommonMarkは文脈を変えず`*A*`の記号と解釈を変更しただけの`~~A~~`のような文脈自由構文は容易に追加できるが他の構文を包含可能な文脈依存構文はリンク構文で発生している再帰的バックトラックまたはその修正のために激増した計算量を組み合わせ爆発により指数関数的に致命的に悪化させるため追加できない。例えばすでに最悪計算量32nであるリンク構文を包含した追加構文が1回バックトラックするだけで最悪計算量が32n\*2=64nに悪化し追加構文がリンク構文と同じく最悪計算量32nなら全体の最悪計算量は32n\*32=n\*32^2=1024nとなる。すなわちCommonMarkの最悪計算量は再帰的バックトラックが生じる構文の数mに対してO(n\*32^m)と驚異的かつ絶望的に劣悪な計算量であり構文数が一つであろうと自己再帰可能ならば入れ子数mに対して同じくO(n\*32^m)となる。なお一般的に実用可能な計算量の上限はO(n^3)であるためCommonMarkは文脈依存構文数または入れ子数m>3になるだけで実用可能な計算量の上限を超える。すなわちCommonMarkは自己再帰可能な文脈依存構文を定義することが不可能である。この事実に開発開始から数年後に直面し再帰数の上限を32回に制限することで指数計算量を防ぐも依然として32nという非常識な計算量になっているのがリンク構文とイメージ構文である。なおリンク構文とイメージ構文を入れ子にできているのはイメージ構文を入れる角括弧部分が文脈自由部分だからであり文脈依存部分である丸括弧部分は入れ子になっておらず文脈依存部分の入れ子が生じていないからである。しかし文脈依存構文を追加してリンク構文を包含すれば丸括弧部分を包含し文脈依存部分が入れ子になり計算量の爆発を避けられない)。CommonMarkの仕様策定者が構文の拡張に(名称を維持するか否かにかかわらず)不自然なまでに消極的であり進展がないのは正当な理由や単なる怠慢からでなく構文追加可否を議論すればCommonMarkは理論的欠陥により最悪計算量が絶望的に劣悪であるため文脈依存構文を追加できないというCommonMarkの設計の破綻と失敗が明らかになることが避けられないためおよび最小計算量を放棄して現在の高い実行性能を低下させたくないためであり陳腐な自尊心を守るためにこのような計算量と拡張性の根本的欠陥を秘匿しCommonMarkとその仕様策定者である自分の評価が下がらないよう画策しているからである。でなければこの計算量と拡張性の根本的欠陥を何年も隠蔽せず速やかに公表して助力を求めていなければならず不都合な事実を隠し陳腐な自尊心を守るために全Markdown利用者および開発者を不必要に足止めした罪は重い。
 CommonMarkは小さく単純であるうちだけ破綻せずに正しく見せかけられる象牙の塔であり仕様策定者はこの見せかけの正しさを失わず正しいままでいたいがために象牙の塔に引きこもり小さな表面的正しさに固執し続けているに過ぎない。しかしCommonMarkは実際にはすでに致命的に破綻しており本来文脈依存言語であるMarkdownを文脈自由言語として解析しようとして失敗したことで指数計算量(正確には指数計算量より悪い階乗計算量)になっており実際のところCommonMarkは最初から最後までずっと壊れている。CommonMarkは可能な限り文脈自由言語として設計することでバックトラックなく最小計算量で解析しようとしているが実際には文脈依存言語であるMarkdownから文脈依存構文を文脈自由構文に変換して再帰的バックトラックを除去することに失敗しているためCommonMarkは最初の数年間は再帰的バックトラックに気づかず最悪計算量が指数計算量になっており修正後も依然として最悪計算量が当初の想定の1nから32nへと劇的に悪化している(より正確にはCommonMarkは少なくともCode構文とHTML構文により+2nされるが説明の簡略化のため省略しこれら以外のInline構文のみを比較する)。CommonMarkが最初の数年間他人に指摘され修正されるまで指数計算量であった事実(https://github.com/commonmark/cmark/commit/45f4fc9b917c11221aa03e70a41e3046335a235d)はCommonMarkが初歩的な再帰的バックトラックの原理すら理解していないド素人により設計された素人仕事である事実を証明しておりたかが強調構文の解析のためにメモ化を行い(https://github.com/commonmark/commonmark.js/commit/6d7d6cf150dedb53b7f0972b79313df3364ebbed https://github.com/commonmark/commonmark.js/blob/ac8529c9f55da7fdc1186e3f34313cf411de6e71/js/stmd.js )他人にメモ化を使わない正しい実装に修正された事実(https://github.com/commonmark/commonmark.js/commit/8837f199608ac2e321f75653736747b1e692072f)もまたCommonMarkの仕様策定者がその任に堪える能力のないド素人である事実を証明している。スタックを使う代わりにメモ化するド素人の能力を誰が擁護できるのか？ド素人が作った結果初歩的な再帰的バックトラックすら他人に指摘されるまで気づかず修正後も最悪計算量が32nにまで著しく悪化した設計が正しいと言えるのか？不可能である。一貫してド素人により設計開発仕様策定されているCommonMarkは仕様策定が停滞し未だに1nの最小計算量に固執しているがそんなものはCommonMarkの破綻と失敗が露呈するを恐れて隠蔽しまたとっくの昔に破綻している最小計算量のための設計に未練がましく執着しているだけである。32nという最悪計算量は適切に設計し計算量が抑制された文脈依存言語の最悪計算量より悪く最初から文脈依存言語として適切に設計するほうが自然で破綻がなく拡張性を確保できていた。たった一つの構文だけで最悪計算量が32nも増加するクソ言語に拡張性がないことは明らかである。さらにSecuremarkは再帰的バックトラックを予め対策して設計されているため文脈依存構文数が増えても最悪計算量はたかだか構文数に比例して線形にしか増加しないのに対してCommonMarkは再帰的バックトラックに根本的対策を取れないため文脈依存構文数が増えると最悪計算量が指数関数的に致命的に爆発する。または計算量を組み合わせ爆発させないために文脈依存構文の入れ子使用を制限する、存在自体が破綻と失敗の宣言に等しい制限が必要になる。文脈依存構文を強引に文脈自由構文として解析しようとして失敗したために最悪計算量が当初の想定の1nから32nに劇的に悪化し結局文脈依存言語の妥当な最悪計算量より悪い水準に落ちていることおよび文脈依存構文を追加すると最悪計算量が指数関数的に悪化することから文脈自由化に失敗したCommonMarkの破綻と失敗は明らかでありCommonMarkは文脈自由構文に固執せず最初から多少の文脈依存構文を許容するよう設計しなければならなかった。実際には文脈依存言語であるにもかかわらず文脈自由言語の範囲でしか構文解析できなければ構文解析が破綻し構文が増えるほど破綻が拡大することは自明でありすでに破綻済みで失敗済みのCommonMarkに未来などない。文脈依存言語であるMarkdownに対して文脈自由構文解析器として作られたCommonMarkは最初から開発戦略と技術選択を間違え失敗しており最初から破綻していた。CommonMarkが文脈依存言語を文脈自由言語として最小計算量で解析するために使用した手法は邪道の小手先の技術に過ぎずCommonMarkは邪道を選んだ挙句失敗に終わったのである。文脈依存言語を文脈依存言語のまま解析する正道を選んだSecuremarkが正着し文脈依存言語を文脈自由言語に歪める邪道を選んだCommonMarkが失着に終わったのは当然の帰結であり最初の解析戦略時選択の時点で決まっていたことである。文脈依存言語であるMarkdownを文脈自由言語として解析しようとした結果行き詰ったCommonMarkとその閉塞に技術的合理性はなくCommonMarkは最初からの失敗していた過去の遺物であり廃棄すべき負債である。CommonMarkに動きがないのはすでに破綻しており死んでいることに気付かれないように死んでいるからに過ぎない。このようにCommonMarkは完全に破綻し失敗に終わっているためCommonMarkの拡張や発展を期待しても無駄であり既存の文脈依存構文の最悪計算量を健全化し新たに文脈依存構文を追加可能な拡張性の高いMarkdown仕様は新しく作り直さなければ作れない。しかしCommonMarkの仕様策定者は独自の新しい仕様においても依然としてMarkdownを文脈自由化して文脈自由言語として設計しているため文脈依存構文を追加すると指数計算量になり救いようがない。しかもその構文と仕様は機械可読性を至上としているため非常に醜く人間が書くことも読むことも困難で人間に対する実用性が欠如している。
 Securemarkはスーパークラス構文が解析に失敗した入力をサブクラス構文で解析しないことにより再帰的バックトラックを回避する(解析中の構文自身はスーパークラスとサブクラスの両方に含まれるものとする)。スーパークラス構文A(`αAβ`)の解析が失敗すればサブクラス構文B(`α'Aβ'`)の解析も失敗することは自明であり試みるまでもなく解析を省略できる。これは二つの構文の文法が生成する各言語空間がスーパーセットとサブセットの関係にあるならスーパーセットの言語空間の外にある文字列はサブセットの言語空間の内に入る余地がないことからも自明である(この解析法は事前解析によっても可能だが文脈内外のオートリンクURLの括弧解析などを高速に行うこともバックトラックなしで解析することも困難であり本解析に近い解析コストを要するためMarkdownをこの事前解析により高速化することは難しい)。メモ化は解析結果の再利用による高速化の副次的または追加的効果として再帰的バックトラックを回避しているのでありメモ化は再帰的バックトラックを回避するだけなら過剰であり不要である(メモ化はバックトラックがなければ使用されないためバックトラックが少ないほとんどの入力に対してはほとんど使用されず無駄であり空間計算量を不必要に常時数倍以上増加させることから構文解析において必須にも標準にもできない。再帰的バックトラック回避のためにメモ化するとバックトラックなしで解析可能な場合も常に不必要に空間計算量が増加し平均計算量が有意に悪化することがメモ化の最大の欠点である(この問題は解析失敗時のみメモ化すれば解消可能のはずだが基本的にはこうなる)。特に文脈自由構文解析器におけるメモ化の使用は完全に無駄でありバグである。バックトラックが発生しないか他の方法で解決されるならば使用されず破棄されるメモ化は無駄である。複数の文脈で解析結果が同一である文脈独立性のある構文ならメモ化した解析結果を異なる文脈で再利用でき有用だがそのような構文は基本的に少数であるため効果が限定的であり最悪計算量は改善されない。文脈依存構文の解析を困難にするメモ化のコストの重さは解析に本来不要な高速化のために生じており不要な高速化とこのためのコストを除去すれば再帰的バックトラック回避機能だけを低コストで標準的に使用しこれまで高コストであったため敷居が高く使用困難であった文脈依存言語を低コストで手軽に定義および解析できるようになる)。この解析法により、CommonMarkならば最悪計算量がn\*32^5=33,554,432nとなる拡張Markdown言語をSecuremarkはメモ化なしで6nの最悪時間計算量で解析している。言語差を考慮せず直接比較してさえ単純なCommonMarkの最悪計算量32nに対して複雑なSecuremarkは6nに過ぎずSecuremarkはCommonMarkより最悪計算量が非常に小さい。またSecuremarkはメモ化を行っていないため空間計算量も小さい。時間計算量と空間計算量を合わせてO(n, n)と表記すると文脈依存言語の通常の最悪計算量はO(n^2, n)、メモ化により効率化できた場合もO(nm, nm)(S(m)>=m byte)(解析結果の位置や構文木等を記録するため空間使用量S(m)>はm byte以上となり数値一つやポインタ一つだけでも8byteを消費する)に過ぎないがSecuremarkのマーキング法はO(nm, nm)(S(m)=m bit)(解析の失敗フラグしか記録しないためS(m)=m bit。また包含文字列を含め全体でn byteの構文1つに対して解析結果の構文木を保持するメモ化は少なくとも構文木のサイズn byteを消費するがマーキング法のメモリ消費量は構文全体のサイズにかかわらず1bit固定である。よって100KBの構文1つに対してメモ化は100KB以上消費するがこの場合もマーキング法は1bitしか消費しない。なお成功フラグによる解析は成功フラグがないのが失敗したからか未到達だからかを判別するための情報と処理が追加で必要になり処理が複雑化しさらに成功フラグは解析のほとんどを占める成功した解析に対してメモリ消費と追加処理が発生し解析効率が全体として悪化するが失敗フラグは少数の失敗した解析でしか解析効率が悪化しないため失敗フラグを記録するほうが全体および平均として解析効率が高く優れている)と極めて効率的であり最も優れている。以上のようにSecuremarkの構文解析アルゴリズムの優位性は理論と実践いずれにおいても圧倒的である。現在のSecuremarkは開発効率と安全性優先の実装により実行性能が大きく低下しているがクライアントで個別のユーザーの操作に応じるには十分高速であるためクライアントで解析するなら解析の効率または速度が実用上問題となることはなく仕様が固まり実行効率優先の高速な実装に移れば他の環境での懸念もないだろう。またSecuremarkの再帰数制限はパーサーコンビネーターの使用による再帰的関数呼び出しに対する実装方式依存の制限であるため計算量と無関係であり再帰的関数呼び出しが生じないよう書き換えれば再帰数制限もない。従ってCommonMarkは再帰上限数と最悪計算量が一致し再帰上限数32回と最悪計算量32nが一致するがSecuremarkの最悪計算量は再帰上限数が100回だろうと100万回だろうと6n固定である。SecuremarkをCommonMarkのような再帰数制限のない実装に変換することは設計上および理論的に何の問題もないがCommonMarkをSecuremarkのような正常な文脈依存言語解析器に変更することは現在の異常な解析規則の破壊的変更による修正なしに不可能である。具体的には二重リンク`[[]()]()`を解析するときCommonMarkはバックトラックと計算量を最小化すべく文脈自由構文解析器として設計されているためリンク構文内をリンク構文が定義されていない異なる文脈として解析せず外側のリンク構文の解析を破棄して内側のみリンク構文として解析するがSecuremarkは文脈依存構文解析器とし設計されているためリンク構文内にリンク構文が定義されておらず外側のみリンクとして解析し他のMarkdown構文解析器もこのように解析しなければならない(ここでCommonMarkはリンク構文`[]()`のバックトラック除去ひいては文脈自由化に角括弧部分`[]`に対しては成功したが丸括弧部分`()`に対しては失敗したことで最悪計算量が指数計算量ないし32nに悪化した。リンク構文を本来通り文脈依存構文として解析すればリンク構文の最悪計算量が2nとなり角括弧部分に限っては1nから2nに悪化するが丸括弧部分は32nから2nに著しく改善する。ここがCommonMarkの根本的な欠陥と失敗が最も明瞭に表出している部分である)。この問題はイメージ構文においてさらに顕著でありリンク構文と同じ問題が正当な表現`![![]()]()`で発生しさらにHTMLのaltはプレーンテキストとして表示されるためMarkdownのaltもプレーンテキストとしてそのまま表示されなければならないにもかかわらず文脈を一致させ再帰的バックトラックを防ぐためにMarkdown文字列として解析しaltに`*a*`と書かれたものを`a`に不正に変換して表示する。無論新しい文脈依存構文を追加する場合も同じ制約が永遠についてまわり構文内文字列をMarkdownとして解析する文脈依存構文においてこの制約を破ると最悪計算量が32\*2^mないし32^mで指数関数的に増加する。すなわちCommonMarkは文脈依存構文を追加すると最悪計算量が32\*2^mないし32^mで指数関数的に悪化するという拡張性の致命的欠陥が存在する。こんな最悪計算量が32^mで組み合わせ爆発する欠陥言語を拡張できるわけがないことはもはや明白である。また大多数のプログラミング言語を見ても明らかなように文脈依存言語は構文内で使用可能な構文を定義しその他の構文は使用できず例外処理するのが通常でありCommonMarkのように本来使用不能な構文を外側の構文を無効化して使用可能に変える異常な言語はほとんどの人間はCommonMark以外に見たことがないだろう。ほぼすべての人間において他のすべての言語が同じ一貫した規則を持ち同じ規則で統一的に使用できるのに対してCommonMarkだけが他と異なる異常な挙動をして使用者に認知的負荷をかけるのである。破壊的変更を避けるため旧構文だけ従来通り文脈自由構文として解析し新構文を文脈依存構文として解析すればキメラ的な非常に不自然かつ歪で一貫性のない解析規則によりCommonMarkという一つの言語の中だけでもユーザーを混乱させるものとなり旧構文で使用した苦肉の策を不必要に新構文でも使用して一貫させれば文脈依存言語なのに文脈自由言語の苦肉の策の解析規則で解析されるこれもまたキメラ的な非常に不自然かつ理論的に設計ミスが明白で実用的にも認知的負荷の高い言語となる。正しく設計された言語と解析器にはありえないこのような解析規則の根本的不整合はその不整合の存在そのものが言語と解析器が誤った設計による失敗作であることを証明しており不整合が存在する限りその不整合により自らが失敗作であることを宣言し続けることになる。CommonMarkとはそういう失敗した言語と解析器なのである。このようにCommonMarkは新構文だけまたは解析器だけ文脈依存に変更しても理論的齟齬が解析結果と使用感の不自然さと違和感に明白に表れるためCommonMarkが失敗した言語である事実は到底隠し切れるものではない。Markdownはもはや負債以外の何物でもないCommonMarkの異常な解析規則を捨てて素直な文脈依存構文言語として新しい仕様を作り直すのが賢明である。
-文脈依存言語を再帰的バックトラックなしで解析可能な方法は2つある。一つは解釈を予言的に決定する方法、もう一つは予備的または中間的その他事前の解析結果に対する解釈を事後に決定する方法である。前者は構文を峻別するための制約が強く後者は共通構造の適切な設計が必要でありいずれも再帰的バックトラックを防ぐために未終端の構文も受理する必要がある。しかし予言的解析は類似の異文脈構文へのバックトラックが不可能になるため共通構造についての事前解析結果のような追加情報を利用できるのでなければ類似の異文脈構文の定義が不可能になる。また共通構造をバックトラックなしで解析するにはそのための言語設計が必要であることに変わりなく任意の文字列を使用可能である必要があるURL、コード、数式などに含まれる任意の文字列が他の構文と文脈で解釈される際に共通構造を破壊するためこのような文字列を構造的に決定的に解釈する基本構造(バックトラック可能だが入力に対する解析結果がすべての文脈で構造的に共通すなわち決定的でなければならない。構文が解析されない場合も構文全体が包含されれば問題ない)を共通構造に定義しなければ構造的共通化は不可能であり分離構造は終端不要な開放可能構文としての予言的構文でなければバックトラックが不可避となる。共通構造の事前解析は一見すると最悪計算量を2nに削減できるように見えるが実際には共通構造をバックトラックなしで解析することが元の言語より容易にはなっても依然として難しくバックトラックなしで解析できたとしてもすべての解析ひいては平均計算量が+1nされるため平均的にはむしろ計算量を悪化させる方法であり仮に最悪計算量32nを事前解析により2nに抑えられたとしても平均計算量が1nならば平均計算量が2nに倍加し実行性能が半減および実行コストが倍加するため明らかに事前解析を行うべきでない。実用的なアルゴリズムの計算量において重要なのは最悪計算量がO(n^3)相当以下の実用的な計算量であるかと平均計算量でありその他は重要ではない。メモ化が空間計算量を代償に悪化させる最悪時間計算量線形化手法であるのに対して事前解析は平均時間計算量を代償に悪化させる最悪時間計算量線形化手法でありマーキング法は何も代償に悪化させない最悪時間計算量線形化手法である(無論ゼロコストではないが解析の他の部分やASTに要するコストより小さいため無視できる)。なおマーキング法を使用するSecuremarkは本来の構文解析と共通構造解析を統合し同時解析することで計算量の増加なく共通構造解析を行い共通構造を利用して最悪時間計算量を指数計算量から6nへ削減している。
+文脈依存言語を再帰的バックトラックなしで解析可能な方法は2つある。一つは解釈を予言的に決定する方法、もう一つは予備的または中間的その他事前の解析結果に対する解釈を事後に決定する方法である。前者は構文を峻別するための制約が強く後者は共通構造の適切な設計が必要でありいずれも再帰的バックトラックを防ぐために未終端の構文も受理する必要がある。しかし予言的解析は類似の異文脈構文へのバックトラックが不可能になるため共通構造についての事前解析結果のような追加情報を利用できるのでなければ類似の異文脈構文の定義が不可能になる。また共通構造をバックトラックなしで解析するにはそのための言語設計が必要であることに変わりなく任意の文字列を使用可能である必要があるURL、コード、数式などに含まれる任意の文字列が他の構文と文脈で解釈される際に共通構造を破壊するためこのような文字列を構造的に決定的に解釈する基本構造(バックトラック可能だが入力に対する解析結果がすべての文脈で構造的に共通すなわち決定的でなければならない。構文が解析されない場合も構文全体が包含されれば問題ない)を共通構造に定義しなければ構造的共通化は不可能であり分離構造は終端不要な開放可能構文としての予言的構文でなければバックトラックが不可避となる。共通構造の事前解析は一見すると最悪計算量を2nに削減できるように見えるが実際には共通構造をバックトラックなしで解析することが元の言語より容易にはなっても依然として難しくバックトラックなしで解析できたとしてもすべての解析ひいては平均計算量が+1nされるため平均的にはむしろ計算量を悪化させる方法であり仮に最悪計算量32nを事前解析により2nに抑えられたとしても平均計算量が1nならば平均計算量が2nに倍加し実行性能が半減および実行コストが倍加するため明らかに事前解析を行うべきでない。実用的なアルゴリズムの計算量において重要なのは最悪計算量がO(n^3)相当以下の実用的な計算量であるかと平均計算量でありその他は重要ではない。メモ化が空間計算量を代償に悪化させる最悪時間計算量線形化手法であるのに対して事前解析は平均時間計算量を代償に悪化させる最悪時間計算量線形化手法でありマーキング法は何も代償に悪化させない最悪時間計算量線形化手法である(無論ゼロコストではないが解析の他の部分やASTに要するコストより小さいため無視できる。空間計算量は実際にはASTにより容易に数倍になりメモリ使用量は入力サイズと並列数に制約されるため空間計算量自体はさほど重要ではなく空間計算量を増加させる処理により生じる時間オーバーヘッドのほうが本質的に重要となる。メモ化が常時記録かつ実データ記録ゆえデータ数もデータサイズも大きいのに対してマーキング法は失敗時記録かつフラグのみ記録ゆえデータ数もデータサイズも小さいことでオーバーヘッドが最小化されバックトラック率の低い入力が大多数を占める場合の平均解析速度が高速化される。平均性能すなわち重要指標が向上するならばその他の指標は許容範囲内で悪化させることができ不要な指標値を必要な指標値に変換できるならばそうしなければならない)。なおマーキング法を使用するSecuremarkは本来の構文解析と共通構造解析を統合し同時解析することで計算量の増加なく共通構造解析を行い共通構造を利用して最悪時間計算量を指数計算量から6nへ削減している。
 
 ### 実行性能
 

package/dist/index.js

@@ -1,4 +1,4 @@
-/*! securemark v0.295.9 https://github.com/falsandtru/securemark | (c) 2017, falsandtru | UNLICENSED License */
+/*! securemark v0.296.0 https://github.com/falsandtru/securemark | (c) 2017, falsandtru | UNLICENSED License */
 (function webpackUniversalModuleDefinition(root, factory) {
 	if(typeof exports === 'object' && typeof module === 'object')
 		module.exports = factory(require("Prism"), require("DOMPurify"));
@@ -4387,9 +4387,7 @@ Object.defineProperty(exports, "__esModule", ({
   value: true
 }));
 exports.escape = exports.invisibleHTMLEntityNames = exports.normalize = void 0;
-const parser_1 = __webpack_require__(605);
-const context_1 = __webpack_require__(8669);
-const htmlentity_1 = __webpack_require__(470);
+const dom_1 = __webpack_require__(394);
 const UNICODE_REPLACEMENT_CHARACTER = '\uFFFD';
 function normalize(source) {
   return sanitize(format(source));
@@ -4398,7 +4396,7 @@ exports.normalize = normalize;
 function format(source) {
   return source.replace(/\r\n?|[\u2028\u2029]/g, '\n');
 }
-const invalid = new RegExp([/(?![\t\r\n])[\x00-\x1F\x7F]/g.source, /(?!\u200D)[\u2006\u200B-\u200F\u202A-\u202F\u2060\uFEFF]/g.source
+const invalid = new RegExp([/(?![\t\r\n])[\x00-\x1F\x7F]/g.source, /(?![\u200C\u200D])[\u2006\u200B-\u200F\u202A-\u202F\u2060\uFEFF]/g.source
 // 後読みが重い
 ///(?<![\u1820\u1821])\u180E/g.source,
 ///[\uD800-\uDBFF](?![\uDC00-\uDFFF])|(?<![\uD800-\uDBFF])[\uDC00-\uDFFF]/g.source,
@@ -4409,8 +4407,13 @@ function sanitize(source) {
 // https://dev.w3.org/html5/html-author/charref
 // https://en.wikipedia.org/wiki/Whitespace_character
 exports.invisibleHTMLEntityNames = ['Tab', 'NewLine', 'NonBreakingSpace', 'nbsp', 'shy', 'ensp', 'emsp', 'emsp13', 'emsp14', 'numsp', 'puncsp', 'ThinSpace', 'thinsp', 'VeryThinSpace', 'hairsp', 'ZeroWidthSpace', 'NegativeVeryThinSpace', 'NegativeThinSpace', 'NegativeMediumSpace', 'NegativeThickSpace', 'zwj', 'zwnj', 'lrm', 'rlm', 'MediumSpace', 'NoBreak', 'ApplyFunction', 'af', 'InvisibleTimes', 'it', 'InvisibleComma', 'ic'];
+const parser = (el => entity => {
+  if (entity === '&NewLine;') return entity;
+  el.innerHTML = entity;
+  return el.textContent;
+})((0, dom_1.html)('span'));
 const unreadableEscapeHTMLEntityNames = exports.invisibleHTMLEntityNames.filter(name => !['Tab', 'NewLine', 'NonBreakingSpace', 'nbsp', 'zwj', 'zwnj'].includes(name));
-const unreadableEscapeCharacters = unreadableEscapeHTMLEntityNames.map(name => (0, htmlentity_1.unsafehtmlentity)((0, parser_1.input)(`&${name};`, new context_1.Context())).head.value);
+const unreadableEscapeCharacters = unreadableEscapeHTMLEntityNames.map(name => parser(`&${name};`));
 const unreadableEscapeCharacter = new RegExp(`[${unreadableEscapeCharacters.join('')}]`, 'g');
 // https://www.pandanoir.info/entry/2018/03/11/193000
 // http://anti.rosx.net/etc/memo/002_space.html
@@ -4421,7 +4424,7 @@ const unreadableSpecialCharacters = (/* unused pure expression or super */ null
 // ZERO WIDTH SPACE
 '\u200B',
 // ZERO WIDTH NON-JOINER
-'\u200C',
+//'\u200C',
 // ZERO WIDTH JOINER
 //'\u200D',
 // LEFT-TO-RIGHT MARK
@@ -6238,7 +6241,7 @@ const inline_1 = __webpack_require__(7973);
 const visibility_1 = __webpack_require__(6364);
 const util_1 = __webpack_require__(4992);
 const dom_1 = __webpack_require__(394);
-exports.annotation = (0, combinator_1.lazy)(() => (0, combinator_1.constraint)(128 /* State.annotation */, (0, combinator_1.surround)('((', (0, combinator_1.precedence)(1, (0, combinator_1.state)(128 /* State.annotation */, (0, visibility_1.trimBlankStart)((0, combinator_1.some)((0, combinator_1.union)([inline_1.inline]), ')', [[')', 1]])))), '))', false, [2, 1 | 4 /* Backtrack.common */, 3 | 128 /* Backtrack.doublebracket */], ([, ns], context) => context.linebreak === 0 ? new parser_1.List([new parser_1.Node((0, dom_1.html)('sup', {
+exports.annotation = (0, combinator_1.lazy)(() => (0, combinator_1.constraint)(128 /* State.annotation */, (0, combinator_1.surround)('((', (0, combinator_1.precedence)(1, (0, combinator_1.state)(128 /* State.annotation */, (0, visibility_1.beforeNonblank)((0, combinator_1.some)((0, combinator_1.union)([inline_1.inline]), ')', [[')', 1]])))), '))', false, [2, 1 | 4 /* Backtrack.common */, 3 | 128 /* Backtrack.doublebracket */], ([, ns], context) => context.linebreak === 0 ? new parser_1.List([new parser_1.Node((0, dom_1.html)('sup', {
   class: 'annotation'
 }, [(0, dom_1.html)('span', (0, dom_1.defrag)((0, util_1.unwrap)((0, visibility_1.trimBlankNodeEnd)(ns))))]))]) : undefined, (_, context) => {
   const {
@@ -7265,7 +7268,7 @@ const combinator_1 = __webpack_require__(3484);
 const source_1 = __webpack_require__(8745);
 const util_1 = __webpack_require__(4992);
 const dom_1 = __webpack_require__(394);
-exports.unsafehtmlentity = (0, combinator_1.surround)((0, source_1.str)('&'), (0, source_1.str)(/[0-9A-Za-z]+/y), (0, source_1.str)(';'), false, [3 | 8 /* Backtrack.unescapable */], ([as, bs, cs]) => new parser_1.List([new parser_1.Node(parser(as.head.value + bs.head.value + cs.head.value), (0, node_1.isinvisibleHTMLEntityName)(bs.head.value) ? 1 /* Flag.invisible */ : 0 /* Flag.none */)]), ([as, bs]) => new parser_1.List([new parser_1.Node(as.head.value + (bs?.head?.value ?? ''))]));
+exports.unsafehtmlentity = (0, combinator_1.surround)((0, source_1.str)('&'), (0, source_1.str)(/[0-9A-Za-z]+/y), (0, source_1.str)(';'), false, [3 | 8 /* Backtrack.unescapable */], ([as, bs, cs]) => new parser_1.List([new parser_1.Node(parser(as.head.value + bs.head.value + cs.head.value), (0, node_1.isInvisibleHTMLEntityName)(bs.head.value) ? 1 /* Flag.invisible */ : 0 /* Flag.none */)]), ([as, bs]) => new parser_1.List([new parser_1.Node(as.head.value + (bs?.head?.value ?? ''))]));
 exports.htmlentity = (0, combinator_1.fmap)((0, combinator_1.union)([exports.unsafehtmlentity]), ([{
   value,
   flags
@@ -7355,7 +7358,7 @@ const optspec = {
   rel: ['nofollow']
 };
 Object.setPrototypeOf(optspec, null);
-exports.textlink = (0, combinator_1.lazy)(() => (0, combinator_1.bind)((0, combinator_1.subsequence)([(0, combinator_1.constraint)(8 /* State.link */, (0, combinator_1.state)(251 /* State.linkers */, (0, combinator_1.dup)((0, combinator_1.surround)('[', (0, combinator_1.precedence)(1, (0, visibility_1.trimBlankStart)((0, combinator_1.some)((0, combinator_1.union)([inline_1.inline]), ']', [[']', 1]]))), ']', true, [3 | 4 /* Backtrack.common */ | 64 /* Backtrack.link */, 2 | 32 /* Backtrack.ruby */], ([, ns = new parser_1.List()], context) => {
+exports.textlink = (0, combinator_1.lazy)(() => (0, combinator_1.bind)((0, combinator_1.subsequence)([(0, combinator_1.constraint)(8 /* State.link */, (0, combinator_1.state)(251 /* State.linkers */, (0, combinator_1.dup)((0, combinator_1.surround)('[', (0, combinator_1.precedence)(1, (0, visibility_1.beforeNonblank)((0, combinator_1.some)((0, combinator_1.union)([inline_1.inline]), ']', [[']', 1]]))), ']', true, [3 | 4 /* Backtrack.common */ | 64 /* Backtrack.link */, 2 | 32 /* Backtrack.ruby */], ([, ns = new parser_1.List()], context) => {
   if (context.linebreak !== 0) {
     const head = context.position - context.range;
     return void (0, combinator_1.setBacktrack)(context, 2 | 64 /* Backtrack.link */ | 32 /* Backtrack.ruby */, head);
@@ -7595,15 +7598,20 @@ exports.media = (0, combinator_1.lazy)(() => (0, combinator_1.constraint)(4 /* S
   return ns;
 })), (0, combinator_1.dup)((0, combinator_1.surround)(/{(?![{}])/y, (0, combinator_1.precedence)(9, (0, combinator_1.inits)([link_1.uri, (0, combinator_1.some)(option)])), / ?}/y, false, [], undefined, ([as, bs]) => bs && as.import(bs).push(new parser_1.Node("\u0018" /* Command.Cancel */)) && as))]), nodes => nodes.length === 1 ? new parser_1.List([new parser_1.Node(new parser_1.List([new parser_1.Node('')])), nodes.delete(nodes.head)]) : new parser_1.List([new parser_1.Node(new parser_1.List([new parser_1.Node(nodes.head.value.foldl((acc, {
   value
-}) => acc + value, ''))])), nodes.delete(nodes.last)])), ([{
+}) => acc + value, ''), nodes.head.value.head?.flags)])), nodes.delete(nodes.last)])), ([{
   value: [{
-    value: text
+    value: text,
+    flags
   }]
 }, {
   value: params
 }], context) => {
-  if (text && text.trimStart() === '') return;
-  text = text.trim();
+  if (flags & 1 /* Flag.invisible */) return;
+  if (text) {
+    const tmp = text;
+    text = text.trim();
+    if (text === '' || text[0] !== tmp[0]) return;
+  }
   (0, combinator_1.consume)(100, context);
   if (params.last.value === "\u0018" /* Command.Cancel */) {
     params.pop();
@@ -7693,7 +7701,7 @@ const source_1 = __webpack_require__(8745);
 const visibility_1 = __webpack_require__(6364);
 const util_1 = __webpack_require__(4992);
 const dom_1 = __webpack_require__(394);
-exports.reference = (0, combinator_1.lazy)(() => (0, combinator_1.constraint)(64 /* State.reference */, (0, combinator_1.surround)((0, source_1.str)('[['), (0, combinator_1.precedence)(1, (0, combinator_1.state)(128 /* State.annotation */ | 64 /* State.reference */, (0, combinator_1.subsequence)([abbr, (0, visibility_1.trimBlankStart)((0, combinator_1.some)(inline_1.inline, ']', [[']', 1]]))]))), ']]', false, [2, 1 | 4 /* Backtrack.common */, 3 | 128 /* Backtrack.doublebracket */], ([, ns], context) => {
+exports.reference = (0, combinator_1.lazy)(() => (0, combinator_1.constraint)(64 /* State.reference */, (0, combinator_1.surround)((0, source_1.str)('[['), (0, combinator_1.precedence)(1, (0, combinator_1.state)(128 /* State.annotation */ | 64 /* State.reference */, (0, combinator_1.subsequence)([abbr, (0, visibility_1.beforeNonblank)((0, combinator_1.some)(inline_1.inline, ']', [[']', 1]]))]))), ']]', false, [2, 1 | 4 /* Backtrack.common */, 3 | 128 /* Backtrack.doublebracket */], ([, ns], context) => {
   const {
     position,
     range,
@@ -7976,12 +7984,9 @@ const bracket = (0, combinator_1.lazy)(() => (0, combinator_1.union)([(0, combin
 Object.defineProperty(exports, "__esModule", ({
   value: true
 }));
-exports.isinvisibleHTMLEntityName = void 0;
+exports.isInvisibleHTMLEntityName = void 0;
 const normalize_1 = __webpack_require__(4490);
-function isinvisibleHTMLEntityName(name) {
-  return normalize_1.invisibleHTMLEntityNames.includes(name);
-}
-exports.isinvisibleHTMLEntityName = isinvisibleHTMLEntityName;
+exports.isInvisibleHTMLEntityName = eval(['name => {', 'switch(name){', normalize_1.invisibleHTMLEntityNames.map(name => `case '${name}':`).join(''), 'return true;', 'default:', 'return false;', '}', '}'].join(''));
 
 /***/ },
 
@@ -8636,10 +8641,9 @@ const text = input => {
         case '\n':
           return new parser_1.List();
         default:
-          const flags = source[position + 1].trimStart() ? 0 /* Flag.none */ : 1 /* Flag.invisible */;
           (0, combinator_1.consume)(1, context);
           context.position += 1;
-          return new parser_1.List([new parser_1.Node(source.slice(position + 1, context.position), flags)]);
+          return new parser_1.List([new parser_1.Node(source.slice(position + 1, context.position))]);
       }
     case '\r':
       (0, combinator_1.consume)(-1, context);
@@ -8659,9 +8663,7 @@ const text = input => {
       context.position += i - 1;
       const linestart = position === 0 || source[position - 1] === '\n';
       if (position === context.position || s && !linestart || lineend) return new parser_1.List();
-      const str = source.slice(position, context.position);
-      const flags = str.length === 1 && str.trimStart() === '' ? 1 /* Flag.invisible */ : 0 /* Flag.none */;
-      return new parser_1.List([new parser_1.Node(str, flags)]);
+      return new parser_1.List([new parser_1.Node(source.slice(position, context.position))]);
   }
 };
 exports.text = text;
@@ -9034,18 +9036,18 @@ exports.stringify = stringify;
 Object.defineProperty(exports, "__esModule", ({
   value: true
 }));
-exports.trimBlankNodeEnd = exports.trimBlankEnd = exports.trimBlankStart = exports.trimBlank = exports.isTightNodeStart = exports.isLooseNodeStart = exports.beforeNonblank = exports.blankWith = exports.afterNonblank = exports.visualize = void 0;
+exports.trimBlankNodeEnd = exports.trimBlankEnd = exports.trimBlank = exports.isTightNodeStart = exports.isLooseNodeStart = exports.beforeNonblank = exports.blankWith = exports.afterNonblank = exports.visualize = void 0;
 const parser_1 = __webpack_require__(605);
 const combinator_1 = __webpack_require__(3484);
 const normalize_1 = __webpack_require__(4490);
-var blank;
-(function (blank) {
-  blank.line = new RegExp(/((?:^|\n)[^\S\n]*(?=\S))((?:[^\S\n]|\\(?=$|\s)|&IHN;|<wbr ?>)+(?=$|\n))/g.source.replace('IHN', `(?:${normalize_1.invisibleHTMLEntityNames.join('|')})`), 'g');
-  blank.start = new RegExp(/(?:[^\S\n]|\\(?=$|\s)|&IHN;|<wbr ?>)+/y.source.replace('IHN', `(?:${normalize_1.invisibleHTMLEntityNames.join('|')})`), 'y');
-  blank.unit = new RegExp(/(?:[^\S\n]|\\(?=$|\s)|&IHN;|<wbr ?>)/y.source.replace('IHN', `(?:${normalize_1.invisibleHTMLEntityNames.join('|')})`), 'y');
-})(blank || (blank = {}));
+var invisible;
+(function (invisible) {
+  invisible.line = new RegExp(/((?:^|\n)[^\S\n]*(?=\S))((?:[^\S\n]|\\(?=$|\s)|&IHN;|<wbr ?>)+(?=$|\n))/g.source.replace('IHN', `(?:${normalize_1.invisibleHTMLEntityNames.join('|')})`), 'g');
+  invisible.start = new RegExp(/(?:[^\S\n]|\\(?=$|\s)|&IHN;|<wbr ?>)+/y.source.replace('IHN', `(?:${normalize_1.invisibleHTMLEntityNames.join('|')})`), 'y');
+  invisible.unit = new RegExp(/(?:[^\S\n]|\\(?=$|\s)|&IHN;|<wbr ?>)/y.source.replace('IHN', `(?:${normalize_1.invisibleHTMLEntityNames.join('|')})`), 'y');
+})(invisible || (invisible = {}));
 function visualize(parser) {
-  return (0, combinator_1.convert)(source => source.replace(blank.line, `$1${"\u001B" /* Command.Escape */}$2`), parser);
+  return (0, combinator_1.convert)(source => source.replace(invisible.line, `$1${"\u001B" /* Command.Escape */}$2`), parser);
 }
 exports.visualize = visualize;
 exports.afterNonblank = nonblankWith('');
@@ -9079,7 +9081,7 @@ function isTightStart(input) {
     case '\n':
       return false;
     default:
-      const reg = blank.unit;
+      const reg = invisible.unit;
       reg.lastIndex = position;
       return !reg.test(source);
   }
@@ -9106,16 +9108,17 @@ function isVisible({
   value: node,
   flags
 }, strpos) {
-  if (strpos === undefined || typeof node !== 'string') return !(flags & 1 /* Flag.invisible */);
-  const char = node && node[strpos && node.length + strpos];
-  switch (char) {
+  if (flags & 1 /* Flag.invisible */) return false;
+  if (typeof node !== 'string') return true;
+  const str = node && strpos !== undefined ? node[strpos >= 0 ? strpos : node.length + strpos] : node;
+  switch (str) {
     case '':
     case ' ':
     case '\t':
     case '\n':
       return false;
     default:
-      return char.trimStart() !== '';
+      return str.trimStart() !== '';
   }
 }
 function trimBlank(parser) {
@@ -9132,14 +9135,13 @@ function trimBlankStart(parser) {
       position
     } = context;
     if (position === source.length) return;
-    const reg = blank.start;
+    const reg = invisible.start;
     reg.lastIndex = position;
     reg.test(source);
     context.position = reg.lastIndex || position;
     return context.position === source.length ? new parser_1.List() : parser(input);
   });
 }
-exports.trimBlankStart = trimBlankStart;
 function trimBlankEnd(parser) {
   return (0, combinator_1.fmap)(parser, trimBlankNodeEnd);
 }
@@ -9164,14 +9166,17 @@ exports.trimBlankEnd = trimBlankEnd;
 //  return nodes;
 //}
 function trimBlankNodeEnd(nodes) {
-  const skip = typeof nodes.last?.value === 'object' && nodes.last.value.className === 'indexer';
-  for (let node = skip ? nodes.last?.prev : nodes.last; node && !isVisible(node, -1);) {
-    if (typeof node.value === 'string') {
+  const skip = nodes.last && ~nodes.last.flags & 1 /* Flag.invisible */ && typeof nodes.last.value === 'object' ? nodes.last.value.className === 'indexer' : false;
+  for (let node = skip ? nodes.last?.prev : nodes.last; node;) {
+    const visible = ~node.flags & 1 /* Flag.invisible */;
+    if (visible && typeof node.value === 'string') {
       const str = node.value.trimEnd();
       if (str.length > 0) {
         node.value = str;
         break;
       }
+    } else if (visible) {
+      break;
     }
     const target = node;
     node = node.prev;

package/package.json

@@ -1,6 +1,6 @@
 {
   "name": "securemark",
-  "version": "0.295.9",
+  "version": "0.296.0",
   "description": "Secure markdown renderer working on browsers for user input data.",
   "private": false,
   "homepage": "https://github.com/falsandtru/securemark",

package/src/combinator/data/parser.ts

@@ -69,6 +69,8 @@ export class Context {
   // Objectの内部実装を利用する。
   // 探索木を直接使用する場合は探索速度が重要で挿入は相対的に少なく削除は不要かつ不確実であるため
   // AVL木が適当と思われる。
+  // メモリの局所性を得るために木ごとに最初の数十から数百byte分のノードをプールしノードが不足した場合は
+  // 使い捨てノードを追加またはテーブルに移行するとよいだろう。
   // 最大セグメントサイズ10KB内で探索コストが平均実行性能を圧迫するほど大きくなるとは考えにくいが
   // 探索コストを減らすにはバックトラック位置数が規定数を超えた場合一定区間ごとに探索木を分割する方法が考えられる。
   // 10KBの入力すべてを保持する探索木を1024文字ごとに分割するために必要なテーブルサイズは64bit*98=784byteとなる。

package/src/parser/api/normalize.ts

@@ -1,6 +1,4 @@
-import { input } from '../../combinator/data/parser';
-import { Context } from '../context';
-import { unsafehtmlentity } from '../inline/htmlentity';
+import { html } from 'typed-dom/dom';
 
 const UNICODE_REPLACEMENT_CHARACTER = '\uFFFD';
 assert(UNICODE_REPLACEMENT_CHARACTER.trim());
@@ -15,7 +13,7 @@ function format(source: string): string {
 
 const invalid = new RegExp([
   /(?![\t\r\n])[\x00-\x1F\x7F]/g.source,
-  /(?!\u200D)[\u2006\u200B-\u200F\u202A-\u202F\u2060\uFEFF]/g.source,
+  /(?![\u200C\u200D])[\u2006\u200B-\u200F\u202A-\u202F\u2060\uFEFF]/g.source,
   // 後読みが重い
   ///(?<![\u1820\u1821])\u180E/g.source,
   ///[\uD800-\uDBFF](?![\uDC00-\uDFFF])|(?<![\uD800-\uDBFF])[\uDC00-\uDFFF]/g.source,
@@ -60,6 +58,11 @@ export const invisibleHTMLEntityNames = [
   'InvisibleComma',
   'ic',
 ] as readonly string[];
+const parser = (el => (entity: string): string => {
+  if (entity === '&NewLine;') return entity;
+  el.innerHTML = entity;
+  return el.textContent!;
+})(html('span'));
 const unreadableEscapeHTMLEntityNames = invisibleHTMLEntityNames.filter(name => ![
   'Tab',
   'NewLine',
@@ -69,7 +72,7 @@ const unreadableEscapeHTMLEntityNames = invisibleHTMLEntityNames.filter(name =>
   'zwnj',
 ].includes(name));
 const unreadableEscapeCharacters = unreadableEscapeHTMLEntityNames
-  .map(name => unsafehtmlentity(input(`&${name};`, new Context()))!.head!.value);
+  .map(name => parser(`&${name};`));
 assert(unreadableEscapeCharacters.length === unreadableEscapeHTMLEntityNames.length);
 assert(unreadableEscapeCharacters.every(c => c.length === 1));
 const unreadableEscapeCharacter = new RegExp(`[${unreadableEscapeCharacters.join('')}]`, 'g');
@@ -84,7 +87,7 @@ const unreadableSpecialCharacters = [
   // ZERO WIDTH SPACE
   '\u200B',
   // ZERO WIDTH NON-JOINER
-  '\u200C',
+  //'\u200C',
   // ZERO WIDTH JOINER
   //'\u200D',
   // LEFT-TO-RIGHT MARK

package/src/parser/inline/annotation.test.ts

@@ -19,7 +19,10 @@ describe('Unit: parser/inline/annotation', () => {
       assert.deepStrictEqual(inspect(parser, input('(([))', new Context())), undefined);
       assert.deepStrictEqual(inspect(parser, input('(([%))', new Context())), undefined);
       assert.deepStrictEqual(inspect(parser, input('(( ))', new Context())), undefined);
-      assert.deepStrictEqual(inspect(parser, input('(( (a', new Context())), undefined);
+      assert.deepStrictEqual(inspect(parser, input('(( a))', new Context())), undefined);
+      assert.deepStrictEqual(inspect(parser, input('(( a ))', new Context())), undefined);
+      assert.deepStrictEqual(inspect(parser, input('((\\ a))', new Context())), undefined);
+      assert.deepStrictEqual(inspect(parser, input('((<wbr>a))', new Context())), undefined);
       assert.deepStrictEqual(inspect(parser, input('((\n))', new Context())), undefined);
       assert.deepStrictEqual(inspect(parser, input('((\na))', new Context())), undefined);
       assert.deepStrictEqual(inspect(parser, input('((\\\na))', new Context())), undefined);
@@ -35,10 +38,6 @@ describe('Unit: parser/inline/annotation', () => {
     });
 
     it('basic', () => {
-      assert.deepStrictEqual(inspect(parser, input('(( a))', new Context())), [['<sup class="annotation"><span>a</span></sup>'], '']);
-      assert.deepStrictEqual(inspect(parser, input('(( a ))', new Context())), [['<sup class="annotation"><span>a</span></sup>'], '']);
-      assert.deepStrictEqual(inspect(parser, input('((\\ a))', new Context())), [['<sup class="annotation"><span>a</span></sup>'], '']);
-      assert.deepStrictEqual(inspect(parser, input('((<wbr>a))', new Context())), [['<sup class="annotation"><span>a</span></sup>'], '']);
       assert.deepStrictEqual(inspect(parser, input('((a))', new Context())), [['<sup class="annotation"><span>a</span></sup>'], '']);
       assert.deepStrictEqual(inspect(parser, input('((a ))', new Context())), [['<sup class="annotation"><span>a</span></sup>'], '']);
       assert.deepStrictEqual(inspect(parser, input('((a  ))', new Context())), [['<sup class="annotation"><span>a</span></sup>'], '']);

package/src/parser/inline/annotation.ts

@@ -3,14 +3,14 @@ import { State, Backtrack } from '../context';
 import { List, Node } from '../../combinator/data/parser';
 import { union, some, precedence, state, constraint, surround, setBacktrack, lazy } from '../../combinator';
 import { inline } from '../inline';
-import { trimBlankStart, trimBlankNodeEnd } from '../visibility';
+import { beforeNonblank, trimBlankNodeEnd } from '../visibility';
 import { unwrap } from '../util';
 import { html, defrag } from 'typed-dom/dom';
 
 export const annotation: AnnotationParser = lazy(() => constraint(State.annotation, surround(
   '((',
   precedence(1, state(State.annotation,
-  trimBlankStart(some(union([inline]), ')', [[')', 1]])))),
+  beforeNonblank(some(union([inline]), ')', [[')', 1]])))),
   '))',
   false,
   [2, 1 | Backtrack.common, 3 | Backtrack.doublebracket],

package/src/parser/inline/htmlentity.ts

@@ -1,7 +1,7 @@
 import { HTMLEntityParser, UnsafeHTMLEntityParser } from '../inline';
 import { Backtrack } from '../context';
 import { List, Node } from '../../combinator/data/parser';
-import { Flag, isinvisibleHTMLEntityName } from '../node';
+import { Flag, isInvisibleHTMLEntityName } from '../node';
 import { union, surround, fmap } from '../../combinator';
 import { str } from '../source';
 import { invalid } from '../util';
@@ -15,7 +15,7 @@ export const unsafehtmlentity: UnsafeHTMLEntityParser = surround(
     new List([
       new Node(
         parser(as.head!.value + bs.head!.value + cs.head!.value),
-        isinvisibleHTMLEntityName(bs.head!.value) ? Flag.invisible : Flag.none)
+        isInvisibleHTMLEntityName(bs.head!.value) ? Flag.invisible : Flag.none)
     ]),
   ([as, bs]) =>
     new List([new Node(as.head!.value + (bs?.head?.value ?? ''))]));

package/src/parser/inline/link.test.ts

@@ -76,10 +76,15 @@ describe('Unit: parser/inline/link', () => {
       assert.deepStrictEqual(inspect(parser, input('[ ]{ }', new Context())), undefined);
       assert.deepStrictEqual(inspect(parser, input('[ ]{b}', new Context())), undefined);
       assert.deepStrictEqual(inspect(parser, input('[  ]{b}', new Context())), undefined);
+      assert.deepStrictEqual(inspect(parser, input('[ a]{b}', new Context())), undefined);
+      assert.deepStrictEqual(inspect(parser, input('[ a ]{b}', new Context())), undefined);
+      assert.deepStrictEqual(inspect(parser, input('[\\ a]{b}', new Context())), undefined);
+      assert.deepStrictEqual(inspect(parser, input('[ \\ a]{b}', new Context())), undefined);
       assert.deepStrictEqual(inspect(parser, input('[\n]{b}', new Context())), undefined);
       assert.deepStrictEqual(inspect(parser, input('[\\ ]{b}', new Context())), undefined);
       assert.deepStrictEqual(inspect(parser, input('[\\\n]{b}', new Context())), undefined);
       assert.deepStrictEqual(inspect(parser, input('[	]{b}', new Context())), undefined);
+      assert.deepStrictEqual(inspect(parser, input('[‍]{b}', new Context())), undefined);
       assert.deepStrictEqual(inspect(parser, input('[[]{b}', new Context())), undefined);
       assert.deepStrictEqual(inspect(parser, input('[]]{b}', new Context())), undefined);
       assert.deepStrictEqual(inspect(parser, input('[a]{}', new Context())), undefined);
@@ -131,10 +136,6 @@ describe('Unit: parser/inline/link', () => {
       assert.deepStrictEqual(inspect(parser, input('[]{^/b}', new Context({ host: new URL('/0.a0', location.origin) }))), [[`<a class="url" href="/b">^/b</a>`], '']);
       assert.deepStrictEqual(inspect(parser, input('[]{^/b}', new Context({ host: new URL('/0.0', location.origin) }))), [[`<a class="url" href="/0.0/b">^/b</a>`], '']);
       assert.deepStrictEqual(inspect(parser, input('[]{^/b}', new Context({ host: new URL('/0.0,0.0,0z', location.origin) }))), [[`<a class="url" href="/0.0,0.0,0z/b">^/b</a>`], '']);
-      assert.deepStrictEqual(inspect(parser, input('[ a]{b}', new Context())), [['<a class="link" href="b">a</a>'], '']);
-      assert.deepStrictEqual(inspect(parser, input('[ a ]{b}', new Context())), [['<a class="link" href="b">a</a>'], '']);
-      assert.deepStrictEqual(inspect(parser, input('[\\ a]{b}', new Context())), [['<a class="link" href="b">a</a>'], '']);
-      assert.deepStrictEqual(inspect(parser, input('[ \\ a]{b}', new Context())), [['<a class="link" href="b">a</a>'], '']);
       assert.deepStrictEqual(inspect(parser, input('[a ]{b}', new Context())), [['<a class="link" href="b">a</a>'], '']);
       assert.deepStrictEqual(inspect(parser, input('[a  ]{b}', new Context())), [['<a class="link" href="b">a</a>'], '']);
       assert.deepStrictEqual(inspect(parser, input('[a]{b}', new Context())), [['<a class="link" href="b">a</a>'], '']);

package/src/parser/inline/link.ts

@@ -5,7 +5,7 @@ import { union, inits, sequence, subsequence, some, consume, precedence, state,
 import { inline, media, shortmedia } from '../inline';
 import { attributes } from './html';
 import { str } from '../source';
-import { trimBlankStart, trimBlankNodeEnd } from '../visibility';
+import { beforeNonblank, trimBlankNodeEnd } from '../visibility';
 import { unwrap, invalid, stringify } from '../util';
 import { ReadonlyURL } from 'spica/url';
 import { html, define, defrag } from 'typed-dom/dom';
@@ -20,7 +20,7 @@ export const textlink: LinkParser.TextLinkParser = lazy(() => bind(
     constraint(State.link, state(State.linkers, dup(surround(
       '[',
       precedence(1,
-      trimBlankStart(some(union([inline]), ']', [[']', 1]]))),
+      beforeNonblank(some(union([inline]), ']', [[']', 1]]))),
       ']',
       true,
       [3 | Backtrack.common | Backtrack.link, 2 | Backtrack.ruby],

package/src/parser/inline/media.test.ts

@@ -41,10 +41,15 @@ describe('Unit: parser/inline/media', () => {
       assert.deepStrictEqual(inspect(parser, input('![ ]{}', new Context())), undefined);
       assert.deepStrictEqual(inspect(parser, input('![ ]{b}', new Context())), undefined);
       assert.deepStrictEqual(inspect(parser, input('![  ]{b}', new Context())), undefined);
+      assert.deepStrictEqual(inspect(parser, input('![ a]{b}', new Context())), undefined);
+      assert.deepStrictEqual(inspect(parser, input('![ a ]{b}', new Context())), undefined);
+      assert.deepStrictEqual(inspect(parser, input('![\\ a]{b}', new Context())), undefined);
+      assert.deepStrictEqual(inspect(parser, input('![ \\ a]{b}', new Context())), undefined);
       assert.deepStrictEqual(inspect(parser, input('![\n]{b}', new Context())), undefined);
       assert.deepStrictEqual(inspect(parser, input('![\\ ]{b}', new Context())), undefined);
       assert.deepStrictEqual(inspect(parser, input('![\\\n]{b}', new Context())), undefined);
       assert.deepStrictEqual(inspect(parser, input('![	]{b}', new Context())), undefined);
+      assert.deepStrictEqual(inspect(parser, input('![‍]{b}', new Context())), undefined);
       assert.deepStrictEqual(inspect(parser, input('![&a;]{b}', new Context())), [['<a href="b" target="_blank"><img class="media" data-src="b" alt="&amp;a;"></a>'], '']);
       assert.deepStrictEqual(inspect(parser, input('![[]{b}', new Context())), undefined);
       assert.deepStrictEqual(inspect(parser, input('![]]{b}', new Context())), undefined);
@@ -79,8 +84,6 @@ describe('Unit: parser/inline/media', () => {
       assert.deepStrictEqual(inspect(parser, input('![]{?/../}', new Context())), [[`<a href="?/../" target="_blank"><img class="media" data-src="?/../" alt="?/../"></a>`], '']);
       assert.deepStrictEqual(inspect(parser, input('![]{#/../}', new Context())), [[`<a href="#/../" target="_blank"><img class="media" data-src="#/../" alt="#/../"></a>`], '']);
       assert.deepStrictEqual(inspect(parser, input('![]{^/b}', new Context())), [[`<a href="/b" target="_blank"><img class="media" data-src="/b" alt="^/b"></a>`], '']);
-      assert.deepStrictEqual(inspect(parser, input('![ a]{b}', new Context())), [['<a href="b" target="_blank"><img class="media" data-src="b" alt="a"></a>'], '']);
-      assert.deepStrictEqual(inspect(parser, input('![ a ]{b}', new Context())), [['<a href="b" target="_blank"><img class="media" data-src="b" alt="a"></a>'], '']);
       assert.deepStrictEqual(inspect(parser, input('![a ]{b}', new Context())), [['<a href="b" target="_blank"><img class="media" data-src="b" alt="a"></a>'], '']);
       assert.deepStrictEqual(inspect(parser, input('![a  ]{b}', new Context())), [['<a href="b" target="_blank"><img class="media" data-src="b" alt="a"></a>'], '']);
       assert.deepStrictEqual(inspect(parser, input('![a b]{c}', new Context())), [['<a href="c" target="_blank"><img class="media" data-src="c" alt="a b"></a>'], '']);

package/src/parser/inline/media.ts

@@ -1,6 +1,7 @@
 import { MediaParser } from '../inline';
 import { State, Recursion, Backtrack, Command } from '../context';
 import { List, Node } from '../../combinator/data/parser';
+import { Flag } from '../node';
 import { union, inits, tails, some, consume, recursion, precedence, constraint, surround, open, setBacktrack, dup, lazy, fmap, bind } from '../../combinator';
 import { uri, option as linkoption, resolve, decode, parse } from './link';
 import { attributes } from './html';
@@ -50,10 +51,14 @@ export const media: MediaParser = lazy(() => constraint(State.media, open(
   nodes =>
     nodes.length === 1
       ? new List<Node<List<Node<string>>>>([new Node(new List([new Node('')])), nodes.delete(nodes.head!)])
-      : new List<Node<List<Node<string>>>>([new Node(new List([new Node(nodes.head!.value.foldl((acc, { value }) => acc + value, ''))])), nodes.delete(nodes.last!)])),
-  ([{ value: [{ value: text }] }, { value: params }], context) => {
-    if (text && text.trimStart() === '') return;
-    text = text.trim();
+      : new List<Node<List<Node<string>>>>([new Node(new List([new Node(nodes.head!.value.foldl((acc, { value }) => acc + value, ''), nodes.head!.value.head?.flags)])), nodes.delete(nodes.last!)])),
+  ([{ value: [{ value: text, flags }] }, { value: params }], context) => {
+    if (flags & Flag.invisible) return;
+    if (text) {
+      const tmp = text;
+      text = text.trim();
+      if (text === '' || text[0] !== tmp[0]) return;
+    }
     consume(100, context);
     if (params.last!.value === Command.Cancel) {
       params.pop();

package/src/parser/inline/reference.test.ts

@@ -19,7 +19,10 @@ describe('Unit: parser/inline/reference', () => {
       assert.deepStrictEqual(inspect(parser, input('[[(]]', new Context())), undefined);
       assert.deepStrictEqual(inspect(parser, input('[[[%]]', new Context())), undefined);
       assert.deepStrictEqual(inspect(parser, input('[[ ]]', new Context())), undefined);
-      assert.deepStrictEqual(inspect(parser, input('[[ [a', new Context())), undefined);
+      assert.deepStrictEqual(inspect(parser, input('[[ a]]', new Context())), undefined);
+      assert.deepStrictEqual(inspect(parser, input('[[ a ]]', new Context())), undefined);
+      assert.deepStrictEqual(inspect(parser, input('[[\\ a]]', new Context())), undefined);
+      assert.deepStrictEqual(inspect(parser, input('[[<wbr>a]]', new Context())), undefined);
       assert.deepStrictEqual(inspect(parser, input('[[\n]]', new Context())), undefined);
       assert.deepStrictEqual(inspect(parser, input('[[\na]]', new Context())), undefined);
       assert.deepStrictEqual(inspect(parser, input('[[\\\na]]', new Context())), undefined);
@@ -35,10 +38,6 @@ describe('Unit: parser/inline/reference', () => {
     });
 
     it('basic', () => {
-      assert.deepStrictEqual(inspect(parser, input('[[ a]]', new Context())), [['<sup class="reference"><span>a</span></sup>'], '']);
-      assert.deepStrictEqual(inspect(parser, input('[[ a ]]', new Context())), [['<sup class="reference"><span>a</span></sup>'], '']);
-      assert.deepStrictEqual(inspect(parser, input('[[\\ a]]', new Context())), [['<sup class="reference"><span>a</span></sup>'], '']);
-      assert.deepStrictEqual(inspect(parser, input('[[<wbr>a]]', new Context())), [['<sup class="reference"><span>a</span></sup>'], '']);
       assert.deepStrictEqual(inspect(parser, input('[[a]]', new Context())), [['<sup class="reference"><span>a</span></sup>'], '']);
       assert.deepStrictEqual(inspect(parser, input('[[a ]]', new Context())), [['<sup class="reference"><span>a</span></sup>'], '']);
       assert.deepStrictEqual(inspect(parser, input('[[a  ]]', new Context())), [['<sup class="reference"><span>a</span></sup>'], '']);
@@ -81,7 +80,7 @@ describe('Unit: parser/inline/reference', () => {
       assert.deepStrictEqual(inspect(parser, input('[[^A| b]]', new Context())), [['<sup class="reference" data-abbr="A"><span>b</span></sup>'], '']);
       assert.deepStrictEqual(inspect(parser, input('[[^A|  ]]', new Context())), undefined);
       assert.deepStrictEqual(inspect(parser, input('[[^A|<wbr>]]', new Context())), undefined);
-      assert.deepStrictEqual(inspect(parser, input('[[^A|<wbr>b]]', new Context())), [['<sup class="reference" data-abbr="A"><span>b</span></sup>'], '']);
+      assert.deepStrictEqual(inspect(parser, input('[[^A|<wbr>b]]', new Context())), undefined);
       assert.deepStrictEqual(inspect(parser, input('[[^A|^]]', new Context())), [['<sup class="reference" data-abbr="A"><span>^</span></sup>'], '']);
       assert.deepStrictEqual(inspect(parser, input('[[^A|^B]]', new Context())), [['<sup class="reference" data-abbr="A"><span>^B</span></sup>'], '']);
       assert.deepStrictEqual(inspect(parser, input('[[^1]]', new Context())), [['<sup class="invalid"><span>^1</span></sup>'], '']);

package/src/parser/inline/reference.ts

@@ -5,7 +5,7 @@ import { union, subsequence, some, precedence, state, constraint, surround, isBa
 import { inline } from '../inline';
 import { textlink } from './link';
 import { str } from '../source';
-import { trimBlankStart, trimBlankNodeEnd } from '../visibility';
+import { beforeNonblank, trimBlankNodeEnd } from '../visibility';
 import { unwrap, invalid } from '../util';
 import { html, defrag } from 'typed-dom/dom';
 
@@ -14,7 +14,7 @@ export const reference: ReferenceParser = lazy(() => constraint(State.reference,
   precedence(1, state(State.annotation | State.reference,
   subsequence([
     abbr,
-    trimBlankStart(some(inline, ']', [[']', 1]])),
+    beforeNonblank(some(inline, ']', [[']', 1]])),
   ]))),
   ']]',
   false,

package/src/parser/node.ts

@@ -5,6 +5,13 @@ export const enum Flag {
   invisible,
 }
 
-export function isinvisibleHTMLEntityName(name: string): boolean {
-  return invisibleHTMLEntityNames.includes(name);
-}
+export const isInvisibleHTMLEntityName: (name: string) => boolean = eval([
+  'name => {',
+  'switch(name){',
+  invisibleHTMLEntityNames.map(name => `case '${name}':`).join(''),
+  'return true;',
+  'default:',
+  'return false;',
+  '}',
+  '}',
+].join(''));

package/src/parser/source/text.ts

@@ -24,12 +24,9 @@ export const text: TextParser = input => {
           assert(char !== Command.Escape);
           return new List();
         default:
-          const flags = source[position + 1].trimStart()
-            ? Flag.none
-            : Flag.invisible;
           consume(1, context);
           context.position += 1;
-          return new List([new Node(source.slice(position + 1, context.position), flags)]);
+          return new List([new Node(source.slice(position + 1, context.position))]);
       }
     case '\r':
       consume(-1, context);
@@ -57,9 +54,7 @@ export const text: TextParser = input => {
       context.position += i - 1;
       const linestart = position === 0 || source[position - 1] === '\n';
       if (position === context.position || s && !linestart || lineend) return new List();
-      const str = source.slice(position, context.position);
-      const flags = str.length === 1 && str.trimStart() === '' ? Flag.invisible : Flag.none;
-      return new List([new Node(str, flags)]);
+      return new List([new Node(source.slice(position, context.position))]);
   }
 };
 

package/src/parser/visibility.ts

@@ -4,7 +4,7 @@ import { Flag } from './node';
 import { convert, fmap } from '../combinator';
 import { invisibleHTMLEntityNames } from './api/normalize';
 
-namespace blank {
+namespace invisible {
   export const line = new RegExp(
     /((?:^|\n)[^\S\n]*(?=\S))((?:[^\S\n]|\\(?=$|\s)|&IHN;|<wbr ?>)+(?=$|\n))/g.source
       .replace('IHN', `(?:${invisibleHTMLEntityNames.join('|')})`),
@@ -21,7 +21,7 @@ namespace blank {
 
 export function visualize<P extends Parser>(parser: P): P {
   return convert(
-    source => source.replace(blank.line, `$1${Command.Escape}$2`),
+    source => source.replace(invisible.line, `$1${Command.Escape}$2`),
     parser);
 }
 
@@ -53,7 +53,7 @@ function nonblankWith(delimiter: string | RegExp): RegExp {
 //      : undefined;
 //}
 //const isLooseStart = reduce(({ source, context }: Input<Context>): boolean => {
-//  return isTightStart({ source: source.replace(blank.start, ''), context });
+//  return isTightStart({ source: source.replace(invisible.start, ''), context });
 //}, ({ source }) => `${source}${Command.Separator}`);
 
 export function beforeNonblank<P extends Parser>(parser: P): P;
@@ -74,7 +74,7 @@ function isTightStart(input: Input<Context>): boolean {
     case '\n':
       return false;
     default:
-      const reg = blank.unit;
+      const reg = invisible.unit;
       reg.lastIndex = position;
       return !reg.test(source);
   }
@@ -96,17 +96,20 @@ export function isTightNodeStart(nodes: List<Node<HTMLElement | string>>): boole
 //  if (nodes.length === 0) return true;
 //  return isVisible(nodes.at(-1)!, -1);
 //}
-function isVisible({ value: node, flags }: Node<HTMLElement | string>, strpos?: 0 | -1): boolean {
-  if (strpos === undefined || typeof node !== 'string') return !(flags & Flag.invisible);
-  const char = node && node[strpos && node.length + strpos];
-  switch (char) {
+function isVisible({ value: node, flags }: Node<HTMLElement | string>, strpos?: number): boolean {
+  if (flags & Flag.invisible) return false;
+  if (typeof node !== 'string') return true;
+  const str = node && strpos !== undefined
+    ? node[strpos >= 0 ? strpos : node.length + strpos]
+    : node;
+  switch (str) {
     case '':
     case ' ':
     case '\t':
     case '\n':
       return false;
     default:
-      return char.trimStart() !== '';
+      return str.trimStart() !== '';
   }
 }
 
@@ -115,13 +118,13 @@ export function trimBlank<P extends Parser<HTMLElement | string>>(parser: P): P;
 export function trimBlank<N extends HTMLElement | string>(parser: Parser<N>): Parser<N> {
   return trimBlankStart(trimBlankEnd(parser));
 }
-export function trimBlankStart<P extends Parser>(parser: P): P;
-export function trimBlankStart<N>(parser: Parser<N>): Parser<N> {
+function trimBlankStart<P extends Parser>(parser: P): P;
+function trimBlankStart<N>(parser: Parser<N>): Parser<N> {
   return failsafe(input => {
     const { context } = input;
     const { source, position } = context;
     if (position === source.length) return;
-    const reg = blank.start;
+    const reg = invisible.start;
     reg.lastIndex = position;
     reg.test(source);
     context.position = reg.lastIndex || position;
@@ -154,15 +157,21 @@ export function trimBlankEnd<N extends HTMLElement>(parser: Parser<N>): Parser<s
 //  return nodes;
 //}
 export function trimBlankNodeEnd<N extends HTMLElement>(nodes: List<Node<string | N>>): List<Node<string | N>> {
-  const skip = typeof nodes.last?.value === 'object' && nodes.last.value.className === 'indexer';
-  for (let node = skip ? nodes.last?.prev : nodes.last; node && !isVisible(node, -1);) {
-    if (typeof node.value === 'string') {
+  const skip = nodes.last && ~nodes.last.flags & Flag.invisible && typeof nodes.last.value === 'object'
+    ? nodes.last.value.className === 'indexer'
+    : false;
+  for (let node = skip ? nodes.last?.prev : nodes.last; node;) {
+    const visible = ~node.flags & Flag.invisible;
+    if (visible && typeof node.value === 'string') {
       const str = node.value.trimEnd();
       if (str.length > 0) {
         node.value = str;
         break;
       }
     }
+    else if (visible) {
+      break;
+    }
     const target = node;
     node = node.prev;
     nodes.delete(target);