reedach 0.1.2 → 0.2.0

package/package.json

@@ -1,6 +1,6 @@
 {
   "name": "reedach",
-  "version": "0.1.2",
+  "version": "0.2.0",
   "description": "Лёгкая проверка русского текста на канцелярит, штампы и воду: словарь правил, работает в браузере и в Node без зависимостей",
   "license": "MIT",
   "author": "Dima Faller <dima@dimafaller.ru>",

package/src/markdown.js

@@ -2,16 +2,33 @@
 // Markdown source → plain blocks for the checkers, and all hints merged back onto source offsets.
 const L='A-Za-zА-Яа-яЁё';
 
+// Link or image target "(…)" starting at p → index of its closing ")", or -1; one level of inner
+// parentheses is allowed: "(a_(b))". A scan gives the same answer to every position it passed outside
+// inner parentheses, so the answers are kept and a line full of unclosed "](" stays linear.
+function closing(line,p,memo){
+ if(line[p]!=='(')return -1;
+ const passed=[];let depth=0,end=-1;
+ for(let k=p+1;k<line.length;k++){
+  if(!depth){if(memo.has(k)){end=memo.get(k);break;}passed.push(k);}
+  const c=line[k];
+  if(c==='('){if(depth)break;depth=1;}
+  else if(c===')'){if(!depth){end=k;break;}depth=0;}
+ }
+ for(const k of passed)memo.set(k,end);
+ return end;
+}
 // One line of Markdown → text the checkers see, with every character mapped back to its offset in the source.
+// The next ">" and "]" are looked up once and reused: unclosed "<a" or "![" must not rescan the rest of the line.
 function inline(line,base,from,kind){
- let text='';const map=[],gaps=[],put=(c,at)=>{text+=c;map.push(at);};
+ let text='',gt=-1,bracket=-1,end;const map=[],gaps=[],memo=new Map(),put=(c,at)=>{text+=c;map.push(at);};
+ const next=(ch,i,last)=>{if(last>=i)return last;const k=line.indexOf(ch,i);return k<0?Infinity:k;};
  for(let i=from;i<line.length;i++){
-  const c=line[i],rest=line.slice(i);let m;
+  const c=line[i];
   if(c==='\\'&&i+1<line.length){i++;put(line[i],base+i);continue;}
   if(c==='`'&&line.indexOf('`',i+1)>i){gaps.push(text.length);put(' ',base+i);i=line.indexOf('`',i+1);continue;}
-  if(c==='!'&&(m=/^!\[[^\]]*\]\((?:[^()]|\([^()]*\))*\)/.exec(rest))){gaps.push(text.length);put(' ',base+i);i+=m[0].length-1;continue;}
-  if(c===']'&&(m=/^\]\((?:[^()]|\([^()]*\))*\)/.exec(rest))){i+=m[0].length-1;continue;}
-  if(c==='<'&&(m=/^<\/?[a-z][^>]*>/i.exec(rest))){i+=m[0].length-1;continue;}
+  if(c==='!'&&line[i+1]==='['&&(bracket=next(']',i+2,bracket))<Infinity&&(end=closing(line,bracket+1,memo))>=0){gaps.push(text.length);put(' ',base+i);i=end;continue;}
+  if(c===']'&&(end=closing(line,i+1,memo))>=0){i=end;continue;}
+  if(c==='<'&&/^<\/?[a-z]/i.test(line.slice(i,i+3))&&(gt=next('>',i,gt))<Infinity){i=gt;continue;}
   if(c==='['||c==='*'||c==='_'&&!(/[\p{L}\d]/u.test(line[i-1]||'')&&/[\p{L}\d]/u.test(line[i+1]||'')))continue;
   put(c,base+i);
  }
@@ -30,7 +47,8 @@ export function sourceBlocks(src){
   if((m=/^\s{0,3}#{1,6}\s+/.exec(line))){flush();const b=inline(line,start,m[0].length,'h');if(b.text.trim())blocks.push(b);continue;}
   if((m=/^\s*(?:[-*+]|\d+[.)])\s+/.exec(line.slice(quote)))){flush();cur=inline(line,start,quote+m[0].length,'li');continue;}
   const part=inline(line,start,quote,'p');
-  if(cur){cur.gaps.push(cur.text.length,...part.gaps.map(g=>g+cur.text.length+1));cur.text+=' '+part.text;cur.map.push(start-1,...part.map);}else cur=part;
+  // No push(...list): a line of 100k+ characters would overflow the call stack.
+  if(cur){const at=cur.text.length+1;cur.gaps.push(at-1);for(const g of part.gaps)cur.gaps.push(g+at);cur.text+=' '+part.text;cur.map.push(start-1);for(const k of part.map)cur.map.push(k);}else cur=part;
  }
  flush();return blocks;
 }

package/src/rules.js

@@ -35,7 +35,7 @@ export const RULES=[
  {id:'pronoun-dannyy',category:'pronoun',message:'Слово данный звучит канцелярски и ничего не уточняет.',fix:'Заменить на слово этот или назвать предмет прямо.',words:['данный','данная','данное','данную','данной','данного','данном','данному']},
  // Bureaucratese and nominalization
  {id:'bureaucratese-verbs',category:'bureaucratese',message:'Канцелярский оборот звучит как отписка и скрывает суть.',fix:'Заменить простым глаголом или словом: делать, для, чтобы, это.',words:['осуществл*','имеет место','имеют место','имел место','имело место','в рамках','в целях','с целью','на предмет','посредством','является','являются','являться','вышеуказанный','вышеупомянутый','нижеследующий']},
- {id:'bureaucratese-latinisms',category:'bureaucratese',message:'Иностранное слово там, где есть простое русское, затрудняет чтение.',fix:'Заменить обычным словом: общаться, умение, убрать, уточнить.',words:['коммуникац*','компетенц*','минимизир*','минимизац*','конкретизир*','релевантн*','нерелевантн*','конкурентоспособн*','стагнац*','конъюнктур*','деградац*','имплементир*','имплементац*','консолидир*','консолидац*','синерги*','функционал']},
+ {id:'bureaucratese-latinisms',category:'bureaucratese',message:'Иностранное слово там, где есть простое русское, затрудняет чтение.',fix:'Заменить обычным русским словом.',swap:{'коммуникац':'общение, связь','компетенц':'умение, знания, круг обязанностей','минимизир':'сократить, уменьшить','минимизац':'сокращение, уменьшение','конкретизир':'уточнить','релевантн':'подходящий, нужный, уместный','нерелевантн':'неподходящий, лишний','конкурентоспособн':'не уступает другим, выгоднее','стагнац':'застой','конъюнктур':'положение на рынке, спрос','деградац':'упадок, ухудшение','имплементир':'внедрить, ввести','имплементац':'внедрение','консолидир':'объединить, собрать','консолидац':'объединение','синерги':'совместная польза, выгода от объединения','функционал':'возможности, функции'},words:['коммуникац*','компетенц*','минимизир*','минимизац*','конкретизир*','релевантн*','нерелевантн*','конкурентоспособн*','стагнац*','конъюнктур*','деградац*','имплементир*','имплементац*','консолидир*','консолидац*','синерги*','функционал']},
  {id:'nominalization-support-verbs',category:'nominalization',message:'Глагол плюс существительное длиннее и тяжелее одного глагола.',fix:'Заменить одним глаголом: монтировать вместо производить монтаж.',words:['принимать участие','принять участие','принял участие','приняли участие','принимаю участие','принимаем участие','принимает участие','принимают участие','оказать помощь','оказывать помощь','оказали помощь','оказываем помощь','оказание помощи','оказать услуги','оказывать услуги','оказали услуги','оказываем услуги','оказание услуг','производить монтаж','произвести монтаж','произвели монтаж','производим монтаж','производить замену','произвести замену','произвели замену','производим замену','производить ремонт','произвести ремонт','произвели ремонт','производим ремонт','проводить работы','проводим работы','проводят работы','провести работы','провели работы']},
  // Stamps
  {id:'stamp-cliche',category:'stamp',message:'Оборот затёрт: читатель видит штамп раньше смысла.',fix:'Написать конкретный факт или действие без оборота.',words:['сочета* в себе','на каждом шагу','в сухом остатке','на помощь приходят','на помощь приходит','легко и просто','без промедления','прямиком','расширить географию','расширили географию','играет важную роль','играют важную роль','играет ключевую роль','играют ключевую роль','играет большую роль','играют большую роль','как показывает практика','на высоком уровне','на должном уровне','на новый уровень','время покажет']},

package/src/style.js

@@ -7,6 +7,8 @@ const esc=s=>s.replace(/[.*+?^${}()|[\]\\]/g,'\\$&');
 const tokenSource=t=>t.endsWith('*')?esc(norm(t.slice(0,-1)))+'['+L+']*':esc(norm(t));
 function compile(rule){const alts=(rule.words||[]).map(w=>w.trim().split(/\s+/).map(tokenSource).join('\\s+'));return alts.length?new RegExp('(?<!['+L+'])(?:'+alts.join('|')+')(?!['+L+'])','g'):null;}
 const compiled=RULES.map(rule=>({rule,re:compile(rule)}));
+// A rule with swap gives the replacement for the exact word found; the longest matching stem wins.
+const swapped=(rule,word)=>{if(!rule.swap)return rule;const k=Object.keys(rule.swap).filter(k=>word.startsWith(k)).sort((a,b)=>b.length-a.length)[0];return k?{...rule,fix:'Заменить обычным словом: '+rule.swap[k]+'.'}:rule;};
 export const sentences=text=>[...text.matchAll(/[^.!?…]+(?:[.!?…]+|$)/g)].map(m=>({start:m.index,end:m.index+m[0].length,text:m[0]})).filter(s=>s.text.trim());
 const wordCount=s=>(s.match(new RegExp('['+L+'0-9]+(?:-['+L+']+)*','g'))||[]).length;
 const trimmed=(s,offset=0)=>{const lead=s.text.length-s.text.trimStart().length;return {start:s.start+offset+lead,end:s.start+offset+s.text.trimEnd().length};};
@@ -43,10 +45,14 @@ const TYPO=[
  ['typo-repeat-punct',/[!?]{3,}|!!|\?\?|,{2,}|;{2,}|(?<![.?!])\.\.(?!\.)|\.{4,}/g],
  // «И.И. Иванов», «Иванов И.И.», «А.Пушкин»; «Ф.И.О.» and «до Н.Э.» are abbreviations, not initials.
  ['typo-initials',/(?<!\p{L})[А-ЯЁ]\.[А-ЯЁ]\.(?=\s?[А-ЯЁ][а-яё])|(?<=[А-ЯЁ][а-яё]+\s)[А-ЯЁ]\.[А-ЯЁ]\.(?!\p{L})|(?<![\p{L}.])[А-ЯЁ]\.(?=[А-ЯЁ][а-яё]{2,})/gu],
- ['typo-mixed-script',/\p{L}*(?:\p{Script=Cyrillic}\p{Script=Latin}|\p{Script=Latin}\p{Script=Cyrillic})\p{L}*/gu],
 ];
+// Mixed scripts are checked word by word: one pattern over the whole text backtracked for seconds on a long word.
+const MIXED=/\p{Script=Cyrillic}\p{Script=Latin}|\p{Script=Latin}\p{Script=Cyrillic}/u;
 // Addresses, e-mails and HTML entities are not prose: no typography hints inside them.
-const technical=(text,s)=>{const a=text.lastIndexOf(' ',s)+1,e=text.indexOf(' ',s);return /[/@&=]/.test(text.slice(a,e<0?text.length:e));};
+// Marked once per block (a looked-up word per hint made a long text with many hints quadratic).
+const technical=text=>{const marks=new Uint8Array(text.length);for(const m of text.matchAll(/[^ ]+/g))if(/[/@&=]/.test(m[0]))marks.fill(1,m.index,m.index+m[0].length);return s=>marks[s]===1;};
+// The last sentence starting at or before `at` (sentences are in order), by binary search.
+const sentenceAt=(list,at)=>{let lo=0,hi=list.length-1,hit=null;while(lo<=hi){const mid=(lo+hi)>>1;if(list[mid].start<=at){hit=list[mid];lo=mid+1;}else hi=mid-1;}return hit;};
 // Brackets and guillemets without a pair. Not brackets: «а)», «1)», «п. 2)», smileys «:)», «:-(», «:))»;
 // a lone «»» or ««» between spaces is a navigation arrow.
 function unpaired(text){
@@ -72,10 +78,14 @@ export function checkStyle(blocks,{maxSentenceWords=25,maxParagraphWords=120}={}
  const issues=[],add=(block,start,end,id,rule)=>issues.push({block,start,end,id,category:rule.category,label:CATEGORIES[rule.category]||rule.category,message:rule.message,fix:rule.fix});
  blocks.forEach((b,i)=>{
   const text=b.text,low=norm(text),list=sentences(text);
-  for(const {rule,re} of compiled){if(!re)continue;re.lastIndex=0;for(const m of low.matchAll(re)){if(rule.start&&!list.some(s=>s.start<=m.index&&low.slice(s.start,m.index).trim()===''))continue;add(i,m.index,m.index+m[0].length,rule.id,rule);}}
+  // A start-only rule needs nothing but spaces between the sentence start and the match.
+  for(const {rule,re} of compiled){if(!re)continue;re.lastIndex=0;for(const m of low.matchAll(re)){if(rule.start){const s=sentenceAt(list,m.index);if(!s||low.slice(s.start,m.index).trim()!=='')continue;}add(i,m.index,m.index+m[0].length,rule.id,swapped(rule,m[0]));}}
   // Blocks map every character to the source; gaps are spaces that stand for code, an image or a line break, not typos.
-  const gap=(s,e)=>(b.gaps||[]).some(j=>j>=s&&j<e),plain=(s,e)=>(!b.map||b.map[e-1]-b.map[s]===e-1-s)&&!gap(s,e);
-  for(const [id,re] of TYPO)for(const m of text.matchAll(re))if(plain(m.index,m.index+m[0].length)&&!technical(text,m.index))add(i,m.index,m.index+m[0].length,id,BUILTIN[id]);
+  // before[k] = gaps before offset k, so "a gap inside s..e" costs the same however many gaps the block has.
+  const before=new Uint32Array(text.length+1);for(const j of b.gaps||[])if(j>=0&&j<text.length)before[j+1]++;for(let k=1;k<=text.length;k++)before[k]+=before[k-1];
+  const gap=(s,e)=>before[e]-before[s]>0,plain=(s,e)=>(!b.map||b.map[e-1]-b.map[s]===e-1-s)&&!gap(s,e),tech=technical(text);
+  for(const [id,re] of TYPO)for(const m of text.matchAll(re))if(plain(m.index,m.index+m[0].length)&&!tech(m.index))add(i,m.index,m.index+m[0].length,id,BUILTIN[id]);
+  for(const m of text.matchAll(/\p{L}+/gu))if(MIXED.test(m[0])&&plain(m.index,m.index+m[0].length)&&!tech(m.index))add(i,m.index,m.index+m[0].length,'typo-mixed-script',BUILTIN['typo-mixed-script']);
   for(const m of text.matchAll(/"[^"\n]*"/g))if(/[А-Яа-яЁё]/.test(m[0]))add(i,m.index,m.index+m[0].length,'typo-quotes',BUILTIN['typo-quotes']);
   for(const k of unpaired(text))add(i,k,k+1,'typo-unpaired',BUILTIN['typo-unpaired']);
   for(const m of low.matchAll(new RegExp('(?<!['+L+'])(['+L+']+)\\s+\\1(?![-'+L+'])','g')))if(!DOUBLE_OK.has(m[1])&&plain(m.index,m.index+m[0].length))add(i,m.index,m.index+m[0].length,'word-double',BUILTIN['word-double']);