axyseo 2.0.0-alpha.0.0.19 → 2.0.0-alpha.0.0.2

package/src/languageProcessing/languages/ru/config/sentenceLength.js

@@ -0,0 +1,3 @@
+export default {
+	recommendedLength: 15,
+};

package/src/languageProcessing/languages/ru/config/transitionWords.js

@@ -0,0 +1,62 @@
+/** @module config/transitionWords */
+
+export const singleWords = [ "безусловно", "бесспорно", "вероятно", "вестимо", "вдобавок", "видимо", "вишь", "во-вторых", "во-первых",
+	"вообще-то", "впрочем", "дабы", "едва", "ежели", "если", "затем ", "зачем", "ибо", "итак", "так", "кабы", "кажется",
+	"кажись", "коли", "кстати", "лишь", "лучше", "наверно", "наверное", "например", "небось", "нежели", "несомненно",
+	"но", "однако", "особенно", "оттого", "отчего", "поди", "пожалуй", "позволь", "позвольте", "покамест", "покуда",
+	"поскольку", "потому", "притом", "причем", "только", "хотя", "чтоб", "чтобы", "чуть", "якобы" ];
+
+export const multipleWords = [ "а вдобавок", "а вот", "а именно", "а не то", "а не", "а потом", "а также", "без всякого сомнения",
+	"без того чтобы не", "без того, чтобы не", "благодаря тому", "более того", "будто бы", "будь то", "буквально",
+	"в итоге", "в конце концов", "в общей сложности", "в общем-то", "в общем", "в отношении того что", "в отношении того, что",
+	"в принципе", "в противовес тому что", "в противовес тому, что", "в противоположность тому", "в результате",
+	"в самом деле", "в свою очередь", "в связи с тем что", "в связи с тем", "в силу того что", "в силу того",
+	"в силу чего", "в случа", "в сравнении с тем", "в сущности говоря", "в сущности", "в таком случае", "в то время как",
+	"в то время, как", "в том случае", "в частности", "в-третьих", "ввиду того", "вернее говоря", "вероятнее всего",
+	"видите ли", "видишь ли", "вместе с тем", "вместо того", "вне всякого сомнения", "вне сомнения", "во всяком случае",
+	"воля ваша", "воля твоя", "вообще говоря", "вопреки тому", "вплоть до того", "вроде того как", "вроде того что",
+	"вроде того", "вроде того", "вследствие того что", "вследствие чего", "грубо говоря", "да еще", "да и то",
+	"дай бог память", "даром что", "для того чтобы", "для того, чтобы", "до тех пор пока", "до тех пор, пока",
+	"до того как", "до того, как", "едва лишь", "едва только", "ежели бы", "если угодно", "жалко, что", "жаль, что",
+	"за счет того что", "за счет того, что", "знамо дело", "и вот еще", "из-за того что", "из-за того, что",
+	"иначе говоря", "исходя из того", "к вашему сведению", "к несчастью", "к огорчению", "к примеру сказать",
+	"к примеру", "к прискорбию", "к радости", "к слову сказать", "к сожалению", "к стыду своему", "к стыду", "к счастью",
+	"к твоему сведению", "к тому же", "к удивлению", "к ужасу", "к чести", "как будто", "как бы там ни было",
+	"как бы то ни было", "как бы", "как вам известно", "как вдруг", "как видите", "как видишь", "как видно", "как водится",
+	"как выяснилось", "как выясняется", "как говорилось", "как говорится", "как если бы", "как знать", "как известно",
+	"как на заказ", "как назло", "как нарочно", "как ни говори", "как ни говорите", "как ни странно", "как оказалось",
+	"как оказывается", "как полагается", "как положено", "как правило", "как принято говорить", "как принято", "как сказано",
+	"как скоро", "как следствие", "как словно", "как только", "как хотите", "как это ни странно", "ко всему прочему",
+	"коль скоро", "коль уж", "коротко говоря", "короче говоря", "кроме всего прочего", "кстати говоря", "кстати сказать",
+	"лишь бы", "лишь только", "мало сказать", "мало того", "между нами говоря", "между прочим", "между тем как",
+	"может статься", "можно подумать", "мягко выражаясь", "мягко говоря", "на беду", "на ваш взгляд", "на мой взгляд",
+	"на несчастье", "на основании того что", "на основании того, что", "на первый взгляд", "на самом деле", "на случай",
+	"на твой взгляд", "на худой конец", "надо полагать", "наряду с тем что", "наряду с тем", "насчет того что",
+	"насчет того, что", "не в пример тому как", "не в пример тому, как", "не то чтобы", "невзирая на то", "независимо от того",
+	"несмотря на то", "ничего не скажешь", "но вообще-то", "кроме того", "однако же", "откровенно сказать",
+	"относительно того что", "относительно того, что", "перед тем", "по вашему мнению", "по видимости", "по всей вероятности",
+	"по всей видимости", "по данным", "по замыслу", "по идее", "по крайней мере", "по мере того как", "по мере того, как",
+	"по мнению", "по моему мнению", "по обыкновению", "по обычаю", "по определению", "по поводу того", "по правде говоря",
+	"по правде сказать", "по правде", "по преданию", "по причине того", "по прогнозам", "по сведениям", "по своему обыкновению",
+	"по слухам", "по совести говоря", "по совести сказать", "по совести", "по сообщению", "по сообщениям",
+	"по справедливости говоря", "по справедливости", "по сравнению", "по статистике", "по сути говоря", "по сути дела",
+	"по сути", "по существу говоря", "по существу", "по счастью", "по твоему мнению", "по чести говоря", "по чести признаться",
+	"по чести сказать", "по-вашему", "по-видимому", "по-ихнему", "по-моему", "по-нашему", "по-твоему", "под видом того что",
+	"под видом того, что", "под предлогом", "подобно тому", "подумать только", "помимо всего прочего", "помимо всего",
+	"помимо того", "помимо того", "помимо этого", "понятное дело", "попросту говоря", "попросту сказать", "после того",
+	"потому как", "потому что", "правду говоря", "правду сказать", "правильнее говоря", "прежде всего", "прежде нежели",
+	"прежде чем", "при всем том", "при условии что", "при условии, что", "против обыкновения", "проще говоря", "проще сказать",
+	"прямо-таки как", "пускай бы", "равно как", "ради того чтобы", "разве что", "разумеется", "с вашего позволения",
+	"с вашего разрешения", "с другой стороны", "с моей точки зрения", "с одной стороны", "с позволения сказать",
+	"с твоего позволения", "с твоего разрешения", "с тем чтобы", "с тех пор как", "с той целью чтобы", "с точки зрения",
+	"само собой разумеется", "сверх того что", "сверх того", "сказать по правде", "сказать по совести", "сказать по чести",
+	"скорее всего", "смотря по тому", "со своей стороны", "собственно говоря", "совсем как", "стало быть", "стоит отметить",
+	"строго говоря", "судя по всему", "судя по тому", "так или иначе", "так как", "так что", "так чтобы", "тем более что",
+	"тем не менее", "тем паче что", "то бишь", "то есть", "тогда как", "только бы", "только лишь", "только чуть", "точнее говоря",
+	"точнее сказать", "точно так же", "что и говорить", "что ни говори", "что ни говорите", "чуть лишь", "чуть только",
+	"шутка ли сказать", "шутка ли", "шутка сказать", "это значит, что" ];
+
+export const allWords = singleWords.concat( multipleWords );
+
+export default allWords;
+

package/src/languageProcessing/languages/ru/config/twoPartTransitionWords.js

@@ -0,0 +1,14 @@
+/** @module config/twoPartTransitionWords */
+
+/**
+ * Returns an array with two-part transition words to be used by the assessments.
+ * @returns {Array} The array filled with two-part transition words.
+ */
+export default [ [ "будь то", "или" ], [ "возможно", "а может быть" ], [ "возможно", "возможно" ], [ "достаточно", "чтобы" ],
+	[ "едва", "как" ], [ "ежели", "то" ], [ "если говорить о", "то" ], [ "если и не", "то" ], [ "если не", "то" ],
+	[ "если", "то" ], [ "мало того что", "еще и" ], [ "мало того, что", "еще и" ], [ "не сказать чтобы", "но" ],
+	[ "не сказать, чтобы", "но" ], [ "не столько", "сколько" ], [ "не то чтобы", "но" ], [ "не только не", "но и" ],
+	[ "стоило", "как" ], [ "так как", "то" ], [ "только", "как" ], [ "хоть бы", "а то" ], [ "хоть", "хоть" ], [ "хотя", "но" ],
+	[ "чем", "лучше бы" ], [ "чем", "тем" ], [ "что касается", "то" ],
+];
+

package/src/languageProcessing/languages/ru/helpers/calculateFleschReadingScore.js

@@ -0,0 +1,16 @@
+import { helpers } from "avadaseo";
+const { formatNumber } = helpers;
+
+/**
+ * Returns the Flesch reading score for Russian.
+ *
+ * @param {Object} statistics The Flesch reading statistics.
+ *
+ * @returns {number} The Flesch reading score for Russian.
+ */
+export default function calculateScore( statistics ) {
+	const score = 206.835 - ( 1.3 * statistics.numberOfWords / statistics.numberOfSentences ) -
+		( 60.1 * statistics.numberOfSyllables / statistics.numberOfWords );
+
+	return formatNumber( score );
+}

package/src/languageProcessing/languages/ru/helpers/getStemmer.js

@@ -0,0 +1,22 @@
+import {get} from 'lodash';
+import {languageProcessing} from '../../../index';
+const {baseStemmer} = languageProcessing;
+
+import stem from './internal/stem';
+
+/**
+ * Returns the stemmer for a researcher.
+ *
+ * @param {Researcher} researcher The researcher.
+ *
+ * @returns {Function} The stemmer.
+ */
+export default function getStemmer(researcher) {
+  const morphologyData = get(researcher.getData('morphology'), 'ru', false);
+
+  if (morphologyData) {
+    return word => stem(word, morphologyData);
+  }
+
+  return baseStemmer;
+}

package/src/languageProcessing/languages/ru/helpers/internal/stem.js

@@ -0,0 +1,288 @@
+/**
+ * MIT License
+ *
+ * Copyright (c) 2016 Alexander Kiryukhin
+ *
+ * Permission is hereby granted, free of charge, to any person obtaining a copy
+ * of this software and associated documentation files (the "Software"), to deal
+ * in the Software without restriction, including without limitation the rights
+ * to use, copy, modify, merge, publish, distribute, sublicense, and/or sell
+ * copies of the Software, and to permit persons to whom the Software is
+ * furnished to do so, subject to the following conditions:
+ *
+ * The above copyright notice and this permission notice shall be included in all
+ * copies or substantial portions of the Software.
+ *
+ * THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
+ * IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
+ * FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE
+ * AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
+ * LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM,
+ * OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE
+ * SOFTWARE.
+ *
+ * https://github.com/neonxp/Stemmer/blob/master/src/NXP/Stemmer.php
+ */
+
+/**
+ * Checks if the input character is a Russian vowel.
+ *
+ * @param {string} char             The character to be checked.
+ * @param {Object} morphologyData   The Russian morphology data.
+ *
+ * @returns {boolean} Whether the input character is a Russian vowel.
+ */
+const isVowel = function( char, morphologyData ) {
+	return morphologyData.externalStemmer.vowels.includes( char );
+};
+
+/**
+ * Determines the RV region of the word.
+ *
+ * @param {string} word             The word checked.
+ * @param {Object} morphologyData   The Russian morphology data.
+ *
+ * @returns {int} The RV region index.
+ */
+const findRvRegion = function( word, morphologyData ) {
+	let rv = 0;
+	let state = 0;
+	const wordLength = word.length;
+
+	for ( let i = 1; i < wordLength; i++ ) {
+		const prevChar = word.substring( i - 1, i );
+		const char = word.substring( i, i + 1 );
+		switch ( state ) {
+			case 0:
+				if ( isVowel( char, morphologyData ) ) {
+					rv = i + 1;
+					state = 1;
+				}
+				break;
+			case 1:
+				if ( isVowel( prevChar, morphologyData ) && isVowel( char, morphologyData ) ) {
+					state = 2;
+				}
+				break;
+			case 2:
+				if ( isVowel( prevChar, morphologyData ) && isVowel( char, morphologyData ) ) {
+					return rv;
+				}
+				break;
+		}
+	}
+
+	return rv;
+};
+
+/**
+ * Removes the endings from the word.
+ *
+ * @param {string}          word	The word to check.
+ * @param {string|string[]} regex	The regex or a pair of regexes to match.
+ * @param {int}             region	The word region
+ *
+ * @returns {string|null}	The word if the stemming rule could be applied or null otherwise.
+ */
+const removeEndings = function( word, regex, region ) {
+	const prefix = word.substring( 0, region );
+	const ending = word.substring( prefix.length );
+
+	let currentRegex;
+
+	if ( Array.isArray( regex ) ) {
+		currentRegex = new RegExp( regex[ 0 ], "i" );
+
+		if ( currentRegex.test( ending ) ) {
+			word = prefix + ending.replace( currentRegex, "" );
+			return word;
+		}
+
+		currentRegex = new RegExp( regex[ 1 ], "i" );
+	} else {
+		currentRegex = new RegExp( regex, "i" );
+	}
+
+	if ( currentRegex.test( ending ) ) {
+		word = prefix + ending.replace( currentRegex, "" );
+		return word;
+	}
+
+	return null;
+};
+/**
+ * Removes the perfective prefix.
+ *
+ * @param {string}  word	        The word to check.
+ * @param {Object}  morphologyData  The morphology data.
+ * @param {int}     rv	            The word region.
+ *
+ * @returns {string}	The stemmed word if the word has perfective prefix an verb suffix, otherwise the original word.
+ */
+const removePerfectivePrefix = function( word, morphologyData, rv ) {
+	const prefix = word.substring( 0, rv );
+	const ending = word.substring( prefix.length );
+
+	const perfectiveEndingsRegex = new RegExp( morphologyData.externalStemmer.regexPerfectiveEndings, "i" );
+
+	// Checks if word has perfective prefix and verb suffix
+	if ( ( prefix === "по" && ! ending.startsWith( "д" ) ) || prefix === "про" ) {
+		if ( perfectiveEndingsRegex.test( ending ) ) {
+			word = ending;
+		}
+	}
+	return word;
+};
+
+/**
+ * Removes inflectional suffixes from the word.
+ *
+ * @param {string} word             The word to check.
+ * @param {Object} morphologyData   The Russian morphology data.
+ * @param {int}    rv               The word rv region.
+ *
+ * @returns {string}	The word after inflectional suffixes were removed.
+ */
+const removeInflectionalSuffixes = function( word, morphologyData, rv ) {
+	const removeDerivationalNounSuffix = removeEndings( word, morphologyData.externalStemmer.regexDerivationalNounSuffix, rv );
+	if ( removeDerivationalNounSuffix ) {
+		return removeDerivationalNounSuffix;
+	}
+	// Try to find a PERFECTIVE GERUND ending. If it exists, remove it and finalize the step.
+	const removeGerundSuffixes = removeEndings(
+		word,
+		[ morphologyData.externalStemmer.regexPerfectiveGerunds1, morphologyData.externalStemmer.regexPerfectiveGerunds2 ],
+		rv
+	);
+
+	if ( removeGerundSuffixes ) {
+		word = removeGerundSuffixes;
+	} else {
+		// If there is no PERFECTIVE GERUND ending then try removing a REFLEXIVE ending.
+		const removeReflexiveSuffixes = removeEndings( word, morphologyData.externalStemmer.regexReflexives, rv );
+
+		if ( removeReflexiveSuffixes ) {
+			word = removeReflexiveSuffixes;
+		}
+		// Try to remove following endings (in this order): ADJECTIVAL, VERB, NOUN. If one of them is found the step is finalized.
+		const regexAdjective = morphologyData.externalStemmer.regexAdjective;
+		const removeParticipleSuffixes = removeEndings( word, morphologyData.externalStemmer.regexParticiple + regexAdjective, rv );
+		const removeAdjectiveSuffixes = removeEndings( word, regexAdjective, rv );
+
+		if ( removeParticipleSuffixes ) {
+			word = removeParticipleSuffixes;
+		} else if ( removeAdjectiveSuffixes ) {
+			word = removeAdjectiveSuffixes;
+		} else {
+			const removeVerbalSuffixes = removeEndings(
+				word,
+				[ morphologyData.externalStemmer.regexVerb1, morphologyData.externalStemmer.regexVerb2 ],
+				rv
+			);
+			if ( removeVerbalSuffixes ) {
+				word = removeVerbalSuffixes;
+			} else {
+				const removeNounSuffixes = removeEndings( word, morphologyData.externalStemmer.regexNoun, rv );
+				if ( removeNounSuffixes ) {
+					word = removeNounSuffixes;
+				}
+			}
+		}
+	}
+
+	return word;
+};
+
+/**
+ * Checks whether a word is in the full-form exception list and if so returns the canonical stem.
+ *
+ * @param {string} word	      The word to be checked.
+ * @param {Object} exceptions The list of full-form exceptions to be checked in.
+ *
+ * @returns {null|string} The canonical stem or null if nothing was found.
+ */
+const checkWordInFullFormExceptions = function( word, exceptions ) {
+	for ( const paradigm of exceptions ) {
+		if ( paradigm[ 1 ].includes( word ) ) {
+			return paradigm[ 0 ];
+		}
+	}
+	return null;
+};
+
+/**
+ * Returns a canonical stem for verbs with multiple stems.
+ *
+ * @param {string}  word                    The word to canonicalize.
+ * @param {Array}   wordsWithMultipleStems  An array of arrays of stems belonging to one word.
+ *
+ * @returns {string} A canonical stem or the original word.
+ */
+const canonicalizeStems = function( word, wordsWithMultipleStems ) {
+	const multipleStems = wordsWithMultipleStems.find( stems => stems.includes( word ) );
+
+	if ( multipleStems ) {
+		return multipleStems[ 0 ];
+	}
+};
+
+/**
+ * Stems Russian words.
+ *
+ * @param {string} word             The word to stem.
+ * @param {Object} morphologyData   The Russian morphology data.
+ *
+ * @returns {string}	The stemmed word.
+ */
+export default function stem( word, morphologyData ) {
+	// Check if word is in the doNotStemSuffix exception list.
+	if ( morphologyData.doNotStemSuffix.includes( word ) ) {
+		return word;
+	}
+
+	// Check if the word is on the list of exceptions for which we listed all forms and the stem.
+	const fullFormException = checkWordInFullFormExceptions( word, morphologyData.exceptionStemsWithFullForms );
+	if ( fullFormException ) {
+		return fullFormException;
+	}
+
+	const rv = findRvRegion( word, morphologyData );
+
+	// Step 1: Remove perfective prefixes.
+	word = removePerfectivePrefix( word, morphologyData, rv );
+
+	// Step 2: Remove inflectional suffixes if they are present in the word.
+	word = removeInflectionalSuffixes( word, morphologyData, rv );
+
+	// Step 3: If the word ends in "и", remove it.
+	const removeIEnding = removeEndings( word, morphologyData.externalStemmer.regexI, rv );
+	if ( removeIEnding ) {
+		word = removeIEnding;
+	}
+
+	// Step 4: There can be one of three options:
+	// 1. If the word ends in нн, remove the last letter.
+	if ( word.endsWith( morphologyData.externalStemmer.doubleN ) ) {
+		word = word.substring( 0, word.length - 1 );
+	}
+
+	// 2. If the word ends in a SUPERLATIVE ending, remove it and then again the last letter if the word ends in "нн".
+	const removeSuperlativeSuffixes = removeEndings( word, morphologyData.externalStemmer.regexSuperlative, rv );
+	if ( removeSuperlativeSuffixes ) {
+		word = removeSuperlativeSuffixes;
+	}
+
+	// 3. If the word ends in "ь", remove it.
+	const removeSoftSignEnding = removeEndings( word, morphologyData.externalStemmer.regexSoftSign, rv );
+	if ( removeSoftSignEnding ) {
+		word = removeSoftSignEnding;
+	}
+
+	// Check if the stem is on the list of stems that belong to one word and if so, return the canonical stem.
+	const canonicalizedStem = canonicalizeStems( word, morphologyData.stemsThatBelongToOneWord );
+	if ( canonicalizedStem ) {
+		return canonicalizedStem;
+	}
+
+	return word;
+}

package/src/languageProcessing/languages/ru/helpers/isPassiveSentence.js

@@ -0,0 +1,14 @@
+import {languageProcessing} from '../../../index';
+const {areWordsInSentence} = languageProcessing;
+
+import getPassiveVerbs from '../config/internal/participlesShortenedList.js';
+
+/**
+ * Checks the passed sentence to see if it contains passive verbs.
+ *
+ * @param {string} sentence The sentence to match against.
+ * @returns {Boolean} Whether the sentence contains passive voice.
+ */
+export default function isPassiveSentence(sentence) {
+  return areWordsInSentence(getPassiveVerbs, sentence);
+}

package/src/languageProcessing/languages/sk/Researcher.js

@@ -0,0 +1,46 @@
+import {languageProcessing} from '../../../index';
+const {AbstractResearcher} = languageProcessing;
+
+// All config
+import stopWords from './config/stopWords';
+import functionWords from './config/functionWords';
+import {allWords as transitionWords} from './config/transitionWords';
+import twoPartTransitionWords from './config/twoPartTransitionWords';
+import firstWordExceptions from './config/firstWordExceptions';
+
+// All helpers
+import getClauses from './helpers/getClauses';
+import getStemmer from './helpers/getStemmer';
+
+/**
+ * The researcher contains all the researches, helpers, data, and config.
+ */
+export default class Researcher extends AbstractResearcher {
+  /**
+   * Constructor
+   * @param {Paper} paper The Paper object that is needed within the researches.
+   * @constructor
+   */
+  constructor(paper) {
+    super(paper);
+
+    // Deletes researches that are currently not available in Slovak.
+    // When the research is available, this line should be removed.
+    delete this.defaultResearches.getFleschReadingScore;
+
+    Object.assign(this.config, {
+      language: 'sk',
+      passiveConstructionType: 'periphrastic',
+      stopWords,
+      functionWords,
+      transitionWords,
+      twoPartTransitionWords,
+      firstWordExceptions
+    });
+
+    Object.assign(this.helpers, {
+      getClauses,
+      getStemmer
+    });
+  }
+}

package/src/languageProcessing/languages/sk/config/firstWordExceptions.js

@@ -0,0 +1,14 @@
+/**
+ * Returns an array with exceptions for the sentence beginning researcher.
+ * @type {Array} The array filled with exceptions.
+ */
+export default [
+	// Indefinite pronouns:
+	"nejaký", "nejaká", "nejaké",
+	// Numbers 0-10, 100, 1000:
+	"jeden", "jedna", "jediný", "dva", "dvaja", "dve", "tri", "trojka", "traja", "štyri ", "štvoro", "štyria", "päť", "pät",
+	"šesť", "sedem", "osem", "deväť", "desať", "sto", "tisíc",
+	// Demonstrative pronouns:
+	"ten", "tá", "to", "tento", "táto", "toto", "tamten", "tamtá", "tamto", "tí", "tie", "tieto", "toho", "tej", "tomu",
+	"tú", "tom", "tým", "tou", "tých", "tými", "títo", "tamtí", "tamtie", "tamtoho", "tomuto", "tohto",
+];