axyseo 2.0.0-alpha.0.0.4 → 2.0.0-alpha.0.0.5

package/src/languageProcessing/languages/ru/config/sentenceLength.js

@@ -1,3 +0,0 @@
-export default {
-	recommendedLength: 15,
-};

package/src/languageProcessing/languages/ru/config/syllables.json

@@ -1,19 +0,0 @@
-{
-  "vowels": "аоиеёэыуюя",
-  "deviations": {
-    "vowels": [
-      {
-        "fragments": [ "[аоиеёэыуюя][аоиеёэыуюя]" ],
-        "countModifier": 1
-      },
-      {
-        "fragments": [ "[аоиеёэыуюя][аоиеёэыуюя][аоиеёэыуюя]" ],
-        "countModifier": 1
-      }
-    ],
-    "words": {
-      "full": [],
-      "fragments": []
-    }
-  }
-}

package/src/languageProcessing/languages/ru/config/transitionWords.js

@@ -1,62 +0,0 @@
-/** @module config/transitionWords */
-
-export const singleWords = [ "безусловно", "бесспорно", "вероятно", "вестимо", "вдобавок", "видимо", "вишь", "во-вторых", "во-первых",
-	"вообще-то", "впрочем", "дабы", "едва", "ежели", "если", "затем ", "зачем", "ибо", "итак", "так", "кабы", "кажется",
-	"кажись", "коли", "кстати", "лишь", "лучше", "наверно", "наверное", "например", "небось", "нежели", "несомненно",
-	"но", "однако", "особенно", "оттого", "отчего", "поди", "пожалуй", "позволь", "позвольте", "покамест", "покуда",
-	"поскольку", "потому", "притом", "причем", "только", "хотя", "чтоб", "чтобы", "чуть", "якобы" ];
-
-export const multipleWords = [ "а вдобавок", "а вот", "а именно", "а не то", "а не", "а потом", "а также", "без всякого сомнения",
-	"без того чтобы не", "без того, чтобы не", "благодаря тому", "более того", "будто бы", "будь то", "буквально",
-	"в итоге", "в конце концов", "в общей сложности", "в общем-то", "в общем", "в отношении того что", "в отношении того, что",
-	"в принципе", "в противовес тому что", "в противовес тому, что", "в противоположность тому", "в результате",
-	"в самом деле", "в свою очередь", "в связи с тем что", "в связи с тем", "в силу того что", "в силу того",
-	"в силу чего", "в случа", "в сравнении с тем", "в сущности говоря", "в сущности", "в таком случае", "в то время как",
-	"в то время, как", "в том случае", "в частности", "в-третьих", "ввиду того", "вернее говоря", "вероятнее всего",
-	"видите ли", "видишь ли", "вместе с тем", "вместо того", "вне всякого сомнения", "вне сомнения", "во всяком случае",
-	"воля ваша", "воля твоя", "вообще говоря", "вопреки тому", "вплоть до того", "вроде того как", "вроде того что",
-	"вроде того", "вроде того", "вследствие того что", "вследствие чего", "грубо говоря", "да еще", "да и то",
-	"дай бог память", "даром что", "для того чтобы", "для того, чтобы", "до тех пор пока", "до тех пор, пока",
-	"до того как", "до того, как", "едва лишь", "едва только", "ежели бы", "если угодно", "жалко, что", "жаль, что",
-	"за счет того что", "за счет того, что", "знамо дело", "и вот еще", "из-за того что", "из-за того, что",
-	"иначе говоря", "исходя из того", "к вашему сведению", "к несчастью", "к огорчению", "к примеру сказать",
-	"к примеру", "к прискорбию", "к радости", "к слову сказать", "к сожалению", "к стыду своему", "к стыду", "к счастью",
-	"к твоему сведению", "к тому же", "к удивлению", "к ужасу", "к чести", "как будто", "как бы там ни было",
-	"как бы то ни было", "как бы", "как вам известно", "как вдруг", "как видите", "как видишь", "как видно", "как водится",
-	"как выяснилось", "как выясняется", "как говорилось", "как говорится", "как если бы", "как знать", "как известно",
-	"как на заказ", "как назло", "как нарочно", "как ни говори", "как ни говорите", "как ни странно", "как оказалось",
-	"как оказывается", "как полагается", "как положено", "как правило", "как принято говорить", "как принято", "как сказано",
-	"как скоро", "как следствие", "как словно", "как только", "как хотите", "как это ни странно", "ко всему прочему",
-	"коль скоро", "коль уж", "коротко говоря", "короче говоря", "кроме всего прочего", "кстати говоря", "кстати сказать",
-	"лишь бы", "лишь только", "мало сказать", "мало того", "между нами говоря", "между прочим", "между тем как",
-	"может статься", "можно подумать", "мягко выражаясь", "мягко говоря", "на беду", "на ваш взгляд", "на мой взгляд",
-	"на несчастье", "на основании того что", "на основании того, что", "на первый взгляд", "на самом деле", "на случай",
-	"на твой взгляд", "на худой конец", "надо полагать", "наряду с тем что", "наряду с тем", "насчет того что",
-	"насчет того, что", "не в пример тому как", "не в пример тому, как", "не то чтобы", "невзирая на то", "независимо от того",
-	"несмотря на то", "ничего не скажешь", "но вообще-то", "кроме того", "однако же", "откровенно сказать",
-	"относительно того что", "относительно того, что", "перед тем", "по вашему мнению", "по видимости", "по всей вероятности",
-	"по всей видимости", "по данным", "по замыслу", "по идее", "по крайней мере", "по мере того как", "по мере того, как",
-	"по мнению", "по моему мнению", "по обыкновению", "по обычаю", "по определению", "по поводу того", "по правде говоря",
-	"по правде сказать", "по правде", "по преданию", "по причине того", "по прогнозам", "по сведениям", "по своему обыкновению",
-	"по слухам", "по совести говоря", "по совести сказать", "по совести", "по сообщению", "по сообщениям",
-	"по справедливости говоря", "по справедливости", "по сравнению", "по статистике", "по сути говоря", "по сути дела",
-	"по сути", "по существу говоря", "по существу", "по счастью", "по твоему мнению", "по чести говоря", "по чести признаться",
-	"по чести сказать", "по-вашему", "по-видимому", "по-ихнему", "по-моему", "по-нашему", "по-твоему", "под видом того что",
-	"под видом того, что", "под предлогом", "подобно тому", "подумать только", "помимо всего прочего", "помимо всего",
-	"помимо того", "помимо того", "помимо этого", "понятное дело", "попросту говоря", "попросту сказать", "после того",
-	"потому как", "потому что", "правду говоря", "правду сказать", "правильнее говоря", "прежде всего", "прежде нежели",
-	"прежде чем", "при всем том", "при условии что", "при условии, что", "против обыкновения", "проще говоря", "проще сказать",
-	"прямо-таки как", "пускай бы", "равно как", "ради того чтобы", "разве что", "разумеется", "с вашего позволения",
-	"с вашего разрешения", "с другой стороны", "с моей точки зрения", "с одной стороны", "с позволения сказать",
-	"с твоего позволения", "с твоего разрешения", "с тем чтобы", "с тех пор как", "с той целью чтобы", "с точки зрения",
-	"само собой разумеется", "сверх того что", "сверх того", "сказать по правде", "сказать по совести", "сказать по чести",
-	"скорее всего", "смотря по тому", "со своей стороны", "собственно говоря", "совсем как", "стало быть", "стоит отметить",
-	"строго говоря", "судя по всему", "судя по тому", "так или иначе", "так как", "так что", "так чтобы", "тем более что",
-	"тем не менее", "тем паче что", "то бишь", "то есть", "тогда как", "только бы", "только лишь", "только чуть", "точнее говоря",
-	"точнее сказать", "точно так же", "что и говорить", "что ни говори", "что ни говорите", "чуть лишь", "чуть только",
-	"шутка ли сказать", "шутка ли", "шутка сказать", "это значит, что" ];
-
-export const allWords = singleWords.concat( multipleWords );
-
-export default allWords;
-

package/src/languageProcessing/languages/ru/config/twoPartTransitionWords.js

@@ -1,14 +0,0 @@
-/** @module config/twoPartTransitionWords */
-
-/**
- * Returns an array with two-part transition words to be used by the assessments.
- * @returns {Array} The array filled with two-part transition words.
- */
-export default [ [ "будь то", "или" ], [ "возможно", "а может быть" ], [ "возможно", "возможно" ], [ "достаточно", "чтобы" ],
-	[ "едва", "как" ], [ "ежели", "то" ], [ "если говорить о", "то" ], [ "если и не", "то" ], [ "если не", "то" ],
-	[ "если", "то" ], [ "мало того что", "еще и" ], [ "мало того, что", "еще и" ], [ "не сказать чтобы", "но" ],
-	[ "не сказать, чтобы", "но" ], [ "не столько", "сколько" ], [ "не то чтобы", "но" ], [ "не только не", "но и" ],
-	[ "стоило", "как" ], [ "так как", "то" ], [ "только", "как" ], [ "хоть бы", "а то" ], [ "хоть", "хоть" ], [ "хотя", "но" ],
-	[ "чем", "лучше бы" ], [ "чем", "тем" ], [ "что касается", "то" ],
-];
-

package/src/languageProcessing/languages/ru/helpers/calculateFleschReadingScore.js

@@ -1,16 +0,0 @@
-import { helpers } from "avadaseo";
-const { formatNumber } = helpers;
-
-/**
- * Returns the Flesch reading score for Russian.
- *
- * @param {Object} statistics The Flesch reading statistics.
- *
- * @returns {number} The Flesch reading score for Russian.
- */
-export default function calculateScore( statistics ) {
-	const score = 206.835 - ( 1.3 * statistics.numberOfWords / statistics.numberOfSentences ) -
-		( 60.1 * statistics.numberOfSyllables / statistics.numberOfWords );
-
-	return formatNumber( score );
-}

package/src/languageProcessing/languages/ru/helpers/getStemmer.js

@@ -1,22 +0,0 @@
-import {get} from 'lodash';
-import {languageProcessing} from '../../../index';
-const {baseStemmer} = languageProcessing;
-
-import stem from './internal/stem';
-
-/**
- * Returns the stemmer for a researcher.
- *
- * @param {Researcher} researcher The researcher.
- *
- * @returns {Function} The stemmer.
- */
-export default function getStemmer(researcher) {
-  const morphologyData = get(researcher.getData('morphology'), 'ru', false);
-
-  if (morphologyData) {
-    return word => stem(word, morphologyData);
-  }
-
-  return baseStemmer;
-}

package/src/languageProcessing/languages/ru/helpers/internal/stem.js

@@ -1,288 +0,0 @@
-/**
- * MIT License
- *
- * Copyright (c) 2016 Alexander Kiryukhin
- *
- * Permission is hereby granted, free of charge, to any person obtaining a copy
- * of this software and associated documentation files (the "Software"), to deal
- * in the Software without restriction, including without limitation the rights
- * to use, copy, modify, merge, publish, distribute, sublicense, and/or sell
- * copies of the Software, and to permit persons to whom the Software is
- * furnished to do so, subject to the following conditions:
- *
- * The above copyright notice and this permission notice shall be included in all
- * copies or substantial portions of the Software.
- *
- * THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
- * IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
- * FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE
- * AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
- * LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM,
- * OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE
- * SOFTWARE.
- *
- * https://github.com/neonxp/Stemmer/blob/master/src/NXP/Stemmer.php
- */
-
-/**
- * Checks if the input character is a Russian vowel.
- *
- * @param {string} char             The character to be checked.
- * @param {Object} morphologyData   The Russian morphology data.
- *
- * @returns {boolean} Whether the input character is a Russian vowel.
- */
-const isVowel = function( char, morphologyData ) {
-	return morphologyData.externalStemmer.vowels.includes( char );
-};
-
-/**
- * Determines the RV region of the word.
- *
- * @param {string} word             The word checked.
- * @param {Object} morphologyData   The Russian morphology data.
- *
- * @returns {int} The RV region index.
- */
-const findRvRegion = function( word, morphologyData ) {
-	let rv = 0;
-	let state = 0;
-	const wordLength = word.length;
-
-	for ( let i = 1; i < wordLength; i++ ) {
-		const prevChar = word.substring( i - 1, i );
-		const char = word.substring( i, i + 1 );
-		switch ( state ) {
-			case 0:
-				if ( isVowel( char, morphologyData ) ) {
-					rv = i + 1;
-					state = 1;
-				}
-				break;
-			case 1:
-				if ( isVowel( prevChar, morphologyData ) && isVowel( char, morphologyData ) ) {
-					state = 2;
-				}
-				break;
-			case 2:
-				if ( isVowel( prevChar, morphologyData ) && isVowel( char, morphologyData ) ) {
-					return rv;
-				}
-				break;
-		}
-	}
-
-	return rv;
-};
-
-/**
- * Removes the endings from the word.
- *
- * @param {string}          word	The word to check.
- * @param {string|string[]} regex	The regex or a pair of regexes to match.
- * @param {int}             region	The word region
- *
- * @returns {string|null}	The word if the stemming rule could be applied or null otherwise.
- */
-const removeEndings = function( word, regex, region ) {
-	const prefix = word.substring( 0, region );
-	const ending = word.substring( prefix.length );
-
-	let currentRegex;
-
-	if ( Array.isArray( regex ) ) {
-		currentRegex = new RegExp( regex[ 0 ], "i" );
-
-		if ( currentRegex.test( ending ) ) {
-			word = prefix + ending.replace( currentRegex, "" );
-			return word;
-		}
-
-		currentRegex = new RegExp( regex[ 1 ], "i" );
-	} else {
-		currentRegex = new RegExp( regex, "i" );
-	}
-
-	if ( currentRegex.test( ending ) ) {
-		word = prefix + ending.replace( currentRegex, "" );
-		return word;
-	}
-
-	return null;
-};
-/**
- * Removes the perfective prefix.
- *
- * @param {string}  word	        The word to check.
- * @param {Object}  morphologyData  The morphology data.
- * @param {int}     rv	            The word region.
- *
- * @returns {string}	The stemmed word if the word has perfective prefix an verb suffix, otherwise the original word.
- */
-const removePerfectivePrefix = function( word, morphologyData, rv ) {
-	const prefix = word.substring( 0, rv );
-	const ending = word.substring( prefix.length );
-
-	const perfectiveEndingsRegex = new RegExp( morphologyData.externalStemmer.regexPerfectiveEndings, "i" );
-
-	// Checks if word has perfective prefix and verb suffix
-	if ( ( prefix === "по" && ! ending.startsWith( "д" ) ) || prefix === "про" ) {
-		if ( perfectiveEndingsRegex.test( ending ) ) {
-			word = ending;
-		}
-	}
-	return word;
-};
-
-/**
- * Removes inflectional suffixes from the word.
- *
- * @param {string} word             The word to check.
- * @param {Object} morphologyData   The Russian morphology data.
- * @param {int}    rv               The word rv region.
- *
- * @returns {string}	The word after inflectional suffixes were removed.
- */
-const removeInflectionalSuffixes = function( word, morphologyData, rv ) {
-	const removeDerivationalNounSuffix = removeEndings( word, morphologyData.externalStemmer.regexDerivationalNounSuffix, rv );
-	if ( removeDerivationalNounSuffix ) {
-		return removeDerivationalNounSuffix;
-	}
-	// Try to find a PERFECTIVE GERUND ending. If it exists, remove it and finalize the step.
-	const removeGerundSuffixes = removeEndings(
-		word,
-		[ morphologyData.externalStemmer.regexPerfectiveGerunds1, morphologyData.externalStemmer.regexPerfectiveGerunds2 ],
-		rv
-	);
-
-	if ( removeGerundSuffixes ) {
-		word = removeGerundSuffixes;
-	} else {
-		// If there is no PERFECTIVE GERUND ending then try removing a REFLEXIVE ending.
-		const removeReflexiveSuffixes = removeEndings( word, morphologyData.externalStemmer.regexReflexives, rv );
-
-		if ( removeReflexiveSuffixes ) {
-			word = removeReflexiveSuffixes;
-		}
-		// Try to remove following endings (in this order): ADJECTIVAL, VERB, NOUN. If one of them is found the step is finalized.
-		const regexAdjective = morphologyData.externalStemmer.regexAdjective;
-		const removeParticipleSuffixes = removeEndings( word, morphologyData.externalStemmer.regexParticiple + regexAdjective, rv );
-		const removeAdjectiveSuffixes = removeEndings( word, regexAdjective, rv );
-
-		if ( removeParticipleSuffixes ) {
-			word = removeParticipleSuffixes;
-		} else if ( removeAdjectiveSuffixes ) {
-			word = removeAdjectiveSuffixes;
-		} else {
-			const removeVerbalSuffixes = removeEndings(
-				word,
-				[ morphologyData.externalStemmer.regexVerb1, morphologyData.externalStemmer.regexVerb2 ],
-				rv
-			);
-			if ( removeVerbalSuffixes ) {
-				word = removeVerbalSuffixes;
-			} else {
-				const removeNounSuffixes = removeEndings( word, morphologyData.externalStemmer.regexNoun, rv );
-				if ( removeNounSuffixes ) {
-					word = removeNounSuffixes;
-				}
-			}
-		}
-	}
-
-	return word;
-};
-
-/**
- * Checks whether a word is in the full-form exception list and if so returns the canonical stem.
- *
- * @param {string} word	      The word to be checked.
- * @param {Object} exceptions The list of full-form exceptions to be checked in.
- *
- * @returns {null|string} The canonical stem or null if nothing was found.
- */
-const checkWordInFullFormExceptions = function( word, exceptions ) {
-	for ( const paradigm of exceptions ) {
-		if ( paradigm[ 1 ].includes( word ) ) {
-			return paradigm[ 0 ];
-		}
-	}
-	return null;
-};
-
-/**
- * Returns a canonical stem for verbs with multiple stems.
- *
- * @param {string}  word                    The word to canonicalize.
- * @param {Array}   wordsWithMultipleStems  An array of arrays of stems belonging to one word.
- *
- * @returns {string} A canonical stem or the original word.
- */
-const canonicalizeStems = function( word, wordsWithMultipleStems ) {
-	const multipleStems = wordsWithMultipleStems.find( stems => stems.includes( word ) );
-
-	if ( multipleStems ) {
-		return multipleStems[ 0 ];
-	}
-};
-
-/**
- * Stems Russian words.
- *
- * @param {string} word             The word to stem.
- * @param {Object} morphologyData   The Russian morphology data.
- *
- * @returns {string}	The stemmed word.
- */
-export default function stem( word, morphologyData ) {
-	// Check if word is in the doNotStemSuffix exception list.
-	if ( morphologyData.doNotStemSuffix.includes( word ) ) {
-		return word;
-	}
-
-	// Check if the word is on the list of exceptions for which we listed all forms and the stem.
-	const fullFormException = checkWordInFullFormExceptions( word, morphologyData.exceptionStemsWithFullForms );
-	if ( fullFormException ) {
-		return fullFormException;
-	}
-
-	const rv = findRvRegion( word, morphologyData );
-
-	// Step 1: Remove perfective prefixes.
-	word = removePerfectivePrefix( word, morphologyData, rv );
-
-	// Step 2: Remove inflectional suffixes if they are present in the word.
-	word = removeInflectionalSuffixes( word, morphologyData, rv );
-
-	// Step 3: If the word ends in "и", remove it.
-	const removeIEnding = removeEndings( word, morphologyData.externalStemmer.regexI, rv );
-	if ( removeIEnding ) {
-		word = removeIEnding;
-	}
-
-	// Step 4: There can be one of three options:
-	// 1. If the word ends in нн, remove the last letter.
-	if ( word.endsWith( morphologyData.externalStemmer.doubleN ) ) {
-		word = word.substring( 0, word.length - 1 );
-	}
-
-	// 2. If the word ends in a SUPERLATIVE ending, remove it and then again the last letter if the word ends in "нн".
-	const removeSuperlativeSuffixes = removeEndings( word, morphologyData.externalStemmer.regexSuperlative, rv );
-	if ( removeSuperlativeSuffixes ) {
-		word = removeSuperlativeSuffixes;
-	}
-
-	// 3. If the word ends in "ь", remove it.
-	const removeSoftSignEnding = removeEndings( word, morphologyData.externalStemmer.regexSoftSign, rv );
-	if ( removeSoftSignEnding ) {
-		word = removeSoftSignEnding;
-	}
-
-	// Check if the stem is on the list of stems that belong to one word and if so, return the canonical stem.
-	const canonicalizedStem = canonicalizeStems( word, morphologyData.stemsThatBelongToOneWord );
-	if ( canonicalizedStem ) {
-		return canonicalizedStem;
-	}
-
-	return word;
-}

package/src/languageProcessing/languages/ru/helpers/isPassiveSentence.js

@@ -1,14 +0,0 @@
-import {languageProcessing} from '../../../index';
-const {areWordsInSentence} = languageProcessing;
-
-import getPassiveVerbs from '../config/internal/participlesShortenedList.js';
-
-/**
- * Checks the passed sentence to see if it contains passive verbs.
- *
- * @param {string} sentence The sentence to match against.
- * @returns {Boolean} Whether the sentence contains passive voice.
- */
-export default function isPassiveSentence(sentence) {
-  return areWordsInSentence(getPassiveVerbs, sentence);
-}

package/src/languageProcessing/languages/sk/Researcher.js

@@ -1,46 +0,0 @@
-import {languageProcessing} from '../../../index';
-const {AbstractResearcher} = languageProcessing;
-
-// All config
-import stopWords from './config/stopWords';
-import functionWords from './config/functionWords';
-import {allWords as transitionWords} from './config/transitionWords';
-import twoPartTransitionWords from './config/twoPartTransitionWords';
-import firstWordExceptions from './config/firstWordExceptions';
-
-// All helpers
-import getClauses from './helpers/getClauses';
-import getStemmer from './helpers/getStemmer';
-
-/**
- * The researcher contains all the researches, helpers, data, and config.
- */
-export default class Researcher extends AbstractResearcher {
-  /**
-   * Constructor
-   * @param {Paper} paper The Paper object that is needed within the researches.
-   * @constructor
-   */
-  constructor(paper) {
-    super(paper);
-
-    // Deletes researches that are currently not available in Slovak.
-    // When the research is available, this line should be removed.
-    delete this.defaultResearches.getFleschReadingScore;
-
-    Object.assign(this.config, {
-      language: 'sk',
-      passiveConstructionType: 'periphrastic',
-      stopWords,
-      functionWords,
-      transitionWords,
-      twoPartTransitionWords,
-      firstWordExceptions
-    });
-
-    Object.assign(this.helpers, {
-      getClauses,
-      getStemmer
-    });
-  }
-}

package/src/languageProcessing/languages/sk/config/firstWordExceptions.js

@@ -1,14 +0,0 @@
-/**
- * Returns an array with exceptions for the sentence beginning researcher.
- * @type {Array} The array filled with exceptions.
- */
-export default [
-	// Indefinite pronouns:
-	"nejaký", "nejaká", "nejaké",
-	// Numbers 0-10, 100, 1000:
-	"jeden", "jedna", "jediný", "dva", "dvaja", "dve", "tri", "trojka", "traja", "štyri ", "štvoro", "štyria", "päť", "pät",
-	"šesť", "sedem", "osem", "deväť", "desať", "sto", "tisíc",
-	// Demonstrative pronouns:
-	"ten", "tá", "to", "tento", "táto", "toto", "tamten", "tamtá", "tamto", "tí", "tie", "tieto", "toho", "tej", "tomu",
-	"tú", "tom", "tým", "tou", "tých", "tými", "títo", "tamtí", "tamtie", "tamtoho", "tomuto", "tohto",
-];