@jocmp/mercury-parser 3.0.7 → 3.0.8

This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
Files changed (7) hide show
  1. package/dist/generate-custom-parser.js +77 -6
  2. package/dist/generate-custom-parser.js.map +1 -1
  3. package/dist/mercury.js +79 -4
  4. package/dist/mercury.js.map +1 -1
  5. package/dist/mercury.web.js +2 -2
  6. package/dist/mercury.web.js.map +1 -1
  7. package/package.json +6 -5
package/dist/generate-custom-parser.js CHANGED
@@ -42,7 +42,6 @@ var require$$31 = require('dayjs/plugin/timezone');
42
42
  var require$$32 = require('dayjs/plugin/customParseFormat');
43
43
  var require$$33 = require('wuzzy');
44
44
  var require$$34 = require('difflib');
45
- var require$$35 = require('ellipsize');
46
45
  var _taggedTemplateLiteral = require('@babel/runtime-corejs2/helpers/taggedTemplateLiteral');
47
46
 
48
47
  function _interopDefaultLegacy (e) { return e && typeof e === 'object' && 'default' in e ? e : { 'default': e }; }
@@ -88,7 +87,6 @@ var require$$31__default = /*#__PURE__*/_interopDefaultLegacy(require$$31);
88
87
  var require$$32__default = /*#__PURE__*/_interopDefaultLegacy(require$$32);
89
88
  var require$$33__default = /*#__PURE__*/_interopDefaultLegacy(require$$33);
90
89
  var require$$34__default = /*#__PURE__*/_interopDefaultLegacy(require$$34);
91
- var require$$35__default = /*#__PURE__*/_interopDefaultLegacy(require$$35);
92
90
  var _taggedTemplateLiteral__default = /*#__PURE__*/_interopDefaultLegacy(_taggedTemplateLiteral);
93
91
 
94
92
  // Spacer images to be removed
@@ -222,7 +220,6 @@ function requireMercury() {
222
220
  var customParseFormat = require$$32__default["default"];
223
221
  var wuzzy = require$$33__default["default"];
224
222
  var difflib = require$$34__default["default"];
225
- var ellipsize = require$$35__default["default"];
226
223
  function _interopDefaultLegacy(e) {
227
224
  return e && _typeof__default["default"](e) === 'object' && 'default' in e ? e : {
228
225
  'default': e
@@ -282,7 +279,6 @@ function requireMercury() {
282
279
  var customParseFormat__default = /*#__PURE__*/_interopDefaultLegacy(customParseFormat);
283
280
  var wuzzy__default = /*#__PURE__*/_interopDefaultLegacy(wuzzy);
284
281
  var difflib__default = /*#__PURE__*/_interopDefaultLegacy(difflib);
285
- var ellipsize__default = /*#__PURE__*/_interopDefaultLegacy(ellipsize);
286
282
  var NORMALIZE_RE = /\s{2,}(?![^<>]*<\/(pre|code|textarea)>)/g;
287
283
  function normalizeSpaces(text) {
288
284
  return text.replace(NORMALIZE_RE, ' ').trim();
@@ -7552,6 +7548,30 @@ function requireMercury() {
7552
7548
  var GrEuronewsComExtractor = _objectSpread$6(_objectSpread$6({}, WwwEuronewsComExtractor), {}, {
7553
7549
  domain: 'gr.euronews.com'
7554
7550
  });
7551
+ var WwwIlfattoquotidianoItExtractor = {
7552
+ domain: 'www.ilfattoquotidiano.it',
7553
+ title: {
7554
+ selectors: [['meta[name="og:title"]', 'value']]
7555
+ },
7556
+ author: {
7557
+ selectors: ['.ifq-post__author .ifq-news-meta__author-name'],
7558
+ clean: ['span']
7559
+ },
7560
+ date_published: {
7561
+ selectors: [['meta[name="article:published_time"]', 'value']]
7562
+ },
7563
+ dek: {
7564
+ selectors: [['meta[name="og:description"]', 'value']]
7565
+ },
7566
+ lead_image_url: {
7567
+ selectors: [['meta[name="og:image"]', 'value']]
7568
+ },
7569
+ content: {
7570
+ selectors: ['.ifq-post__content', 'article'],
7571
+ transforms: {},
7572
+ clean: []
7573
+ }
7574
+ };
7555
7575
  var CustomExtractors = /*#__PURE__*/_Object$freeze__default["default"]({
7556
7576
  __proto__: null,
7557
7577
  BalloonJuiceComExtractor: BalloonJuiceComExtractor,
@@ -7750,7 +7770,8 @@ function requireMercury() {
7750
7770
  WwwTransfermarktDeExtractor: WwwTransfermarktDeExtractor,
7751
7771
  WwwBlickDeExtractor: WwwBlickDeExtractor,
7752
7772
  WwwEuronewsComExtractor: WwwEuronewsComExtractor,
7753
- GrEuronewsComExtractor: GrEuronewsComExtractor
7773
+ GrEuronewsComExtractor: GrEuronewsComExtractor,
7774
+ WwwIlfattoquotidianoItExtractor: WwwIlfattoquotidianoItExtractor
7754
7775
  });
7755
7776
  function ownKeys$5(e, r) {
7756
7777
  var t = _Object$keys__default$1["default"](e);
@@ -9277,11 +9298,61 @@ function requireMercury() {
9277
9298
  return result(url);
9278
9299
  }
9279
9300
  };
9301
+ var defaults = {
9302
+ ellipse: '…',
9303
+ chars: [' ', '-'],
9304
+ max: 140,
9305
+ truncate: true
9306
+ };
9307
+ function ellipsizeMiddle(str, max, ellipse, chars) {
9308
+ if (str.length <= max) return str;
9309
+ if (max < 2) return str.slice(0, max - ellipse.length) + ellipse;
9310
+ var maxLen = max - ellipse.length;
9311
+ var middle = Math.floor(maxLen / 2);
9312
+ var left = middle;
9313
+ var right = str.length - middle;
9314
+ for (var i = 0; i < middle; i += 1) {
9315
+ var charLeft = str.charAt(i);
9316
+ var posRight = str.length - i;
9317
+ var charRight = str.charAt(posRight);
9318
+ if (chars.indexOf(charLeft) !== -1) left = i;
9319
+ if (chars.indexOf(charRight) !== -1) right = posRight;
9320
+ }
9321
+ return str.slice(0, left) + ellipse + str.slice(right);
9322
+ }
9323
+ function ellipsize(str, max, ellipse, chars, truncate) {
9324
+ if (str.length <= max) return str;
9325
+ var maxLen = max - ellipse.length;
9326
+ var end = maxLen;
9327
+ var breakpointFound = false;
9328
+ for (var i = 0; i <= maxLen; i += 1) {
9329
+ var _char = str.charAt(i);
9330
+ if (chars.indexOf(_char) !== -1) {
9331
+ end = i;
9332
+ breakpointFound = true;
9333
+ }
9334
+ }
9335
+ if (!truncate && !breakpointFound) return '';
9336
+ return str.slice(0, end) + ellipse;
9337
+ }
9338
+ var ellipsize$1 = function ellipsize$1(str, max, opts) {
9339
+ if (typeof str !== 'string' || str.length === 0) return '';
9340
+ if (max === 0) return '';
9341
+ opts = opts || {};
9342
+ _Object$keys__default$1["default"](defaults).forEach(function (key) {
9343
+ if (opts[key] === null || typeof opts[key] === 'undefined') {
9344
+ opts[key] = defaults[key];
9345
+ }
9346
+ });
9347
+ opts.max = max || opts.max;
9348
+ if (opts.truncate === 'middle') return ellipsizeMiddle(str, opts.max, opts.ellipse, opts.chars);
9349
+ return ellipsize(str, opts.max, opts.ellipse, opts.chars, opts.truncate);
9350
+ };
9280
9351
  var EXCERPT_META_SELECTORS = ['og:description', 'twitter:description'];
9281
9352
  function clean(content, $) {
9282
9353
  var maxLength = arguments.length > 2 && arguments[2] !== undefined ? arguments[2] : 200;
9283
9354
  content = content.replace(/[\s\n]+/g, ' ').trim();
9284
- return ellipsize__default["default"](content, maxLength, {
9355
+ return ellipsize$1(content, maxLength, {
9285
9356
  ellipse: '&hellip;'
9286
9357
  });
9287
9358
  }
package/dist/generate-custom-parser.js.map CHANGED
@@ -1 +1 @@
1
- {"version":3,"file":"generate-custom-parser.js","sources":["../src/utils/dom/constants.js","../src/utils/dom/get-attrs.js","../src/utils/dom/strip-junk-tags.js","../src/utils/dom/set-attr.js","../src/utils/dom/make-links-absolute.js","../scripts/templates/insert-values.js","../scripts/templates/index.js","../scripts/templates/custom-extractor.js","../scripts/templates/custom-extractor-test.js","../scripts/generate-custom-parser.js"],"sourcesContent":["// Spacer images to be removed\nexport const SPACER_RE = new RegExp('transparent|spacer|blank', 'i');\n\n// The class we will use to mark elements we want to keep\n// but would normally remove\nexport const KEEP_CLASS = 'mercury-parser-keep';\n\nexport const KEEP_SELECTORS = [\n 'iframe[src^=\"https://www.youtube.com\"]',\n 'iframe[src^=\"https://www.youtube-nocookie.com\"]',\n 'iframe[src^=\"http://www.youtube.com\"]',\n 'iframe[src^=\"https://player.vimeo\"]',\n 'iframe[src^=\"http://player.vimeo\"]',\n 'iframe[src^=\"https://www.redditmedia.com\"]',\n];\n\n// A list of tags to strip from the output if we encounter them.\nexport const STRIP_OUTPUT_TAGS = [\n 'title',\n 'script',\n 'noscript',\n 'link',\n 'style',\n 'hr',\n 'embed',\n 'iframe',\n 'object',\n];\n\n// cleanAttributes\nexport const REMOVE_ATTRS = ['style', 'align'];\nexport const REMOVE_ATTR_SELECTORS = REMOVE_ATTRS.map(\n selector => `[${selector}]`\n);\nexport const REMOVE_ATTR_LIST = REMOVE_ATTRS.join(',');\nexport const WHITELIST_ATTRS = [\n 'src',\n 'srcset',\n 'start',\n 'sizes',\n 'type',\n 'href',\n 'class',\n 'id',\n 'alt',\n 'xlink:href',\n 'width',\n 'height',\n];\n\nexport const WHITELIST_ATTRS_RE = new RegExp(\n `^(${WHITELIST_ATTRS.join('|')})$`,\n 'i'\n);\n\n// removeEmpty\nexport const REMOVE_EMPTY_TAGS = ['p'];\nexport const REMOVE_EMPTY_SELECTORS = REMOVE_EMPTY_TAGS.map(\n tag => `${tag}:empty`\n).join(',');\n\n// cleanTags\nexport const CLEAN_CONDITIONALLY_TAGS = [\n 'ul',\n 'ol',\n 'table',\n 'div',\n 'button',\n 'form',\n].join(',');\n\n// cleanHeaders\nconst HEADER_TAGS = ['h2', 'h3', 'h4', 'h5', 'h6'];\nexport const HEADER_TAG_LIST = HEADER_TAGS.join(',');\n\n// // CONTENT FETCHING CONSTANTS ////\n\n// A list of strings that can be considered unlikely candidates when\n// extracting content from a resource. These strings are joined together\n// and then tested for existence using re:test, so may contain simple,\n// non-pipe style regular expression queries if necessary.\nexport const UNLIKELY_CANDIDATES_BLACKLIST = [\n 'ad-break',\n 'adbox',\n 'advert',\n 'addthis',\n 'agegate',\n 'aux',\n 'blogger-labels',\n 'combx',\n 'comment',\n 'conversation',\n 'disqus',\n 'entry-unrelated',\n 'extra',\n 'foot',\n // 'form', // This is too generic, has too many false positives\n 'header',\n 'hidden',\n 'loader',\n 'login', // Note: This can hit 'blogindex'.\n 'menu',\n 'meta',\n 'nav',\n 'outbrain',\n 'pager',\n 'pagination',\n 'predicta', // readwriteweb inline ad box\n 'presence_control_external', // lifehacker.com container full of false positives\n 'popup',\n 'printfriendly',\n 'related',\n 'remove',\n 'remark',\n 'rss',\n 'share',\n 'shoutbox',\n 'sidebar',\n 'sociable',\n 'sponsor',\n 'taboola',\n 'tools',\n];\n\n// A list of strings that can be considered LIKELY candidates when\n// extracting content from a resource. Essentially, the inverse of the\n// blacklist above - if something matches both blacklist and whitelist,\n// it is kept. This is useful, for example, if something has a className\n// of \"rss-content entry-content\". It matched 'rss', so it would normally\n// be removed, however, it's also the entry content, so it should be left\n// alone.\n//\n// These strings are joined together and then tested for existence using\n// re:test, so may contain simple, non-pipe style regular expression queries\n// if necessary.\nexport const UNLIKELY_CANDIDATES_WHITELIST = [\n 'and',\n 'article',\n 'body',\n 'blogindex',\n 'column',\n 'content',\n 'entry-content-asset',\n 'format', // misuse of form\n 'hfeed',\n 'hentry',\n 'hatom',\n 'main',\n 'page',\n 'posts',\n 'shadow',\n];\n\n// A list of tags which, if found inside, should cause a <div /> to NOT\n// be turned into a paragraph tag. Shallow div tags without these elements\n// should be turned into <p /> tags.\nexport const DIV_TO_P_BLOCK_TAGS = [\n 'a',\n 'blockquote',\n 'dl',\n 'div',\n 'img',\n 'p',\n 'pre',\n 'table',\n].join(',');\n\n// A list of tags that should be ignored when trying to find the top candidate\n// for a document.\nexport const NON_TOP_CANDIDATE_TAGS = [\n 'br',\n 'b',\n 'i',\n 'label',\n 'hr',\n 'area',\n 'base',\n 'basefont',\n 'input',\n 'img',\n 'link',\n 'meta',\n];\n\nexport const NON_TOP_CANDIDATE_TAGS_RE = new RegExp(\n `^(${NON_TOP_CANDIDATE_TAGS.join('|')})$`,\n 'i'\n);\n\n// A list of selectors that specify, very clearly, either hNews or other\n// very content-specific style content, like Blogger templates.\n// More examples here: http://microformats.org/wiki/blog-post-formats\nexport const HNEWS_CONTENT_SELECTORS = [\n ['.hentry', '.entry-content'],\n ['entry', '.entry-content'],\n ['.entry', '.entry_content'],\n ['.post', '.postbody'],\n ['.post', '.post_body'],\n ['.post', '.post-body'],\n];\n\nexport const PHOTO_HINTS = ['figure', 'photo', 'image', 'caption'];\nexport const PHOTO_HINTS_RE = new RegExp(PHOTO_HINTS.join('|'), 'i');\n\n// A list of strings that denote a positive scoring for this content as being\n// an article container. Checked against className and id.\n//\n// TODO: Perhaps have these scale based on their odds of being quality?\nexport const POSITIVE_SCORE_HINTS = [\n 'article',\n 'articlecontent',\n 'instapaper_body',\n 'blog',\n 'body',\n 'content',\n 'entry-content-asset',\n 'entry',\n 'hentry',\n 'main',\n 'Normal',\n 'page',\n 'pagination',\n 'permalink',\n 'post',\n 'story',\n 'text',\n '[-_]copy', // usatoday\n '\\\\Bcopy',\n];\n\n// The above list, joined into a matching regular expression\nexport const POSITIVE_SCORE_RE = new RegExp(\n POSITIVE_SCORE_HINTS.join('|'),\n 'i'\n);\n\n// Readability publisher-specific guidelines\nexport const READABILITY_ASSET = new RegExp('entry-content-asset', 'i');\n\n// A list of strings that denote a negative scoring for this content as being\n// an article container. Checked against className and id.\n//\n// TODO: Perhaps have these scale based on their odds of being quality?\nexport const NEGATIVE_SCORE_HINTS = [\n 'adbox',\n 'advert',\n 'author',\n 'bio',\n 'bookmark',\n 'bottom',\n 'byline',\n 'clear',\n 'com-',\n 'combx',\n 'comment',\n 'comment\\\\B',\n 'contact',\n 'copy',\n 'credit',\n 'crumb',\n 'date',\n 'deck',\n 'excerpt',\n 'featured', // tnr.com has a featured_content which throws us off\n 'foot',\n 'footer',\n 'footnote',\n 'graf',\n 'head',\n 'info',\n 'infotext', // newscientist.com copyright\n 'instapaper_ignore',\n 'jump',\n 'linebreak',\n 'link',\n 'masthead',\n 'media',\n 'meta',\n 'modal',\n 'outbrain', // slate.com junk\n 'promo',\n 'pr_', // autoblog - press release\n 'related',\n 'respond',\n 'roundcontent', // lifehacker restricted content warning\n 'scroll',\n 'secondary',\n 'share',\n 'shopping',\n 'shoutbox',\n 'side',\n 'sidebar',\n 'sponsor',\n 'stamp',\n 'sub',\n 'summary',\n 'tags',\n 'tools',\n 'widget',\n];\n// The above list, joined into a matching regular expression\nexport const NEGATIVE_SCORE_RE = new RegExp(\n NEGATIVE_SCORE_HINTS.join('|'),\n 'i'\n);\n\n// XPath to try to determine if a page is wordpress. Not always successful.\nexport const IS_WP_SELECTOR = 'meta[name=generator][value^=WordPress]';\n\n// Match a digit. Pretty clear.\nexport const DIGIT_RE = new RegExp('[0-9]');\n\n// A list of words that, if found in link text or URLs, likely mean that\n// this link is not a next page link.\nexport const EXTRANEOUS_LINK_HINTS = [\n 'print',\n 'archive',\n 'comment',\n 'discuss',\n 'e-mail',\n 'email',\n 'share',\n 'reply',\n 'all',\n 'login',\n 'sign',\n 'single',\n 'adx',\n 'entry-unrelated',\n];\nexport const EXTRANEOUS_LINK_HINTS_RE = new RegExp(\n EXTRANEOUS_LINK_HINTS.join('|'),\n 'i'\n);\n\n// Match any phrase that looks like it could be page, or paging, or pagination\nexport const PAGE_RE = new RegExp('pag(e|ing|inat)', 'i');\n\n// Match any link text/classname/id that looks like it could mean the next\n// page. Things like: next, continue, >, >>, » but not >|, »| as those can\n// mean last page.\n// export const NEXT_LINK_TEXT_RE = new RegExp('(next|weiter|continue|>([^\\|]|$)|»([^\\|]|$))', 'i');\nexport const NEXT_LINK_TEXT_RE = /(next|weiter|continue|>([^|]|$)|»([^|]|$))/i;\n\n// Match any link text/classname/id that looks like it is an end link: things\n// like \"first\", \"last\", \"end\", etc.\nexport const CAP_LINK_TEXT_RE = new RegExp('(first|last|end)', 'i');\n\n// Match any link text/classname/id that looks like it means the previous\n// page.\nexport const PREV_LINK_TEXT_RE = new RegExp('(prev|earl|old|new|<|«)', 'i');\n\n// Match 2 or more consecutive <br> tags\nexport const BR_TAGS_RE = new RegExp('(<br[^>]*>[ \\n\\r\\t]*){2,}', 'i');\n\n// Match 1 BR tag.\nexport const BR_TAG_RE = new RegExp('<br[^>]*>', 'i');\n\n// A list of all of the block level tags known in HTML5 and below. Taken from\n// http://bit.ly/qneNIT\nexport const BLOCK_LEVEL_TAGS = [\n 'article',\n 'aside',\n 'blockquote',\n 'body',\n 'br',\n 'button',\n 'canvas',\n 'caption',\n 'col',\n 'colgroup',\n 'dd',\n 'div',\n 'dl',\n 'dt',\n 'embed',\n 'fieldset',\n 'figcaption',\n 'figure',\n 'footer',\n 'form',\n 'h1',\n 'h2',\n 'h3',\n 'h4',\n 'h5',\n 'h6',\n 'header',\n 'hgroup',\n 'hr',\n 'li',\n 'map',\n 'object',\n 'ol',\n 'output',\n 'p',\n 'pre',\n 'progress',\n 'section',\n 'table',\n 'tbody',\n 'textarea',\n 'tfoot',\n 'th',\n 'thead',\n 'tr',\n 'ul',\n 'video',\n];\nexport const BLOCK_LEVEL_TAGS_RE = new RegExp(\n `^(${BLOCK_LEVEL_TAGS.join('|')})$`,\n 'i'\n);\n\n// The removal is implemented as a blacklist and whitelist, this test finds\n// blacklisted elements that aren't whitelisted. We do this all in one\n// expression-both because it's only one pass, and because this skips the\n// serialization for whitelisted nodes.\nconst candidatesBlacklist = UNLIKELY_CANDIDATES_BLACKLIST.join('|');\nexport const CANDIDATES_BLACKLIST = new RegExp(candidatesBlacklist, 'i');\n\nconst candidatesWhitelist = UNLIKELY_CANDIDATES_WHITELIST.join('|');\nexport const CANDIDATES_WHITELIST = new RegExp(candidatesWhitelist, 'i');\n\nexport const UNLIKELY_RE = new RegExp(\n `!(${candidatesWhitelist})|(${candidatesBlacklist})`,\n 'i'\n);\n\nexport const PARAGRAPH_SCORE_TAGS = new RegExp('^(p|li|span|pre)$', 'i');\nexport const CHILD_CONTENT_TAGS = new RegExp('^(td|blockquote|ol|ul|dl)$', 'i');\nexport const BAD_TAGS = new RegExp('^(address|form)$', 'i');\n\nexport const HTML_OR_BODY_RE = new RegExp('^(html|body)$', 'i');\n","export default function getAttrs(node) {\n const { attribs, attributes } = node;\n\n if (!attribs && attributes) {\n const attrs = Reflect.ownKeys(attributes).reduce((acc, index) => {\n const attr = attributes[index];\n\n // In browser, Reflect.ownKeys includes non-numeric keys like 'length', 'item', etc.\n if (!attr || !attr.name || !attr.value) return acc;\n\n acc[attr.name] = attr.value;\n return acc;\n }, {});\n return attrs;\n }\n\n return attribs;\n}\n","import { STRIP_OUTPUT_TAGS, KEEP_CLASS } from './constants';\n\nexport default function stripJunkTags(article, $, tags = []) {\n if (tags.length === 0) {\n tags = STRIP_OUTPUT_TAGS;\n }\n\n // Remove matching elements, but ignore\n // any element with a class of mercury-parser-keep\n $(tags.join(','), article)\n .not(`.${KEEP_CLASS}`)\n .remove();\n\n return $;\n}\n","export default function setAttr(node, attr, val) {\n if (node.attribs) {\n node.attribs[attr] = val;\n } else if (node.attributes) {\n node.setAttribute(attr, val);\n }\n\n return node;\n}\n","import URL from 'url';\n\nimport getAttrs from './get-attrs';\nimport setAttr from './set-attr';\n\nfunction absolutize($, rootUrl, attr) {\n const baseUrl = $('base').attr('href');\n\n $(`[${attr}]`).each((_, node) => {\n const attrs = getAttrs(node);\n const url = attrs[attr];\n if (!url) return;\n const absoluteUrl = URL.resolve(baseUrl || rootUrl, url);\n\n setAttr(node, attr, absoluteUrl);\n });\n}\n\nfunction absolutizeSet($, rootUrl, $content) {\n $('[srcset]', $content).each((_, node) => {\n const attrs = getAttrs(node);\n const urlSet = attrs.srcset;\n\n if (urlSet) {\n // a comma should be considered part of the candidate URL unless preceded by a descriptor\n // descriptors can only contain positive numbers followed immediately by either 'w' or 'x'\n // space characters inside the URL should be encoded (%20 or +)\n const candidates = urlSet.match(\n /(?:\\s*)(\\S+(?:\\s*[\\d.]+[wx])?)(?:\\s*,\\s*)?/g\n );\n if (!candidates) return;\n const absoluteCandidates = candidates.map(candidate => {\n // a candidate URL cannot start or end with a comma\n // descriptors are separated from the URLs by unescaped whitespace\n const parts = candidate\n .trim()\n .replace(/,$/, '')\n .split(/\\s+/);\n parts[0] = URL.resolve(rootUrl, parts[0]);\n return parts.join(' ');\n });\n const absoluteUrlSet = [...new Set(absoluteCandidates)].join(', ');\n setAttr(node, 'srcset', absoluteUrlSet);\n }\n });\n}\n\nexport default function makeLinksAbsolute($content, $, url) {\n ['href', 'src'].forEach(attr => absolutize($, url, attr));\n absolutizeSet($, url, $content);\n\n return $content;\n}\n","export default function insertValues(strings, ...values) {\n if (values.length) {\n return strings.reduce((result, part, idx) => {\n let value = values[idx];\n\n if (value && typeof value.toString === 'function') {\n value = value.toString();\n } else {\n value = '';\n }\n\n return result + part + value;\n }, '');\n }\n\n return strings.join('');\n}\n","import insertValues from './insert-values';\n\nconst bodyPattern = /^\\n([\\s\\S]+)\\s{2}$/gm;\nconst trailingWhitespace = /\\s+$/;\n\nexport default function template(strings, ...values) {\n const compiled = insertValues(strings, ...values);\n let [body] = compiled.match(bodyPattern) || [];\n let indentLevel = /^\\s{0,4}(.+)$/g;\n\n if (!body) {\n body = compiled;\n indentLevel = /^\\s{0,2}(.+)$/g;\n }\n\n return body\n .split('\\n')\n .slice(1)\n .map(line => {\n line = line.replace(indentLevel, '$1');\n\n if (trailingWhitespace.test(line)) {\n line = line.replace(trailingWhitespace, '');\n }\n\n return line;\n })\n .join('\\n');\n}\n","import template from './index';\n\nexport default function(hostname, name) {\n return template`\n export const ${name} = {\n domain: '${hostname}',\n\n title: {\n selectors: [\n // enter title selectors\n ],\n },\n\n author: {\n selectors: [\n // enter author selectors\n ],\n },\n\n date_published: {\n selectors: [\n // enter selectors\n ],\n },\n\n lead_image_url: {\n selectors: [\n // enter selectors\n ],\n },\n\n content: {\n selectors: [\n // enter content selectors\n ],\n\n // Is there anything in the content you selected that needs transformed\n // before it's consumable content? E.g., unusual lazy loaded images\n transforms: {\n },\n\n // Is there anything that is in the result that shouldn't be?\n // The clean selectors will remove anything that matches from\n // the result\n clean: [\n\n ]\n },\n }\n `;\n}\n","import template from './index';\n\nconst IGNORE = [\n 'url',\n 'domain',\n 'content',\n 'word_count',\n 'next_page_url',\n 'excerpt',\n 'direction',\n 'total_pages',\n 'rendered_pages',\n];\n\nfunction testFor(key, value, dir) {\n if (IGNORE.find(k => k === key)) return '';\n\n return template`\n it('returns the ${key}', async () => {\n // To pass this test, fill out the ${key} selector\n // in ${dir}/index.js.\n const { ${key} } = await result\n\n // Update these values with the expected values from\n // the article.\n assert.strictEqual(${key}, ${value ? `\\`${value}\\`` : \"''\"})\n });\n `;\n}\n\nexport default function(file, url, dir, result, name) {\n return template`\n import assert from 'assert';\n import * as cheerio from 'cheerio';\n\n import Parser from 'mercury';\n import getExtractor from 'extractors/get-extractor';\n import { excerptContent } from 'utils/text';\n\n const fs = require('fs');\n\n describe('${name}', () => {\n describe('initial test case', () => {\n let result;\n let url;\n beforeAll(() => {\n url =\n '${url}';\n const html =\n fs.readFileSync('${file}');\n result =\n Parser.parse(url, { html, fallback: false });\n });\n\n it('is selected properly', () => {\n // This test should be passing by default.\n // It sanity checks that the correct parser\n // is being selected for URLs from this domain\n const extractor = getExtractor(url);\n assert.strictEqual(extractor.domain, new URL(url).hostname)\n })\n\n ${Reflect.ownKeys(result)\n .map(k => testFor(k, result[k], dir))\n .join('\\n\\n')}\n\n it('returns the content', async () => {\n // To pass this test, fill out the content selector\n // in ${dir}/index.js.\n // You may also want to make use of the clean and transform\n // options.\n const { content } = await result;\n\n const $ = cheerio.load(content || '');\n\n const first13 = excerptContent($('*').first().text(), 13)\n\n // Update these values with the expected values from the article.\n // Add the first 13 words of the article here\n assert.strictEqual(first13, null);\n });\n });\n });\n `;\n}\n","/* eslint-disable import/no-extraneous-dependencies */\n/* eslint-disable no-use-before-define */\n/* eslint-disable no-console */\nimport fs from 'fs';\nimport inquirer from 'inquirer';\nimport ora from 'ora';\nimport { exec } from 'child_process';\n\nimport { stripJunkTags, makeLinksAbsolute } from 'utils/dom';\nimport Parser from '../dist/mercury';\nimport extractorTemplate from './templates/custom-extractor';\nimport extractorTestTemplate from './templates/custom-extractor-test';\n\nconst questions = [\n {\n type: 'input',\n name: 'website',\n message:\n \"Paste a url to an article you'd like to create or extend a parser for:\",\n validate(value) {\n const { hostname } = new URL(value);\n if (hostname) return true;\n\n return false;\n },\n },\n];\nlet spinner;\n\nfunction confirm(fn, args, msg, newParser) {\n spinner = ora({ text: msg });\n spinner.start();\n const result = fn(...args);\n\n if (result && result.then) {\n result\n .then(r => {\n if (r && r.error) {\n spinner.fail();\n console.error(\n `\\nCould not download the page: ${r.message}\\nCannot continue.`\n );\n process.exit(1);\n }\n savePage(r, args, newParser);\n })\n .catch(err => {\n spinner.fail();\n console.error(\n `\\nCould not download the page: ${err.message}\\nCannot continue.`\n );\n process.exit(1);\n });\n } else {\n spinner.succeed();\n }\n\n return result;\n}\n\nfunction confirmCreateDir(dir, msg) {\n if (!fs.existsSync(dir)) {\n confirm(fs.mkdirSync, [dir], msg);\n }\n}\n\nfunction getDir(url) {\n const { hostname } = new URL(url);\n return `./src/extractors/custom/${hostname}`;\n}\n\nfunction scaffoldCustomParser(url) {\n const dir = getDir(url);\n const { hostname } = new URL(url);\n let newParser = false;\n\n if (!fs.existsSync(dir)) {\n newParser = true;\n confirmCreateDir(dir, `Creating ${hostname} directory`);\n confirmCreateDir(`./fixtures/${hostname}`, 'Creating fixtures directory');\n }\n\n confirm(Parser.fetchResource, [url], 'Fetching fixture', newParser);\n}\n\n// if has arg, just assume that arg is a url and skip prmopt\nconst urlArg = process.argv[2];\nif (urlArg) {\n scaffoldCustomParser(urlArg);\n} else {\n inquirer.prompt(questions).then(answers => {\n scaffoldCustomParser(answers.website);\n });\n}\n\nfunction generateScaffold(url, file, result) {\n const { hostname } = new URL(url);\n const extractor = extractorTemplate(hostname, extractorName(hostname));\n const extractorTest = extractorTestTemplate(\n file,\n url,\n getDir(url),\n result,\n extractorName(hostname)\n );\n\n fs.writeFileSync(`${getDir(url)}/index.js`, extractor);\n fs.writeFileSync(`${getDir(url)}/index.test.js`, extractorTest);\n fs.appendFileSync('./src/extractors/custom/index.js', exportString(url));\n exec(`npm run lint-fix-quiet -- ${getDir(url)}/*.js`);\n}\n\nfunction savePage($, [url], newParser) {\n const { hostname } = new URL(url);\n\n spinner.succeed();\n\n const filename = new Date().getTime();\n const file = `./fixtures/${hostname}/${filename}.html`;\n // fix http(s) relative links:\n makeLinksAbsolute($('*').first(), $, url);\n $('[src], [href]').each((index, node) => {\n const $node = $(node);\n const link = $node.attr('src');\n if (link && link.slice(0, 2) === '//') {\n $node.attr('src', `http:${link}`);\n }\n });\n const html = stripJunkTags($('*').first(), $, ['script']).html();\n\n fs.writeFileSync(file, html);\n\n Parser.parse(url, { html }).then(result => {\n if (newParser) {\n confirm(\n generateScaffold,\n [url, file, result],\n 'Generating parser and tests'\n );\n console.log(`Your custom site extractor has been set up. To get started building it, run\n yarn watch:test -- ${hostname}\n -- OR --\n npm run watch:test -- ${hostname}`);\n } else {\n console.log(`\n It looks like you already have a custom parser for this url.\n The page you linked to has been added to ${file}. Copy and paste\n the following code to use that page in your tests:\n const html = fs.readFileSync('${file}');`);\n }\n });\n}\n\nfunction exportString(url) {\n const { hostname } = new URL(url);\n return `export * from './${hostname}';`;\n}\n\nfunction extractorName(hostname) {\n const name = hostname\n .split('.')\n .map(w => `${w.charAt(0).toUpperCase()}${w.slice(1)}`)\n .join('');\n return `${name}Extractor`;\n}\n"],"names":["KEEP_CLASS","STRIP_OUTPUT_TAGS","getAttrs","node","attribs","attributes","attrs","_Reflect$ownKeys","reduce","acc","index","attr","name","value","stripJunkTags","article","$","tags","arguments","length","undefined","join","not","concat","remove","setAttr","val","setAttribute","absolutize","rootUrl","baseUrl","each","_","url","absoluteUrl","URL","resolve","absolutizeSet","$content","urlSet","srcset","candidates","match","absoluteCandidates","map","candidate","parts","trim","replace","split","absoluteUrlSet","_toConsumableArray","_Set","makeLinksAbsolute","forEach","insertValues","strings","_len","values","Array","_key","result","part","idx","toString","bodyPattern","trailingWhitespace","template","compiled","apply","_ref","_ref2","_slicedToArray","body","indentLevel","slice","line","test","hostname","_templateObject","_taggedTemplateLiteral","IGNORE","testFor","key","dir","find","k","file","_templateObject2","questions","type","message","validate","_URL","spinner","confirm","fn","args","msg","newParser","ora","text","start","then","r","error","fail","console","process","exit","savePage","err","succeed","confirmCreateDir","fs","existsSync","mkdirSync","getDir","_URL2","scaffoldCustomParser","_URL3","Parser","fetchResource","urlArg","argv","inquirer","prompt","answers","website","generateScaffold","_URL4","extractor","extractorTemplate","extractorName","extractorTest","extractorTestTemplate","writeFileSync","appendFileSync","exportString","exec","_URL5","filename","Date","getTime","first","$node","link","html","parse","log","_URL6","w","charAt","toUpperCase"],"mappings":";;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;AAAA;;AAGA;AACA;AACO,IAAMA,UAAU,GAAG,qBAAqB,CAAA;;AAW/C;AACO,IAAMC,iBAAiB,GAAG,CAC/B,OAAO,EACP,QAAQ,EACR,UAAU,EACV,MAAM,EACN,OAAO,EACP,IAAI,EACJ,OAAO,EACP,QAAQ,EACR,QAAQ,CACT;;AC3Bc,SAASC,QAAQA,CAACC,IAAI,EAAE;AACrC,EAAA,IAAQC,OAAO,GAAiBD,IAAI,CAA5BC,OAAO;IAAEC,UAAU,GAAKF,IAAI,CAAnBE,UAAU,CAAA;AAE3B,EAAA,IAAI,CAACD,OAAO,IAAIC,UAAU,EAAE;AAC1B,IAAA,IAAMC,KAAK,GAAGC,oCAAA,CAAgBF,UAAU,CAAC,CAACG,MAAM,CAAC,UAACC,GAAG,EAAEC,KAAK,EAAK;AAC/D,MAAA,IAAMC,IAAI,GAAGN,UAAU,CAACK,KAAK,CAAC,CAAA;;AAE9B;AACA,MAAA,IAAI,CAACC,IAAI,IAAI,CAACA,IAAI,CAACC,IAAI,IAAI,CAACD,IAAI,CAACE,KAAK,EAAE,OAAOJ,GAAG,CAAA;MAElDA,GAAG,CAACE,IAAI,CAACC,IAAI,CAAC,GAAGD,IAAI,CAACE,KAAK,CAAA;AAC3B,MAAA,OAAOJ,GAAG,CAAA;KACX,EAAE,EAAE,CAAC,CAAA;AACN,IAAA,OAAOH,KAAK,CAAA;AACd,GAAA;AAEA,EAAA,OAAOF,OAAO,CAAA;AAChB;;ACfe,SAASU,aAAaA,CAACC,OAAO,EAAEC,CAAC,EAAa;AAAA,EAAA,IAAXC,IAAI,GAAAC,SAAA,CAAAC,MAAA,GAAA,CAAA,IAAAD,SAAA,CAAA,CAAA,CAAA,KAAAE,SAAA,GAAAF,SAAA,CAAA,CAAA,CAAA,GAAG,EAAE,CAAA;AACzD,EAAA,IAAID,IAAI,CAACE,MAAM,KAAK,CAAC,EAAE;AACrBF,IAAAA,IAAI,GAAGhB,iBAAiB,CAAA;AAC1B,GAAA;;AAEA;AACA;EACAe,CAAC,CAACC,IAAI,CAACI,IAAI,CAAC,GAAG,CAAC,EAAEN,OAAO,CAAC,CACvBO,GAAG,CAAA,GAAA,CAAAC,MAAA,CAAKvB,UAAU,CAAE,CAAC,CACrBwB,MAAM,EAAE,CAAA;AAEX,EAAA,OAAOR,CAAC,CAAA;AACV;;ACde,SAASS,OAAOA,CAACtB,IAAI,EAAEQ,IAAI,EAAEe,GAAG,EAAE;EAC/C,IAAIvB,IAAI,CAACC,OAAO,EAAE;AAChBD,IAAAA,IAAI,CAACC,OAAO,CAACO,IAAI,CAAC,GAAGe,GAAG,CAAA;AAC1B,GAAC,MAAM,IAAIvB,IAAI,CAACE,UAAU,EAAE;AAC1BF,IAAAA,IAAI,CAACwB,YAAY,CAAChB,IAAI,EAAEe,GAAG,CAAC,CAAA;AAC9B,GAAA;AAEA,EAAA,OAAOvB,IAAI,CAAA;AACb;;ACHA,SAASyB,UAAUA,CAACZ,CAAC,EAAEa,OAAO,EAAElB,IAAI,EAAE;EACpC,IAAMmB,OAAO,GAAGd,CAAC,CAAC,MAAM,CAAC,CAACL,IAAI,CAAC,MAAM,CAAC,CAAA;AAEtCK,EAAAA,CAAC,CAAAO,GAAAA,CAAAA,MAAA,CAAKZ,IAAI,EAAG,GAAA,CAAA,CAAC,CAACoB,IAAI,CAAC,UAACC,CAAC,EAAE7B,IAAI,EAAK;AAC/B,IAAA,IAAMG,KAAK,GAAGJ,QAAQ,CAACC,IAAI,CAAC,CAAA;AAC5B,IAAA,IAAM8B,GAAG,GAAG3B,KAAK,CAACK,IAAI,CAAC,CAAA;IACvB,IAAI,CAACsB,GAAG,EAAE,OAAA;IACV,IAAMC,WAAW,GAAGC,uBAAG,CAACC,OAAO,CAACN,OAAO,IAAID,OAAO,EAAEI,GAAG,CAAC,CAAA;AAExDR,IAAAA,OAAO,CAACtB,IAAI,EAAEQ,IAAI,EAAEuB,WAAW,CAAC,CAAA;AAClC,GAAC,CAAC,CAAA;AACJ,CAAA;AAEA,SAASG,aAAaA,CAACrB,CAAC,EAAEa,OAAO,EAAES,QAAQ,EAAE;AAC3CtB,EAAAA,CAAC,CAAC,UAAU,EAAEsB,QAAQ,CAAC,CAACP,IAAI,CAAC,UAACC,CAAC,EAAE7B,IAAI,EAAK;AACxC,IAAA,IAAMG,KAAK,GAAGJ,QAAQ,CAACC,IAAI,CAAC,CAAA;AAC5B,IAAA,IAAMoC,MAAM,GAAGjC,KAAK,CAACkC,MAAM,CAAA;AAE3B,IAAA,IAAID,MAAM,EAAE;AACV;AACA;AACA;AACA,MAAA,IAAME,UAAU,GAAGF,MAAM,CAACG,KAAK,CAC7B,6CACF,CAAC,CAAA;MACD,IAAI,CAACD,UAAU,EAAE,OAAA;MACjB,IAAME,kBAAkB,GAAGF,UAAU,CAACG,GAAG,CAAC,UAAAC,SAAS,EAAI;AACrD;AACA;AACA,QAAA,IAAMC,KAAK,GAAGD,SAAS,CACpBE,IAAI,EAAE,CACNC,OAAO,CAAC,IAAI,EAAE,EAAE,CAAC,CACjBC,KAAK,CAAC,KAAK,CAAC,CAAA;AACfH,QAAAA,KAAK,CAAC,CAAC,CAAC,GAAGX,uBAAG,CAACC,OAAO,CAACP,OAAO,EAAEiB,KAAK,CAAC,CAAC,CAAC,CAAC,CAAA;AACzC,QAAA,OAAOA,KAAK,CAACzB,IAAI,CAAC,GAAG,CAAC,CAAA;AACxB,OAAC,CAAC,CAAA;AACF,MAAA,IAAM6B,cAAc,GAAGC,sCAAA,CAAI,IAAAC,wBAAA,CAAQT,kBAAkB,CAAC,CAAA,CAAEtB,IAAI,CAAC,IAAI,CAAC,CAAA;AAClEI,MAAAA,OAAO,CAACtB,IAAI,EAAE,QAAQ,EAAE+C,cAAc,CAAC,CAAA;AACzC,KAAA;AACF,GAAC,CAAC,CAAA;AACJ,CAAA;AAEe,SAASG,iBAAiBA,CAACf,QAAQ,EAAEtB,CAAC,EAAEiB,GAAG,EAAE;EAC1D,CAAC,MAAM,EAAE,KAAK,CAAC,CAACqB,OAAO,CAAC,UAAA3C,IAAI,EAAA;AAAA,IAAA,OAAIiB,UAAU,CAACZ,CAAC,EAAEiB,GAAG,EAAEtB,IAAI,CAAC,CAAA;GAAC,CAAA,CAAA;AACzD0B,EAAAA,aAAa,CAACrB,CAAC,EAAEiB,GAAG,EAAEK,QAAQ,CAAC,CAAA;AAE/B,EAAA,OAAOA,QAAQ,CAAA;AACjB;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;ACpDe,SAASiB,YAAYA,CAACC,OAAO,EAAa;EAAA,KAAAC,IAAAA,IAAA,GAAAvC,SAAA,CAAAC,MAAA,EAARuC,MAAM,OAAAC,KAAA,CAAAF,IAAA,GAAAA,CAAAA,GAAAA,IAAA,WAAAG,IAAA,GAAA,CAAA,EAAAA,IAAA,GAAAH,IAAA,EAAAG,IAAA,EAAA,EAAA;AAANF,IAAAA,MAAM,CAAAE,IAAA,GAAA1C,CAAAA,CAAAA,GAAAA,SAAA,CAAA0C,IAAA,CAAA,CAAA;AAAA,GAAA;EACrD,IAAIF,MAAM,CAACvC,MAAM,EAAE;IACjB,OAAOqC,OAAO,CAAChD,MAAM,CAAC,UAACqD,MAAM,EAAEC,IAAI,EAAEC,GAAG,EAAK;AAC3C,MAAA,IAAIlD,KAAK,GAAG6C,MAAM,CAACK,GAAG,CAAC,CAAA;MAEvB,IAAIlD,KAAK,IAAI,OAAOA,KAAK,CAACmD,QAAQ,KAAK,UAAU,EAAE;AACjDnD,QAAAA,KAAK,GAAGA,KAAK,CAACmD,QAAQ,EAAE,CAAA;AAC1B,OAAC,MAAM;AACLnD,QAAAA,KAAK,GAAG,EAAE,CAAA;AACZ,OAAA;AAEA,MAAA,OAAOgD,MAAM,GAAGC,IAAI,GAAGjD,KAAK,CAAA;KAC7B,EAAE,EAAE,CAAC,CAAA;AACR,GAAA;AAEA,EAAA,OAAO2C,OAAO,CAACnC,IAAI,CAAC,EAAE,CAAC,CAAA;AACzB;;ACdA,IAAM4C,WAAW,GAAG,sBAAsB,CAAA;AAC1C,IAAMC,kBAAkB,GAAG,MAAM,CAAA;AAElB,SAASC,QAAQA,CAACX,OAAO,EAAa;EAAA,KAAAC,IAAAA,IAAA,GAAAvC,SAAA,CAAAC,MAAA,EAARuC,MAAM,OAAAC,KAAA,CAAAF,IAAA,GAAAA,CAAAA,GAAAA,IAAA,WAAAG,IAAA,GAAA,CAAA,EAAAA,IAAA,GAAAH,IAAA,EAAAG,IAAA,EAAA,EAAA;AAANF,IAAAA,MAAM,CAAAE,IAAA,GAAA1C,CAAAA,CAAAA,GAAAA,SAAA,CAAA0C,IAAA,CAAA,CAAA;AAAA,GAAA;EACjD,IAAMQ,QAAQ,GAAGb,YAAY,CAAAc,KAAA,CAACb,KAAAA,CAAAA,EAAAA,CAAAA,OAAO,CAAAjC,CAAAA,MAAA,CAAKmC,MAAM,CAAC,CAAA,CAAA;EACjD,IAAAY,IAAA,GAAaF,QAAQ,CAAC1B,KAAK,CAACuB,WAAW,CAAC,IAAI,EAAE;IAAAM,KAAA,GAAAC,kCAAA,CAAAF,IAAA,EAAA,CAAA,CAAA;AAAzCG,IAAAA,IAAI,GAAAF,KAAA,CAAA,CAAA,CAAA,CAAA;EACT,IAAIG,WAAW,GAAG,gBAAgB,CAAA;EAElC,IAAI,CAACD,IAAI,EAAE;AACTA,IAAAA,IAAI,GAAGL,QAAQ,CAAA;AACfM,IAAAA,WAAW,GAAG,gBAAgB,CAAA;AAChC,GAAA;AAEA,EAAA,OAAOD,IAAI,CACRxB,KAAK,CAAC,IAAI,CAAC,CACX0B,KAAK,CAAC,CAAC,CAAC,CACR/B,GAAG,CAAC,UAAAgC,IAAI,EAAI;IACXA,IAAI,GAAGA,IAAI,CAAC5B,OAAO,CAAC0B,WAAW,EAAE,IAAI,CAAC,CAAA;AAEtC,IAAA,IAAIR,kBAAkB,CAACW,IAAI,CAACD,IAAI,CAAC,EAAE;MACjCA,IAAI,GAAGA,IAAI,CAAC5B,OAAO,CAACkB,kBAAkB,EAAE,EAAE,CAAC,CAAA;AAC7C,KAAA;AAEA,IAAA,OAAOU,IAAI,CAAA;AACb,GAAC,CAAC,CACDvD,IAAI,CAAC,IAAI,CAAC,CAAA;AACf;;;AC1Be,0BAASyD,EAAAA,QAAQ,EAAElE,IAAI,EAAE;EACtC,OAAOuD,QAAQ,CAAAY,iBAAA,KAAAA,iBAAA,GAAAC,0CAAA,CAAA,CAAA,qBAAA,EAAA,uBAAA,EAAA,84BAAA,CAAA,CAAA,CAAA,EACEpE,IAAI,EACNkE,QAAQ,CAAA,CAAA;AA6CzB;;;AChDA,IAAMG,MAAM,GAAG,CACb,KAAK,EACL,QAAQ,EACR,SAAS,EACT,YAAY,EACZ,eAAe,EACf,SAAS,EACT,WAAW,EACX,aAAa,EACb,gBAAgB,CACjB,CAAA;AAED,SAASC,OAAOA,CAACC,GAAG,EAAEtE,KAAK,EAAEuE,GAAG,EAAE;AAChC,EAAA,IAAIH,MAAM,CAACI,IAAI,CAAC,UAAAC,CAAC,EAAA;IAAA,OAAIA,CAAC,KAAKH,GAAG,CAAA;GAAC,CAAA,EAAE,OAAO,EAAE,CAAA;EAE1C,OAAOhB,QAAQ,CAAAY,eAAA,KAAAA,eAAA,GAAAC,0CAAA,CAAA,CAAA,sBAAA,EAAA,mEAAA,EAAA,+BAAA,EAAA,kCAAA,EAAA,qJAAA,EAAA,IAAA,EAAA,wBAAA,CAAA,CAAA,CAAA,EACGG,GAAG,EAC0BA,GAAG,EAChCC,GAAG,EACDD,GAAG,EAIQA,GAAG,EAAKtE,KAAK,OAAAU,MAAA,CAAQV,KAAK,EAAA,GAAA,CAAA,GAAO,IAAI,CAAA,CAAA;AAGtE,CAAA;AAEe,8BAAA,EAAS0E,IAAI,EAAEtD,GAAG,EAAEmD,GAAG,EAAEvB,MAAM,EAAEjD,IAAI,EAAE;EACpD,OAAOuD,QAAQ,CAAAqB,gBAAA,KAAAA,gBAAA,GAAAR,0CAAA,CAUDpE,CAAAA,iRAAAA,EAAAA,2JAAAA,EAAAA,2DAAAA,EAAAA,ucAAAA,EAAAA,sIAAAA,EAAAA,6eAAAA,CAAAA,CAAAA,CAAAA,EAAAA,IAAI,EAMLqB,GAAG,EAEasD,IAAI,EAavBhF,oCAAA,CAAgBsD,MAAM,CAAC,CACtBjB,GAAG,CAAC,UAAA0C,CAAC,EAAA;IAAA,OAAIJ,OAAO,CAACI,CAAC,EAAEzB,MAAM,CAACyB,CAAC,CAAC,EAAEF,GAAG,CAAC,CAAA;AAAA,GAAA,CAAC,CACpC/D,IAAI,CAAC,MAAM,CAAC,EAIP+D,GAAG,CAAA,CAAA;AAgBrB;;ACvEA,IAAMK,SAAS,GAAG,CAChB;AACEC,EAAAA,IAAI,EAAE,OAAO;AACb9E,EAAAA,IAAI,EAAE,SAAS;AACf+E,EAAAA,OAAO,EACL,wEAAwE;AAC1EC,EAAAA,QAAQ,EAARA,SAAAA,QAAQA,CAAC/E,KAAK,EAAE;AACd,IAAA,IAAAgF,IAAA,GAAqB,IAAI1D,GAAG,CAACtB,KAAK,CAAC;MAA3BiE,QAAQ,GAAAe,IAAA,CAARf,QAAQ,CAAA;IAChB,IAAIA,QAAQ,EAAE,OAAO,IAAI,CAAA;AAEzB,IAAA,OAAO,KAAK,CAAA;AACd,GAAA;AACF,CAAC,CACF,CAAA;AACD,IAAIgB,OAAO,CAAA;AAEX,SAASC,OAAOA,CAACC,EAAE,EAAEC,IAAI,EAAEC,GAAG,EAAEC,SAAS,EAAE;EACzCL,OAAO,GAAGM,uBAAG,CAAC;AAAEC,IAAAA,IAAI,EAAEH,GAAAA;AAAI,GAAC,CAAC,CAAA;EAC5BJ,OAAO,CAACQ,KAAK,EAAE,CAAA;EACf,IAAMzC,MAAM,GAAGmC,EAAE,CAAA3B,KAAA,CAAAlB,KAAAA,CAAAA,EAAAA,sCAAA,CAAI8C,IAAI,CAAC,CAAA,CAAA;AAE1B,EAAA,IAAIpC,MAAM,IAAIA,MAAM,CAAC0C,IAAI,EAAE;AACzB1C,IAAAA,MAAM,CACH0C,IAAI,CAAC,UAAAC,CAAC,EAAI;AACT,MAAA,IAAIA,CAAC,IAAIA,CAAC,CAACC,KAAK,EAAE;QAChBX,OAAO,CAACY,IAAI,EAAE,CAAA;QACdC,OAAO,CAACF,KAAK,CAAAlF,iCAAAA,CAAAA,MAAA,CACuBiF,CAAC,CAACb,OAAO,EAAA,oBAAA,CAC7C,CAAC,CAAA;AACDiB,QAAAA,OAAO,CAACC,IAAI,CAAC,CAAC,CAAC,CAAA;AACjB,OAAA;AACAC,MAAAA,QAAQ,CAACN,CAAC,EAAEP,IAAI,EAAEE,SAAS,CAAC,CAAA;AAC9B,KAAC,CAAC,CAAA,OAAA,CACI,CAAC,UAAAY,GAAG,EAAI;MACZjB,OAAO,CAACY,IAAI,EAAE,CAAA;MACdC,OAAO,CAACF,KAAK,CAAAlF,iCAAAA,CAAAA,MAAA,CACuBwF,GAAG,CAACpB,OAAO,EAAA,oBAAA,CAC/C,CAAC,CAAA;AACDiB,MAAAA,OAAO,CAACC,IAAI,CAAC,CAAC,CAAC,CAAA;AACjB,KAAC,CAAC,CAAA;AACN,GAAC,MAAM;IACLf,OAAO,CAACkB,OAAO,EAAE,CAAA;AACnB,GAAA;AAEA,EAAA,OAAOnD,MAAM,CAAA;AACf,CAAA;AAEA,SAASoD,gBAAgBA,CAAC7B,GAAG,EAAEc,GAAG,EAAE;AAClC,EAAA,IAAI,CAACgB,sBAAE,CAACC,UAAU,CAAC/B,GAAG,CAAC,EAAE;IACvBW,OAAO,CAACmB,sBAAE,CAACE,SAAS,EAAE,CAAChC,GAAG,CAAC,EAAEc,GAAG,CAAC,CAAA;AACnC,GAAA;AACF,CAAA;AAEA,SAASmB,MAAMA,CAACpF,GAAG,EAAE;AACnB,EAAA,IAAAqF,KAAA,GAAqB,IAAInF,GAAG,CAACF,GAAG,CAAC;IAAzB6C,QAAQ,GAAAwC,KAAA,CAARxC,QAAQ,CAAA;EAChB,OAAAvD,0BAAAA,CAAAA,MAAA,CAAkCuD,QAAQ,CAAA,CAAA;AAC5C,CAAA;AAEA,SAASyC,oBAAoBA,CAACtF,GAAG,EAAE;AACjC,EAAA,IAAMmD,GAAG,GAAGiC,MAAM,CAACpF,GAAG,CAAC,CAAA;AACvB,EAAA,IAAAuF,KAAA,GAAqB,IAAIrF,GAAG,CAACF,GAAG,CAAC;IAAzB6C,QAAQ,GAAA0C,KAAA,CAAR1C,QAAQ,CAAA;EAChB,IAAIqB,SAAS,GAAG,KAAK,CAAA;AAErB,EAAA,IAAI,CAACe,sBAAE,CAACC,UAAU,CAAC/B,GAAG,CAAC,EAAE;AACvBe,IAAAA,SAAS,GAAG,IAAI,CAAA;AAChBc,IAAAA,gBAAgB,CAAC7B,GAAG,EAAA,WAAA,CAAA7D,MAAA,CAAcuD,QAAQ,eAAY,CAAC,CAAA;AACvDmC,IAAAA,gBAAgB,eAAA1F,MAAA,CAAeuD,QAAQ,CAAA,EAAI,6BAA6B,CAAC,CAAA;AAC3E,GAAA;AAEAiB,EAAAA,OAAO,CAAC0B,MAAM,CAACC,aAAa,EAAE,CAACzF,GAAG,CAAC,EAAE,kBAAkB,EAAEkE,SAAS,CAAC,CAAA;AACrE,CAAA;;AAEA;AACA,IAAMwB,MAAM,GAAGf,OAAO,CAACgB,IAAI,CAAC,CAAC,CAAC,CAAA;AAC9B,IAAID,MAAM,EAAE;EACVJ,oBAAoB,CAACI,MAAM,CAAC,CAAA;AAC9B,CAAC,MAAM;EACLE,4BAAQ,CAACC,MAAM,CAACrC,SAAS,CAAC,CAACc,IAAI,CAAC,UAAAwB,OAAO,EAAI;AACzCR,IAAAA,oBAAoB,CAACQ,OAAO,CAACC,OAAO,CAAC,CAAA;AACvC,GAAC,CAAC,CAAA;AACJ,CAAA;AAEA,SAASC,gBAAgBA,CAAChG,GAAG,EAAEsD,IAAI,EAAE1B,MAAM,EAAE;AAC3C,EAAA,IAAAqE,KAAA,GAAqB,IAAI/F,GAAG,CAACF,GAAG,CAAC;IAAzB6C,QAAQ,GAAAoD,KAAA,CAARpD,QAAQ,CAAA;EAChB,IAAMqD,SAAS,GAAGC,iBAAiB,CAACtD,QAAQ,EAAEuD,aAAa,CAACvD,QAAQ,CAAC,CAAC,CAAA;AACtE,EAAA,IAAMwD,aAAa,GAAGC,qBAAqB,CACzChD,IAAI,EACJtD,GAAG,EACHoF,MAAM,CAACpF,GAAG,CAAC,EACX4B,MAAM,EACNwE,aAAa,CAACvD,QAAQ,CACxB,CAAC,CAAA;EAEDoC,sBAAE,CAACsB,aAAa,CAAA,EAAA,CAAAjH,MAAA,CAAI8F,MAAM,CAACpF,GAAG,CAAC,EAAakG,WAAAA,CAAAA,EAAAA,SAAS,CAAC,CAAA;EACtDjB,sBAAE,CAACsB,aAAa,CAAA,EAAA,CAAAjH,MAAA,CAAI8F,MAAM,CAACpF,GAAG,CAAC,EAAkBqG,gBAAAA,CAAAA,EAAAA,aAAa,CAAC,CAAA;EAC/DpB,sBAAE,CAACuB,cAAc,CAAC,kCAAkC,EAAEC,YAAY,CAACzG,GAAG,CAAC,CAAC,CAAA;EACxE0G,kBAAI,CAAA,4BAAA,CAAApH,MAAA,CAA8B8F,MAAM,CAACpF,GAAG,CAAC,UAAO,CAAC,CAAA;AACvD,CAAA;AAEA,SAAS6E,QAAQA,CAAC9F,CAAC,EAAAsD,IAAA,EAAS6B,SAAS,EAAE;AAAA,EAAA,IAAA5B,KAAA,GAAAC,kCAAA,CAAAF,IAAA,EAAA,CAAA,CAAA;AAAjBrC,IAAAA,GAAG,GAAAsC,KAAA,CAAA,CAAA,CAAA,CAAA;AACvB,EAAA,IAAAqE,KAAA,GAAqB,IAAIzG,GAAG,CAACF,GAAG,CAAC;IAAzB6C,QAAQ,GAAA8D,KAAA,CAAR9D,QAAQ,CAAA;EAEhBgB,OAAO,CAACkB,OAAO,EAAE,CAAA;EAEjB,IAAM6B,QAAQ,GAAG,IAAIC,IAAI,EAAE,CAACC,OAAO,EAAE,CAAA;EACrC,IAAMxD,IAAI,iBAAAhE,MAAA,CAAiBuD,QAAQ,EAAAvD,GAAAA,CAAAA,CAAAA,MAAA,CAAIsH,QAAQ,EAAO,OAAA,CAAA,CAAA;AACtD;AACAxF,EAAAA,iBAAiB,CAACrC,CAAC,CAAC,GAAG,CAAC,CAACgI,KAAK,EAAE,EAAEhI,CAAC,EAAEiB,GAAG,CAAC,CAAA;EACzCjB,CAAC,CAAC,eAAe,CAAC,CAACe,IAAI,CAAC,UAACrB,KAAK,EAAEP,IAAI,EAAK;AACvC,IAAA,IAAM8I,KAAK,GAAGjI,CAAC,CAACb,IAAI,CAAC,CAAA;AACrB,IAAA,IAAM+I,IAAI,GAAGD,KAAK,CAACtI,IAAI,CAAC,KAAK,CAAC,CAAA;AAC9B,IAAA,IAAIuI,IAAI,IAAIA,IAAI,CAACvE,KAAK,CAAC,CAAC,EAAE,CAAC,CAAC,KAAK,IAAI,EAAE;MACrCsE,KAAK,CAACtI,IAAI,CAAC,KAAK,UAAAY,MAAA,CAAU2H,IAAI,CAAE,CAAC,CAAA;AACnC,KAAA;AACF,GAAC,CAAC,CAAA;EACF,IAAMC,IAAI,GAAGrI,aAAa,CAACE,CAAC,CAAC,GAAG,CAAC,CAACgI,KAAK,EAAE,EAAEhI,CAAC,EAAE,CAAC,QAAQ,CAAC,CAAC,CAACmI,IAAI,EAAE,CAAA;AAEhEjC,EAAAA,sBAAE,CAACsB,aAAa,CAACjD,IAAI,EAAE4D,IAAI,CAAC,CAAA;AAE5B1B,EAAAA,MAAM,CAAC2B,KAAK,CAACnH,GAAG,EAAE;AAAEkH,IAAAA,IAAI,EAAJA,IAAAA;AAAK,GAAC,CAAC,CAAC5C,IAAI,CAAC,UAAA1C,MAAM,EAAI;AACzC,IAAA,IAAIsC,SAAS,EAAE;AACbJ,MAAAA,OAAO,CACLkC,gBAAgB,EAChB,CAAChG,GAAG,EAAEsD,IAAI,EAAE1B,MAAM,CAAC,EACnB,6BACF,CAAC,CAAA;MACD8C,OAAO,CAAC0C,GAAG,CAAA,wGAAA,CAAA9H,MAAA,CACUuD,QAAQ,EAAA,kDAAA,CAAA,CAAAvD,MAAA,CAELuD,QAAQ,CAAE,CAAC,CAAA;AACrC,KAAC,MAAM;MACL6B,OAAO,CAAC0C,GAAG,CAAA,+GAAA,CAAA9H,MAAA,CAE4BgE,IAAI,EAAA,0GAAA,CAAA,CAAAhE,MAAA,CAEfgE,IAAI,EAAA,KAAA,CAAK,CAAC,CAAA;AACxC,KAAA;AACF,GAAC,CAAC,CAAA;AACJ,CAAA;AAEA,SAASmD,YAAYA,CAACzG,GAAG,EAAE;AACzB,EAAA,IAAAqH,KAAA,GAAqB,IAAInH,GAAG,CAACF,GAAG,CAAC;IAAzB6C,QAAQ,GAAAwE,KAAA,CAARxE,QAAQ,CAAA;EAChB,OAAAvD,mBAAAA,CAAAA,MAAA,CAA2BuD,QAAQ,EAAA,IAAA,CAAA,CAAA;AACrC,CAAA;AAEA,SAASuD,aAAaA,CAACvD,QAAQ,EAAE;AAC/B,EAAA,IAAMlE,IAAI,GAAGkE,QAAQ,CAClB7B,KAAK,CAAC,GAAG,CAAC,CACVL,GAAG,CAAC,UAAA2G,CAAC,EAAA;IAAA,OAAAhI,EAAAA,CAAAA,MAAA,CAAOgI,CAAC,CAACC,MAAM,CAAC,CAAC,CAAC,CAACC,WAAW,EAAE,CAAA,CAAAlI,MAAA,CAAGgI,CAAC,CAAC5E,KAAK,CAAC,CAAC,CAAC,CAAA,CAAA;AAAA,GAAE,CAAC,CACrDtD,IAAI,CAAC,EAAE,CAAC,CAAA;EACX,OAAAE,EAAAA,CAAAA,MAAA,CAAUX,IAAI,EAAA,WAAA,CAAA,CAAA;AAChB;;"}
1
+ {"version":3,"file":"generate-custom-parser.js","sources":["../src/utils/dom/constants.js","../src/utils/dom/get-attrs.js","../src/utils/dom/strip-junk-tags.js","../src/utils/dom/set-attr.js","../src/utils/dom/make-links-absolute.js","../scripts/templates/insert-values.js","../scripts/templates/index.js","../scripts/templates/custom-extractor.js","../scripts/templates/custom-extractor-test.js","../scripts/generate-custom-parser.js"],"sourcesContent":["// Spacer images to be removed\nexport const SPACER_RE = new RegExp('transparent|spacer|blank', 'i');\n\n// The class we will use to mark elements we want to keep\n// but would normally remove\nexport const KEEP_CLASS = 'mercury-parser-keep';\n\nexport const KEEP_SELECTORS = [\n 'iframe[src^=\"https://www.youtube.com\"]',\n 'iframe[src^=\"https://www.youtube-nocookie.com\"]',\n 'iframe[src^=\"http://www.youtube.com\"]',\n 'iframe[src^=\"https://player.vimeo\"]',\n 'iframe[src^=\"http://player.vimeo\"]',\n 'iframe[src^=\"https://www.redditmedia.com\"]',\n];\n\n// A list of tags to strip from the output if we encounter them.\nexport const STRIP_OUTPUT_TAGS = [\n 'title',\n 'script',\n 'noscript',\n 'link',\n 'style',\n 'hr',\n 'embed',\n 'iframe',\n 'object',\n];\n\n// cleanAttributes\nexport const REMOVE_ATTRS = ['style', 'align'];\nexport const REMOVE_ATTR_SELECTORS = REMOVE_ATTRS.map(\n selector => `[${selector}]`\n);\nexport const REMOVE_ATTR_LIST = REMOVE_ATTRS.join(',');\nexport const WHITELIST_ATTRS = [\n 'src',\n 'srcset',\n 'start',\n 'sizes',\n 'type',\n 'href',\n 'class',\n 'id',\n 'alt',\n 'xlink:href',\n 'width',\n 'height',\n];\n\nexport const WHITELIST_ATTRS_RE = new RegExp(\n `^(${WHITELIST_ATTRS.join('|')})$`,\n 'i'\n);\n\n// removeEmpty\nexport const REMOVE_EMPTY_TAGS = ['p'];\nexport const REMOVE_EMPTY_SELECTORS = REMOVE_EMPTY_TAGS.map(\n tag => `${tag}:empty`\n).join(',');\n\n// cleanTags\nexport const CLEAN_CONDITIONALLY_TAGS = [\n 'ul',\n 'ol',\n 'table',\n 'div',\n 'button',\n 'form',\n].join(',');\n\n// cleanHeaders\nconst HEADER_TAGS = ['h2', 'h3', 'h4', 'h5', 'h6'];\nexport const HEADER_TAG_LIST = HEADER_TAGS.join(',');\n\n// // CONTENT FETCHING CONSTANTS ////\n\n// A list of strings that can be considered unlikely candidates when\n// extracting content from a resource. These strings are joined together\n// and then tested for existence using re:test, so may contain simple,\n// non-pipe style regular expression queries if necessary.\nexport const UNLIKELY_CANDIDATES_BLACKLIST = [\n 'ad-break',\n 'adbox',\n 'advert',\n 'addthis',\n 'agegate',\n 'aux',\n 'blogger-labels',\n 'combx',\n 'comment',\n 'conversation',\n 'disqus',\n 'entry-unrelated',\n 'extra',\n 'foot',\n // 'form', // This is too generic, has too many false positives\n 'header',\n 'hidden',\n 'loader',\n 'login', // Note: This can hit 'blogindex'.\n 'menu',\n 'meta',\n 'nav',\n 'outbrain',\n 'pager',\n 'pagination',\n 'predicta', // readwriteweb inline ad box\n 'presence_control_external', // lifehacker.com container full of false positives\n 'popup',\n 'printfriendly',\n 'related',\n 'remove',\n 'remark',\n 'rss',\n 'share',\n 'shoutbox',\n 'sidebar',\n 'sociable',\n 'sponsor',\n 'taboola',\n 'tools',\n];\n\n// A list of strings that can be considered LIKELY candidates when\n// extracting content from a resource. Essentially, the inverse of the\n// blacklist above - if something matches both blacklist and whitelist,\n// it is kept. This is useful, for example, if something has a className\n// of \"rss-content entry-content\". It matched 'rss', so it would normally\n// be removed, however, it's also the entry content, so it should be left\n// alone.\n//\n// These strings are joined together and then tested for existence using\n// re:test, so may contain simple, non-pipe style regular expression queries\n// if necessary.\nexport const UNLIKELY_CANDIDATES_WHITELIST = [\n 'and',\n 'article',\n 'body',\n 'blogindex',\n 'column',\n 'content',\n 'entry-content-asset',\n 'format', // misuse of form\n 'hfeed',\n 'hentry',\n 'hatom',\n 'main',\n 'page',\n 'posts',\n 'shadow',\n];\n\n// A list of tags which, if found inside, should cause a <div /> to NOT\n// be turned into a paragraph tag. Shallow div tags without these elements\n// should be turned into <p /> tags.\nexport const DIV_TO_P_BLOCK_TAGS = [\n 'a',\n 'blockquote',\n 'dl',\n 'div',\n 'img',\n 'p',\n 'pre',\n 'table',\n].join(',');\n\n// A list of tags that should be ignored when trying to find the top candidate\n// for a document.\nexport const NON_TOP_CANDIDATE_TAGS = [\n 'br',\n 'b',\n 'i',\n 'label',\n 'hr',\n 'area',\n 'base',\n 'basefont',\n 'input',\n 'img',\n 'link',\n 'meta',\n];\n\nexport const NON_TOP_CANDIDATE_TAGS_RE = new RegExp(\n `^(${NON_TOP_CANDIDATE_TAGS.join('|')})$`,\n 'i'\n);\n\n// A list of selectors that specify, very clearly, either hNews or other\n// very content-specific style content, like Blogger templates.\n// More examples here: http://microformats.org/wiki/blog-post-formats\nexport const HNEWS_CONTENT_SELECTORS = [\n ['.hentry', '.entry-content'],\n ['entry', '.entry-content'],\n ['.entry', '.entry_content'],\n ['.post', '.postbody'],\n ['.post', '.post_body'],\n ['.post', '.post-body'],\n];\n\nexport const PHOTO_HINTS = ['figure', 'photo', 'image', 'caption'];\nexport const PHOTO_HINTS_RE = new RegExp(PHOTO_HINTS.join('|'), 'i');\n\n// A list of strings that denote a positive scoring for this content as being\n// an article container. Checked against className and id.\n//\n// TODO: Perhaps have these scale based on their odds of being quality?\nexport const POSITIVE_SCORE_HINTS = [\n 'article',\n 'articlecontent',\n 'instapaper_body',\n 'blog',\n 'body',\n 'content',\n 'entry-content-asset',\n 'entry',\n 'hentry',\n 'main',\n 'Normal',\n 'page',\n 'pagination',\n 'permalink',\n 'post',\n 'story',\n 'text',\n '[-_]copy', // usatoday\n '\\\\Bcopy',\n];\n\n// The above list, joined into a matching regular expression\nexport const POSITIVE_SCORE_RE = new RegExp(\n POSITIVE_SCORE_HINTS.join('|'),\n 'i'\n);\n\n// Readability publisher-specific guidelines\nexport const READABILITY_ASSET = new RegExp('entry-content-asset', 'i');\n\n// A list of strings that denote a negative scoring for this content as being\n// an article container. Checked against className and id.\n//\n// TODO: Perhaps have these scale based on their odds of being quality?\nexport const NEGATIVE_SCORE_HINTS = [\n 'adbox',\n 'advert',\n 'author',\n 'bio',\n 'bookmark',\n 'bottom',\n 'byline',\n 'clear',\n 'com-',\n 'combx',\n 'comment',\n 'comment\\\\B',\n 'contact',\n 'copy',\n 'credit',\n 'crumb',\n 'date',\n 'deck',\n 'excerpt',\n 'featured', // tnr.com has a featured_content which throws us off\n 'foot',\n 'footer',\n 'footnote',\n 'graf',\n 'head',\n 'info',\n 'infotext', // newscientist.com copyright\n 'instapaper_ignore',\n 'jump',\n 'linebreak',\n 'link',\n 'masthead',\n 'media',\n 'meta',\n 'modal',\n 'outbrain', // slate.com junk\n 'promo',\n 'pr_', // autoblog - press release\n 'related',\n 'respond',\n 'roundcontent', // lifehacker restricted content warning\n 'scroll',\n 'secondary',\n 'share',\n 'shopping',\n 'shoutbox',\n 'side',\n 'sidebar',\n 'sponsor',\n 'stamp',\n 'sub',\n 'summary',\n 'tags',\n 'tools',\n 'widget',\n];\n// The above list, joined into a matching regular expression\nexport const NEGATIVE_SCORE_RE = new RegExp(\n NEGATIVE_SCORE_HINTS.join('|'),\n 'i'\n);\n\n// XPath to try to determine if a page is wordpress. Not always successful.\nexport const IS_WP_SELECTOR = 'meta[name=generator][value^=WordPress]';\n\n// Match a digit. Pretty clear.\nexport const DIGIT_RE = new RegExp('[0-9]');\n\n// A list of words that, if found in link text or URLs, likely mean that\n// this link is not a next page link.\nexport const EXTRANEOUS_LINK_HINTS = [\n 'print',\n 'archive',\n 'comment',\n 'discuss',\n 'e-mail',\n 'email',\n 'share',\n 'reply',\n 'all',\n 'login',\n 'sign',\n 'single',\n 'adx',\n 'entry-unrelated',\n];\nexport const EXTRANEOUS_LINK_HINTS_RE = new RegExp(\n EXTRANEOUS_LINK_HINTS.join('|'),\n 'i'\n);\n\n// Match any phrase that looks like it could be page, or paging, or pagination\nexport const PAGE_RE = new RegExp('pag(e|ing|inat)', 'i');\n\n// Match any link text/classname/id that looks like it could mean the next\n// page. Things like: next, continue, >, >>, » but not >|, »| as those can\n// mean last page.\n// export const NEXT_LINK_TEXT_RE = new RegExp('(next|weiter|continue|>([^\\|]|$)|»([^\\|]|$))', 'i');\nexport const NEXT_LINK_TEXT_RE = /(next|weiter|continue|>([^|]|$)|»([^|]|$))/i;\n\n// Match any link text/classname/id that looks like it is an end link: things\n// like \"first\", \"last\", \"end\", etc.\nexport const CAP_LINK_TEXT_RE = new RegExp('(first|last|end)', 'i');\n\n// Match any link text/classname/id that looks like it means the previous\n// page.\nexport const PREV_LINK_TEXT_RE = new RegExp('(prev|earl|old|new|<|«)', 'i');\n\n// Match 2 or more consecutive <br> tags\nexport const BR_TAGS_RE = new RegExp('(<br[^>]*>[ \\n\\r\\t]*){2,}', 'i');\n\n// Match 1 BR tag.\nexport const BR_TAG_RE = new RegExp('<br[^>]*>', 'i');\n\n// A list of all of the block level tags known in HTML5 and below. Taken from\n// http://bit.ly/qneNIT\nexport const BLOCK_LEVEL_TAGS = [\n 'article',\n 'aside',\n 'blockquote',\n 'body',\n 'br',\n 'button',\n 'canvas',\n 'caption',\n 'col',\n 'colgroup',\n 'dd',\n 'div',\n 'dl',\n 'dt',\n 'embed',\n 'fieldset',\n 'figcaption',\n 'figure',\n 'footer',\n 'form',\n 'h1',\n 'h2',\n 'h3',\n 'h4',\n 'h5',\n 'h6',\n 'header',\n 'hgroup',\n 'hr',\n 'li',\n 'map',\n 'object',\n 'ol',\n 'output',\n 'p',\n 'pre',\n 'progress',\n 'section',\n 'table',\n 'tbody',\n 'textarea',\n 'tfoot',\n 'th',\n 'thead',\n 'tr',\n 'ul',\n 'video',\n];\nexport const BLOCK_LEVEL_TAGS_RE = new RegExp(\n `^(${BLOCK_LEVEL_TAGS.join('|')})$`,\n 'i'\n);\n\n// The removal is implemented as a blacklist and whitelist, this test finds\n// blacklisted elements that aren't whitelisted. We do this all in one\n// expression-both because it's only one pass, and because this skips the\n// serialization for whitelisted nodes.\nconst candidatesBlacklist = UNLIKELY_CANDIDATES_BLACKLIST.join('|');\nexport const CANDIDATES_BLACKLIST = new RegExp(candidatesBlacklist, 'i');\n\nconst candidatesWhitelist = UNLIKELY_CANDIDATES_WHITELIST.join('|');\nexport const CANDIDATES_WHITELIST = new RegExp(candidatesWhitelist, 'i');\n\nexport const UNLIKELY_RE = new RegExp(\n `!(${candidatesWhitelist})|(${candidatesBlacklist})`,\n 'i'\n);\n\nexport const PARAGRAPH_SCORE_TAGS = new RegExp('^(p|li|span|pre)$', 'i');\nexport const CHILD_CONTENT_TAGS = new RegExp('^(td|blockquote|ol|ul|dl)$', 'i');\nexport const BAD_TAGS = new RegExp('^(address|form)$', 'i');\n\nexport const HTML_OR_BODY_RE = new RegExp('^(html|body)$', 'i');\n","export default function getAttrs(node) {\n const { attribs, attributes } = node;\n\n if (!attribs && attributes) {\n const attrs = Reflect.ownKeys(attributes).reduce((acc, index) => {\n const attr = attributes[index];\n\n // In browser, Reflect.ownKeys includes non-numeric keys like 'length', 'item', etc.\n if (!attr || !attr.name || !attr.value) return acc;\n\n acc[attr.name] = attr.value;\n return acc;\n }, {});\n return attrs;\n }\n\n return attribs;\n}\n","import { STRIP_OUTPUT_TAGS, KEEP_CLASS } from './constants';\n\nexport default function stripJunkTags(article, $, tags = []) {\n if (tags.length === 0) {\n tags = STRIP_OUTPUT_TAGS;\n }\n\n // Remove matching elements, but ignore\n // any element with a class of mercury-parser-keep\n $(tags.join(','), article)\n .not(`.${KEEP_CLASS}`)\n .remove();\n\n return $;\n}\n","export default function setAttr(node, attr, val) {\n if (node.attribs) {\n node.attribs[attr] = val;\n } else if (node.attributes) {\n node.setAttribute(attr, val);\n }\n\n return node;\n}\n","import URL from 'url';\n\nimport getAttrs from './get-attrs';\nimport setAttr from './set-attr';\n\nfunction absolutize($, rootUrl, attr) {\n const baseUrl = $('base').attr('href');\n\n $(`[${attr}]`).each((_, node) => {\n const attrs = getAttrs(node);\n const url = attrs[attr];\n if (!url) return;\n const absoluteUrl = URL.resolve(baseUrl || rootUrl, url);\n\n setAttr(node, attr, absoluteUrl);\n });\n}\n\nfunction absolutizeSet($, rootUrl, $content) {\n $('[srcset]', $content).each((_, node) => {\n const attrs = getAttrs(node);\n const urlSet = attrs.srcset;\n\n if (urlSet) {\n // a comma should be considered part of the candidate URL unless preceded by a descriptor\n // descriptors can only contain positive numbers followed immediately by either 'w' or 'x'\n // space characters inside the URL should be encoded (%20 or +)\n const candidates = urlSet.match(\n /(?:\\s*)(\\S+(?:\\s*[\\d.]+[wx])?)(?:\\s*,\\s*)?/g\n );\n if (!candidates) return;\n const absoluteCandidates = candidates.map(candidate => {\n // a candidate URL cannot start or end with a comma\n // descriptors are separated from the URLs by unescaped whitespace\n const parts = candidate\n .trim()\n .replace(/,$/, '')\n .split(/\\s+/);\n parts[0] = URL.resolve(rootUrl, parts[0]);\n return parts.join(' ');\n });\n const absoluteUrlSet = [...new Set(absoluteCandidates)].join(', ');\n setAttr(node, 'srcset', absoluteUrlSet);\n }\n });\n}\n\nexport default function makeLinksAbsolute($content, $, url) {\n ['href', 'src'].forEach(attr => absolutize($, url, attr));\n absolutizeSet($, url, $content);\n\n return $content;\n}\n","export default function insertValues(strings, ...values) {\n if (values.length) {\n return strings.reduce((result, part, idx) => {\n let value = values[idx];\n\n if (value && typeof value.toString === 'function') {\n value = value.toString();\n } else {\n value = '';\n }\n\n return result + part + value;\n }, '');\n }\n\n return strings.join('');\n}\n","import insertValues from './insert-values';\n\nconst bodyPattern = /^\\n([\\s\\S]+)\\s{2}$/gm;\nconst trailingWhitespace = /\\s+$/;\n\nexport default function template(strings, ...values) {\n const compiled = insertValues(strings, ...values);\n let [body] = compiled.match(bodyPattern) || [];\n let indentLevel = /^\\s{0,4}(.+)$/g;\n\n if (!body) {\n body = compiled;\n indentLevel = /^\\s{0,2}(.+)$/g;\n }\n\n return body\n .split('\\n')\n .slice(1)\n .map(line => {\n line = line.replace(indentLevel, '$1');\n\n if (trailingWhitespace.test(line)) {\n line = line.replace(trailingWhitespace, '');\n }\n\n return line;\n })\n .join('\\n');\n}\n","import template from './index';\n\nexport default function(hostname, name) {\n return template`\n export const ${name} = {\n domain: '${hostname}',\n\n title: {\n selectors: [\n // enter title selectors\n ],\n },\n\n author: {\n selectors: [\n // enter author selectors\n ],\n },\n\n date_published: {\n selectors: [\n // enter selectors\n ],\n },\n\n lead_image_url: {\n selectors: [\n // enter selectors\n ],\n },\n\n content: {\n selectors: [\n // enter content selectors\n ],\n\n // Is there anything in the content you selected that needs transformed\n // before it's consumable content? E.g., unusual lazy loaded images\n transforms: {\n },\n\n // Is there anything that is in the result that shouldn't be?\n // The clean selectors will remove anything that matches from\n // the result\n clean: [\n\n ]\n },\n }\n `;\n}\n","import template from './index';\n\nconst IGNORE = [\n 'url',\n 'domain',\n 'content',\n 'word_count',\n 'next_page_url',\n 'excerpt',\n 'direction',\n 'total_pages',\n 'rendered_pages',\n];\n\nfunction testFor(key, value, dir) {\n if (IGNORE.find(k => k === key)) return '';\n\n return template`\n it('returns the ${key}', async () => {\n // To pass this test, fill out the ${key} selector\n // in ${dir}/index.js.\n const { ${key} } = await result\n\n // Update these values with the expected values from\n // the article.\n assert.strictEqual(${key}, ${value ? `\\`${value}\\`` : \"''\"})\n });\n `;\n}\n\nexport default function(file, url, dir, result, name) {\n return template`\n import assert from 'assert';\n import * as cheerio from 'cheerio';\n\n import Parser from 'mercury';\n import getExtractor from 'extractors/get-extractor';\n import { excerptContent } from 'utils/text';\n\n const fs = require('fs');\n\n describe('${name}', () => {\n describe('initial test case', () => {\n let result;\n let url;\n beforeAll(() => {\n url =\n '${url}';\n const html =\n fs.readFileSync('${file}');\n result =\n Parser.parse(url, { html, fallback: false });\n });\n\n it('is selected properly', () => {\n // This test should be passing by default.\n // It sanity checks that the correct parser\n // is being selected for URLs from this domain\n const extractor = getExtractor(url);\n assert.strictEqual(extractor.domain, new URL(url).hostname)\n })\n\n ${Reflect.ownKeys(result)\n .map(k => testFor(k, result[k], dir))\n .join('\\n\\n')}\n\n it('returns the content', async () => {\n // To pass this test, fill out the content selector\n // in ${dir}/index.js.\n // You may also want to make use of the clean and transform\n // options.\n const { content } = await result;\n\n const $ = cheerio.load(content || '');\n\n const first13 = excerptContent($('*').first().text(), 13)\n\n // Update these values with the expected values from the article.\n // Add the first 13 words of the article here\n assert.strictEqual(first13, null);\n });\n });\n });\n `;\n}\n","/* eslint-disable import/no-extraneous-dependencies */\n/* eslint-disable no-use-before-define */\n/* eslint-disable no-console */\nimport fs from 'fs';\nimport inquirer from 'inquirer';\nimport ora from 'ora';\nimport { exec } from 'child_process';\n\nimport { stripJunkTags, makeLinksAbsolute } from 'utils/dom';\nimport Parser from '../dist/mercury';\nimport extractorTemplate from './templates/custom-extractor';\nimport extractorTestTemplate from './templates/custom-extractor-test';\n\nconst questions = [\n {\n type: 'input',\n name: 'website',\n message:\n \"Paste a url to an article you'd like to create or extend a parser for:\",\n validate(value) {\n const { hostname } = new URL(value);\n if (hostname) return true;\n\n return false;\n },\n },\n];\nlet spinner;\n\nfunction confirm(fn, args, msg, newParser) {\n spinner = ora({ text: msg });\n spinner.start();\n const result = fn(...args);\n\n if (result && result.then) {\n result\n .then(r => {\n if (r && r.error) {\n spinner.fail();\n console.error(\n `\\nCould not download the page: ${r.message}\\nCannot continue.`\n );\n process.exit(1);\n }\n savePage(r, args, newParser);\n })\n .catch(err => {\n spinner.fail();\n console.error(\n `\\nCould not download the page: ${err.message}\\nCannot continue.`\n );\n process.exit(1);\n });\n } else {\n spinner.succeed();\n }\n\n return result;\n}\n\nfunction confirmCreateDir(dir, msg) {\n if (!fs.existsSync(dir)) {\n confirm(fs.mkdirSync, [dir], msg);\n }\n}\n\nfunction getDir(url) {\n const { hostname } = new URL(url);\n return `./src/extractors/custom/${hostname}`;\n}\n\nfunction scaffoldCustomParser(url) {\n const dir = getDir(url);\n const { hostname } = new URL(url);\n let newParser = false;\n\n if (!fs.existsSync(dir)) {\n newParser = true;\n confirmCreateDir(dir, `Creating ${hostname} directory`);\n confirmCreateDir(`./fixtures/${hostname}`, 'Creating fixtures directory');\n }\n\n confirm(Parser.fetchResource, [url], 'Fetching fixture', newParser);\n}\n\n// if has arg, just assume that arg is a url and skip prmopt\nconst urlArg = process.argv[2];\nif (urlArg) {\n scaffoldCustomParser(urlArg);\n} else {\n inquirer.prompt(questions).then(answers => {\n scaffoldCustomParser(answers.website);\n });\n}\n\nfunction generateScaffold(url, file, result) {\n const { hostname } = new URL(url);\n const extractor = extractorTemplate(hostname, extractorName(hostname));\n const extractorTest = extractorTestTemplate(\n file,\n url,\n getDir(url),\n result,\n extractorName(hostname)\n );\n\n fs.writeFileSync(`${getDir(url)}/index.js`, extractor);\n fs.writeFileSync(`${getDir(url)}/index.test.js`, extractorTest);\n fs.appendFileSync('./src/extractors/custom/index.js', exportString(url));\n exec(`npm run lint-fix-quiet -- ${getDir(url)}/*.js`);\n}\n\nfunction savePage($, [url], newParser) {\n const { hostname } = new URL(url);\n\n spinner.succeed();\n\n const filename = new Date().getTime();\n const file = `./fixtures/${hostname}/${filename}.html`;\n // fix http(s) relative links:\n makeLinksAbsolute($('*').first(), $, url);\n $('[src], [href]').each((index, node) => {\n const $node = $(node);\n const link = $node.attr('src');\n if (link && link.slice(0, 2) === '//') {\n $node.attr('src', `http:${link}`);\n }\n });\n const html = stripJunkTags($('*').first(), $, ['script']).html();\n\n fs.writeFileSync(file, html);\n\n Parser.parse(url, { html }).then(result => {\n if (newParser) {\n confirm(\n generateScaffold,\n [url, file, result],\n 'Generating parser and tests'\n );\n console.log(`Your custom site extractor has been set up. To get started building it, run\n yarn watch:test -- ${hostname}\n -- OR --\n npm run watch:test -- ${hostname}`);\n } else {\n console.log(`\n It looks like you already have a custom parser for this url.\n The page you linked to has been added to ${file}. Copy and paste\n the following code to use that page in your tests:\n const html = fs.readFileSync('${file}');`);\n }\n });\n}\n\nfunction exportString(url) {\n const { hostname } = new URL(url);\n return `export * from './${hostname}';`;\n}\n\nfunction extractorName(hostname) {\n const name = hostname\n .split('.')\n .map(w => `${w.charAt(0).toUpperCase()}${w.slice(1)}`)\n .join('');\n return `${name}Extractor`;\n}\n"],"names":["KEEP_CLASS","STRIP_OUTPUT_TAGS","getAttrs","node","attribs","attributes","attrs","_Reflect$ownKeys","reduce","acc","index","attr","name","value","stripJunkTags","article","$","tags","arguments","length","undefined","join","not","concat","remove","setAttr","val","setAttribute","absolutize","rootUrl","baseUrl","each","_","url","absoluteUrl","URL","resolve","absolutizeSet","$content","urlSet","srcset","candidates","match","absoluteCandidates","map","candidate","parts","trim","replace","split","absoluteUrlSet","_toConsumableArray","_Set","makeLinksAbsolute","forEach","insertValues","strings","_len","values","Array","_key","result","part","idx","toString","bodyPattern","trailingWhitespace","template","compiled","apply","_ref","_ref2","_slicedToArray","body","indentLevel","slice","line","test","hostname","_templateObject","_taggedTemplateLiteral","IGNORE","testFor","key","dir","find","k","file","_templateObject2","questions","type","message","validate","_URL","spinner","confirm","fn","args","msg","newParser","ora","text","start","then","r","error","fail","console","process","exit","savePage","err","succeed","confirmCreateDir","fs","existsSync","mkdirSync","getDir","_URL2","scaffoldCustomParser","_URL3","Parser","fetchResource","urlArg","argv","inquirer","prompt","answers","website","generateScaffold","_URL4","extractor","extractorTemplate","extractorName","extractorTest","extractorTestTemplate","writeFileSync","appendFileSync","exportString","exec","_URL5","filename","Date","getTime","first","$node","link","html","parse","log","_URL6","w","charAt","toUpperCase"],"mappings":";;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;AAAA;;AAGA;AACA;AACO,IAAMA,UAAU,GAAG,qBAAqB,CAAA;;AAW/C;AACO,IAAMC,iBAAiB,GAAG,CAC/B,OAAO,EACP,QAAQ,EACR,UAAU,EACV,MAAM,EACN,OAAO,EACP,IAAI,EACJ,OAAO,EACP,QAAQ,EACR,QAAQ,CACT;;AC3Bc,SAASC,QAAQA,CAACC,IAAI,EAAE;AACrC,EAAA,IAAQC,OAAO,GAAiBD,IAAI,CAA5BC,OAAO;IAAEC,UAAU,GAAKF,IAAI,CAAnBE,UAAU,CAAA;AAE3B,EAAA,IAAI,CAACD,OAAO,IAAIC,UAAU,EAAE;AAC1B,IAAA,IAAMC,KAAK,GAAGC,oCAAA,CAAgBF,UAAU,CAAC,CAACG,MAAM,CAAC,UAACC,GAAG,EAAEC,KAAK,EAAK;AAC/D,MAAA,IAAMC,IAAI,GAAGN,UAAU,CAACK,KAAK,CAAC,CAAA;;AAE9B;AACA,MAAA,IAAI,CAACC,IAAI,IAAI,CAACA,IAAI,CAACC,IAAI,IAAI,CAACD,IAAI,CAACE,KAAK,EAAE,OAAOJ,GAAG,CAAA;MAElDA,GAAG,CAACE,IAAI,CAACC,IAAI,CAAC,GAAGD,IAAI,CAACE,KAAK,CAAA;AAC3B,MAAA,OAAOJ,GAAG,CAAA;KACX,EAAE,EAAE,CAAC,CAAA;AACN,IAAA,OAAOH,KAAK,CAAA;AACd,GAAA;AAEA,EAAA,OAAOF,OAAO,CAAA;AAChB;;ACfe,SAASU,aAAaA,CAACC,OAAO,EAAEC,CAAC,EAAa;AAAA,EAAA,IAAXC,IAAI,GAAAC,SAAA,CAAAC,MAAA,GAAA,CAAA,IAAAD,SAAA,CAAA,CAAA,CAAA,KAAAE,SAAA,GAAAF,SAAA,CAAA,CAAA,CAAA,GAAG,EAAE,CAAA;AACzD,EAAA,IAAID,IAAI,CAACE,MAAM,KAAK,CAAC,EAAE;AACrBF,IAAAA,IAAI,GAAGhB,iBAAiB,CAAA;AAC1B,GAAA;;AAEA;AACA;EACAe,CAAC,CAACC,IAAI,CAACI,IAAI,CAAC,GAAG,CAAC,EAAEN,OAAO,CAAC,CACvBO,GAAG,CAAA,GAAA,CAAAC,MAAA,CAAKvB,UAAU,CAAE,CAAC,CACrBwB,MAAM,EAAE,CAAA;AAEX,EAAA,OAAOR,CAAC,CAAA;AACV;;ACde,SAASS,OAAOA,CAACtB,IAAI,EAAEQ,IAAI,EAAEe,GAAG,EAAE;EAC/C,IAAIvB,IAAI,CAACC,OAAO,EAAE;AAChBD,IAAAA,IAAI,CAACC,OAAO,CAACO,IAAI,CAAC,GAAGe,GAAG,CAAA;AAC1B,GAAC,MAAM,IAAIvB,IAAI,CAACE,UAAU,EAAE;AAC1BF,IAAAA,IAAI,CAACwB,YAAY,CAAChB,IAAI,EAAEe,GAAG,CAAC,CAAA;AAC9B,GAAA;AAEA,EAAA,OAAOvB,IAAI,CAAA;AACb;;ACHA,SAASyB,UAAUA,CAACZ,CAAC,EAAEa,OAAO,EAAElB,IAAI,EAAE;EACpC,IAAMmB,OAAO,GAAGd,CAAC,CAAC,MAAM,CAAC,CAACL,IAAI,CAAC,MAAM,CAAC,CAAA;AAEtCK,EAAAA,CAAC,CAAAO,GAAAA,CAAAA,MAAA,CAAKZ,IAAI,EAAG,GAAA,CAAA,CAAC,CAACoB,IAAI,CAAC,UAACC,CAAC,EAAE7B,IAAI,EAAK;AAC/B,IAAA,IAAMG,KAAK,GAAGJ,QAAQ,CAACC,IAAI,CAAC,CAAA;AAC5B,IAAA,IAAM8B,GAAG,GAAG3B,KAAK,CAACK,IAAI,CAAC,CAAA;IACvB,IAAI,CAACsB,GAAG,EAAE,OAAA;IACV,IAAMC,WAAW,GAAGC,uBAAG,CAACC,OAAO,CAACN,OAAO,IAAID,OAAO,EAAEI,GAAG,CAAC,CAAA;AAExDR,IAAAA,OAAO,CAACtB,IAAI,EAAEQ,IAAI,EAAEuB,WAAW,CAAC,CAAA;AAClC,GAAC,CAAC,CAAA;AACJ,CAAA;AAEA,SAASG,aAAaA,CAACrB,CAAC,EAAEa,OAAO,EAAES,QAAQ,EAAE;AAC3CtB,EAAAA,CAAC,CAAC,UAAU,EAAEsB,QAAQ,CAAC,CAACP,IAAI,CAAC,UAACC,CAAC,EAAE7B,IAAI,EAAK;AACxC,IAAA,IAAMG,KAAK,GAAGJ,QAAQ,CAACC,IAAI,CAAC,CAAA;AAC5B,IAAA,IAAMoC,MAAM,GAAGjC,KAAK,CAACkC,MAAM,CAAA;AAE3B,IAAA,IAAID,MAAM,EAAE;AACV;AACA;AACA;AACA,MAAA,IAAME,UAAU,GAAGF,MAAM,CAACG,KAAK,CAC7B,6CACF,CAAC,CAAA;MACD,IAAI,CAACD,UAAU,EAAE,OAAA;MACjB,IAAME,kBAAkB,GAAGF,UAAU,CAACG,GAAG,CAAC,UAAAC,SAAS,EAAI;AACrD;AACA;AACA,QAAA,IAAMC,KAAK,GAAGD,SAAS,CACpBE,IAAI,EAAE,CACNC,OAAO,CAAC,IAAI,EAAE,EAAE,CAAC,CACjBC,KAAK,CAAC,KAAK,CAAC,CAAA;AACfH,QAAAA,KAAK,CAAC,CAAC,CAAC,GAAGX,uBAAG,CAACC,OAAO,CAACP,OAAO,EAAEiB,KAAK,CAAC,CAAC,CAAC,CAAC,CAAA;AACzC,QAAA,OAAOA,KAAK,CAACzB,IAAI,CAAC,GAAG,CAAC,CAAA;AACxB,OAAC,CAAC,CAAA;AACF,MAAA,IAAM6B,cAAc,GAAGC,sCAAA,CAAI,IAAAC,wBAAA,CAAQT,kBAAkB,CAAC,CAAA,CAAEtB,IAAI,CAAC,IAAI,CAAC,CAAA;AAClEI,MAAAA,OAAO,CAACtB,IAAI,EAAE,QAAQ,EAAE+C,cAAc,CAAC,CAAA;AACzC,KAAA;AACF,GAAC,CAAC,CAAA;AACJ,CAAA;AAEe,SAASG,iBAAiBA,CAACf,QAAQ,EAAEtB,CAAC,EAAEiB,GAAG,EAAE;EAC1D,CAAC,MAAM,EAAE,KAAK,CAAC,CAACqB,OAAO,CAAC,UAAA3C,IAAI,EAAA;AAAA,IAAA,OAAIiB,UAAU,CAACZ,CAAC,EAAEiB,GAAG,EAAEtB,IAAI,CAAC,CAAA;GAAC,CAAA,CAAA;AACzD0B,EAAAA,aAAa,CAACrB,CAAC,EAAEiB,GAAG,EAAEK,QAAQ,CAAC,CAAA;AAE/B,EAAA,OAAOA,QAAQ,CAAA;AACjB;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;ACpDe,SAASiB,YAAYA,CAACC,OAAO,EAAa;EAAA,KAAAC,IAAAA,IAAA,GAAAvC,SAAA,CAAAC,MAAA,EAARuC,MAAM,OAAAC,KAAA,CAAAF,IAAA,GAAAA,CAAAA,GAAAA,IAAA,WAAAG,IAAA,GAAA,CAAA,EAAAA,IAAA,GAAAH,IAAA,EAAAG,IAAA,EAAA,EAAA;AAANF,IAAAA,MAAM,CAAAE,IAAA,GAAA1C,CAAAA,CAAAA,GAAAA,SAAA,CAAA0C,IAAA,CAAA,CAAA;AAAA,GAAA;EACrD,IAAIF,MAAM,CAACvC,MAAM,EAAE;IACjB,OAAOqC,OAAO,CAAChD,MAAM,CAAC,UAACqD,MAAM,EAAEC,IAAI,EAAEC,GAAG,EAAK;AAC3C,MAAA,IAAIlD,KAAK,GAAG6C,MAAM,CAACK,GAAG,CAAC,CAAA;MAEvB,IAAIlD,KAAK,IAAI,OAAOA,KAAK,CAACmD,QAAQ,KAAK,UAAU,EAAE;AACjDnD,QAAAA,KAAK,GAAGA,KAAK,CAACmD,QAAQ,EAAE,CAAA;AAC1B,OAAC,MAAM;AACLnD,QAAAA,KAAK,GAAG,EAAE,CAAA;AACZ,OAAA;AAEA,MAAA,OAAOgD,MAAM,GAAGC,IAAI,GAAGjD,KAAK,CAAA;KAC7B,EAAE,EAAE,CAAC,CAAA;AACR,GAAA;AAEA,EAAA,OAAO2C,OAAO,CAACnC,IAAI,CAAC,EAAE,CAAC,CAAA;AACzB;;ACdA,IAAM4C,WAAW,GAAG,sBAAsB,CAAA;AAC1C,IAAMC,kBAAkB,GAAG,MAAM,CAAA;AAElB,SAASC,QAAQA,CAACX,OAAO,EAAa;EAAA,KAAAC,IAAAA,IAAA,GAAAvC,SAAA,CAAAC,MAAA,EAARuC,MAAM,OAAAC,KAAA,CAAAF,IAAA,GAAAA,CAAAA,GAAAA,IAAA,WAAAG,IAAA,GAAA,CAAA,EAAAA,IAAA,GAAAH,IAAA,EAAAG,IAAA,EAAA,EAAA;AAANF,IAAAA,MAAM,CAAAE,IAAA,GAAA1C,CAAAA,CAAAA,GAAAA,SAAA,CAAA0C,IAAA,CAAA,CAAA;AAAA,GAAA;EACjD,IAAMQ,QAAQ,GAAGb,YAAY,CAAAc,KAAA,CAACb,KAAAA,CAAAA,EAAAA,CAAAA,OAAO,CAAAjC,CAAAA,MAAA,CAAKmC,MAAM,CAAC,CAAA,CAAA;EACjD,IAAAY,IAAA,GAAaF,QAAQ,CAAC1B,KAAK,CAACuB,WAAW,CAAC,IAAI,EAAE;IAAAM,KAAA,GAAAC,kCAAA,CAAAF,IAAA,EAAA,CAAA,CAAA;AAAzCG,IAAAA,IAAI,GAAAF,KAAA,CAAA,CAAA,CAAA,CAAA;EACT,IAAIG,WAAW,GAAG,gBAAgB,CAAA;EAElC,IAAI,CAACD,IAAI,EAAE;AACTA,IAAAA,IAAI,GAAGL,QAAQ,CAAA;AACfM,IAAAA,WAAW,GAAG,gBAAgB,CAAA;AAChC,GAAA;AAEA,EAAA,OAAOD,IAAI,CACRxB,KAAK,CAAC,IAAI,CAAC,CACX0B,KAAK,CAAC,CAAC,CAAC,CACR/B,GAAG,CAAC,UAAAgC,IAAI,EAAI;IACXA,IAAI,GAAGA,IAAI,CAAC5B,OAAO,CAAC0B,WAAW,EAAE,IAAI,CAAC,CAAA;AAEtC,IAAA,IAAIR,kBAAkB,CAACW,IAAI,CAACD,IAAI,CAAC,EAAE;MACjCA,IAAI,GAAGA,IAAI,CAAC5B,OAAO,CAACkB,kBAAkB,EAAE,EAAE,CAAC,CAAA;AAC7C,KAAA;AAEA,IAAA,OAAOU,IAAI,CAAA;AACb,GAAC,CAAC,CACDvD,IAAI,CAAC,IAAI,CAAC,CAAA;AACf;;;AC1Be,0BAASyD,EAAAA,QAAQ,EAAElE,IAAI,EAAE;EACtC,OAAOuD,QAAQ,CAAAY,iBAAA,KAAAA,iBAAA,GAAAC,0CAAA,CAAA,CAAA,qBAAA,EAAA,uBAAA,EAAA,84BAAA,CAAA,CAAA,CAAA,EACEpE,IAAI,EACNkE,QAAQ,CAAA,CAAA;AA6CzB;;;AChDA,IAAMG,MAAM,GAAG,CACb,KAAK,EACL,QAAQ,EACR,SAAS,EACT,YAAY,EACZ,eAAe,EACf,SAAS,EACT,WAAW,EACX,aAAa,EACb,gBAAgB,CACjB,CAAA;AAED,SAASC,OAAOA,CAACC,GAAG,EAAEtE,KAAK,EAAEuE,GAAG,EAAE;AAChC,EAAA,IAAIH,MAAM,CAACI,IAAI,CAAC,UAAAC,CAAC,EAAA;IAAA,OAAIA,CAAC,KAAKH,GAAG,CAAA;GAAC,CAAA,EAAE,OAAO,EAAE,CAAA;EAE1C,OAAOhB,QAAQ,CAAAY,eAAA,KAAAA,eAAA,GAAAC,0CAAA,CAAA,CAAA,sBAAA,EAAA,mEAAA,EAAA,+BAAA,EAAA,kCAAA,EAAA,qJAAA,EAAA,IAAA,EAAA,wBAAA,CAAA,CAAA,CAAA,EACGG,GAAG,EAC0BA,GAAG,EAChCC,GAAG,EACDD,GAAG,EAIQA,GAAG,EAAKtE,KAAK,OAAAU,MAAA,CAAQV,KAAK,EAAA,GAAA,CAAA,GAAO,IAAI,CAAA,CAAA;AAGtE,CAAA;AAEe,8BAAA,EAAS0E,IAAI,EAAEtD,GAAG,EAAEmD,GAAG,EAAEvB,MAAM,EAAEjD,IAAI,EAAE;EACpD,OAAOuD,QAAQ,CAAAqB,gBAAA,KAAAA,gBAAA,GAAAR,0CAAA,CAUDpE,CAAAA,iRAAAA,EAAAA,2JAAAA,EAAAA,2DAAAA,EAAAA,ucAAAA,EAAAA,sIAAAA,EAAAA,6eAAAA,CAAAA,CAAAA,CAAAA,EAAAA,IAAI,EAMLqB,GAAG,EAEasD,IAAI,EAavBhF,oCAAA,CAAgBsD,MAAM,CAAC,CACtBjB,GAAG,CAAC,UAAA0C,CAAC,EAAA;IAAA,OAAIJ,OAAO,CAACI,CAAC,EAAEzB,MAAM,CAACyB,CAAC,CAAC,EAAEF,GAAG,CAAC,CAAA;AAAA,GAAA,CAAC,CACpC/D,IAAI,CAAC,MAAM,CAAC,EAIP+D,GAAG,CAAA,CAAA;AAgBrB;;ACvEA,IAAMK,SAAS,GAAG,CAChB;AACEC,EAAAA,IAAI,EAAE,OAAO;AACb9E,EAAAA,IAAI,EAAE,SAAS;AACf+E,EAAAA,OAAO,EACL,wEAAwE;AAC1EC,EAAAA,QAAQ,EAARA,SAAAA,QAAQA,CAAC/E,KAAK,EAAE;AACd,IAAA,IAAAgF,IAAA,GAAqB,IAAI1D,GAAG,CAACtB,KAAK,CAAC;MAA3BiE,QAAQ,GAAAe,IAAA,CAARf,QAAQ,CAAA;IAChB,IAAIA,QAAQ,EAAE,OAAO,IAAI,CAAA;AAEzB,IAAA,OAAO,KAAK,CAAA;AACd,GAAA;AACF,CAAC,CACF,CAAA;AACD,IAAIgB,OAAO,CAAA;AAEX,SAASC,OAAOA,CAACC,EAAE,EAAEC,IAAI,EAAEC,GAAG,EAAEC,SAAS,EAAE;EACzCL,OAAO,GAAGM,uBAAG,CAAC;AAAEC,IAAAA,IAAI,EAAEH,GAAAA;AAAI,GAAC,CAAC,CAAA;EAC5BJ,OAAO,CAACQ,KAAK,EAAE,CAAA;EACf,IAAMzC,MAAM,GAAGmC,EAAE,CAAA3B,KAAA,CAAAlB,KAAAA,CAAAA,EAAAA,sCAAA,CAAI8C,IAAI,CAAC,CAAA,CAAA;AAE1B,EAAA,IAAIpC,MAAM,IAAIA,MAAM,CAAC0C,IAAI,EAAE;AACzB1C,IAAAA,MAAM,CACH0C,IAAI,CAAC,UAAAC,CAAC,EAAI;AACT,MAAA,IAAIA,CAAC,IAAIA,CAAC,CAACC,KAAK,EAAE;QAChBX,OAAO,CAACY,IAAI,EAAE,CAAA;QACdC,OAAO,CAACF,KAAK,CAAAlF,iCAAAA,CAAAA,MAAA,CACuBiF,CAAC,CAACb,OAAO,EAAA,oBAAA,CAC7C,CAAC,CAAA;AACDiB,QAAAA,OAAO,CAACC,IAAI,CAAC,CAAC,CAAC,CAAA;AACjB,OAAA;AACAC,MAAAA,QAAQ,CAACN,CAAC,EAAEP,IAAI,EAAEE,SAAS,CAAC,CAAA;AAC9B,KAAC,CAAC,CAAA,OAAA,CACI,CAAC,UAAAY,GAAG,EAAI;MACZjB,OAAO,CAACY,IAAI,EAAE,CAAA;MACdC,OAAO,CAACF,KAAK,CAAAlF,iCAAAA,CAAAA,MAAA,CACuBwF,GAAG,CAACpB,OAAO,EAAA,oBAAA,CAC/C,CAAC,CAAA;AACDiB,MAAAA,OAAO,CAACC,IAAI,CAAC,CAAC,CAAC,CAAA;AACjB,KAAC,CAAC,CAAA;AACN,GAAC,MAAM;IACLf,OAAO,CAACkB,OAAO,EAAE,CAAA;AACnB,GAAA;AAEA,EAAA,OAAOnD,MAAM,CAAA;AACf,CAAA;AAEA,SAASoD,gBAAgBA,CAAC7B,GAAG,EAAEc,GAAG,EAAE;AAClC,EAAA,IAAI,CAACgB,sBAAE,CAACC,UAAU,CAAC/B,GAAG,CAAC,EAAE;IACvBW,OAAO,CAACmB,sBAAE,CAACE,SAAS,EAAE,CAAChC,GAAG,CAAC,EAAEc,GAAG,CAAC,CAAA;AACnC,GAAA;AACF,CAAA;AAEA,SAASmB,MAAMA,CAACpF,GAAG,EAAE;AACnB,EAAA,IAAAqF,KAAA,GAAqB,IAAInF,GAAG,CAACF,GAAG,CAAC;IAAzB6C,QAAQ,GAAAwC,KAAA,CAARxC,QAAQ,CAAA;EAChB,OAAAvD,0BAAAA,CAAAA,MAAA,CAAkCuD,QAAQ,CAAA,CAAA;AAC5C,CAAA;AAEA,SAASyC,oBAAoBA,CAACtF,GAAG,EAAE;AACjC,EAAA,IAAMmD,GAAG,GAAGiC,MAAM,CAACpF,GAAG,CAAC,CAAA;AACvB,EAAA,IAAAuF,KAAA,GAAqB,IAAIrF,GAAG,CAACF,GAAG,CAAC;IAAzB6C,QAAQ,GAAA0C,KAAA,CAAR1C,QAAQ,CAAA;EAChB,IAAIqB,SAAS,GAAG,KAAK,CAAA;AAErB,EAAA,IAAI,CAACe,sBAAE,CAACC,UAAU,CAAC/B,GAAG,CAAC,EAAE;AACvBe,IAAAA,SAAS,GAAG,IAAI,CAAA;AAChBc,IAAAA,gBAAgB,CAAC7B,GAAG,EAAA,WAAA,CAAA7D,MAAA,CAAcuD,QAAQ,eAAY,CAAC,CAAA;AACvDmC,IAAAA,gBAAgB,eAAA1F,MAAA,CAAeuD,QAAQ,CAAA,EAAI,6BAA6B,CAAC,CAAA;AAC3E,GAAA;AAEAiB,EAAAA,OAAO,CAAC0B,MAAM,CAACC,aAAa,EAAE,CAACzF,GAAG,CAAC,EAAE,kBAAkB,EAAEkE,SAAS,CAAC,CAAA;AACrE,CAAA;;AAEA;AACA,IAAMwB,MAAM,GAAGf,OAAO,CAACgB,IAAI,CAAC,CAAC,CAAC,CAAA;AAC9B,IAAID,MAAM,EAAE;EACVJ,oBAAoB,CAACI,MAAM,CAAC,CAAA;AAC9B,CAAC,MAAM;EACLE,4BAAQ,CAACC,MAAM,CAACrC,SAAS,CAAC,CAACc,IAAI,CAAC,UAAAwB,OAAO,EAAI;AACzCR,IAAAA,oBAAoB,CAACQ,OAAO,CAACC,OAAO,CAAC,CAAA;AACvC,GAAC,CAAC,CAAA;AACJ,CAAA;AAEA,SAASC,gBAAgBA,CAAChG,GAAG,EAAEsD,IAAI,EAAE1B,MAAM,EAAE;AAC3C,EAAA,IAAAqE,KAAA,GAAqB,IAAI/F,GAAG,CAACF,GAAG,CAAC;IAAzB6C,QAAQ,GAAAoD,KAAA,CAARpD,QAAQ,CAAA;EAChB,IAAMqD,SAAS,GAAGC,iBAAiB,CAACtD,QAAQ,EAAEuD,aAAa,CAACvD,QAAQ,CAAC,CAAC,CAAA;AACtE,EAAA,IAAMwD,aAAa,GAAGC,qBAAqB,CACzChD,IAAI,EACJtD,GAAG,EACHoF,MAAM,CAACpF,GAAG,CAAC,EACX4B,MAAM,EACNwE,aAAa,CAACvD,QAAQ,CACxB,CAAC,CAAA;EAEDoC,sBAAE,CAACsB,aAAa,CAAA,EAAA,CAAAjH,MAAA,CAAI8F,MAAM,CAACpF,GAAG,CAAC,EAAakG,WAAAA,CAAAA,EAAAA,SAAS,CAAC,CAAA;EACtDjB,sBAAE,CAACsB,aAAa,CAAA,EAAA,CAAAjH,MAAA,CAAI8F,MAAM,CAACpF,GAAG,CAAC,EAAkBqG,gBAAAA,CAAAA,EAAAA,aAAa,CAAC,CAAA;EAC/DpB,sBAAE,CAACuB,cAAc,CAAC,kCAAkC,EAAEC,YAAY,CAACzG,GAAG,CAAC,CAAC,CAAA;EACxE0G,kBAAI,CAAA,4BAAA,CAAApH,MAAA,CAA8B8F,MAAM,CAACpF,GAAG,CAAC,UAAO,CAAC,CAAA;AACvD,CAAA;AAEA,SAAS6E,QAAQA,CAAC9F,CAAC,EAAAsD,IAAA,EAAS6B,SAAS,EAAE;AAAA,EAAA,IAAA5B,KAAA,GAAAC,kCAAA,CAAAF,IAAA,EAAA,CAAA,CAAA;AAAjBrC,IAAAA,GAAG,GAAAsC,KAAA,CAAA,CAAA,CAAA,CAAA;AACvB,EAAA,IAAAqE,KAAA,GAAqB,IAAIzG,GAAG,CAACF,GAAG,CAAC;IAAzB6C,QAAQ,GAAA8D,KAAA,CAAR9D,QAAQ,CAAA;EAEhBgB,OAAO,CAACkB,OAAO,EAAE,CAAA;EAEjB,IAAM6B,QAAQ,GAAG,IAAIC,IAAI,EAAE,CAACC,OAAO,EAAE,CAAA;EACrC,IAAMxD,IAAI,iBAAAhE,MAAA,CAAiBuD,QAAQ,EAAAvD,GAAAA,CAAAA,CAAAA,MAAA,CAAIsH,QAAQ,EAAO,OAAA,CAAA,CAAA;AACtD;AACAxF,EAAAA,iBAAiB,CAACrC,CAAC,CAAC,GAAG,CAAC,CAACgI,KAAK,EAAE,EAAEhI,CAAC,EAAEiB,GAAG,CAAC,CAAA;EACzCjB,CAAC,CAAC,eAAe,CAAC,CAACe,IAAI,CAAC,UAACrB,KAAK,EAAEP,IAAI,EAAK;AACvC,IAAA,IAAM8I,KAAK,GAAGjI,CAAC,CAACb,IAAI,CAAC,CAAA;AACrB,IAAA,IAAM+I,IAAI,GAAGD,KAAK,CAACtI,IAAI,CAAC,KAAK,CAAC,CAAA;AAC9B,IAAA,IAAIuI,IAAI,IAAIA,IAAI,CAACvE,KAAK,CAAC,CAAC,EAAE,CAAC,CAAC,KAAK,IAAI,EAAE;MACrCsE,KAAK,CAACtI,IAAI,CAAC,KAAK,UAAAY,MAAA,CAAU2H,IAAI,CAAE,CAAC,CAAA;AACnC,KAAA;AACF,GAAC,CAAC,CAAA;EACF,IAAMC,IAAI,GAAGrI,aAAa,CAACE,CAAC,CAAC,GAAG,CAAC,CAACgI,KAAK,EAAE,EAAEhI,CAAC,EAAE,CAAC,QAAQ,CAAC,CAAC,CAACmI,IAAI,EAAE,CAAA;AAEhEjC,EAAAA,sBAAE,CAACsB,aAAa,CAACjD,IAAI,EAAE4D,IAAI,CAAC,CAAA;AAE5B1B,EAAAA,MAAM,CAAC2B,KAAK,CAACnH,GAAG,EAAE;AAAEkH,IAAAA,IAAI,EAAJA,IAAAA;AAAK,GAAC,CAAC,CAAC5C,IAAI,CAAC,UAAA1C,MAAM,EAAI;AACzC,IAAA,IAAIsC,SAAS,EAAE;AACbJ,MAAAA,OAAO,CACLkC,gBAAgB,EAChB,CAAChG,GAAG,EAAEsD,IAAI,EAAE1B,MAAM,CAAC,EACnB,6BACF,CAAC,CAAA;MACD8C,OAAO,CAAC0C,GAAG,CAAA,wGAAA,CAAA9H,MAAA,CACUuD,QAAQ,EAAA,kDAAA,CAAA,CAAAvD,MAAA,CAELuD,QAAQ,CAAE,CAAC,CAAA;AACrC,KAAC,MAAM;MACL6B,OAAO,CAAC0C,GAAG,CAAA,+GAAA,CAAA9H,MAAA,CAE4BgE,IAAI,EAAA,0GAAA,CAAA,CAAAhE,MAAA,CAEfgE,IAAI,EAAA,KAAA,CAAK,CAAC,CAAA;AACxC,KAAA;AACF,GAAC,CAAC,CAAA;AACJ,CAAA;AAEA,SAASmD,YAAYA,CAACzG,GAAG,EAAE;AACzB,EAAA,IAAAqH,KAAA,GAAqB,IAAInH,GAAG,CAACF,GAAG,CAAC;IAAzB6C,QAAQ,GAAAwE,KAAA,CAARxE,QAAQ,CAAA;EAChB,OAAAvD,mBAAAA,CAAAA,MAAA,CAA2BuD,QAAQ,EAAA,IAAA,CAAA,CAAA;AACrC,CAAA;AAEA,SAASuD,aAAaA,CAACvD,QAAQ,EAAE;AAC/B,EAAA,IAAMlE,IAAI,GAAGkE,QAAQ,CAClB7B,KAAK,CAAC,GAAG,CAAC,CACVL,GAAG,CAAC,UAAA2G,CAAC,EAAA;IAAA,OAAAhI,EAAAA,CAAAA,MAAA,CAAOgI,CAAC,CAACC,MAAM,CAAC,CAAC,CAAC,CAACC,WAAW,EAAE,CAAA,CAAAlI,MAAA,CAAGgI,CAAC,CAAC5E,KAAK,CAAC,CAAC,CAAC,CAAA,CAAA;AAAA,GAAE,CAAC,CACrDtD,IAAI,CAAC,EAAE,CAAC,CAAA;EACX,OAAAE,EAAAA,CAAAA,MAAA,CAAUX,IAAI,EAAA,WAAA,CAAA,CAAA;AAChB;;"}
package/dist/mercury.js CHANGED
@@ -35,7 +35,6 @@ var timezonePlugin = require('dayjs/plugin/timezone');
35
35
  var customParseFormat = require('dayjs/plugin/customParseFormat');
36
36
  var wuzzy = require('wuzzy');
37
37
  var difflib = require('difflib');
38
- var ellipsize = require('ellipsize');
39
38
 
40
39
  function _interopDefaultLegacy (e) { return e && typeof e === 'object' && 'default' in e ? e : { 'default': e }; }
41
40
 
@@ -92,7 +91,6 @@ var timezonePlugin__default = /*#__PURE__*/_interopDefaultLegacy(timezonePlugin)
92
91
  var customParseFormat__default = /*#__PURE__*/_interopDefaultLegacy(customParseFormat);
93
92
  var wuzzy__default = /*#__PURE__*/_interopDefaultLegacy(wuzzy);
94
93
  var difflib__default = /*#__PURE__*/_interopDefaultLegacy(difflib);
95
- var ellipsize__default = /*#__PURE__*/_interopDefaultLegacy(ellipsize);
96
94
 
97
95
  var NORMALIZE_RE = /\s{2,}(?![^<>]*<\/(pre|code|textarea)>)/g;
98
96
  function normalizeSpaces(text) {
@@ -7241,6 +7239,31 @@ var GrEuronewsComExtractor = _objectSpread$6(_objectSpread$6({}, WwwEuronewsComE
7241
7239
  domain: 'gr.euronews.com'
7242
7240
  });
7243
7241
 
7242
+ var WwwIlfattoquotidianoItExtractor = {
7243
+ domain: 'www.ilfattoquotidiano.it',
7244
+ title: {
7245
+ selectors: [['meta[name="og:title"]', 'value']]
7246
+ },
7247
+ author: {
7248
+ selectors: ['.ifq-post__author .ifq-news-meta__author-name'],
7249
+ clean: ['span']
7250
+ },
7251
+ date_published: {
7252
+ selectors: [['meta[name="article:published_time"]', 'value']]
7253
+ },
7254
+ dek: {
7255
+ selectors: [['meta[name="og:description"]', 'value']]
7256
+ },
7257
+ lead_image_url: {
7258
+ selectors: [['meta[name="og:image"]', 'value']]
7259
+ },
7260
+ content: {
7261
+ selectors: ['.ifq-post__content', 'article'],
7262
+ transforms: {},
7263
+ clean: []
7264
+ }
7265
+ };
7266
+
7244
7267
  var CustomExtractors = /*#__PURE__*/Object.freeze({
7245
7268
  __proto__: null,
7246
7269
  BalloonJuiceComExtractor: BalloonJuiceComExtractor,
@@ -7439,7 +7462,8 @@ var CustomExtractors = /*#__PURE__*/Object.freeze({
7439
7462
  WwwTransfermarktDeExtractor: WwwTransfermarktDeExtractor,
7440
7463
  WwwBlickDeExtractor: WwwBlickDeExtractor,
7441
7464
  WwwEuronewsComExtractor: WwwEuronewsComExtractor,
7442
- GrEuronewsComExtractor: GrEuronewsComExtractor
7465
+ GrEuronewsComExtractor: GrEuronewsComExtractor,
7466
+ WwwIlfattoquotidianoItExtractor: WwwIlfattoquotidianoItExtractor
7443
7467
  });
7444
7468
 
7445
7469
  function ownKeys$5(e, r) { var t = _Object$keys__default["default"](e); if (_Object$getOwnPropertySymbols__default["default"]) { var o = _Object$getOwnPropertySymbols__default["default"](e); r && (o = o.filter(function (r) { return _Object$getOwnPropertyDescriptor__default["default"](e, r).enumerable; })), t.push.apply(t, o); } return t; }
@@ -8785,12 +8809,63 @@ var GenericUrlExtractor = {
8785
8809
  }
8786
8810
  };
8787
8811
 
8812
+ var defaults = {
8813
+ ellipse: '…',
8814
+ chars: [' ', '-'],
8815
+ max: 140,
8816
+ truncate: true
8817
+ };
8818
+ function ellipsizeMiddle(str, max, ellipse, chars) {
8819
+ if (str.length <= max) return str;
8820
+ if (max < 2) return str.slice(0, max - ellipse.length) + ellipse;
8821
+ var maxLen = max - ellipse.length;
8822
+ var middle = Math.floor(maxLen / 2);
8823
+ var left = middle;
8824
+ var right = str.length - middle;
8825
+ for (var i = 0; i < middle; i += 1) {
8826
+ var charLeft = str.charAt(i);
8827
+ var posRight = str.length - i;
8828
+ var charRight = str.charAt(posRight);
8829
+ if (chars.indexOf(charLeft) !== -1) left = i;
8830
+ if (chars.indexOf(charRight) !== -1) right = posRight;
8831
+ }
8832
+ return str.slice(0, left) + ellipse + str.slice(right);
8833
+ }
8834
+ function ellipsize(str, max, ellipse, chars, truncate) {
8835
+ if (str.length <= max) return str;
8836
+ var maxLen = max - ellipse.length;
8837
+ var end = maxLen;
8838
+ var breakpointFound = false;
8839
+ for (var i = 0; i <= maxLen; i += 1) {
8840
+ var _char = str.charAt(i);
8841
+ if (chars.indexOf(_char) !== -1) {
8842
+ end = i;
8843
+ breakpointFound = true;
8844
+ }
8845
+ }
8846
+ if (!truncate && !breakpointFound) return '';
8847
+ return str.slice(0, end) + ellipse;
8848
+ }
8849
+ var ellipsize$1 = (function (str, max, opts) {
8850
+ if (typeof str !== 'string' || str.length === 0) return '';
8851
+ if (max === 0) return '';
8852
+ opts = opts || {};
8853
+ _Object$keys__default["default"](defaults).forEach(function (key) {
8854
+ if (opts[key] === null || typeof opts[key] === 'undefined') {
8855
+ opts[key] = defaults[key];
8856
+ }
8857
+ });
8858
+ opts.max = max || opts.max;
8859
+ if (opts.truncate === 'middle') return ellipsizeMiddle(str, opts.max, opts.ellipse, opts.chars);
8860
+ return ellipsize(str, opts.max, opts.ellipse, opts.chars, opts.truncate);
8861
+ });
8862
+
8788
8863
  var EXCERPT_META_SELECTORS = ['og:description', 'twitter:description'];
8789
8864
 
8790
8865
  function clean(content, $) {
8791
8866
  var maxLength = arguments.length > 2 && arguments[2] !== undefined ? arguments[2] : 200;
8792
8867
  content = content.replace(/[\s\n]+/g, ' ').trim();
8793
- return ellipsize__default["default"](content, maxLength, {
8868
+ return ellipsize$1(content, maxLength, {
8794
8869
  ellipse: '&hellip;'
8795
8870
  });
8796
8871
  }