@data-fair/processing-web-scraper 0.4.0 → 0.5.0

package/index.js

@@ -280,6 +280,15 @@ exports.run = async ({ pluginConfig, processingConfig, processingId, dir, tmpDir
           break
         }
       }
+      page.tags = []
+      if (processingConfig.tagsSelectors && processingConfig.tagsSelectors.length) {
+        for (const tagsSelector of processingConfig.tagsSelectors) {
+          $(tagsSelector).each(function (i, elem) {
+            const tag = $(this).text().trim()
+            if (tag) page.tags.push(tag)
+          })
+        }
+      }
 
       $('meta').each(function (i, elem) {
         const name = $(this).attr('name')

package/package.json

@@ -1,6 +1,6 @@
 {
   "name": "@data-fair/processing-web-scraper",
-  "version": "0.4.0",
+  "version": "0.5.0",
   "description": "A small Web scraper that publishes its data into data-fair datasets.",
   "main": "index.js",
   "scripts": {

package/processing-config-schema.json

@@ -67,6 +67,11 @@
         "description": "Par défaut le sélecteur 'title' est utilisé ce qui correspond au titre de page dans les métadonnées HTML.",
         "items": {"type": "string"}
       },
+      "tagsSelectors": {
+        "type": "array",
+        "title": "Sélecteurs d'éléments HTML à utiliser comme étiquettes",
+        "items": {"type": "string"}
+      },
       "sitemaps": {
         "type": "array",
         "title": "URLs de fichiers sitemap.xml",
@@ -82,7 +87,7 @@
       "excludeURLPatterns": {
         "type": "array",
         "title": "Formats d'URL à exclure de l'exploration",
-        "description": "Exemple: https://data-fair.github.io/master/en(/*)",
+        "description": "Exemple: https://data-fair.github.io/3/en(/*)",
         "items": {"type": "string"}
       },
       "anchors": {