@data-fair/catalog-data-fair 0.1.0 → 0.2.1

package/lib/download.ts

@@ -4,6 +4,7 @@ import axios from '@data-fair/lib-node/axios.js'
 import * as fs from 'fs'
 import { join } from 'path'
 import { Transform } from 'stream'
+import slugify from 'slugify'
 
 /**
  * Retrieves a resource by first fetching its metadata and then downloading the actual resource.
@@ -15,8 +16,8 @@ import { Transform } from 'stream'
 export const getResource = async (context: GetResourceContext<DataFairConfig>): ReturnType<CatalogPlugin['getResource']> => {
   context.log.step('Import de la ressource')
 
-  const resource = await getMetaData(context)
-  resource.filePath = await downloadResource(context, resource)
+  const { resource, file } = await getMetaData(context)
+  resource.filePath = await downloadResource(context, file, resource)
 
   return resource
 }
@@ -27,11 +28,12 @@ export const getResource = async (context: GetResourceContext<DataFairConfig>):
  * @param resourceId the dataset Id to fetch fields from
  * @returns the Resource corresponding to the id by this configuration
  */
-const getMetaData = async ({ catalogConfig, resourceId, log }: GetResourceContext<DataFairConfig>): Promise<Resource> => {
+const getMetaData = async ({ catalogConfig, resourceId, log, secrets }: GetResourceContext<DataFairConfig>): Promise<{ resource: Resource, file: boolean }> => {
   let dataset: DataFairDataset
   try {
     const url = `${catalogConfig.url}/data-fair/api/v1/datasets/${resourceId}`
-    const res = (await axios.get(url))
+    const config = secrets.apiKey ? { headers: { 'x-apiKey': secrets.apiKey } } : undefined
+    const res = (await axios.get(url, config))
     if (res.status !== 200) {
       throw new Error(`HTTP error : ${res.status}, ${res.data}`)
     }
@@ -42,16 +44,34 @@ const getMetaData = async ({ catalogConfig, resourceId, log }: GetResourceContex
     throw new Error(`Erreur lors de la récuperation de la resource DataFair. ${e instanceof Error ? e.message : e}`)
   }
 
+  dataset.schema = (dataset.schema ?? []).map((field) => {
+    if (field['x-extension']) {
+      return {
+        ...field,
+        key: slugify.default(field.key.replace(/^_/, ''), { lower: true, strict: true, replacement: '_' }), // Ensure no leading underscore
+        'x-extension': undefined,   // Remove x-extension property if it exists
+      }
+    }
+    return field
+  })
+
+  let size: number | undefined
+  if (dataset.storage?.dataFiles && dataset.storage.dataFiles.length > 0) {
+    // get the last elt of the array to get the /full file size
+    const lastFile = dataset.storage.dataFiles[dataset.storage.dataFiles.length - 1]
+    size = lastFile.size
+  }
+
   const resource: Resource = {
     id: resourceId,
     title: dataset.title,
     description: dataset.description,
     format: 'csv',
-    origin: `${catalogConfig.url}/datasets/${resourceId}`,
+    origin: dataset.page,
     frequency: dataset.frequency,
     image: dataset.image,
     keywords: dataset.keywords,
-    size: dataset.file?.size,
+    size,
     schema: dataset.schema,
     filePath: '',
   }
@@ -62,7 +82,8 @@ const getMetaData = async ({ catalogConfig, resourceId, log }: GetResourceContex
       href: dataset.license.href ?? '',
     }
   }
-  return resource
+
+  return { resource, file: !!dataset.file }
 }
 
 /**
@@ -72,12 +93,14 @@ const getMetaData = async ({ catalogConfig, resourceId, log }: GetResourceContex
  * @param res - the metadatas about the resource.
  * @returns A promise resolving to the file path of the downloaded CSV.
  */
-const downloadResource = async (context: GetResourceContext<DataFairConfig>, res: Resource): Promise<string> => {
+const downloadResource = async (context: GetResourceContext<DataFairConfig>, file: boolean, res: Resource): Promise<string> => {
   const filePath = join(context.tmpDir, `${context.resourceId}.csv`)
   try {
-    if (res.size && res.size > 0 && context.importConfig.fields?.length === 0 && context.importConfig.filters?.length === 0) {
+    if (file && !context.importConfig.fields?.length && !context.importConfig.filters?.length) {
+      await context.log.task('downloading', 'Téléchargement en cours...', res.size || NaN)
       await downloadResourceFile(filePath, context)
     } else {
+      await context.log.task('downloading', 'Téléchargement en cours...', NaN)
       await downloadResourceLines(filePath, context)
     }
     return filePath
@@ -97,32 +120,54 @@ const downloadResource = async (context: GetResourceContext<DataFairConfig>, res
  * @returns A promise that resolves when the file is successfully downloaded and saved.
  * @throws If there is an error writing the file or fetching the dataset.
  */
-const downloadResourceFile = async (filePath: string, { catalogConfig, resourceId, log }: GetResourceContext<DataFairConfig>): Promise<void> => {
+const downloadResourceFile = async (filePath: string, { catalogConfig, resourceId, log, secrets }: GetResourceContext<DataFairConfig>): Promise<void> => {
   const url = `${catalogConfig.url}/data-fair/api/v1/datasets/${resourceId}/full`
-  log.info('Import des données de la ressource', url)
-
-  const fileStream = fs.createWriteStream(filePath)
+  const headers = secrets.apiKey ? { 'x-apiKey': secrets.apiKey } : undefined
 
-  const response = await axios.get(url, { responseType: 'stream' })
+  const response = await axios.get(url, { responseType: 'stream', headers })
 
   if (response.status !== 200) {
     throw new Error(`Error while fetching data: HTTP ${response.statusText}`)
   }
 
-  return new Promise<void>((resolve, reject) => {
+  let downloaded = 0
+  let lastLogTime = Date.now()
+  const logInterval = 500 // ms
+
+  await new Promise<void>((resolve, reject) => {
+    const fileStream = fs.createWriteStream(filePath, { encoding: 'binary' }) // Ensure binary encoding
+
+    response.data.on('data', (chunk: Buffer) => {
+      downloaded += chunk.length
+      const now = Date.now()
+      if (now - lastLogTime > logInterval) {
+        lastLogTime = now
+        log.progress('downloading', downloaded)
+          .catch(err => console.warn('Progress logging failed:', err))
+      }
+    })
+
     response.data.pipe(fileStream)
+
     fileStream.on('finish', () => {
+      fileStream.close()
       resolve()
     })
+
     response.data.on('error', (err: any) => {
-      fs.unlink(filePath, () => { }) // Delete the file in case of error
+      fileStream.destroy()
+      fs.unlink(filePath, () => { })
       reject(err)
     })
+
     fileStream.on('error', (err) => {
-      fs.unlink(filePath, () => { }) // Delete the file in case of error
+      response.data.destroy()
+      fs.unlink(filePath, () => { })
       reject(err)
     })
   })
+
+  await log.progress('downloading', downloaded, downloaded)
 }
 
 /**
@@ -135,13 +180,15 @@ const downloadResourceFile = async (filePath: string, { catalogConfig, resourceI
  * @returns A promise that resolves when the file is successfully downloaded and saved.
  * @throws If there is an error writing the file or fetching the dataset.
  */
-const downloadResourceLines = async (destFile: string, { catalogConfig, resourceId, importConfig, log }: GetResourceContext<DataFairConfig> & { importConfig: ImportConfig }) => {
-  let url: string | null = `${catalogConfig.url}/data-fair/api/v1/datasets/${resourceId}/lines?format=csv&size=3000`
+const downloadResourceLines = async (destFile: string, { catalogConfig, resourceId, importConfig, secrets, log }: GetResourceContext<DataFairConfig> & { importConfig: ImportConfig }): Promise<void> => {
+  let url: string | null = `${catalogConfig.url}/data-fair/api/v1/datasets/${resourceId}/lines?format=csv&size=5000`
 
   if (importConfig.fields) {
     url += '&select=' + importConfig.fields.map(field => field.key).join(',')
   }
 
+  const headers = secrets.apiKey ? { 'x-apiKey': secrets.apiKey } : undefined
+
   if (importConfig.filters) {
     importConfig.filters.forEach((filter) => {
       switch (filter.type) {
@@ -160,13 +207,14 @@ const downloadResourceLines = async (destFile: string, { catalogConfig, resource
     })
   }
 
-  log.info('Import des données de la ressource', url)
+  let downloaded = 0
+  let pendingLogPromise: Promise<void> | null = null
+
   const writer = fs.createWriteStream(destFile)
   let isFirstChunk = true
 
   while (url) {
-    console.log(url)
-    const response = await axios.get(url, { responseType: 'stream' })
+    const response = await axios.get(url, { responseType: 'stream', headers })
     if (response.status !== 200) {
       throw new Error(`Error while fetching data: HTTP ${response.statusText}`)
     }
@@ -189,6 +237,18 @@ const downloadResourceLines = async (destFile: string, { catalogConfig, resource
           }
         }))
       }
+
+      stream.on('data', (chunk: Buffer) => {
+        downloaded += chunk.length
+
+        // Only start a new log promise if there isn't one already running
+        if (!pendingLogPromise) {
+          pendingLogPromise = log.progress('downloading', downloaded)
+            .catch(err => console.warn('Progress logging failed:', err))
+            .finally(() => { pendingLogPromise = null })
+        }
+      })
+
       stream.pipe(writer, { end: false })
       stream.on('end', () => {
         const linkHeader = response.headers.link
@@ -203,6 +263,7 @@ const downloadResourceLines = async (destFile: string, { catalogConfig, resource
       })
     })
   }
+  await log.progress('downloading', downloaded, downloaded)
   writer.end()
 }
 

package/lib/imports.ts

@@ -14,12 +14,18 @@ const prepareCatalog = (dataFairDatasets: DataFairDataset[]): ResourceList => {
   const catalog: ResourceList = []
 
   for (const dataFairDataset of dataFairDatasets) {
+    let size: number | undefined
+    if (dataFairDataset.storage?.dataFiles && dataFairDataset.storage.dataFiles.length > 0) {
+      const lastFile = dataFairDataset.storage.dataFiles[dataFairDataset.storage.dataFiles.length - 1]
+      size = lastFile.size
+    }
     catalog.push({
       id: dataFairDataset.id,
       title: dataFairDataset.title,
       format: 'csv',
-      size: dataFairDataset.file?.size ?? dataFairDataset.storage?.size ?? dataFairDataset.originalFile?.size,
+      size,
       type: 'resource',
+      origin: dataFairDataset.page
     } as ResourceList[number])
   }
   return catalog
@@ -38,9 +44,10 @@ export const listResources = async (config: ListResourcesContext<DataFairConfig,
 
   let data: DataFairCatalog
   const url = `${config.catalogConfig.url}/data-fair/api/v1/catalog/datasets`
+  const headers = config.secrets.apiKey ? { 'x-apiKey': config.secrets.apiKey } : undefined
   try {
-    const res = (await axios.get(url, { params: dataFairParams }))
-    if (res.status !== 200) {
+    const res = (await axios.get(url, { params: dataFairParams, headers }))
+    if (res.status !== 200 || typeof res.data !== 'object') {
       throw new Error(`HTTP error : ${res.status}, ${res.data}`)
     }
     data = res.data

package/lib/prepare.ts

@@ -4,15 +4,27 @@ import type { DataFairConfig } from '#types'
 import axios from '@data-fair/lib-node/axios.js'
 
 export default async ({ catalogConfig, capabilities, secrets }: PrepareContext<DataFairConfig, DataFairCapabilities>) => {
-  // To remove when catalog/datasets allows q parameters
-  capabilities = capabilities.filter(c => c !== 'search')
+  // set the apiKey in the secrets field if it exists
+  const apiKey = catalogConfig.apiKey
+  if (apiKey && apiKey !== '*************************') {
+    secrets.apiKey = apiKey
+    catalogConfig.apiKey = '*************************'
+  } else if (secrets?.apiKey && (!apiKey || apiKey === '')) {
+    delete secrets.apiKey
+  } else {
+    // The secret is already set, do nothing
+  }
 
   // test the url
   try {
-    await axios.get(catalogConfig.url + '/data-fair/api/v1/catalog/datasets?size=1&select=id')
+    if (!catalogConfig.url) {
+      throw new Error('URL du catalogue non définie')
+    }
+    const config = secrets.apiKey ? { headers: { 'x-apiKey': secrets.apiKey } } : undefined
+    await axios.get(catalogConfig.url + '/data-fair/api/v1/catalog/datasets?size=1&select=id', config)
   } catch (e) {
     console.error('Erreur URL pendant la configuration : ', e instanceof Error ? e.message : e)
-    throw new Error('Configuration invalide, vérifiez l\'URL')
+    throw new Error(`Configuration invalide, veuillez vérifier l’URL du catalogue et la clé API si nécessaire (${e instanceof Error ? e.message : e})`)
   }
 
   return {

package/package.json

@@ -1,7 +1,7 @@
 {
   "name": "@data-fair/catalog-data-fair",
   "description": "A simple Data Fair plugin for the Data Fair catalogs service.",
-  "version": "0.1.0",
+  "version": "0.2.1",
   "main": "index.ts",
   "type": "module",
   "scripts": {
@@ -31,7 +31,8 @@
   "dependencies": {
     "@data-fair/lib-node": "^2.8.2",
     "@data-fair/lib-utils": "^1.6.0",
-    "prom-client": "^15.1.3"
+    "prom-client": "^15.1.3",
+    "slugify": "^1.6.6"
   },
   "devDependencies": {
     "@commitlint/cli": "^19.8.0",

package/types/catalogConfig/.type/index.d.ts

@@ -6,9 +6,14 @@ export const schemaExports: string[]
  * The url of the catalog
  */
 export type URL = string;
+/**
+ * The Data Fair API key to access the catalog. You can create one from the 'Settings' tab in Data Fair, under the 'API Keys' section.
+ */
+export type APIKeyOptional = string;
 
 export type DataFairConfig = {
   url: URL;
+  apiKey?: APIKeyOptional;
 }
 
 

package/types/catalogConfig/.type/index.js

@@ -38,7 +38,7 @@ export const schema = {
       "title": "URL",
       "description": "The url of the catalog",
       "x-i18n-description": {
-        "fr": "L'URL du site où le catalogue est publié. *L'URL de l'API utilisée sera* *https*[]()*://example.com***/data-fair/api/v1**"
+        "fr": "L'URL du portail où le catalogue est publié. Par exemple: `https://opendata.koumoul.com`."
       },
       "pattern": "^https?://.*[^/]$",
       "errorMessage": "The URL must start with http:// or https:// and must not end with `/`.",
@@ -46,8 +46,25 @@ export const schema = {
         "fr": "L'URL doit commencer par http:// ou https:// et ne pas se terminer par `/`."
       },
       "examples": [
-        "https://example.com"
+        "https://opendata.koumoul.com"
       ]
+    },
+    "apiKey": {
+      "type": "string",
+      "title": "API Key (Optional)",
+      "x-i18n-title": {
+        "fr": "Clé API (Optionnelle)"
+      },
+      "description": "The Data Fair API key to access the catalog. You can create one from the 'Settings' tab in Data Fair, under the 'API Keys' section.",
+      "x-i18n-description": {
+        "fr": "La clé API Data Fair pour accéder au catalogue. Vous pouvez en créer depuis l'onglet 'Paramètres' de Data Fair, dans la section 'Clés d'API'."
+      },
+      "layout": {
+        "props": {
+          "type": "password",
+          "autocomplete": "new-password"
+        }
+      }
     }
   }
 }

package/types/catalogConfig/.type/validate.js

@@ -4,7 +4,7 @@
 "use strict";
 export const validate = validate14;
 export default validate14;
-const schema16 = {"$id":"https://github.com/data-fair/catalog-data-fair/catalog-config","x-exports":["types","validate","schema"],"title":"DataFairConfig","type":"object","additionalProperties":false,"required":["url"],"properties":{"url":{"type":"string","title":"URL","description":"The url of the catalog","x-i18n-description":{"fr":"L'URL du site où le catalogue est publié. *L'URL de l'API utilisée sera* *https*[]()*://example.com***/data-fair/api/v1**"},"pattern":"^https?://.*[^/]$","errorMessage":"The URL must start with http:// or https:// and must not end with `/`.","x-i18n-errorMessage":{"fr":"L'URL doit commencer par http:// ou https:// et ne pas se terminer par `/`."},"examples":["https://example.com"]}}};
+const schema16 = {"$id":"https://github.com/data-fair/catalog-data-fair/catalog-config","x-exports":["types","validate","schema"],"title":"DataFairConfig","type":"object","additionalProperties":false,"required":["url"],"properties":{"url":{"type":"string","title":"URL","description":"The url of the catalog","x-i18n-description":{"fr":"L'URL du portail où le catalogue est publié. Par exemple: `https://opendata.koumoul.com`."},"pattern":"^https?://.*[^/]$","errorMessage":"The URL must start with http:// or https:// and must not end with `/`.","x-i18n-errorMessage":{"fr":"L'URL doit commencer par http:// ou https:// et ne pas se terminer par `/`."},"examples":["https://opendata.koumoul.com"]},"apiKey":{"type":"string","title":"API Key (Optional)","x-i18n-title":{"fr":"Clé API (Optionnelle)"},"description":"The Data Fair API key to access the catalog. You can create one from the 'Settings' tab in Data Fair, under the 'API Keys' section.","x-i18n-description":{"fr":"La clé API Data Fair pour accéder au catalogue. Vous pouvez en créer depuis l'onglet 'Paramètres' de Data Fair, dans la section 'Clés d'API'."},"layout":{"props":{"type":"password","autocomplete":"new-password"}}}}};
 const pattern0 = new RegExp("^https?://.*[^/]$", "u");
 
 function validate14(data, {instancePath="", parentData, parentDataProperty, rootData=data}={}){
@@ -23,7 +23,7 @@ vErrors.push(err0);
 errors++;
 }
 for(const key0 in data){
-if(!(key0 === "url")){
+if(!((key0 === "url") || (key0 === "apiKey"))){
 const err1 = {instancePath,schemaPath:"#/additionalProperties",keyword:"additionalProperties",params:{additionalProperty: key0},message:"must NOT have additional properties"};
 if(vErrors === null){
 vErrors = [err1];
@@ -86,9 +86,9 @@ vErrors = emErrs1;
 errors = emErrs1.length;
 }
 }
-}
-else {
-const err7 = {instancePath,schemaPath:"#/type",keyword:"type",params:{type: "object"},message:"must be object"};
+if(data.apiKey !== undefined){
+if(typeof data.apiKey !== "string"){
+const err7 = {instancePath:instancePath+"/apiKey",schemaPath:"#/properties/apiKey/type",keyword:"type",params:{type: "string"},message:"must be string"};
 if(vErrors === null){
 vErrors = [err7];
 }
@@ -97,6 +97,18 @@ vErrors.push(err7);
 }
 errors++;
 }
+}
+}
+else {
+const err8 = {instancePath,schemaPath:"#/type",keyword:"type",params:{type: "object"},message:"must be object"};
+if(vErrors === null){
+vErrors = [err8];
+}
+else {
+vErrors.push(err8);
+}
+errors++;
+}
 validate14.errors = vErrors;
 return errors === 0;
 }

package/types/catalogConfig/schema.json

@@ -17,14 +17,33 @@
       "title": "URL",
       "description": "The url of the catalog",
       "x-i18n-description": {
-        "fr": "L'URL du site où le catalogue est publié. *L'URL de l'API utilisée sera* *https*[]()*://example.com***/data-fair/api/v1**"
+        "fr": "L'URL du portail où le catalogue est publié. Par exemple: `https://opendata.koumoul.com`."
       },
       "pattern": "^https?://.*[^/]$",
       "errorMessage": "The URL must start with http:// or https:// and must not end with `/`.",
       "x-i18n-errorMessage": {
         "fr": "L'URL doit commencer par http:// ou https:// et ne pas se terminer par `/`."
       },
-      "examples": ["https://example.com"]
+      "examples": [
+        "https://opendata.koumoul.com"
+      ]
+    },
+    "apiKey": {
+      "type": "string",
+      "title": "API Key (Optional)",
+      "x-i18n-title": {
+        "fr": "Clé API (Optionnelle)"
+      },
+      "description": "The Data Fair API key to access the catalog. You can create one from the 'Settings' tab in Data Fair, under the 'API Keys' section.",
+      "x-i18n-description": {
+        "fr": "La clé API Data Fair pour accéder au catalogue. Vous pouvez en créer depuis l'onglet 'Paramètres' de Data Fair, dans la section 'Clés d'API'."
+      },
+      "layout": {
+        "props": {
+          "type": "password",
+          "autocomplete": "new-password"
+        }
+      }
     }
   }
-}
+}

package/types/datafairSchemas/.type/index.d.ts

@@ -210,6 +210,19 @@ export type DataFairDataset = {
    */
   storage?: {
     size?: number;
+    /**
+     * Le tableau de résultats.
+     */
+    dataFiles?: {
+      key?: string;
+      size?: number;
+      name?: string;
+      mimetype?: string;
+      updatedAt?: string;
+      title?: string;
+      url?: string;
+      [k: string]: unknown;
+    }[];
     [k: string]: unknown;
   };
   /**

package/types/datafairSchemas/schema.json

@@ -1,5 +1,5 @@
 {
-  "$id": "https://github.com/data-fair/catalog-data-fair/catlog-schemas",
+  "$id": "https://github.com/data-fair/catalog-data-fair/catalog-schemas",
   "x-exports": [
     "types"
   ],
@@ -347,6 +347,37 @@
           "properties": {
             "size": {
               "type": "integer"
+            },
+            "dataFiles": {
+              "type": "array",
+              "description": "Le tableau de résultats.",
+              "items": {
+                "type": "object",
+                "properties": {
+                  "key": {
+                    "type": "string"
+                  },
+                  "size": {
+                    "type": "number"
+                  },
+                  "name": {
+                    "type": "string"
+                  },
+                  "mimetype": {
+                    "type": "string"
+                  },
+                  "updatedAt": {
+                    "type": "string",
+                    "format": "date-time"
+                  },
+                  "title": {
+                    "type": "string"
+                  },
+                  "url": {
+                    "type": "string"
+                  }
+                }
+              }
             }
           }
         },

package/types/importConfig/.type/index.js

@@ -50,6 +50,7 @@ export const schema = {
         }
       },
       "layout": {
+        "density": "compact",
         "getItems": {
           "url": "${context.catalogConfig.url}/data-fair/api/v1/datasets/${context.resourceId}/schema?calculated=false",
           "itemTitle": "item.label",

package/types/importConfig/.type/validate.js

@@ -4,7 +4,7 @@
 "use strict";
 export const validate = validate14;
 export default validate14;
-const schema16 = {"$id":"https://github.com/data-fair/catalog-data-fair/import-config","x-exports":["types","validate","schema"],"title":"Configuration de l'import","type":"object","additionalProperties":false,"properties":{"fields":{"type":"array","default":[],"title":"Colonnes du jeu de données","description":"La liste des colonnes à importer. Si ce champ est vide, toutes les colonnes seront importées.","items":{"type":"object","properties":{"key":{"type":"string"},"label":{"type":"string"},"type":{"type":"string"}}},"layout":{"getItems":{"url":"${context.catalogConfig.url}/data-fair/api/v1/datasets/${context.resourceId}/schema?calculated=false","itemTitle":"item.label","itemKey":"item.key"}}},"filters":{"$ref":"#/$defs/filters"}},"$defs":{"filters":{"title":"Filtres prédéfinis","type":"array","default":[],"items":{"type":"object","default":{"type":"in"},"required":["type"],"oneOf":[{"title":"Restreindre à des valeurs précises","required":["field","values","type"],"properties":{"type":{"const":"in"},"field":{"$ref":"#/$defs/filterField"},"values":{"type":"array","title":"Valeurs","description":"Importe seulement des lignes où la valeur du champ indiqué est égale à l'une des valeurs renseignées.<br>*Toutes les valeurs peuvent ne pas être affichées, écrivez pour rechercher un champ particulier.*","items":{"type":"string"},"layout":{"getItems":{"url":"${context.catalogConfig.url}/data-fair/api/v1/datasets/${context.resourceId}/values/${parent.data.field.key}?q={q}&q_mode=complete&size=100&stringify=true"},"props":{"clearable":true}},"default":[]}}},{"title":"Exclure des valeurs","required":["field","values","type"],"properties":{"type":{"const":"nin"},"field":{"$ref":"#/$defs/filterField"},"values":{"type":"array","title":"Valeurs à exclure","description":"Importe seulement des lignes où la valeur du champ indiqué est différente des valeurs renseignées.<br>*Toutes les valeurs peuvent ne pas être affichées, écrivez pour rechercher un champ particulier.*","items":{"type":"string"},"layout":{"getItems":{"url":"${context.catalogConfig.url}/data-fair/api/v1/datasets/${context.resourceId}/values/${parent.data.field.key}?q={q}&q_mode=complete&size=100&stringify=true"},"props":{"clearable":true}},"default":[]}}},{"title":"Supérieur à une valeur","required":["field","value","type"],"properties":{"type":{"const":"gte"},"field":{"$ref":"#/$defs/filterField"},"value":{"type":"string","title":"Valeur minimale","description":"Importe seulement des lignes où la valeur du champ indiqué est supérieur ou égale à la valeur renseignée. La valeur peut être un nombre, une chaîne de caractère (*ordre alphanumérique*), une date.<br>*Toutes les valeurs peuvent ne pas être affichées, écrivez pour rechercher un champ particulier.*","layout":{"comp":"combobox","getItems":{"url":"${context.catalogConfig.url}/data-fair/api/v1/datasets/${context.resourceId}/values/${parent.data.field.key}?q={q}&q_mode=complete&size=100&stringify=true&sort=asc"}}}}},{"title":"Inférieur à une valeur","required":["field","value","type"],"properties":{"type":{"const":"lte"},"field":{"$ref":"#/$defs/filterField"},"value":{"type":"string","title":"Valeur maximale","description":"Importe seulement les lignes où la valeur du champ indiqué est inférieur à la valeur renseignée. La valeur peut être un nombre, une chaîne de caractère (*ordre alphanumérique*), une date.<br>*Toutes les valeurs peuvent ne pas être affichées, écrivez pour rechercher un champ particulier.*","layout":{"comp":"combobox","getItems":{"url":"${context.catalogConfig.url}/data-fair/api/v1/datasets/${context.resourceId}/values/${parent.data.field.key}?q={q}&q_mode=complete&size=100&stringify=true&sort=asc"}}}}},{"title":"Commence par les caractères","required":["field","value","type"],"properties":{"type":{"const":"starts"},"field":{"$ref":"#/$defs/filterFieldString"},"value":{"type":"string","description":"Importe seulement les lignes où le champ (colonne) indiqué commence par une chaîne de caractères précise. La chaîne de caractères est sensible à la casse.<br>Seuls les champs (colonnes) ayant pour valeurs des chaînes de caractères sont acceptées.<br>*Toutes les valeurs peuvent ne pas être affichées, écrivez pour rechercher un champ particulier.*","title":"Commence par les caractères","layout":{"comp":"combobox","getItems":{"url":"${context.catalogConfig.url}/data-fair/api/v1/datasets/${context.resourceId}/values/${parent.data.field.key}?q={q}&q_mode=complete&size=100&stringify=true"}}}}}]}},"filterField":{"type":"object","title":"Colonne de filtre","properties":{"key":{"type":"string"},"label":{"type":"string"},"type":{"type":"string"}},"layout":{"getItems":{"url":"${context.catalogConfig.url}/data-fair/api/v1/datasets/${context.resourceId}/schema?calculated=false","itemTitle":"item.label","itemKey":"item.key"}}},"filterFieldString":{"type":"object","title":"Colonne de filtre","properties":{"key":{"type":"string"},"label":{"type":"string"},"type":{"type":"string"}},"layout":{"getItems":{"url":"${context.catalogConfig.url}/data-fair/api/v1/datasets/${context.resourceId}/schema?calculated=false&type=string","itemTitle":"item.label","itemKey":"item.key"}}}}};
+const schema16 = {"$id":"https://github.com/data-fair/catalog-data-fair/import-config","x-exports":["types","validate","schema"],"title":"Configuration de l'import","type":"object","additionalProperties":false,"properties":{"fields":{"type":"array","default":[],"title":"Colonnes du jeu de données","description":"La liste des colonnes à importer. Si ce champ est vide, toutes les colonnes seront importées.","items":{"type":"object","properties":{"key":{"type":"string"},"label":{"type":"string"},"type":{"type":"string"}}},"layout":{"density":"compact","getItems":{"url":"${context.catalogConfig.url}/data-fair/api/v1/datasets/${context.resourceId}/schema?calculated=false","itemTitle":"item.label","itemKey":"item.key"}}},"filters":{"$ref":"#/$defs/filters"}},"$defs":{"filters":{"title":"Filtres prédéfinis","type":"array","default":[],"items":{"type":"object","default":{"type":"in"},"required":["type"],"oneOf":[{"title":"Restreindre à des valeurs précises","required":["field","values","type"],"properties":{"type":{"const":"in"},"field":{"$ref":"#/$defs/filterField"},"values":{"type":"array","title":"Valeurs","description":"Importe seulement des lignes où la valeur du champ indiqué est égale à l'une des valeurs renseignées.<br>*Toutes les valeurs peuvent ne pas être affichées, écrivez pour rechercher un champ particulier.*","items":{"type":"string"},"layout":{"getItems":{"url":"${context.catalogConfig.url}/data-fair/api/v1/datasets/${context.resourceId}/values/${parent.data.field.key}?q={q}&q_mode=complete&size=100&stringify=true"},"props":{"clearable":true}},"default":[]}}},{"title":"Exclure des valeurs","required":["field","values","type"],"properties":{"type":{"const":"nin"},"field":{"$ref":"#/$defs/filterField"},"values":{"type":"array","title":"Valeurs à exclure","description":"Importe seulement des lignes où la valeur du champ indiqué est différente des valeurs renseignées.<br>*Toutes les valeurs peuvent ne pas être affichées, écrivez pour rechercher un champ particulier.*","items":{"type":"string"},"layout":{"getItems":{"url":"${context.catalogConfig.url}/data-fair/api/v1/datasets/${context.resourceId}/values/${parent.data.field.key}?q={q}&q_mode=complete&size=100&stringify=true"},"props":{"clearable":true}},"default":[]}}},{"title":"Supérieur à une valeur","required":["field","value","type"],"properties":{"type":{"const":"gte"},"field":{"$ref":"#/$defs/filterField"},"value":{"type":"string","title":"Valeur minimale","description":"Importe seulement des lignes où la valeur du champ indiqué est supérieur ou égale à la valeur renseignée. La valeur peut être un nombre, une chaîne de caractère (*ordre alphanumérique*), une date.<br>*Toutes les valeurs peuvent ne pas être affichées, écrivez pour rechercher un champ particulier.*","layout":{"comp":"combobox","getItems":{"url":"${context.catalogConfig.url}/data-fair/api/v1/datasets/${context.resourceId}/values/${parent.data.field.key}?q={q}&q_mode=complete&size=100&stringify=true&sort=asc"}}}}},{"title":"Inférieur à une valeur","required":["field","value","type"],"properties":{"type":{"const":"lte"},"field":{"$ref":"#/$defs/filterField"},"value":{"type":"string","title":"Valeur maximale","description":"Importe seulement les lignes où la valeur du champ indiqué est inférieur à la valeur renseignée. La valeur peut être un nombre, une chaîne de caractère (*ordre alphanumérique*), une date.<br>*Toutes les valeurs peuvent ne pas être affichées, écrivez pour rechercher un champ particulier.*","layout":{"comp":"combobox","getItems":{"url":"${context.catalogConfig.url}/data-fair/api/v1/datasets/${context.resourceId}/values/${parent.data.field.key}?q={q}&q_mode=complete&size=100&stringify=true&sort=asc"}}}}},{"title":"Commence par les caractères","required":["field","value","type"],"properties":{"type":{"const":"starts"},"field":{"$ref":"#/$defs/filterFieldString"},"value":{"type":"string","description":"Importe seulement les lignes où le champ (colonne) indiqué commence par une chaîne de caractères précise. La chaîne de caractères est sensible à la casse.<br>Seuls les champs (colonnes) ayant pour valeurs des chaînes de caractères sont acceptées.<br>*Toutes les valeurs peuvent ne pas être affichées, écrivez pour rechercher un champ particulier.*","title":"Commence par les caractères","layout":{"comp":"combobox","getItems":{"url":"${context.catalogConfig.url}/data-fair/api/v1/datasets/${context.resourceId}/values/${parent.data.field.key}?q={q}&q_mode=complete&size=100&stringify=true"}}}}}]}},"filterField":{"type":"object","title":"Colonne de filtre","properties":{"key":{"type":"string"},"label":{"type":"string"},"type":{"type":"string"}},"layout":{"getItems":{"url":"${context.catalogConfig.url}/data-fair/api/v1/datasets/${context.resourceId}/schema?calculated=false","itemTitle":"item.label","itemKey":"item.key"}}},"filterFieldString":{"type":"object","title":"Colonne de filtre","properties":{"key":{"type":"string"},"label":{"type":"string"},"type":{"type":"string"}},"layout":{"getItems":{"url":"${context.catalogConfig.url}/data-fair/api/v1/datasets/${context.resourceId}/schema?calculated=false&type=string","itemTitle":"item.label","itemKey":"item.key"}}}}};
 const schema17 = {"title":"Filtres prédéfinis","type":"array","default":[],"items":{"type":"object","default":{"type":"in"},"required":["type"],"oneOf":[{"title":"Restreindre à des valeurs précises","required":["field","values","type"],"properties":{"type":{"const":"in"},"field":{"$ref":"#/$defs/filterField"},"values":{"type":"array","title":"Valeurs","description":"Importe seulement des lignes où la valeur du champ indiqué est égale à l'une des valeurs renseignées.<br>*Toutes les valeurs peuvent ne pas être affichées, écrivez pour rechercher un champ particulier.*","items":{"type":"string"},"layout":{"getItems":{"url":"${context.catalogConfig.url}/data-fair/api/v1/datasets/${context.resourceId}/values/${parent.data.field.key}?q={q}&q_mode=complete&size=100&stringify=true"},"props":{"clearable":true}},"default":[]}}},{"title":"Exclure des valeurs","required":["field","values","type"],"properties":{"type":{"const":"nin"},"field":{"$ref":"#/$defs/filterField"},"values":{"type":"array","title":"Valeurs à exclure","description":"Importe seulement des lignes où la valeur du champ indiqué est différente des valeurs renseignées.<br>*Toutes les valeurs peuvent ne pas être affichées, écrivez pour rechercher un champ particulier.*","items":{"type":"string"},"layout":{"getItems":{"url":"${context.catalogConfig.url}/data-fair/api/v1/datasets/${context.resourceId}/values/${parent.data.field.key}?q={q}&q_mode=complete&size=100&stringify=true"},"props":{"clearable":true}},"default":[]}}},{"title":"Supérieur à une valeur","required":["field","value","type"],"properties":{"type":{"const":"gte"},"field":{"$ref":"#/$defs/filterField"},"value":{"type":"string","title":"Valeur minimale","description":"Importe seulement des lignes où la valeur du champ indiqué est supérieur ou égale à la valeur renseignée. La valeur peut être un nombre, une chaîne de caractère (*ordre alphanumérique*), une date.<br>*Toutes les valeurs peuvent ne pas être affichées, écrivez pour rechercher un champ particulier.*","layout":{"comp":"combobox","getItems":{"url":"${context.catalogConfig.url}/data-fair/api/v1/datasets/${context.resourceId}/values/${parent.data.field.key}?q={q}&q_mode=complete&size=100&stringify=true&sort=asc"}}}}},{"title":"Inférieur à une valeur","required":["field","value","type"],"properties":{"type":{"const":"lte"},"field":{"$ref":"#/$defs/filterField"},"value":{"type":"string","title":"Valeur maximale","description":"Importe seulement les lignes où la valeur du champ indiqué est inférieur à la valeur renseignée. La valeur peut être un nombre, une chaîne de caractère (*ordre alphanumérique*), une date.<br>*Toutes les valeurs peuvent ne pas être affichées, écrivez pour rechercher un champ particulier.*","layout":{"comp":"combobox","getItems":{"url":"${context.catalogConfig.url}/data-fair/api/v1/datasets/${context.resourceId}/values/${parent.data.field.key}?q={q}&q_mode=complete&size=100&stringify=true&sort=asc"}}}}},{"title":"Commence par les caractères","required":["field","value","type"],"properties":{"type":{"const":"starts"},"field":{"$ref":"#/$defs/filterFieldString"},"value":{"type":"string","description":"Importe seulement les lignes où le champ (colonne) indiqué commence par une chaîne de caractères précise. La chaîne de caractères est sensible à la casse.<br>Seuls les champs (colonnes) ayant pour valeurs des chaînes de caractères sont acceptées.<br>*Toutes les valeurs peuvent ne pas être affichées, écrivez pour rechercher un champ particulier.*","title":"Commence par les caractères","layout":{"comp":"combobox","getItems":{"url":"${context.catalogConfig.url}/data-fair/api/v1/datasets/${context.resourceId}/values/${parent.data.field.key}?q={q}&q_mode=complete&size=100&stringify=true"}}}}}]}};
 const schema18 = {"type":"object","title":"Colonne de filtre","properties":{"key":{"type":"string"},"label":{"type":"string"},"type":{"type":"string"}},"layout":{"getItems":{"url":"${context.catalogConfig.url}/data-fair/api/v1/datasets/${context.resourceId}/schema?calculated=false","itemTitle":"item.label","itemKey":"item.key"}}};
 const schema22 = {"type":"object","title":"Colonne de filtre","properties":{"key":{"type":"string"},"label":{"type":"string"},"type":{"type":"string"}},"layout":{"getItems":{"url":"${context.catalogConfig.url}/data-fair/api/v1/datasets/${context.resourceId}/schema?calculated=false&type=string","itemTitle":"item.label","itemKey":"item.key"}}};

package/types/importConfig/schema.json

@@ -29,6 +29,7 @@
         }
       },
       "layout": {
+        "density": "compact",
         "getItems": {
           "url": "${context.catalogConfig.url}/data-fair/api/v1/datasets/${context.resourceId}/schema?calculated=false",
           "itemTitle": "item.label",
@@ -249,4 +250,4 @@
       }
     }
   }
-}
+}