@opengis/bi 1.2.32 → 1.2.34

package/server/routes/dataset/utils/convertJSONToCSV.js

@@ -1,17 +1,17 @@
-import path from 'node:path';
-import { mkdir, readFile, writeFile } from 'node:fs/promises';
-
-export default async function convertJSONToCSV({
-  filepathJSON, send = () => { }, delimiter = ';',
-}) {
-  if (!filepathJSON) return null;
-  const rows = JSON.parse(await readFile(filepathJSON) || '{}');
-  const values = rows.map((row) => Object.values(row).map((el) => `${el};`));
-  values.unshift(Object.keys(rows[0]).map((el) => `${el};`));
-
-  send('Конвертація успішно завершена. Формування файлу...');
-  await mkdir(path.dirname(filepathJSON), { recursive: true });
-  await writeFile(filepathJSON.replace('.json', '.csv'), `\ufeff${values.join('\n').replace(/;,/g, delimiter)}`, 'utf8');
-  send('Файл успішно сформовано. Оновіть сторінку або натисніть кнопку ще раз для завантаження. ', 1);
-  return { message: 'Файл успішно сформовано. Натистіть кнопку ще раз для завантаження даних', status: 200 };
-}
+import path from 'node:path';
+import { mkdir, readFile, writeFile } from 'node:fs/promises';
+
+export default async function convertJSONToCSV({
+  filepathJSON, send = () => { }, delimiter = ';',
+}) {
+  if (!filepathJSON) return null;
+  const rows = JSON.parse(await readFile(filepathJSON) || '{}');
+  const values = rows.map((row) => Object.values(row).map((el) => `${el};`));
+  values.unshift(Object.keys(rows[0]).map((el) => `${el};`));
+
+  send('Конвертація успішно завершена. Формування файлу...');
+  await mkdir(path.dirname(filepathJSON), { recursive: true });
+  await writeFile(filepathJSON.replace('.json', '.csv'), `\ufeff${values.join('\n').replace(/;,/g, delimiter)}`, 'utf8');
+  send('Файл успішно сформовано. Оновіть сторінку або натисніть кнопку ще раз для завантаження. ', 1);
+  return { message: 'Файл успішно сформовано. Натистіть кнопку ще раз для завантаження даних', status: 200 };
+}

package/server/routes/dataset/utils/convertJSONToXls.js

@@ -1,47 +1,47 @@
-import path from 'path';
-import {
-  mkdir, readFile, writeFile,
-} from 'fs/promises';
-
-import { logger, grpc } from '@opengis/fastify-table/utils.js';
-
-const { jsonToXls } = grpc();
-
-export default async function convertJSONToXls({
-  filepathJSON, colmodel, domain, source, send = () => { },
-}) {
-  if (!filepathJSON) return null;
-
-  const rows = JSON.parse(await readFile(filepathJSON) || '{}');
-
-  if (!rows?.length) {
-    return { message: 'empty rows', status: 400 };
-  }
-
-  send('Конвертація файлу...');
-  try {
-    const { result } = await jsonToXls({
-      json: JSON.stringify(rows),
-      header: source,
-      subheader: `Завантажено з порталу ${domain} - ${new Date().toLocaleDateString()}. Всього: ${rows.length}`,
-      colmodel: JSON.stringify(colmodel),
-    });
-    send('Конвертація успішно завершена. Формування файлу...');
-    await mkdir(path.dirname(filepathJSON), { recursive: true });
-    await writeFile(filepathJSON.replace('.json', '.xlsx'), result, 'base64');
-    send('Файл успішно сформовано. Оновіть сторінку або натисніть кнопку ще раз для завантаження. ', 1);
-    return { message: 'Файл успішно сформовано. Натистіть кнопку ще раз для завантаження даних', status: 200 };
-  }
-  catch (err) {
-    send(`jsonToXLS err: ${err.toString()}`, 1);
-    logger.error({
-      name: 'export/table',
-      filepathJSON,
-      colmodel,
-      domain,
-      rows: rows.length,
-      error: err.toString(),
-    });
-    return { error: err.toString(), status: 500 };
-  }
-}
+import path from 'path';
+import {
+  mkdir, readFile, writeFile,
+} from 'fs/promises';
+
+import { logger, grpc } from '@opengis/fastify-table/utils.js';
+
+const { jsonToXls } = grpc();
+
+export default async function convertJSONToXls({
+  filepathJSON, colmodel, domain, source, send = () => { },
+}) {
+  if (!filepathJSON) return null;
+
+  const rows = JSON.parse(await readFile(filepathJSON) || '{}');
+
+  if (!rows?.length) {
+    return { message: 'empty rows', status: 400 };
+  }
+
+  send('Конвертація файлу...');
+  try {
+    const { result } = await jsonToXls({
+      json: JSON.stringify(rows),
+      header: source,
+      subheader: `Завантажено з порталу ${domain} - ${new Date().toLocaleDateString()}. Всього: ${rows.length}`,
+      colmodel: JSON.stringify(colmodel),
+    });
+    send('Конвертація успішно завершена. Формування файлу...');
+    await mkdir(path.dirname(filepathJSON), { recursive: true });
+    await writeFile(filepathJSON.replace('.json', '.xlsx'), result, 'base64');
+    send('Файл успішно сформовано. Оновіть сторінку або натисніть кнопку ще раз для завантаження. ', 1);
+    return { message: 'Файл успішно сформовано. Натистіть кнопку ще раз для завантаження даних', status: 200 };
+  }
+  catch (err) {
+    send(`jsonToXLS err: ${err.toString()}`, 1);
+    logger.error({
+      name: 'export/table',
+      filepathJSON,
+      colmodel,
+      domain,
+      rows: rows.length,
+      error: err.toString(),
+    });
+    return { error: err.toString(), status: 500 };
+  }
+}

package/server/routes/dataset/utils/createTableQuery.js

@@ -1,59 +1,59 @@
-import { randomBytes, createHash } from 'node:crypto';
-
-const schema = 'data_user';
-
-const columnType = {
-  text: 'text',
-  select: 'text',
-  date: 'date',
-  'yes/no': 'boolean',
-  badge: 'text',
-  number: 'numeric',
-  tags: 'text[]',
-  geom: 'geom',
-};
-
-export default function createTable(columns, name) {
-  const tableName = randomBytes(64).toString('hex').substring(0, 24).replace(/^\d+/, '');
-  const table = `${schema}.${tableName}`;
-  const pkey = tableName.concat('_id');
-
-  columns?.forEach?.((el, i) => Object.assign(el, {
-    name: `col_${i}`, // el.name
-    type: columnType[el.format || 'text'] || 'text',
-  }));
-
-  const clsQuery = columns
-    ?.filter?.(col => col?.format === 'select' && col.data?.length)
-    ?.map(col => {
-      const data = JSON.stringify(col.data).replace(/'/g, "''");
-      Object.assign(col, { data: createHash('md5').update([tableName, col.name].join()).digest('hex') });
-      return `insert into admin.cls(clsid,name,type,module) values('${col.data}','${col.data}','json', '${table}');
-      insert into admin.cls(code,name,parent,icon,data,module) 
-      select value->>'id',value->>'text','${col.data}',value->>'icon',value->>'data', '${table}' 
-      from json_array_elements('${data}'::json)`;
-    })
-    ?.join(';');
-
-  const createQuery = `create table if not exists ${table} (
-  ${pkey} text not null default encode(public.gen_random_bytes(6), 'hex'), 
-  geom public.geometry, ${columns ? `
-  ${columns?.map?.((el) => `${el.name} ${el.type}`).join(', ')},` : ''} 
-  cdate timestamp without time zone not null default now(), 
-  editor_date timestamp without time zone, 
-  uid text, 
-  editor_id text, 
-  files json, 
-  constraint ${table.replace(/\./g, '_')}_constraint_pkey PRIMARY KEY (${pkey}) )`;
-
-  const commentQuery = columns
-    ?.filter?.((el) => el.title)
-    ?.map((el) => `comment on column ${table}.${el.name} is '${el.title}'`)
-    ?.join(';');
-
-  return {
-    table,
-    pkey,
-    sql: [createQuery, commentQuery, (name ? `comment on table ${table} is '${name}'` : undefined), clsQuery].filter((el) => el).join(';'),
-  };
-}
+import { randomBytes, createHash } from 'node:crypto';
+
+const schema = 'data_user';
+
+const columnType = {
+  text: 'text',
+  select: 'text',
+  date: 'date',
+  'yes/no': 'boolean',
+  badge: 'text',
+  number: 'numeric',
+  tags: 'text[]',
+  geom: 'geom',
+};
+
+export default function createTable(columns, name) {
+  const tableName = randomBytes(64).toString('hex').substring(0, 24).replace(/^\d+/, '');
+  const table = `${schema}.${tableName}`;
+  const pkey = tableName.concat('_id');
+
+  columns?.forEach?.((el, i) => Object.assign(el, {
+    name: `col_${i}`, // el.name
+    type: columnType[el.format || 'text'] || 'text',
+  }));
+
+  const clsQuery = columns
+    ?.filter?.(col => col?.format === 'select' && col.data?.length)
+    ?.map(col => {
+      const data = JSON.stringify(col.data).replace(/'/g, "''");
+      Object.assign(col, { data: createHash('md5').update([tableName, col.name].join()).digest('hex') });
+      return `insert into admin.cls(clsid,name,type,module) values('${col.data}','${col.data}','json', '${table}');
+      insert into admin.cls(code,name,parent,icon,data,module) 
+      select value->>'id',value->>'text','${col.data}',value->>'icon',value->>'data', '${table}' 
+      from json_array_elements('${data}'::json)`;
+    })
+    ?.join(';');
+
+  const createQuery = `create table if not exists ${table} (
+  ${pkey} text not null default encode(public.gen_random_bytes(6), 'hex'), 
+  geom public.geometry, ${columns ? `
+  ${columns?.map?.((el) => `${el.name} ${el.type}`).join(', ')},` : ''} 
+  cdate timestamp without time zone not null default now(), 
+  editor_date timestamp without time zone, 
+  uid text, 
+  editor_id text, 
+  files json, 
+  constraint ${table.replace(/\./g, '_')}_constraint_pkey PRIMARY KEY (${pkey}) )`;
+
+  const commentQuery = columns
+    ?.filter?.((el) => el.title)
+    ?.map((el) => `comment on column ${table}.${el.name} is '${el.title}'`)
+    ?.join(';');
+
+  return {
+    table,
+    pkey,
+    sql: [createQuery, commentQuery, (name ? `comment on table ${table} is '${name}'` : undefined), clsQuery].filter((el) => el).join(';'),
+  };
+}

package/server/routes/dataset/utils/datasetForms.js

@@ -1 +1 @@
-export default {};
+export default {};

package/server/routes/dataset/utils/descriptionList.js

@@ -1,46 +1,46 @@
-import { handlebarsSync, handlebars } from '@opengis/fastify-table/utils.js'
-
-function format(d, key, data) {
-    if (!key?.includes) return '';
-    if (d === true) return 'так';
-    if (d === false) return 'ні'
-
-    if (key.includes('{{')) {
-        return handlebarsSync.compile(key)(data);
-    }
-    if (!d) return '-';
-    return d;
-}
-export default async function descriptionList(data, opt) {
-    const { hash } = opt;
-
-    // no data
-    if (hash.nodata && !data) {
-        const noDataText = typeof hash.nodata == 'string' ? hash.nodata : 'no data';
-        return noDataText
-    }
-    if (!data) return 'empty data'
-    if (!hash.columns.split) return 'columns empty' + JSON.stringify(hash.columns)
-    const keys = hash.columns.split(hash.divider || '|').map(el => hash.comma ? el.trim().replace(new RegExp(hash.comma || '#', 'g'), ',') : el.trim());
-
-    const result = [];
-
-    for (let i = 0; i < keys.length; i += 2) {
-        const name = keys[i];
-        const nameHBS = name.includes('{{') ? handlebarsSync.compile(name)({ ...data, hash }) : false
-
-        if (!nameHBS && name.includes('{{')) continue;
-
-        const key = keys[i + 1];
-        const d1 = ['{{format', '{{select', '{{badge', '{{ifCond'].filter(el => key?.includes?.(el)).length ? await handlebars.compile(key)(data) || '-' : null
-        if (d1 || data[key]) {
-            result.push(`<div class="flex py-[16px] text-[14px] border-b border-[#E5E7EB">
-            <div class="text-[#6B7280] dark:text-white  font-[600] w-[50%]">${nameHBS || name}</div>
-            <div class="font-[400] text-black dark:text-[#bdbdbd]  w-[50%]">${d1 || format(data[key], key, data)}</div>
-            </div>
-            `);
-        }
-
-    }
-    return '<div class="w-full">' + result.join('') + '</div>';
+import { handlebarsSync, handlebars } from '@opengis/fastify-table/utils.js'
+
+function format(d, key, data) {
+    if (!key?.includes) return '';
+    if (d === true) return 'так';
+    if (d === false) return 'ні'
+
+    if (key.includes('{{')) {
+        return handlebarsSync.compile(key)(data);
+    }
+    if (!d) return '-';
+    return d;
+}
+export default async function descriptionList(data, opt) {
+    const { hash } = opt;
+
+    // no data
+    if (hash.nodata && !data) {
+        const noDataText = typeof hash.nodata == 'string' ? hash.nodata : 'no data';
+        return noDataText
+    }
+    if (!data) return 'empty data'
+    if (!hash.columns.split) return 'columns empty' + JSON.stringify(hash.columns)
+    const keys = hash.columns.split(hash.divider || '|').map(el => hash.comma ? el.trim().replace(new RegExp(hash.comma || '#', 'g'), ',') : el.trim());
+
+    const result = [];
+
+    for (let i = 0; i < keys.length; i += 2) {
+        const name = keys[i];
+        const nameHBS = name.includes('{{') ? handlebarsSync.compile(name)({ ...data, hash }) : false
+
+        if (!nameHBS && name.includes('{{')) continue;
+
+        const key = keys[i + 1];
+        const d1 = ['{{format', '{{select', '{{badge', '{{ifCond'].filter(el => key?.includes?.(el)).length ? await handlebars.compile(key)(data) || '-' : null
+        if (d1 || data[key]) {
+            result.push(`<div class="flex py-[16px] text-[14px] border-b border-[#E5E7EB">
+            <div class="text-[#6B7280] dark:text-white  font-[600] w-[50%]">${nameHBS || name}</div>
+            <div class="font-[400] text-black dark:text-[#bdbdbd]  w-[50%]">${d1 || format(data[key], key, data)}</div>
+            </div>
+            `);
+        }
+
+    }
+    return '<div class="w-full">' + result.join('') + '</div>';
 }

package/server/routes/dataset/utils/downloadRemoteFile.js

@@ -1,58 +1,58 @@
-import path from 'node:path';
-import { existsSync } from 'node:fs';
-import { rm, mkdir, writeFile } from 'node:fs/promises';
-import { createHash } from 'node:crypto';
-
-import { config, logger } from '@opengis/fastify-table/utils.js';
-
-export default async function downloadRemoteFile({
-  rootDir, url, table,
-}) {
-  if (!rootDir) {
-    return { error: 'param rootDir is required', status: 400 };
-  }
-  if (!url) {
-    return { error: 'param url is required', status: 400 };
-  }
-  if (!table) {
-    return { error: 'param table is required', status: 400 };
-  }
-
-  try {
-    const response = await fetch(url);
-
-    if (response?.status !== 200) {
-      return { message: 'file not found', status: response?.status };
-    }
-
-    const arrayBuffer = await response.arrayBuffer();
-    const buffer = Buffer.from(arrayBuffer);
-
-    const contentType = response.headers.get('Content-Type');
-
-    // eslint-disable-next-line newline-per-chained-call
-    const extName = contentType === 'text/plain' ? path.extname(url) : `.${response.headers.get('Content-Type')?.split(';')?.shift()?.split('/')?.pop()?.replace(/\+|\-|\./g, '')}`; // path.extname(url)
-
-    const filePath = `/files/tmp/${createHash('md5').update([url, table].join()).digest('hex')}${extName}`;
-    const fullPath = path.join(rootDir, filePath);
-
-    if (config?.local) {
-      console.log(url, fullPath, existsSync(fullPath));
-    }
-
-    await mkdir(path.dirname(fullPath), { recursive: true });
-
-    if (existsSync(fullPath) && config?.local) {
-      await rm(fullPath);
-    }
-
-    if (!existsSync(fullPath)) {
-      await writeFile(fullPath, buffer);
-    }
-    return { filePath };
-  }
-  catch (err) {
-    logger.file('dataset/create/error', { url, error: err.toString() });
-    return { error: err.toString(), status: 500 };
-  }
-}
+import path from 'node:path';
+import { existsSync } from 'node:fs';
+import { rm, mkdir, writeFile } from 'node:fs/promises';
+import { createHash } from 'node:crypto';
+
+import { config, logger } from '@opengis/fastify-table/utils.js';
+
+export default async function downloadRemoteFile({
+  rootDir, url, table,
+}) {
+  if (!rootDir) {
+    return { error: 'param rootDir is required', status: 400 };
+  }
+  if (!url) {
+    return { error: 'param url is required', status: 400 };
+  }
+  if (!table) {
+    return { error: 'param table is required', status: 400 };
+  }
+
+  try {
+    const response = await fetch(url);
+
+    if (response?.status !== 200) {
+      return { message: 'file not found', status: response?.status };
+    }
+
+    const arrayBuffer = await response.arrayBuffer();
+    const buffer = Buffer.from(arrayBuffer);
+
+    const contentType = response.headers.get('Content-Type');
+
+    // eslint-disable-next-line newline-per-chained-call
+    const extName = contentType === 'text/plain' ? path.extname(url) : `.${response.headers.get('Content-Type')?.split(';')?.shift()?.split('/')?.pop()?.replace(/\+|\-|\./g, '')}`; // path.extname(url)
+
+    const filePath = `/files/tmp/${createHash('md5').update([url, table].join()).digest('hex')}${extName}`;
+    const fullPath = path.join(rootDir, filePath);
+
+    if (config?.local) {
+      console.log(url, fullPath, existsSync(fullPath));
+    }
+
+    await mkdir(path.dirname(fullPath), { recursive: true });
+
+    if (existsSync(fullPath) && config?.local) {
+      await rm(fullPath);
+    }
+
+    if (!existsSync(fullPath)) {
+      await writeFile(fullPath, buffer);
+    }
+    return { filePath };
+  }
+  catch (err) {
+    logger.file('dataset/create/error', { url, error: err.toString() });
+    return { error: err.toString(), status: 500 };
+  }
+}

package/server/routes/dataset/utils/executeQuery.js

@@ -1,46 +1,46 @@
-import { pgClients } from '@opengis/fastify-table/utils.js';
-
-import insertDataQuery from './insertDataQuery.js';
-
-const insertDataset = `insert into bi.dataset 
-(name, table_name, dataset_file_path, column_list, pk, data_source, uid)
-values($1,$2,$3,$4,$5,$6,$7) returning dataset_id`;
-
-const updateAppeal = 'update datasets_appeal.appeal set dataset_id=$1, data_key=$2 where ap_id=$3';
-
-export default async function executeQuery({
-  pg = pgClients.client, sql, data, name, id, table, relPath, columns, pkey, source, user, url, dataKey,
-}) {
-  const client = await pg.connect();
-  try {
-    await client.query('BEGIN');
-
-    // create table
-    await client.query(sql);
-
-    // insert data
-    if (data) {
-      const insertData = insertDataQuery(columns, data, table);
-      await client.query(insertData);
-    }
-
-    // create dataset
-    const args = [name || id, table, relPath, columns ? JSON.stringify(columns) : null, pkey, JSON.stringify({ type: source, appeal: id, url }), user?.uid];
-    const datasetId = await client.query(insertDataset, args).then(el => el.rows?.[0]?.dataset_id);
-
-    if (id) {
-      // update appeal for public only, admin w/o appeal
-      await client.query(updateAppeal, [datasetId, dataKey, id]);
-    }
-
-    await client.query('COMMIT');
-    return { datasetId };
-  }
-  catch (err) {
-    await client.query('ROLLBACK');
-    return { error: err.toString(), status: 500 };
-  }
-  finally {
-    client.release();
-  }
-}
+import { pgClients } from '@opengis/fastify-table/utils.js';
+
+import insertDataQuery from './insertDataQuery.js';
+
+const insertDataset = `insert into bi.dataset 
+(name, table_name, dataset_file_path, column_list, pk, data_source, uid)
+values($1,$2,$3,$4,$5,$6,$7) returning dataset_id`;
+
+const updateAppeal = 'update datasets_appeal.appeal set dataset_id=$1, data_key=$2 where ap_id=$3';
+
+export default async function executeQuery({
+  pg = pgClients.client, sql, data, name, id, table, relPath, columns, pkey, source, user, url, dataKey,
+}) {
+  const client = await pg.connect();
+  try {
+    await client.query('BEGIN');
+
+    // create table
+    await client.query(sql);
+
+    // insert data
+    if (data) {
+      const insertData = insertDataQuery(columns, data, table);
+      await client.query(insertData);
+    }
+
+    // create dataset
+    const args = [name || id, table, relPath, columns ? JSON.stringify(columns) : null, pkey, JSON.stringify({ type: source, appeal: id, url }), user?.uid];
+    const datasetId = await client.query(insertDataset, args).then(el => el.rows?.[0]?.dataset_id);
+
+    if (id) {
+      // update appeal for public only, admin w/o appeal
+      await client.query(updateAppeal, [datasetId, dataKey, id]);
+    }
+
+    await client.query('COMMIT');
+    return { datasetId };
+  }
+  catch (err) {
+    await client.query('ROLLBACK');
+    return { error: err.toString(), status: 500 };
+  }
+  finally {
+    client.release();
+  }
+}