af-db-ts 1.0.5 → 2.0.2

package/package.json

@@ -1,10 +1,10 @@
 {
   "name": "af-db-ts",
-  "version": "1.0.5",
+  "version": "2.0.2",
   "description": "A highly specialized function library",
-  "main": "./dist/cjs/index.js",
-  "module": "./dist/esm/index.js",
-  "types": "./dist/types/index.d.ts",
+  "main": "./dist/cjs/src/index.js",
+  "module": "./dist/esm/src/index.js",
+  "types": "./dist/types/src/index.d.ts",
   "author": "Viacheslav Makarov <npmjs@bazilio.ru>",
   "license": "ISC",
   "scripts": {
@@ -18,32 +18,29 @@
     "cb": "npm run clean && npm run build"
   },
   "dependencies": {
+    "@types/pg": "^8.10.7",
     "af-color": "^0.0.8",
-    "af-echo-ts": "^1.0.9",
-    "af-tools-ts": "^1.0.53",
+    "af-echo-ts": "^1.0.12",
+    "af-tools-ts": "^1.0.63",
     "config": "^3.3.9",
-    "lodash": "^4.17.21",
-    "luxon": "^3.4.2",
+    "luxon": "^3.4.3",
     "memory-cache": "^0.2.0",
-    "moment": "^2.29.4",
-    "moment-timezone": "^0.5.43",
-    "mssql": "^9.2.0"
+    "mssql": "^10.0.1",
+    "pg": "^8.11.3"
   },
   "devDependencies": {
-    "@babel/register": "^7.22.15",
-    "@jest/test-sequencer": "^29.6.4",
-    "@types/config": "^3.3.0",
-    "@types/jest": "^29.5.4",
-    "@types/lodash": "^4.14.197",
-    "@types/luxon": "^3.3.2",
-    "@types/memory-cache": "^0.2.3",
-    "@types/mssql": "^8.1.2",
-    "@types/node": "^20.5.9",
-    "@types/supertest": "^2.0.12",
-    "chai": "^4.3.8",
+    "@jest/test-sequencer": "^29.7.0",
+    "@types/config": "^3.3.2",
+    "@types/jest": "^29.5.6",
+    "@types/lodash": "^4.14.200",
+    "@types/luxon": "^3.3.3",
+    "@types/memory-cache": "^0.2.4",
+    "@types/mssql": "^9.1.2",
+    "@types/node": "^20.8.9",
+    "@types/supertest": "^2.0.15",
+    "chai": "^4.3.10",
     "eslint-config-af-22": "^1.0.13",
-    "jest": "^29.6.4",
-    "mocha": "^10.2.0",
+    "jest": "^29.7.0",
     "shx": "^0.3.4",
     "supertest": "^6.3.3",
     "ts-jest": "^29.1.1",

package/src/@types/i-common.ts

@@ -0,0 +1,39 @@
+import { DateTimeOptions } from 'luxon';
+
+export type IDialect = 'mssql' | 'pg';
+
+/**
+ * Имя поля БД
+ */
+export type TFieldName = string;
+
+/**
+ * Значение ключевого поля записи БД
+ */
+export type TRecordKey = string | number;
+
+/**
+ * Запись БД. Объект, проиндексированный именами полей. Значения - значения полей
+ */
+export interface TDBRecord {
+  [fieldName: TFieldName]: any
+}
+
+/**
+ * Массив записей БД
+ *
+ * _isPreparedForSQL - Признак того, что значения полей подготовлены для использования в строке SQL
+ */
+export type TRecordSet = TDBRecord[] & { _isPreparedForSQL?: boolean }
+
+/**
+ * Пакет записей БД.
+ * Объект, проиндексированный алиасами. Каждый подобъект содержит TDBRecord.
+ */
+export interface TRecordSetAssoc {
+  [recordKey: TRecordKey]: TDBRecord
+}
+
+export interface IDateTimeOptionsEx extends DateTimeOptions {
+  correctionMillis?: number,
+}

package/src/@types/i-config.ts

@@ -0,0 +1,75 @@
+export interface IDBConfigCommon {
+  dialect?: 'mssql' | 'pg',
+  port: string | number | null | undefined,
+  database: string,
+  user: string,
+  password: string,
+}
+
+export interface IDBConfigMs extends IDBConfigCommon {
+  server: string,
+}
+
+export interface IDBConfigPg extends IDBConfigCommon {
+  host: string,
+  port: number,
+}
+
+export interface IDbOptionsMs {
+  options: {
+    enableArithAbort: boolean
+  },
+  pool: {
+    max: number,
+    min: number,
+    idleTimeoutMillis: number
+    acquireTimeoutMillis?: number,
+    createTimeoutMillis?: number,
+    destroyTimeoutMillis?: number,
+    reapIntervalMillis?: number,
+    createRetryIntervalMillis?: number,
+  },
+  trustServerCertificate: boolean,
+  stream: boolean,
+  parseJSON: boolean,
+  requestTimeout: number
+  connectionTimeout: number
+}
+
+export interface IDbOptionsPg {
+  // all valid client config options are also valid here
+  // in addition here are the pool specific configuration parameters:
+  // number of milliseconds to wait before timing out when connecting a new client
+  // by default this is 0 which means no timeout
+  connectionTimeoutMillis: number,
+  // number of milliseconds a client must sit idle in the pool and not be checked out
+  // before it is disconnected from the backend and discarded
+  // default is 10000 (10 seconds) - set to 0 to disable auto-disconnection of idle clients
+  idleTimeoutMillis: number, // 3 h
+  // maximum number of clients the pool should contain
+  // by default this is set to 10.
+  max: 10,
+  statement_timeout: number, // number of milliseconds before a statement in query will time out, default is no timeout
+  query_timeout: number, // number of milliseconds before a query call will timeout, default is no timeout
+}
+
+export interface IDbsMs {
+  [dbId: string]: IDBConfigMs,
+}
+
+export interface IDbsPg {
+  [dbId: string]: IDBConfigPg,
+}
+
+export interface IAFDatabasesConfig {
+  db: {
+    mssql: {
+      options: IDbOptionsMs,
+      dbs: IDbsMs,
+    },
+    postgres: {
+      options: IDbOptionsPg,
+      dbs: IDbsPg,
+    },
+  },
+}

package/src/{interfaces.ts → @types/i-ms.ts}

@@ -1,22 +1,11 @@
 import { ConnectionPool, IColumnMetadata, ISqlType } from 'mssql';
-import { DateTimeOptions } from 'luxon';
-
-export type IDialect = 'mssql' | 'pg';
-
-/**
- * Имя поля БД
- */
-export type TFieldName = string;
-
-/**
- * Значение ключевого поля записи БД
- */
-export type TRecordKey = string | number;
+import { IDateTimeOptionsEx, IDialect, TFieldName, TRecordSet } from './i-common';
+import { IDBConfigMs } from './i-config';
 
 /**
  * Метаинформация о поле БД
  */
-export interface IFieldSchema {
+export interface IFieldSchemaMs {
   index?: number,
   name?: string,
   length?: number,
@@ -35,20 +24,16 @@ export interface IFieldSchema {
   escapeOnlySingleQuotes?: boolean,
 }
 
-export interface IDateTimeOptionsEx extends DateTimeOptions {
-  correctionMillis?: number,
-}
-
 /**
  * Массив объектов с метаинформацией о полях
  */
-export type TRecordSchema = IFieldSchema[] & { dateTimeOptions?: IDateTimeOptionsEx, dialect?: IDialect }
+export type TRecordSchemaMs = IFieldSchemaMs[] & { dateTimeOptions?: IDateTimeOptionsEx, dialect?: IDialect }
 
 /**
  * Метаинформацией о полях, проиндексированная именами полей. (sql.recordset.columns)
  */
-export interface TRecordSchemaAssoc {
-  [fieldName: TFieldName]: IFieldSchema
+export interface TRecordSchemaAssocMs {
+  [fieldName: TFieldName]: IFieldSchemaMs
 }
 
 /**
@@ -58,35 +43,11 @@ export interface TRecordSchemaAssoc {
  * тогда необходимо явно задать тип поля "json". Если имя поля заканчивается на _json, коррекция типа произойдет автоматически.
  * Также используется для указания входного формата для преобразования строки в тип datetime (свойство inputDateFormat в схеме поля)
  */
-export interface TFieldTypeCorrection {
-  [fieldName: TFieldName]: IFieldSchema
+export interface TFieldTypeCorrectionMs {
+  [fieldName: TFieldName]: IFieldSchemaMs
 }
 
-// =============================== records =====================================
-
-/**
- * Запись БД. Объект, проиндексированный именами полей. Значения - значения полей
- */
-export interface TDBRecord {
-  [fieldName: TFieldName]: any
-}
-
-/**
- * Массив записей БД
- *
- * _isPreparedForSQL - Признак того, что значения полей подготовлены для использования в строке SQL
- */
-export type TRecordSet = TDBRecord[] & { _isPreparedForSQL?: boolean }
-
-/**
- * Пакет записей БД.
- * Объект, проиндексированный алиасами. Каждый подобъект содержит TDBRecord.
- */
-export interface TRecordSetAssoc {
-  [recordKey: TRecordKey]: TDBRecord
-}
-
-export interface TMergeResult {
+export interface TMergeResultMs {
   // кол-во затронутых записей
   total: number,
   // кол-во добавленных записей
@@ -98,7 +59,7 @@ export interface TMergeResult {
 /**
  * Метаинформация для формирования инструкции SQL  MERGE
  */
-export interface TMergeRules {
+export interface TMergeRulesMs {
   // массив имен полей, идентифицирующих запись, используемый в выражении ON в MERGE
   mergeIdentity?: TFieldName[],
   // массив имен полей, исключаемых из списка при вставке в MERGE. Обычно это автоинкрементное поле.
@@ -109,19 +70,19 @@ export interface TMergeRules {
   withClause?: string,
 }
 
-export interface TGetRecordSchemaOptions {
+export interface TGetRecordSchemaOptionsMs {
   // массив имен полей, которые нужно удалить из схемы (не уитывается, если asArray = false)
   omitFields?: string[],
   // массив имен полей, которые нужно оставить в схеме
   pickFields?: string[],
   // кол-во измененных записей
-  fieldTypeCorrection?: TFieldTypeCorrection,
-  mergeRules?: TMergeRules,
+  fieldTypeCorrection?: TFieldTypeCorrectionMs,
+  mergeRules?: TMergeRulesMs,
   noReturnMergeResult?: boolean,
   dateTimeOptions?: IDateTimeOptionsEx,
 }
 
-export interface TGetPoolConnectionOptions {
+export interface TGetPoolConnectionOptionsMs {
   // Префикс в сообщении о закрытии пула (название синхронизации)
   prefix?: string,
   // Что делать при ошибке соединения:
@@ -132,25 +93,7 @@ export interface TGetPoolConnectionOptions {
   errorCode?: number
 }
 
-interface IDBConfigCommon {
-  dialect: IDialect,
-  port: string | number | null,
-  database: string,
-  user: string,
-  password: string,
-}
-
-interface IDBConfigMSSQL extends IDBConfigCommon {
-  server: string,
-}
-
-interface IDBConfigPG extends IDBConfigCommon {
-  host: string,
-}
-
-export type IDBConfig = IDBConfigMSSQL | IDBConfigPG
-
-export interface ISchemaItem {
+export interface ISchemaItemMs {
   index: number;
   name: string;
   length: number;
@@ -164,7 +107,7 @@ export interface ISchemaItem {
   readOnly: boolean;
 }
 
-export interface IPrepareSqlStringArgs {
+export interface IPrepareSqlStringArgsMs {
   // Значение, которое нужно подготовить для передачи в SQL
   value: string | number | null,
   // Значение, которое будет подставлено, если передано null | undefined и nullable = false
@@ -177,45 +120,45 @@ export interface IPrepareSqlStringArgs {
   escapeOnlySingleQuotes?: boolean,
 }
 
-export interface IValueForSQLPartialArgs {
+export interface IValueForSQLPartialArgsMs {
   dateTimeOptions?: IDateTimeOptionsEx,
   dialect?: IDialect
   escapeOnlySingleQuotes?: boolean,
   needValidate?: boolean, // Флаг необходимости валидации значения
 }
 
-export interface IPrepareRecordParams {
+export interface IPrepareRecordParamsMs {
   // Если TRUE - в записи добавляются пропущенные поля со значениями NULL, '', ...
   addMissingFields?: boolean,
   // Для полей, не допускающих NULL будет добавлено наиболее подходящее значение
   addValues4NotNullableFields?: boolean,
 }
 
-export interface IGetValueForSQLArgs extends IValueForSQLPartialArgs {
+export interface IGetValueForSqlArgsMs extends IValueForSQLPartialArgsMs {
   value: any,
-  fieldSchema: IFieldSchema | string,
+  fieldSchema: IFieldSchemaMs | string,
 }
 
-export interface IPrepareArgs extends IValueForSQLPartialArgs, IPrepareRecordParams {
+export interface IPrepareRecordForSqlArgsMs extends IValueForSQLPartialArgsMs, IPrepareRecordParamsMs {
   // объект описания структуры таблицы
-  recordSchema: TRecordSchema,
+  recordSchema: TRecordSchemaMs,
 }
 
-export interface IGetMergeSQLOptions extends IValueForSQLPartialArgs, IPrepareRecordParams {
+export interface IGetMergeSQLOptionsMs extends IValueForSQLPartialArgsMs, IPrepareRecordParamsMs {
   isPrepareForSQL?: boolean,
 }
 
-export type ISchemaArray = ISchemaItem[] & { dateTimeOptions?: IDateTimeOptionsEx, dialect?: IDialect };
+export type ISchemaArrayMs = ISchemaItemMs[] & { dateTimeOptions?: IDateTimeOptionsEx, dialect?: IDialect };
 
-export interface TGetRecordSchemaResult {
+export interface TGetRecordSchemaResultMs {
 
   connectionId: string,
-  dbConfig: IDBConfig,
+  dbConfig: IDBConfigMs,
   schemaAndTable: string,
   dbSchemaAndTable: string,
   columns: IColumnMetadata,
   schemaAssoc: Partial<IColumnMetadata>,
-  schema: ISchemaArray,
+  schema: ISchemaArrayMs,
   fields: string[],
   insertFields: string[],
   insertFieldsList: string,
@@ -223,13 +166,13 @@ export interface TGetRecordSchemaResult {
   updateFields: string[],
   mergeIdentity: string[],
 
-  getMergeSQL: (_packet: TRecordSet, _prepareOptions?: IGetMergeSQLOptions) => string,
+  getMergeSQL: (_packet: TRecordSet, _prepareOptions?: IGetMergeSQLOptionsMs) => string,
 
   getInsertSQL: (_packet: TRecordSet, _addOutputInserted?: boolean) => string,
 
   getUpdateSQL: (_record: TRecordSet) => string,
 }
 
-export interface IConnectionPools {
+export interface IConnectionPoolsMs {
   [poolId: string]: ConnectionPool
 }

package/src/@types/i-pg.ts

@@ -0,0 +1,67 @@
+import { Pool, PoolClient } from 'pg';
+
+export enum EDataTypePg {
+  'USER_DEFINED' = 'USER-DEFINED',
+  'bigint' = 'bigint',
+  'boolean' = 'boolean',
+  'character' = 'character',
+  'varchar' = 'character varying',
+  'date' = 'date',
+  'integer' = 'integer',
+  'json' = 'json',
+  'jsonb' = 'jsonb',
+  'numeric' = 'numeric',
+  'real' = 'real',
+  'smallint' = 'smallint',
+  'text' = 'text',
+  'timestamptz' = 'timestamp with time zone',
+  'timestamp' = 'timestamp without time zone',
+  'uuid' = 'uuid',
+  'ARRAY' = 'ARRAY',
+}
+
+export interface IFieldDefPg {
+  name: string,
+  isNullable: boolean,
+  columnDefault: string | number | boolean,
+  hasDefault: boolean,
+  dataType: EDataTypePg,
+  maxLen?: number,
+  precision?: number,
+  radix?: number,
+  dtPrecision?: number,
+  udtName?: string,
+}
+
+export interface TRecordSchemaPg {
+  [fieldName: string]: IFieldDefPg,
+}
+
+export interface TUniqueConstraintsPg {
+  [constraintName: string]: string[]
+}
+
+export interface ITableSchemaPg {
+  recordSchema: TRecordSchemaPg,
+  pk: string[],
+  uc: TUniqueConstraintsPg,
+  serials: string[],
+  defaults: { [fieldName: string]: string },
+  fieldsList: string[],
+  fieldsWoSerials: string[],
+}
+
+export interface IPoolClientPg extends PoolClient {
+  _connected: boolean,
+  processID: number,
+  database: string,
+  end: Function,
+}
+
+export interface IPoolPg extends Pool {
+  _clients: IPoolClientPg[]
+}
+
+export interface IConnectionPoolsPg {
+  [connectionId: string]: IPoolPg
+}

package/src/common.ts

@@ -0,0 +1,26 @@
+import { magenta } from 'af-color';
+import { closeAllPgConnectionsPg } from './pg/pg-pool';
+import { closeAllDbConnectionsMs } from './mssql/pool-ms';
+import { logger } from './logger-error';
+
+export const logSqlError = (err: Error | any, throwError?: boolean, textSQL?: string, prefix?: string) => {
+  if (prefix) {
+    logger.error(prefix);
+  }
+  if (textSQL) {
+    logger.error(`SQL Error:\n${magenta}${textSQL}`);
+  }
+  logger.error(err);
+  if (throwError) {
+    throw err;
+  }
+};
+
+/**
+ * Закрывает все соединения с БД и завершает работу скрипта
+ */
+export const graceExit = async () => {
+  await closeAllPgConnectionsPg();
+  await closeAllDbConnectionsMs();
+  process.exit(0);
+};

package/src/index.ts

@@ -1,48 +1,110 @@
-export * as db from './db';
-
-export {
-  prepareSqlString,
-  correctRecordSchema,
-  getRecordSchema,
-  wrapTransaction,
-  serialize,
-  getRecordValuesForSQL,
-  getSqlSetExpression,
-  getSqlValuesExpression,
-  prepareRecordForSQL,
-  prepareDataForSQL,
-  getRowsAffected,
-  sql,
-} from './sql';
+export {
+  TDBRecord,
+  TRecordSetAssoc,
+  IDialect,
+  TFieldName,
+  TRecordKey,
+  TRecordSet,
+  IDateTimeOptionsEx,
+} from './@types/i-common';
 
 export {
+  IAFDatabasesConfig,
+  IDBConfigCommon,
+  IDBConfigMs,
+  IDBConfigPg,
+  IDbsMs,
+  IDbsPg,
+  IDbOptionsPg,
+  IDbOptionsMs,
+} from './@types/i-config';
+
+export {
+  IFieldSchemaMs,
+  IGetValueForSqlArgsMs,
+  IConnectionPoolsMs,
+  IPrepareSqlStringArgsMs,
+  TRecordSchemaAssocMs,
+  IGetMergeSQLOptionsMs,
+  IPrepareRecordForSqlArgsMs,
+  IPrepareRecordParamsMs,
+  ISchemaArrayMs,
+  IValueForSQLPartialArgsMs,
+  TFieldTypeCorrectionMs,
+  ISchemaItemMs,
+  TGetRecordSchemaOptionsMs,
+  TGetRecordSchemaResultMs,
+  TMergeResultMs,
+  TMergeRulesMs,
+  TRecordSchemaMs,
+  TGetPoolConnectionOptionsMs,
+} from './@types/i-ms';
+
+export {
+  IFieldDefPg,
+  TRecordSchemaPg,
+  ITableSchemaPg,
+  EDataTypePg,
+  TUniqueConstraintsPg,
+  IPoolPg,
+  IConnectionPoolsPg,
+  IPoolClientPg,
+} from './@types/i-pg';
+
+export {
+  getValueForSqlMs,
   binToHexString,
   getValueForSQL,
-} from './get-value-for-sql';
+} from './mssql/get-value-for-sql';
 
 export {
-  IDBConfig,
-  IFieldSchema,
-  IGetMergeSQLOptions,
-  TDBRecord,
-  TFieldName,
-  TFieldTypeCorrection,
-  TGetRecordSchemaOptions,
-  TRecordSchema,
-  TRecordSchemaAssoc,
-  TRecordSet,
-  TRecordSetAssoc,
-  TMergeRules,
-  TMergeResult,
-  TRecordKey,
-  TGetPoolConnectionOptions,
-  TGetRecordSchemaResult,
-  IPrepareSqlStringArgs,
-  IGetValueForSQLArgs,
-  IDialect,
-  IDateTimeOptionsEx,
-  IPrepareArgs,
-  IPrepareRecordParams,
-  ISchemaItem,
-  IValueForSQLPartialArgs,
-} from './interfaces';
+  getPoolConnectionMs,
+  closeAllDbConnectionsMs,
+  closeDbConnectionsAndExitMs,
+  closeDbConnectionsMs,
+  getDbConfigMs,
+  getPoolMs,
+  poolsCacheMs,
+  closeAllDbConnections,
+  closeDbConnectionsAndExit,
+} from './mssql/pool-ms';
+
+export { queryMs } from './mssql/query-ms';
+
+export {
+  prepareSqlStringMs,
+  correctRecordSchemaMs,
+  getRecordSchemaMs,
+  wrapTransactionMs,
+  serializeMs,
+  getRecordValuesForSqlMs,
+  getSqlSetExpressionMs,
+  getSqlValuesExpressionMs,
+  prepareRecordForSqlMs,
+  prepareDataForSqlMs,
+  getRowsAffectedMs,
+  sql,
+} from './mssql/sql';
+
+export { mssqlEscape } from './mssql/utils';
+
+export { getMergeSqlPg } from './pg/get-merge-sql';
+
+export { getUpdateSqlPg } from './pg/get-update-sql';
+
+export { insertPg, EUpdateLevel } from './pg/insert';
+
+export { isTableOrViewExistsPg } from './pg/is-table-or-view-exists';
+
+export {
+  poolsCachePg,
+  getPoolPg,
+  closePoolPg,
+  closeAllPgConnectionsPg,
+} from './pg/pg-pool';
+
+export { prepareSqlStringPg, prepareSqlValuePg } from './pg/prepare-value';
+
+export { queryPg } from './pg/query-pg';
+
+export { getFieldsAndValuesPg, getTableSchemaPg } from './pg/table-schema';

package/src/logger-error.ts

@@ -0,0 +1,11 @@
+import { echo } from 'af-echo-ts';
+
+interface IAsLogger {
+  error: Function,
+}
+
+export const logger: IAsLogger = echo as IAsLogger;
+
+export const setLogger = (logger_: any) => {
+  logger.error = logger_.error.bind(logger_);
+};