@nest-omni/core 4.1.3-12 → 4.1.3-14

package/file-upload/interfaces/file-processor.interface.d.ts

@@ -0,0 +1,93 @@
+import { FileEntity } from './file-entity.interface';
+import { ProcessOptions, ProcessResult } from './processor-options.interface';
+/**
+ * 文件处理器基础接口
+ */
+export interface IFileProcessor {
+    /** 处理器名称 */
+    readonly name: string;
+    /** 支持的MIME类型 */
+    readonly supportedTypes: string[];
+    /**
+     * 验证文件是否可以被此处理器处理
+     * @param buffer 文件缓冲区
+     * @returns 是否支持
+     */
+    validate(buffer: Buffer): Promise<boolean>;
+    /**
+     * 处理文件
+     * @param file 文件实体
+     * @param options 处理选项
+     * @returns 处理结果
+     */
+    process(file: FileEntity, options: ProcessOptions): Promise<ProcessResult>;
+    /**
+     * 获取处理器信息（可选）
+     */
+    getInfo?(): ProcessorInfo;
+    /**
+     * 清理资源（可选）
+     */
+    cleanup?(): Promise<void>;
+    /**
+     * 健康检查（可选）
+     */
+    healthCheck?(): Promise<boolean>;
+}
+/**
+ * 处理器信息
+ */
+export interface ProcessorInfo {
+    /** 处理器名称 */
+    name: string;
+    /** 处理器版本 */
+    version: string;
+    /** 处理器描述 */
+    description: string;
+    /** 支持的文件类型 */
+    supportedTypes: string[];
+    /** 支持的文件扩展名 */
+    supportedExtensions: string[];
+    /** 处理器能力 */
+    capabilities: ProcessorCapabilities;
+    /** 性能指标 */
+    performance?: {
+        /** 最大文件大小（字节） */
+        maxFileSize?: number;
+        /** 平均处理时间（毫秒/MB） */
+        avgProcessTime?: number;
+        /** 内存使用量（MB） */
+        memoryUsage?: number;
+    };
+    /** 配置选项 */
+    configOptions?: Record<string, {
+        type: string;
+        description: string;
+        required?: boolean;
+        default?: any;
+        enum?: any[];
+    }>;
+}
+/**
+ * 处理器能力
+ */
+export interface ProcessorCapabilities {
+    /** 是否支持读取 */
+    read: boolean;
+    /** 是否支持写入 */
+    write: boolean;
+    /** 是否支持转换 */
+    transform: boolean;
+    /** 是否支持批量处理 */
+    batch: boolean;
+    /** 是否支持流式处理 */
+    stream: boolean;
+    /** 是否支持实时处理 */
+    realtime: boolean;
+    /** 是否支持并行处理 */
+    parallel: boolean;
+    /** 是否支持压缩 */
+    compress: boolean;
+    /** 是否支持加密 */
+    encrypt: boolean;
+}

package/file-upload/interfaces/file-processor.interface.js

@@ -0,0 +1,2 @@
+"use strict";
+Object.defineProperty(exports, "__esModule", { value: true });

package/file-upload/interfaces/file-upload-options.interface.d.ts

@@ -46,6 +46,8 @@ export interface FileUploadOptions {
         name: string;
         options?: any;
     };
+    /** 处理器选项（会与 processor.options 合并） */
+    processorOptions?: any;
     /** 存储提供者: 'local' | 's3' | 'oss' | 'minio' */
     storage?: string;
     /** 自定义存储路径 */
@@ -62,7 +64,7 @@ export interface UploadContext {
     /** 共享数据 */
     shared: Record<string, any>;
     /** 获取处理器 */
-    getProcessor(name: string): IFileProcessor | null;
+    getProcessor(name: string): any | null;
     /** 保存文件元数据 */
     saveMetadata(fileId: string, metadata: any): Promise<void>;
     /** 获取当前用户 */
@@ -70,48 +72,3 @@ export interface UploadContext {
     /** 获取请求对象 */
     getRequest(): Request;
 }
-/**
- * 文件处理器接口
- */
-export interface IFileProcessor {
-    /** 处理器名称 */
-    name: string;
-    /** 支持的文件类型 */
-    supports: Array<FileType | string>;
-    /** 处理文件 */
-    process(file: Express.Multer.File, options?: any): Promise<any>;
-    /** 验证文件（可选） */
-    validate?(file: Express.Multer.File): Promise<boolean>;
-}
-/**
- * Excel 数据配置
- */
-export interface ExcelDataOptions {
-    /** 工作表索引，默认 0 */
-    sheetIndex?: number;
-    /** 开始行，默认 1（跳过表头） */
-    startRow?: number;
-    /** 最大行数 */
-    maxRows?: number;
-    /** 解析前验证 */
-    validateBeforeParse?: boolean;
-    /** 遇到错误停止 */
-    stopOnError?: boolean;
-}
-/**
- * CSV 数据配置
- */
-export interface CsvDataOptions {
-    /** 分隔符，默认 ',' */
-    delimiter?: ',' | ';' | '\t' | string;
-    /** 引号字符，默认 '"' */
-    quote?: string;
-    /** 转义字符，默认 '"' */
-    escape?: string;
-    /** 跳过空行 */
-    skipEmptyLines?: boolean;
-    /** 跳过表头 */
-    skipHeader?: boolean;
-    /** 编码，默认 'utf8' */
-    encoding?: 'utf8' | 'gbk' | 'gb2312' | string;
-}

package/file-upload/interfaces/file-upload-options.interface.js

@@ -1,2 +1,5 @@
 "use strict";
 Object.defineProperty(exports, "__esModule", { value: true });
+// 注意：IFileProcessor 已移至 file-processor.interface.ts，避免重复定义
+// 注意：ExcelDataOptions 已移至 excel-import.decorator.ts，避免重复定义
+// 注意：CsvDataOptions 已移至 csv-import.decorator.ts，避免重复定义

package/file-upload/interfaces/processor-options.interface.d.ts

@@ -0,0 +1,102 @@
+/**
+ * 处理器通用选项
+ */
+export interface ProcessOptions {
+    /** 文件存储路径或标识 */
+    storageKey?: string;
+    /** 是否异步处理 */
+    async?: boolean;
+    /** 超时时间（毫秒） */
+    timeout?: number;
+    /** 处理优先级 */
+    priority?: 'low' | 'normal' | 'high' | 'urgent';
+    /** 重试次数 */
+    retries?: number;
+    /** 是否保存中间结果 */
+    saveIntermediate?: boolean;
+    /** 处理标签 */
+    tags?: string[];
+    /** 处理完成后是否删除原文件 */
+    deleteAfterProcess?: boolean;
+}
+/**
+ * 处理器通用结果
+ */
+export interface ProcessResult {
+    /** 是否成功 */
+    success: boolean;
+    /** 处理后的数据 */
+    data?: any;
+    /** 错误信息 */
+    error?: Error;
+    /**
+     * 要保存到 file_metadata 表的元数据
+     * 处理器可以通过返回这个字段来指定要保存的内容
+     * 如果不设置，将保存整个 result 对象
+     *
+     * @example
+     * // Excel/CSV 处理器示例
+     * return {
+     *   success: true,
+     *   data: parsedData,
+     *   metadata: {
+     *     data: parsedData,
+     *     headers: ['col1', 'col2'],
+     *     rowCount: 100,
+     *     columnCount: 5,
+     *     successCount: 98,
+     *     errorCount: 2,
+     *   }
+     * };
+     *
+     * @example
+     * // PDF 处理器示例
+     * return {
+     *   success: true,
+     *   data: extractedText,
+     *   metadata: {
+     *     text: extractedText,
+     *     pageCount: 10,
+     *     wordCount: 5000,
+     *     language: 'en',
+     *   }
+     * };
+     */
+    metadata?: Record<string, any>;
+    /** 其他元数据（旧字段，建议使用 metadata 字段） */
+    metadata_legacy?: {
+        /** 处理耗时（毫秒） */
+        duration?: number;
+        /** 处理器名称 */
+        processor?: string;
+        /** 处理时间 */
+        processedAt?: Date;
+        /** 文件大小 */
+        fileSize?: number;
+        /** 其他元数据 */
+        [key: string]: any;
+    };
+    /** 额外信息 */
+    extras?: {
+        /** 警告信息 */
+        warnings?: string[];
+        /** 建议操作 */
+        suggestions?: string[];
+        /** 关联的文件ID */
+        relatedFiles?: string[];
+        /** 处理日志 */
+        logs?: Array<{
+            timestamp: Date;
+            level: 'debug' | 'info' | 'warn' | 'error';
+            message: string;
+            data?: any;
+        }>;
+        /** 性能指标 */
+        metrics?: {
+            memoryUsage?: number;
+            cpuUsage?: number;
+            throughput?: number;
+            [key: string]: number;
+        };
+    };
+}

package/file-upload/interfaces/processor-options.interface.js

@@ -0,0 +1,2 @@
+"use strict";
+Object.defineProperty(exports, "__esModule", { value: true });

package/file-upload/processors/csv.processor.d.ts

@@ -0,0 +1,98 @@
+import { FileEntity } from '../interfaces';
+import { IFileProcessor, ProcessorInfo } from '../interfaces/file-processor.interface';
+import { ProcessOptions, ProcessResult } from '../interfaces/processor-options.interface';
+/**
+ * CSV 处理器配置
+ */
+export interface CsvProcessorOptions extends ProcessOptions {
+    /** 字段分隔符 */
+    delimiter?: string;
+    /** 引号字符 */
+    quote?: string;
+    /** 转义字符 */
+    escape?: string;
+    /** 是否有标题行 */
+    headers?: boolean;
+    /** 跳过空行数 */
+    skipLines?: number;
+    /** 跳过空字段 */
+    skipEmpty?: boolean;
+    /** 严格模式（字段数必须一致） */
+    strict?: boolean;
+    /** 修剪字段值 */
+    trim?: boolean;
+    /** 最大行数 */
+    maxRows?: number;
+    /** 编码 */
+    encoding?: string;
+    /** DTO类（用于装饰器映射） */
+    dto?: new () => any;
+    /** 是否使用装饰器映射 */
+    useDecorators?: boolean;
+    /** 是否将解析结果存入 file_metadata */
+    saveToMetadata?: boolean;
+    /** 元数据存储键名 */
+    metadataKey?: string;
+}
+/**
+ * CSV 处理结果
+ */
+export interface CsvProcessResult extends ProcessResult {
+    /** CSV 数据 */
+    data: any[];
+    /** 表头（如果有） */
+    headers?: string[];
+    /** 行数 */
+    rowCount: number;
+    /** 列数 */
+    columnCount: number;
+    /** 错误信息 */
+    errors?: {
+        row: number;
+        errors: string[];
+        data: any;
+    }[];
+    /** 成功的行数 */
+    successCount?: number;
+    /** 失败的行数 */
+    errorCount?: number;
+    /** 原始数据（用于调试） */
+    rawRecords?: any[];
+    /** 是否已保存到元数据 */
+    savedToMetadata?: boolean;
+    /** 元数据存储键名 */
+    metadataKey?: string;
+}
+/**
+ * CSV 文件处理器
+ * 解析 CSV 文件并转换为 JSON 格式，支持装饰器映射
+ */
+export declare class CsvProcessor implements IFileProcessor {
+    readonly name = "csv";
+    readonly supportedTypes: string[];
+    private readonly logger;
+    /**
+     * 验证是否为 CSV 文件
+     */
+    validate(buffer: Buffer): Promise<boolean>;
+    /**
+     * 处理CSV文件（流式处理优化版）
+     */
+    process(file: FileEntity, options?: CsvProcessorOptions): Promise<CsvProcessResult>;
+    /**
+     * 使用装饰器处理单行数据
+     */
+    private processRowWithDecorators;
+    /**
+     * 获取处理器信息
+     */
+    getInfo(): ProcessorInfo;
+    /**
+     * 健康检查
+     */
+    healthCheck(): Promise<boolean>;
+    /**
+     * 清理资源
+     */
+    cleanup(): Promise<void>;
+}