excel-csv-handler 1.0.11 → 1.1.1

package/package.json

@@ -1,31 +1,31 @@
 {
-  "name": "excel-csv-handler",
-  "version": "1.0.11",
-  "description": "A Node.js utility to read/write Excel and CSV files with GBK encoding support",
-  "main": "src/index.js",
-  "types": "src/excel-csv-handler.d.ts",
-  "type": "module",
-  "files": [
-    "src/",
-    "README.md"
-  ],
-  "keywords": [
-    "excel",
-    "csv",
-    "xlsx",
-    "gbk",
-    "node",
-    "file"
-  ],
-  "author": "Chao_bei",
-  "license": "MIT",
-  "dependencies": {
-    "chardet": "^2.1.1",
-    "fast-csv": "^5.0.5",
-    "iconv-lite": "^0.7.0",
-    "xlsx": "^0.18.5"
-  },
-  "scripts": {
-    "test": "echo \"Error: no test specified\" && exit 1"
-  }
-}
+	"name": "excel-csv-handler",
+	"version": "1.1.1",
+	"description": "A Node.js utility to read/write Excel and CSV files with GBK encoding support",
+	"main": "src/index.js",
+	"types": "src/excel-csv-handler.d.ts",
+	"type": "module",
+	"files": [
+		"src/",
+		"README.md"
+	],
+	"scripts": {
+		"test": "echo \"Error: no test specified\" && exit 1"
+	},
+	"keywords": [
+		"excel",
+		"csv",
+		"xlsx",
+		"gbk",
+		"node",
+		"file"
+	],
+	"author": "Chao_bei",
+	"license": "MIT",
+	"dependencies": {
+		"chardet": "^2.1.1",
+		"fast-csv": "^5.0.5",
+		"iconv-lite": "^0.7.0",
+		"xlsx": "^0.18.5"
+	}
+}

package/src/excel-csv-handler.d.ts

@@ -44,4 +44,75 @@ export default class ExcelCsvHandler {
 		headers?: string[] | null,
 		encoding?: string
 	): Promise<void>;
+
+	/**
+	 * 从调用文件的相对路径获取绝对路径
+	 * @param importMetaUrl - 调用文件的 import.meta.url
+	 * @param relativePath - 相对路径（如 './dataset/file.docx' 或 'dataset/file.docx'）
+	 * @returns 绝对路径
+	 * 
+	 * @example
+	 * ```ts
+	 * import ExcelCsvHandler from 'excel-csv-handler';
+	 * const docxPath = ExcelCsvHandler.getAbsolutePath(import.meta.url, './dataset/sci-high-question.docx');
+	 * const csvPath = ExcelCsvHandler.getAbsolutePath(import.meta.url, 'data/output.csv');
+	 * ```
+	 */
+	static getAbsolutePath(importMetaUrl: string, relativePath: string): string;
+
+	/**
+	 * 自动分页请求并汇总所有数据
+	 * @param requestFn - 请求函数，接收一个参数对象，如 { pageNum: 1, pageSize: 50 }
+	 * @param config - 配置对象
+	 * @returns 完整的列表数据
+	 * 
+	 * @example
+	 * ```ts
+	 * // 基本用法（使用默认的 pageNum 和 pageSize）
+	 * const data = await ExcelCsvHandler.getPagination(fetchFn, {
+	 *     listPath: 'data.list',
+	 *     totalPath: 'data.total',
+	 *     pageSize: 50
+	 * });
+	 * 
+	 * // 自定义页码字段名
+	 * const data = await ExcelCsvHandler.getPagination(fetchFn, {
+	 *     listPath: 'result.items',
+	 *     totalPath: 'result.count',
+	 *     pageSize: 100,
+	 *     pageNumKey: 'page',      // 使用 page 而不是 pageNum
+	 *     pageSizeKey: 'size'      // 使用 size 而不是 pageSize
+	 * });
+	 * ```
+	 */
+	static getPagination<T = any>(
+		requestFn: (params: Record<string, any>) => Promise<any>,
+		config: PaginationConfig
+	): Promise<T[]>;
+}
+
+/**
+ * 分页请求配置对象
+ */
+export interface PaginationConfig {
+	/**
+	 * 列表数据的属性路径，如 'data.pageData.list'
+	 */
+	listPath: string;
+	/**
+	 * 总数量的属性路径，如 'data.pageData.count'
+	 */
+	totalPath: string;
+	/**
+	 * 每页大小
+	 */
+	pageSize: number;
+	/**
+	 * 请求参数中页码的字段名，默认 'pageNum'
+	 */
+	pageNumKey?: string;
+	/**
+	 * 请求参数中每页大小的字段名，默认 'pageSize'
+	 */
+	pageSizeKey?: string;
 }

package/src/index.js

@@ -1,5 +1,6 @@
 // excel-csv-handler.js
 import { createRequire } from 'module';
+import { fileURLToPath } from 'url';
 
 import * as fs from 'fs';
 import * as path from 'path';
@@ -18,33 +19,33 @@ class ExcelCsvHandler {
     detectEncoding(filePath) {
         // 读取文件的前几个字节来检测编码
         const buffer = fs.readFileSync(filePath);
-        
+
         // 检查 UTF-8 BOM
-        if (buffer.length >= 3 && 
-            buffer[0] === 0xEF && 
-            buffer[1] === 0xBB && 
+        if (buffer.length >= 3 &&
+            buffer[0] === 0xEF &&
+            buffer[1] === 0xBB &&
             buffer[2] === 0xBF) {
             return 'utf8';
         }
-        
+
         // 使用 chardet 库检测编码
         const detected = chardet.detect(buffer);
-        
+
         // 将检测结果映射到 iconv-lite 支持的编码名称
         if (detected) {
             const encoding = detected.toLowerCase();
-            
+
             // GB2312, GBK, GB18030 都映射为 gbk
             if (encoding.includes('gb') || encoding.includes('gbk')) {
                 return 'gbk';
             }
-            
+
             // UTF-8 相关
             if (encoding.includes('utf-8') || encoding.includes('utf8')) {
                 return 'utf8';
             }
         }
-        
+
         // 默认返回 gbk（考虑到中国用户常用 GBK）
         return 'gbk';
     }
@@ -138,7 +139,7 @@ class ExcelCsvHandler {
     async #readCsvFile(filePath, headerRow) {
         // 自动检测编码
         const encoding = this.detectEncoding(filePath);
-        
+
         return new Promise((resolve, reject) => {
             const allRows = [];
             const stream = fs.createReadStream(filePath)
@@ -195,7 +196,7 @@ class ExcelCsvHandler {
         });
 
         const buffer = iconv.encode(csvString, encoding);
-        
+
         // 如果是 UTF-8，添加 BOM 标记以确保 Excel 正确识别
         if (encoding === 'utf8') {
             const bom = Buffer.from([0xEF, 0xBB, 0xBF]);
@@ -227,7 +228,7 @@ class ExcelCsvHandler {
             await this.#writeCsvFile(filePath, data, headers, encoding);
             return;
         }
-        
+
         // 文件存在时，检测现有文件的编码
         const detectedEncoding = this.detectEncoding(filePath);
 
@@ -256,6 +257,169 @@ class ExcelCsvHandler {
     }
 }
 
+/**
+ * 从调用文件的相对路径获取绝对路径
+ * @param {string} importMetaUrl - 调用文件的 import.meta.url
+ * @param {string} relativePath - 相对路径（如 './dataset/file.docx' 或 'dataset/file.docx'）
+ * @returns {string} 绝对路径
+ * 
+ * @example
+ * // 在你的文件中使用
+ * import ExcelCsvHandler from 'excel-csv-handler';
+ * const docxPath = ExcelCsvHandler.getAbsolutePath(import.meta.url, './dataset/sci-high-question.docx');
+ * const csvPath = ExcelCsvHandler.getAbsolutePath(import.meta.url, 'data/output.csv');
+ */
+ExcelCsvHandler.getAbsolutePath = function (importMetaUrl, relativePath) {
+    const __filename = fileURLToPath(importMetaUrl);
+    const __dirname = path.dirname(__filename);
+    // 去除开头的 './' 如果存在
+    const cleanPath = relativePath.startsWith('./') ? relativePath.slice(2) : relativePath;
+    return path.join(__dirname, cleanPath);
+};
+
+/**
+ * 自动分页请求并汇总所有数据
+ * @param {Function} requestFn - 请求函数，接收一个参数对象，如 { pageNum: 1, pageSize: 50 }
+ * @param {Object} config - 配置对象
+ * @param {string} config.listPath - 列表数据的属性路径，如 'data.pageData.list'
+ * @param {string} config.totalPath - 总数量的属性路径，如 'data.pageData.count'
+ * @param {number} config.pageSize - 每页大小
+ * @param {string} [config.pageNumKey='pageNum'] - 请求参数中页码的字段名，默认 'pageNum'
+ * @param {string} [config.pageSizeKey='pageSize'] - 请求参数中每页大小的字段名，默认 'pageSize'
+ * @returns {Promise<Array>} 完整的列表数据
+ * 
+ * @example
+ * // 基本用法（使用默认的 pageNum 和 pageSize）
+ * const data = await ExcelCsvHandler.getPagination(fetchFn, {
+ *     listPath: 'data.list',
+ *     totalPath: 'data.total',
+ *     pageSize: 50
+ * });
+ * 
+ * @example
+ * // 自定义页码字段名
+ * const data = await ExcelCsvHandler.getPagination(fetchFn, {
+ *     listPath: 'result.items',
+ *     totalPath: 'result.count',
+ *     pageSize: 100,
+ *     pageNumKey: 'page',      // 使用 page 而不是 pageNum
+ *     pageSizeKey: 'size'      // 使用 size 而不是 pageSize
+ * });
+ */
+ExcelCsvHandler.getPagination = async function (requestFn, config) {
+    // 参数校验
+    if (typeof requestFn !== 'function') {
+        throw new Error('请求函数必须是一个函数');
+    }
+    if (!config || typeof config !== 'object') {
+        throw new Error('配置参数必须是一个对象');
+    }
+
+    const {
+        listPath,
+        totalPath,
+        pageSize,
+        pageNumKey = 'pageNum',
+        pageSizeKey = 'pageSize'
+    } = config;
+
+    if (!listPath || typeof listPath !== 'string') {
+        throw new Error('列表路径(listPath)必须是一个字符串');
+    }
+    if (!totalPath || typeof totalPath !== 'string') {
+        throw new Error('总数量路径(totalPath)必须是一个字符串');
+    }
+    if (!pageSize || pageSize <= 0) {
+        throw new Error('每页大小(pageSize)必须大于0');
+    }
+
+    /**
+     * 根据路径获取对象属性值
+     * @param {Object} obj - 源对象
+     * @param {string} path - 属性路径，如 'data.pageData.list'
+     */
+    function getValueByPath(obj, path) {
+        return path.split('.').reduce((current, key) => current?.[key], obj);
+    }
+
+    try {
+        // 第一次请求，获取总数量和第一页数据
+        console.log(`开始分页请求，每页 ${pageSize} 条...`);
+        console.log(`使用参数名: ${pageNumKey}(页码), ${pageSizeKey}(每页大小)`);
+
+        const firstPageParams = {
+            [pageNumKey]: 1,
+            [pageSizeKey]: pageSize
+        };
+        const firstResponse = await requestFn(firstPageParams);
+
+        // 获取第一页数据和总数量
+        const firstPageList = getValueByPath(firstResponse, listPath);
+        const total = getValueByPath(firstResponse, totalPath);
+
+        if (!Array.isArray(firstPageList)) {
+            throw new Error(`无法从响应中获取列表数据，路径: ${listPath}`);
+        }
+        if (typeof total !== 'number') {
+            throw new Error(`无法从响应中获取总数量，路径: ${totalPath}`);
+        }
+
+        console.log(`总计 ${total} 条数据`);
+
+        // 如果总数量为 0 或第一页已经包含所有数据，直接返回
+        if (total === 0) {
+            console.log('没有数据');
+            return [];
+        }
+        if (total <= pageSize) {
+            console.log('所有数据已在第一页');
+            return firstPageList;
+        }
+
+        // 计算总页数
+        const totalPages = Math.ceil(total / pageSize);
+        console.log(`需要请求 ${totalPages} 页`);
+
+        // 初始化结果数组，先放入第一页数据
+        const allData = [...firstPageList];
+
+        // 请求剩余的页面
+        const requests = [];
+        for (let page = 2; page <= totalPages; page++) {
+            const pageParams = {
+                [pageNumKey]: page,
+                [pageSizeKey]: pageSize
+            };
+            requests.push(
+                requestFn(pageParams).then(response => {
+                    const pageList = getValueByPath(response, listPath);
+                    if (!Array.isArray(pageList)) {
+                        console.warn(`第 ${page} 页数据格式错误`);
+                        return [];
+                    }
+                    console.log(`第 ${page}/${totalPages} 页请求完成，获取 ${pageList.length} 条数据`);
+                    return pageList;
+                })
+            );
+        }
+
+        // 并发请求所有剩余页面
+        const remainingPages = await Promise.all(requests);
+
+        // 合并所有数据
+        remainingPages.forEach(pageData => {
+            allData.push(...pageData);
+        });
+
+        console.log(`分页请求完成，共获取 ${allData.length} 条数据`);
+        return allData;
+
+    } catch (error) {
+        console.error('分页请求失败:', error.message);
+        throw error;
+    }
+};
+
 export default ExcelCsvHandler;
 
 // 示例用法（取消注释可测试）