midway-fatcms 0.0.7 → 0.0.9

package/src/libs/crud-sharding/ShardingConfig.ts

@@ -1,3 +1,12 @@
+import { CrudPro } from '@/libs/crud-pro/CrudPro';
+import { KeysOfSimpleSQL } from '../crud-pro/models/keys';
+
+/**
+ * CrudPro 工厂函数类型
+ * 每次调用返回新的 CrudPro 实例，避免状态污染
+ */
+export type CrudProFactory = () => CrudPro;
+
 /**
  * 分表配置模型
  * 
@@ -5,8 +14,8 @@
  * - YEAR: 按年分表，如 order_2024, order_2025
  * - MONTH: 按月分表，如 order_202401, order_202402
  * - DAY: 按日分表，如 order_20240101
- * - RANGE: 按范围分表，如 user_0 ~ user_99
  * - HASH: 按哈希分表，如 order_01 ~ order_16
+ * - KEY: 按键值分表，字段原值=表后缀，如 order_east, order_west
  * - CUSTOM: 自定义分表规则
  */
 
@@ -20,10 +29,10 @@ export enum ShardingType {
   MONTH = 'month',
   /** 按日分表：table_20240101 */
   DAY = 'day',
-  /** 按范围分表：table_0 ~ table_99 */
-  RANGE = 'range',
   /** 按哈希分表：table_01 ~ table_16 */
   HASH = 'hash',
+  /** 按键值分表：字段原值=表后缀，如 table_east, table_west */
+  KEY = 'key',
   /** 自定义分表规则 */
   CUSTOM = 'custom',
 }
@@ -45,15 +54,16 @@ export interface IShardingConfig {
 
   /**
    * 分表数量
-   * 用于 RANGE 和 HASH 类型
-   * 默认值：RANGE 为 10，HASH 为 16
+   * 用于 HASH 类型，指定哈希取模的分表总数
    */
   tableCount?: number;
 
   /**
    * 分表字段
-   * 用于 RANGE 和 HASH 类型，根据字段值计算分表
-   * 例如：user_id, order_id
+   * 用于 HASH 和 KEY 类型，根据字段值计算分表
+   * - HASH: hash(shardingColumn) % tableCount
+   * - KEY: 字段原值直接作为表后缀
+   * 例如：user_id, region
    */
   shardingColumn?: string;
 
@@ -63,6 +73,14 @@ export interface IShardingConfig {
    */
   timeColumn?: string;
 
+  /**
+   * 主键字段
+   * 用于时间分表场景下，当 condition 中包含主键时，时间字段仅用于路由定位分表，
+   * 不参与具体表的查询条件（避免时间精度损失导致查询失败）
+   * 例如：id, order_id
+   */
+  primaryKey?: string;
+
   /**
    * 自定义分表路由函数
    * 用于 CUSTOM 类型
@@ -86,8 +104,8 @@ export interface IShardingConfig {
    * 适用于时间分表类型（YEAR/MONTH/DAY）。
    * 
    * 默认值：
-   * - YEAR: 3（最近3年）
-   * - MONTH: 12（最近12个月）
+   * - YEAR: 2（最近2年）
+   * - MONTH: 3（最近3个月）
    * - DAY: 7（最近7天）
    * 
    * @example
@@ -228,7 +246,7 @@ export interface IShardingRouterContext {
    * SQL 简单名称
    * 用于判断具体的查询类型
    */
-  sqlSimpleName?: string;
+  sqlSimpleName: KeysOfSimpleSQL;
 }
 
 /**

package/src/libs/crud-sharding/ShardingMerger.ts

@@ -10,6 +10,15 @@ import { ShardingCountCache, shardingHashCondition } from './ShardingCountCache'
 export interface IShardingPageQueryResult {
   rows: any[];
   total_count: number;
+  lastCtx: ExecuteContext | null;
+}
+
+/**
+ * 列表查询结果
+ */
+export interface IShardingListQueryResult {
+  rows: any[];
+  lastCtx: ExecuteContext | null;
 }
 
 /**
@@ -63,16 +72,17 @@ export class ShardingMerger {
     const offset = (pageNo - 1) * pageSize;
     const targetEnd = offset + pageSize;  // 需要取到第几条
 
-    // 1. 并行查询所有分表的记录数
-    const countPromises = tables.map(table =>
-      this.queryCountSafe(crudPro, table, reqJson, cfgJson)
-    );
-    const counts = await Promise.all(countPromises);
+    // 1. 串行查询所有分表的记录数
+    const counts: number[] = [];
+    for (const table of tables) {
+      const count = await this.queryCountSafe(crudPro, table, reqJson, cfgJson);
+      counts.push(count);
+    }
     const totalCount = counts.reduce((sum, c) => sum + c, 0);
 
     // 总数为0，直接返回
     if (totalCount === 0) {
-      return { rows: [], total_count: 0 };
+      return { rows: [], total_count: 0, lastCtx: null };
     }
 
     // 2. 根据累计数量直接定位目标表
@@ -80,17 +90,21 @@ export class ShardingMerger {
 
     // 3. 只查询包含目标数据的分表
     let allRows: any[] = [];
+    let lastCtx: ExecuteContext | null = null;
     for (const target of targetTables) {
-      const rows = await this.queryRowsSafeWithOffset(
-        crudPro, target.table, reqJson, cfgJson,
-        target.innerOffset, target.innerLimit
-      );
-      allRows = allRows.concat(rows);
+      try {
+        const ctx = await this.executeQueryWithOffset(crudPro, target.table, reqJson, cfgJson, target.innerOffset, target.innerLimit);
+        lastCtx = ctx;
+        allRows = allRows.concat(ctx.getResRows() || []);
+      } catch (e) {
+        // 表不存在或其他错误，跳过
+      }
     }
 
     return {
       rows: allRows,
       total_count: totalCount,
+      lastCtx,
     };
   }
 
@@ -118,9 +132,10 @@ export class ShardingMerger {
     reqJson: IRequestModel,
     cfgJson: IRequestCfgModel,
     maxRows: number = 10000
-  ): Promise<any[]> {
+  ): Promise<IShardingListQueryResult> {
     // 串行查询分表，按表顺序拼接，达到上限即停
     let allRows: any[] = [];
+    let lastCtx: ExecuteContext | null = null;
 
     for (const table of tables) {
       const needMore = maxRows - allRows.length;
@@ -128,8 +143,13 @@ export class ShardingMerger {
         break;
       }
 
-      const rows = await this.queryRowsSafe(crudPro, table, reqJson, cfgJson, needMore);
-      allRows = allRows.concat(rows);
+      try {
+        const ctx = await this.executeQuery(crudPro, table, reqJson, cfgJson, needMore);
+        lastCtx = ctx;
+        allRows = allRows.concat(ctx.getResRows() || []);
+      } catch (e) {
+        // 表不存在或其他错误，跳过
+      }
 
       // 达到上限后停止，不再查询后续表
       if (allRows.length >= maxRows) {
@@ -138,7 +158,7 @@ export class ShardingMerger {
       }
     }
 
-    return allRows;
+    return { rows: allRows, lastCtx };
   }
 
   // ============ 私有方法：分页定位 ============
@@ -256,54 +276,6 @@ export class ShardingMerger {
     }
   }
 
-  /**
-   * 安全查询数据行（表不存在时返回空数组）
-   */
-  private async queryRowsSafe(
-    crudPro: CrudPro,
-    table: string,
-    reqJson: IRequestModel,
-    cfgJson: IRequestCfgModel,
-    limit?: number
-  ): Promise<any[]> {
-    try {
-      const ctx = await this.executeQuery(crudPro, table, reqJson, cfgJson, limit);
-      return ctx.getResRows() || [];
-    } catch (e) {
-      // 表不存在或其他错误，返回空数组
-      return [];
-    }
-  }
-
-  /**
-   * 安全查询数据行（支持表内偏移，表不存在时返回空数组）
-   * 
-   * 用于分页定位后，直接从某张表指定偏移处取数据
-   * 
-   * @param crudPro CrudPro 实例
-   * @param table 分表名
-   * @param reqJson 请求参数
-   * @param cfgJson 配置
-   * @param innerOffset 表内偏移（跳过前 N 条）
-   * @param innerLimit 取多少条
-   */
-  private async queryRowsSafeWithOffset(
-    crudPro: CrudPro,
-    table: string,
-    reqJson: IRequestModel,
-    cfgJson: IRequestCfgModel,
-    innerOffset: number,
-    innerLimit: number
-  ): Promise<any[]> {
-    try {
-      const ctx = await this.executeQueryWithOffset(crudPro, table, reqJson, cfgJson, innerOffset, innerLimit);
-      return ctx.getResRows() || [];
-    } catch (e) {
-      // 表不存在或其他错误，返回空数组
-      return [];
-    }
-  }
-
   /**
    * 执行 COUNT 查询
    */

package/src/libs/crud-sharding/ShardingResult.ts

@@ -0,0 +1,29 @@
+import { ExecuteContext } from '@/libs/crud-pro/models/ExecuteContext';
+import { CrudResultBase } from '@/libs/crud-pro/models/CrudResult';
+
+/** 分表批量插入结果 */
+class ShardingBatchInsertResult extends CrudResultBase {
+  readonly totalAffected: number;
+  readonly tableResults: Array<{ table: string; affected: number; rowCount: number }>;
+  readonly tableCount: number;
+  readonly success: boolean;
+  readonly errors: Array<{ table: string; error: Error }>;
+
+  constructor(data: {
+    totalAffected: number;
+    tableResults: Array<{ table: string; affected: number; rowCount: number }>;
+    tableCount: number;
+    success: boolean;
+    errors: Array<{ table: string; error: Error }>;
+    lastContext: ExecuteContext;
+  }) {
+    super(data.lastContext);
+    this.totalAffected = data.totalAffected;
+    this.tableResults = data.tableResults;
+    this.tableCount = data.tableCount;
+    this.success = data.success;
+    this.errors = data.errors;
+  }
+}
+
+export { ShardingBatchInsertResult };