monsqlize 1.0.1 → 1.0.5

This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
Files changed (66) hide show
  1. package/CHANGELOG.md +204 -2464
  2. package/README.md +735 -1198
  3. package/index.d.ts +942 -18
  4. package/lib/cache.js +8 -8
  5. package/lib/common/validation.js +64 -1
  6. package/lib/connect.js +3 -3
  7. package/lib/errors.js +10 -0
  8. package/lib/index.js +173 -9
  9. package/lib/infrastructure/ssh-tunnel-ssh2.js +211 -0
  10. package/lib/infrastructure/ssh-tunnel.js +40 -0
  11. package/lib/infrastructure/uri-parser.js +35 -0
  12. package/lib/lock/Lock.js +66 -0
  13. package/lib/lock/errors.js +27 -0
  14. package/lib/lock/index.js +12 -0
  15. package/lib/logger.js +1 -1
  16. package/lib/model/examples/test.js +225 -29
  17. package/lib/model/features/soft-delete.js +348 -0
  18. package/lib/model/features/version.js +156 -0
  19. package/lib/model/index.js +756 -0
  20. package/lib/mongodb/common/accessor-helpers.js +17 -3
  21. package/lib/mongodb/connect.js +68 -13
  22. package/lib/mongodb/index.js +153 -6
  23. package/lib/mongodb/management/collection-ops.js +4 -4
  24. package/lib/mongodb/management/index-ops.js +18 -18
  25. package/lib/mongodb/management/validation-ops.js +3 -3
  26. package/lib/mongodb/queries/aggregate.js +14 -5
  27. package/lib/mongodb/queries/chain.js +52 -45
  28. package/lib/mongodb/queries/count.js +16 -6
  29. package/lib/mongodb/queries/distinct.js +15 -6
  30. package/lib/mongodb/queries/find-and-count.js +22 -13
  31. package/lib/mongodb/queries/find-by-ids.js +5 -5
  32. package/lib/mongodb/queries/find-one-by-id.js +1 -1
  33. package/lib/mongodb/queries/find-one.js +12 -3
  34. package/lib/mongodb/queries/find-page.js +12 -0
  35. package/lib/mongodb/queries/find.js +15 -6
  36. package/lib/mongodb/queries/watch.js +11 -2
  37. package/lib/mongodb/writes/common/batch-retry.js +64 -0
  38. package/lib/mongodb/writes/delete-batch.js +322 -0
  39. package/lib/mongodb/writes/delete-many.js +20 -11
  40. package/lib/mongodb/writes/delete-one.js +18 -9
  41. package/lib/mongodb/writes/find-one-and-delete.js +19 -10
  42. package/lib/mongodb/writes/find-one-and-replace.js +36 -20
  43. package/lib/mongodb/writes/find-one-and-update.js +36 -20
  44. package/lib/mongodb/writes/increment-one.js +22 -7
  45. package/lib/mongodb/writes/index.js +17 -13
  46. package/lib/mongodb/writes/insert-batch.js +46 -37
  47. package/lib/mongodb/writes/insert-many.js +22 -13
  48. package/lib/mongodb/writes/insert-one.js +18 -9
  49. package/lib/mongodb/writes/replace-one.js +33 -17
  50. package/lib/mongodb/writes/result-handler.js +14 -14
  51. package/lib/mongodb/writes/update-batch.js +358 -0
  52. package/lib/mongodb/writes/update-many.js +34 -18
  53. package/lib/mongodb/writes/update-one.js +33 -17
  54. package/lib/mongodb/writes/upsert-one.js +25 -9
  55. package/lib/operators.js +1 -1
  56. package/lib/redis-cache-adapter.js +3 -3
  57. package/lib/slow-query-log/base-storage.js +69 -0
  58. package/lib/slow-query-log/batch-queue.js +96 -0
  59. package/lib/slow-query-log/config-manager.js +195 -0
  60. package/lib/slow-query-log/index.js +237 -0
  61. package/lib/slow-query-log/mongodb-storage.js +323 -0
  62. package/lib/slow-query-log/query-hash.js +38 -0
  63. package/lib/transaction/DistributedCacheLockManager.js +240 -5
  64. package/lib/transaction/Transaction.js +1 -1
  65. package/lib/utils/objectid-converter.js +566 -0
  66. package/package.json +18 -6
@@ -0,0 +1,35 @@
1
+ /**
2
+ * 通用URI解析器
3
+ * 支持:mongodb://、postgresql://、mysql://、redis://
4
+ */
5
+
6
+ /**
7
+ * 解析数据库连接URI
8
+ * @param {string} uri - 数据库连接URI
9
+ * @returns {{protocol: string, auth: string|null, host: string, port: number}} 解析结果
10
+ */
11
+ function parseUri(uri) {
12
+ const patterns = {
13
+ mongodb: /mongodb:\/\/([^@]*@)?([^:/]+):(\d+)/,
14
+ postgresql: /postgresql:\/\/([^@]*@)?([^:/]+):(\d+)/,
15
+ mysql: /mysql:\/\/([^@]*@)?([^:/]+):(\d+)/,
16
+ redis: /redis:\/\/([^@]*@)?([^:/]+):(\d+)/
17
+ };
18
+
19
+ for (const [protocol, pattern] of Object.entries(patterns)) {
20
+ const match = uri.match(pattern);
21
+ if (match) {
22
+ return {
23
+ protocol,
24
+ auth: match[1] ? match[1].slice(0, -1) : null, // 去掉末尾的@
25
+ host: match[2],
26
+ port: parseInt(match[3], 10)
27
+ };
28
+ }
29
+ }
30
+
31
+ throw new Error(`Unsupported URI format: ${uri}`);
32
+ }
33
+
34
+ module.exports = { parseUri };
35
+
@@ -0,0 +1,66 @@
1
+ /**
2
+ * 业务锁对象
3
+ * 表示一个已获取的锁,提供释放和续期方法
4
+ */
5
+ class Lock {
6
+ /**
7
+ * @param {string} key - 锁的标识
8
+ * @param {string} lockId - 锁的唯一ID
9
+ * @param {Object} manager - 锁管理器实例
10
+ * @param {number} ttl - 锁的过期时间(毫秒)
11
+ */
12
+ constructor(key, lockId, manager, ttl) {
13
+ this.key = key;
14
+ this.lockId = lockId;
15
+ this.manager = manager;
16
+ this.ttl = ttl;
17
+ this.released = false;
18
+ this.acquiredAt = Date.now();
19
+ }
20
+
21
+ /**
22
+ * 释放锁
23
+ * @returns {Promise<boolean>}
24
+ */
25
+ async release() {
26
+ if (this.released) {
27
+ return false;
28
+ }
29
+
30
+ const result = await this.manager.releaseLock(this.key, this.lockId);
31
+ this.released = true;
32
+ return result;
33
+ }
34
+
35
+ /**
36
+ * 续期(延长锁的过期时间)
37
+ * @param {number} [ttl] - 新的过期时间,默认使用原TTL
38
+ * @returns {Promise<boolean>}
39
+ */
40
+ async renew(ttl) {
41
+ if (this.released) {
42
+ return false;
43
+ }
44
+
45
+ return this.manager.renewLock(this.key, this.lockId, ttl || this.ttl);
46
+ }
47
+
48
+ /**
49
+ * 检查锁是否仍被持有
50
+ * @returns {boolean}
51
+ */
52
+ isHeld() {
53
+ return !this.released;
54
+ }
55
+
56
+ /**
57
+ * 获取锁持有时间
58
+ * @returns {number} 毫秒
59
+ */
60
+ getHoldTime() {
61
+ return Date.now() - this.acquiredAt;
62
+ }
63
+ }
64
+
65
+ module.exports = Lock;
66
+
@@ -0,0 +1,27 @@
1
+ /**
2
+ * 锁获取失败错误
3
+ */
4
+ class LockAcquireError extends Error {
5
+ constructor(message) {
6
+ super(message);
7
+ this.name = 'LockAcquireError';
8
+ this.code = 'LOCK_ACQUIRE_FAILED';
9
+ }
10
+ }
11
+
12
+ /**
13
+ * 锁超时错误
14
+ */
15
+ class LockTimeoutError extends Error {
16
+ constructor(message) {
17
+ super(message);
18
+ this.name = 'LockTimeoutError';
19
+ this.code = 'LOCK_TIMEOUT';
20
+ }
21
+ }
22
+
23
+ module.exports = {
24
+ LockAcquireError,
25
+ LockTimeoutError
26
+ };
27
+
@@ -0,0 +1,12 @@
1
+ /**
2
+ * 业务锁模块导出
3
+ */
4
+ const Lock = require('./Lock');
5
+ const { LockAcquireError, LockTimeoutError } = require('./errors');
6
+
7
+ module.exports = {
8
+ Lock,
9
+ LockAcquireError,
10
+ LockTimeoutError
11
+ };
12
+
package/lib/logger.js CHANGED
@@ -220,5 +220,5 @@ module.exports = class Logger {
220
220
  static generateTraceId() {
221
221
  return generateTraceId();
222
222
  }
223
- }
223
+ };
224
224
 
@@ -1,42 +1,80 @@
1
-
1
+ /**
2
+ * Model 定义示例模板
3
+ *
4
+ * 使用说明:
5
+ * 1. enums - 枚举配置可被外部代码直接访问
6
+ * 例如:UserModel.enums.role
7
+ *
8
+ * 2. schema - 由 schema-dsl 包提供验证能力
9
+ * 使用 function 定义时,this 自动绑定到当前模型定义对象
10
+ * 例如:UserModel.schema(dsl) 时,this === UserModel
11
+ *
12
+ * 3. methods/hooks - 接收 model 实例作为参数
13
+ * 可以调用 model 的所有查询方法
14
+ *
15
+ * 注意:这是 API 设计示例,展示:
16
+ * - schema 中 this.enums 引用同一对象内的枚举配置
17
+ * - methods 通过参数接收 model 实例
18
+ * - hooks 通过 ctx 上下文传递状态(如事务)
19
+ */
2
20
 
3
21
  module.exports = {
4
22
 
5
- // 枚举配置
23
+ // 枚举配置(可被外部代码直接访问)
6
24
  enums: {
7
- role: ['admin', 'user'],
8
- status: ['active', 'inactive']
25
+ role: 'admin|user',
26
+ status: 'active|inactive|banned'
9
27
  },
10
28
 
11
- // 定义model
12
- schema:(sc)=>{
13
- return {
14
- username: sc.string().min(3).max(30).required(),
15
- password: sc.string().pattern(/^[a-zA-Z0-9]{6,30}$/).required(),
16
- age: sc.number().integer().min(0).default(18), // 默认值
17
- role: sc.string().valid('admin', 'user').default('user'),
18
- }
29
+ // 定义 schema(使用 function 时,this 自动绑定到当前对象)
30
+ schema: function(dsl) {
31
+ return dsl({
32
+ username: 'string:3-32!',
33
+ password: 'string!'.pattern(/^[a-zA-Z0-9]{6,30}$/),
34
+ age: 'number:0-18!',
35
+ role: this.enums.role.default('user'), // this 指向 module.exports
36
+ })
19
37
  },
20
38
 
21
39
  // 自定义方法
40
+ //
41
+ // 说明:
42
+ // - methods 接收 model 参数(ModelInstance 实例)
43
+ // - 返回对象必须包含 instance 和/或 static 两个固定分组
44
+ // - instance: 实例方法,注入到查询结果文档对象(this 指向文档)
45
+ // - static: 静态方法,挂载到 Model 实例(通过 model 参数操作)
46
+ //
47
+ // 设计原因:
48
+ // - 明确区分方法类型,避免混淆
49
+ // - 实例方法:操作具体文档数据(需要 this)
50
+ // - 静态方法:执行查询操作(不需要 this)
51
+ //
52
+ // 可选配置:
53
+ // - 只需要 instance:只写 instance 分组
54
+ // - 只需要 static:只写 static 分组
55
+ // - 都不需要:整个 methods 配置项可省略
56
+ //
22
57
  methods: (model)=>{
23
58
  return {
24
- // 实例方法
59
+ // 实例方法(注入到文档对象)
60
+ // 用法:const user = await User.findOne(...); user.checkPassword('123');
25
61
  instance: {
26
62
  checkPassword(password) {
27
- return this.password === password;
63
+ return this.password === password; // this 指向文档对象
28
64
  },
29
- async getPosts() {
30
- // return await model.find({ userId: this._id });
65
+ async getPosts(_id) {
66
+ return await model.find({ userId: _id }); // 可以调用 model 查询
31
67
  }
32
68
  },
33
- // 静态方法
69
+
70
+ // 静态方法(挂载到 Model 实例)
71
+ // 用法:const User = msq.model('users'); await User.findByName('test');
34
72
  static: {
35
73
  findByName(name) {
36
- return this.find({ username: name });
74
+ return model.find({ username: name }); // 使用 model 参数
37
75
  }
38
76
  }
39
- }
77
+ };
40
78
  },
41
79
 
42
80
  // 支持操作前、后处理
@@ -63,7 +101,7 @@ module.exports = {
63
101
  before:(ctx,options)=>{},
64
102
  after:(ctx,result)=>{},
65
103
  }
66
- }
104
+ };
67
105
  },
68
106
 
69
107
  // 创建索引
@@ -101,14 +139,172 @@ module.exports = {
101
139
  }
102
140
  },
103
141
 
104
- // 选项
142
+ // 模型选项配置(核心功能)
105
143
  options: {
106
- timestamps: true, // 自动维护 createdAt / updatedAt
107
- softDelete: true, // 启用 deletedAt 替代物理删除,deletedAt = null 正常数据,deletedAt = Date → 已删除
108
- sync: true, // 启用 index 索引自动同步
109
- version: true, // 自动维护 __v 版本号
110
- }
144
+ // 1️⃣ 时间戳自动维护
145
+ // 默认值:{ enabled: false, createdAt: 'createdAt', updatedAt: 'updatedAt' }
146
+ timestamps: {
147
+ enabled: true, // 启用时间戳
148
+ createdAt: 'createdAt', // 创建时间字段名
149
+ updatedAt: 'updatedAt' // 更新时间字段名
150
+ },
151
+ // 简化配置方式:
152
+ // timestamps: true // 使用默认字段名(createdAt, updatedAt)
153
+ // timestamps: false // 禁用时间戳
154
+
155
+ // 2️⃣ 软删除配置
156
+ // 默认值:{ enabled: false, field: 'deletedAt', type: 'timestamp', ttl: null, index: true }
157
+ softDelete: {
158
+ enabled: true, // 启用软删除
159
+ field: 'deletedAt', // 软删除字段名
160
+ type: 'timestamp', // 类型:timestamp | boolean
161
+ ttl: 30 * 24 * 60 * 60 * 1000, // 30天后物理删除(null=永久保留)
162
+ index: true, // 自动创建索引
163
+ },
164
+ // 简化配置方式:
165
+ // softDelete: true // 使用默认值
166
+ // softDelete: false // 禁用软删除({ enabled: false })
167
+
168
+ // 3️⃣ 乐观锁版本控制(防止并发冲突)
169
+ // 默认值:{ enabled: false, field: 'version', strategy: 'increment' }
170
+ version: {
171
+ enabled: true, // 启用版本号
172
+ field: 'version', // 版本字段名
173
+ strategy: 'increment' // 策略:increment | timestamp
174
+ },
175
+ // 简化配置方式:
176
+ // version: true // 使用默认值
177
+ // version: false // 禁用版本控制({ enabled: false })
178
+
179
+ // 4️⃣ 索引自动同步
180
+ // 默认值:{ enabled: false, mode: 'safe', background: true }
181
+ sync: {
182
+ enabled: true, // 启用索引自动同步
183
+ mode: 'safe', // 模式:safe | force
184
+ background: true, // 后台创建索引
185
+ },
186
+ // 简化配置方式:
187
+ // sync: true // 使用默认值(safe 模式)
188
+ // sync: false // 禁用同步({ enabled: false })
189
+ },
111
190
 
112
- // 自动索引 / 慢查询统计 → 全局 ORM 层统一管理
113
- // 恢复软删除 → 全局方法注入到每个启用 softDelete 的模型
114
- }
191
+ // ========================================
192
+ // 📝 默认配置值速查表
193
+ // ========================================
194
+ // timestamps: { enabled: false, createdAt: 'createdAt', updatedAt: 'updatedAt' }
195
+ // softDelete: { enabled: false, field: 'deletedAt', type: 'timestamp', ttl: null, index: true }
196
+ // version: { enabled: false, field: 'version', strategy: 'increment' }
197
+ // sync: { enabled: false, mode: 'safe', background: true }
198
+ //
199
+ // 说明:
200
+ // - 默认所有功能都禁用(enabled: false),用户需要主动启用
201
+ // - ttl: null = 软删除数据永久保留
202
+ // - ttl: 数字 = 指定天数后物理删除
203
+ // - mode: 'safe' = 只创建缺失的索引(生产环境推荐)
204
+ // - mode: 'force' = 创建+删除索引,完全同步(开发环境)
205
+ //
206
+ // ========================================
207
+ // 📝 配置方式说明(三层递进)
208
+ // ========================================
209
+ //
210
+ // 【第1层】完全默认(什么都不改)
211
+ // options: {} // 所有功能禁用
212
+ //
213
+ // 【第2层】简化配置(快速启用功能)
214
+ // options: {
215
+ // timestamps: true,
216
+ // softDelete: true,
217
+ // version: true,
218
+ // sync: true
219
+ // }
220
+ //
221
+ // 【第3层】详细配置(精细控制)
222
+ // options: {
223
+ // timestamps: { enabled: true, createdAt: 'createdAt', updatedAt: 'updatedAt' },
224
+ // softDelete: { enabled: true, field: 'deletedAt', type: 'timestamp', ttl: ..., index: true },
225
+ // version: { enabled: true, field: 'version', strategy: 'increment' },
226
+ // sync: { enabled: true, mode: 'safe', background: true }
227
+ // }
228
+ //
229
+ // ========================================
230
+ // 📝 日常开发场景最佳实践
231
+ // ========================================
232
+ //
233
+ // 场景1: 用户/订单表(需要完整功能)
234
+ // options: {
235
+ // timestamps: true,
236
+ // softDelete: true, // 删除后保留30天便于恢复
237
+ // version: true, // 防止并发冲突
238
+ // sync: true
239
+ // }
240
+ //
241
+ // 场景2: 会话/缓存表(最小化配置)
242
+ // options: {
243
+ // timestamps: false, // 不需要时间戳
244
+ // softDelete: false, // 不需要软删除,过期自动删除
245
+ // version: false, // 不需要版本控制
246
+ // sync: true // 需要同步 TTL 索引
247
+ // }
248
+ // indexes: [
249
+ // { key: { expireAt: 1 }, expireAfterSeconds: 0 } // TTL 索引
250
+ // ]
251
+ //
252
+ // 场景3: 中间表(极简配置)
253
+ // options: {
254
+ // timestamps: false,
255
+ // softDelete: false,
256
+ // version: false,
257
+ // sync: true // 需要同步唯一索引
258
+ // }
259
+ //
260
+ // 场景4: 日志/事件表(无删除需求)
261
+ // options: {
262
+ // timestamps: true, // 记录事件时间
263
+ // softDelete: false, // 日志不删除
264
+ // version: false, // 日志不并发更新
265
+ // sync: true
266
+ // }
267
+ //
268
+ // 场景5: 商品/内容表(高频并发)
269
+ // options: {
270
+ // timestamps: true,
271
+ // softDelete: true, // 下架商品保留
272
+ // version: true, // 防止秒杀并发冲突
273
+ // sync: { // 生产环境用 safe,开发用 force
274
+ // enabled: true,
275
+ // mode: 'safe', // 生产环境
276
+ // background: true
277
+ // }
278
+ // }
279
+ //
280
+ // ========================================
281
+ // 📝 全局配置已包含:
282
+ // - 缓存系统(MemoryCache)
283
+ // - 日志系统(Logger)
284
+ // - 慢查询日志(SlowQueryLogManager)
285
+ // - 默认值(defaultLimit, maxLimit, validation等)
286
+ //
287
+ // 📝 Model options 只配置模型特异的功能:
288
+ // - timestamps: 某些表不需要(如中间表)
289
+ // - softDelete: 某些表不需要(如会话表)
290
+ // - version: 高并发表才需要
291
+ // - sync: 模型特异的索引定义
292
+ //
293
+ // 📝 数据生命周期处理方式:
294
+ // - 在 schema 中定义 expireAt 字段
295
+ // - 在 indexes 中定义 TTL 索引
296
+ // - 不需要单独的 lifecycle 配置项
297
+ //
298
+ // 📝 自动注入的方法(仅当 softDelete.enabled = true):
299
+ // - model.restore(id) - 恢复软删除数据
300
+ // - model.forceDelete(id) - 强制物理删除
301
+ // - model.findWithDeleted() - 查询包含软删除数据
302
+ // - model.findOnlyDeleted() - 只查询软删除数据
303
+ //
304
+ // 📝 开发建议:
305
+ // 1. 开发阶段:使用简化配置快速迭代(timestamps: true, ...)
306
+ // 2. 优化阶段:根据实际需求调整(可禁用不需要的功能)
307
+ // 3. 生产部署:确认 sync.mode 为 'safe'(避免误删索引)
308
+ // 4. 高并发表:必须启用 version,防止并发冲突
309
+ // 5. 敏感数据:启用 softDelete,避免误删无法恢复
310
+ };