w-orm-lmdb 1.0.12 → 1.0.14

This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
@@ -29,7 +29,7 @@
29
29
  <nav >
30
30
 
31
31
 
32
- <h2><a href="index.html">Home</a></h2><h3>Classes</h3><ul><li><a href="WOrmLmdb.html">WOrmLmdb</a><ul class='methods'><li data-type='method'><a href="WOrmLmdb.html#.del">del</a></li><li data-type='method'><a href="WOrmLmdb.html#.delAll">delAll</a></li><li data-type='method'><a href="WOrmLmdb.html#.insert">insert</a></li><li data-type='method'><a href="WOrmLmdb.html#.save">save</a></li><li data-type='method'><a href="WOrmLmdb.html#.select">select</a></li><li data-type='method'><a href="WOrmLmdb.html#.selectById">selectById</a></li></ul></li></ul>
32
+ <h2><a href="index.html">Home</a></h2><h3>Classes</h3><ul><li><a href="WOrmLmdb.html">WOrmLmdb</a><ul class='methods'><li data-type='method'><a href="WOrmLmdb.html#.del">del</a></li><li data-type='method'><a href="WOrmLmdb.html#.delAll">delAll</a></li><li data-type='method'><a href="WOrmLmdb.html#.insert">insert</a></li><li data-type='method'><a href="WOrmLmdb.html#.save">save</a></li><li data-type='method'><a href="WOrmLmdb.html#.select">select</a></li><li data-type='method'><a href="WOrmLmdb.html#.selectByPk">selectByPk</a></li></ul></li></ul>
33
33
 
34
34
  </nav>
35
35
 
@@ -45,771 +45,819 @@
45
45
 
46
46
  <section>
47
47
  <article>
48
- <pre class="prettyprint source linenums"><code>import { open } from 'lmdb'
49
- // import mingo from 'mingo' //mingo內未更新import寫法, 會導致ERR_UNSUPPORTED_DIR_IMPORT, 故須改用require引入使用
50
- import mingo from './reqMingo.js'
51
- import size from 'lodash-es/size.js'
52
- import get from 'lodash-es/get.js'
53
- import each from 'lodash-es/each.js'
54
- import map from 'lodash-es/map.js'
55
- import merge from 'lodash-es/merge.js'
56
- import isEqual from 'lodash-es/isEqual.js'
57
- import cloneDeep from 'lodash-es/cloneDeep.js'
58
- import isestr from 'wsemi/src/isestr.mjs'
59
- import isarr from 'wsemi/src/isarr.mjs'
60
- import isearr from 'wsemi/src/isearr.mjs'
61
- import iseobj from 'wsemi/src/iseobj.mjs'
62
- import isbol from 'wsemi/src/isbol.mjs'
63
- import haskey from 'wsemi/src/haskey.mjs'
64
- import evem from 'wsemi/src/evem.mjs'
65
- import genIDSeq from 'wsemi/src/genIDSeq.mjs'
66
- import pmSeries from 'wsemi/src/pmSeries.mjs'
67
- import waitFun from 'wsemi/src/waitFun.mjs'
68
-
69
-
70
- /**
71
- * 操作資料庫(LMDB)
72
- *
73
- * @class
74
- * @param {Object} [opt={}] 輸入設定物件,預設{}
75
- * @param {String} [opt.url='_db'] 輸入資料庫用資料夾字串,預設'_db'
76
- * @param {String} [opt.db='worm'] 輸入使用資料庫名稱字串,預設'worm'
77
- * @param {String} [opt.cl='test'] 輸入使用資料表名稱字串,預設'test'
78
- * @param {Boolean} [opt.useCache=false] 輸入是否使用select快取,適用於單程序操作,預設false
79
- * @returns {Object} 回傳操作資料庫物件,各事件功能詳見說明
80
- */
81
- function WOrmLmdb(opt = {}) {
82
-
83
- //_cache
84
- let _cache = null
85
-
86
- //url
87
- let url = get(opt, 'url')
88
- if (!isestr(url)) {
89
- url = './_db'
90
- }
91
-
92
- //db
93
- let db = get(opt, 'db')
94
- if (!isestr(db)) {
95
- db = 'worm'
96
- }
97
-
98
- //cl
99
- let cl = get(opt, 'cl')
100
- if (!isestr(cl)) {
101
- cl = 'test'
102
- }
103
-
104
- //useCache
105
- let useCache = get(opt, 'useCache')
106
- if (!isbol(useCache)) {
107
- useCache = false
108
- }
109
-
110
- //storage
111
- let storage = `${url}/${db}/${cl}`
112
- // console.log('storage',storage)
113
-
114
- // client
115
- let client = open({
116
- path: storage,
117
- compression: true,
118
- useVersions: true,
119
- })
120
-
121
- //ee
122
- let ee = evem()
123
-
124
- //getData
125
- let getData = async() => {
126
-
127
- //check
128
- if (useCache &amp;&amp; isarr(_cache)) {
129
- return cloneDeep(_cache) //與外部使用數據脫勾
130
- }
131
-
132
- //waitOpen
133
- await waitOpen()
134
- // console.log('client.status',client.status)
135
-
136
- //ltdt
137
- let ltdt = []
138
- for await (let { value: dt } of client.getRange()) {
139
- // console.log('dt',dt)
140
- ltdt.push(dt)
141
- }
142
-
143
- if (useCache) {
144
- _cache = ltdt
145
- return cloneDeep(ltdt) //與外部使用數據脫勾
146
- }
147
- return ltdt
148
- }
149
-
150
- //waitOpen, 等待client開啟, 因getRange與get於client關閉時會拋錯
151
- let waitOpen = async () => {
152
- await waitFun(() => {
153
- if (client.status === 'closed') {
154
- console.log(`client.status[${client.status}], level is closed`)
155
- }
156
- return client.status === 'open'
157
- })
158
- }
159
-
160
- //getValue
161
- let getValue = async (key) => {
162
- let value = null
163
- try {
164
- value = await client.get(key)
165
- }
166
- catch (err) {
167
- // if (err.notFound) {
168
- // console.log('資料不存在')
169
- // }
170
- // else {
171
- // console.log('其他錯誤:', err)
172
- // }
173
- }
174
- return value
175
- }
176
-
177
- /**
178
- * 查詢數據
179
- *
180
- * @memberOf WOrmLmdb
181
- * @param {Object} [find={}] 輸入查詢條件物件
182
- * @returns {Promise} 回傳Promise,resolve回傳數據,reject回傳錯誤訊息
183
- */
184
- async function select(find = {}) {
185
- let isErr = false
186
- let res = null
187
-
188
- try {
189
-
190
- //ltdt
191
- let ltdt = await getData()
192
- // console.log('select ltdt',ltdt)
193
-
194
- //filter
195
- if (iseobj(find)) {
196
-
197
- //q
198
- let q = new mingo.Query(find)
199
- // console.log('q', q)
200
-
201
- //find
202
- res = q.find(ltdt).all()
203
- // console.log('select(find) ltdt',res)
204
-
205
- }
206
- else {
207
- res = ltdt
208
- }
209
-
210
- //check
211
- if (!isarr(res)) {
212
- isErr = true
213
- res = `can not select by find[${JSON.stringify(find)}]`
214
- }
215
-
216
- }
217
- catch (err) {
218
- isErr = true
219
- res = err
220
- }
221
- // console.log('res', res)
222
-
223
- //check
224
- if (isErr) {
225
- return Promise.reject(res)
226
- }
227
-
228
- return res
229
- }
230
-
231
- /**
232
- * 由主鍵id查詢單筆數據,因直接由LMDB取值,不需如select提取全表數據再過濾,故數據量大時效能較佳
233
- *
234
- * @memberOf WOrmLmdb
235
- * @param {String} id 輸入主鍵字串
236
- * @returns {Promise} 回傳Promise,resolve回傳數據物件,若無此id則回傳null,reject回傳錯誤訊息
237
- */
238
- async function selectById(id) {
239
- let isErr = false
240
- let res = null
241
-
242
- try {
243
-
244
- //check
245
- if (!isestr(id)) {
246
- //未給有效id視為查無數據
247
- return null
248
- }
249
-
250
- //waitOpen
251
- await waitOpen()
252
-
253
- //查找資料表內id
254
- let v = await getValue(id) //不會有catch
255
-
256
- //check, 判定基準與insert、save、del內對既有數據之認定一致
257
- if (iseobj(v)) {
258
- res = v
259
- }
260
- else {
261
- //不存在id, 回傳null
262
- res = null
263
- }
264
-
265
- }
266
- catch (err) {
267
- isErr = true
268
- res = err
269
- }
270
-
271
- //check
272
- if (isErr) {
273
- return Promise.reject(res)
274
- }
275
-
276
- return res
277
- }
278
-
279
- /**
280
- * 插入數據
281
- *
282
- * @memberOf WOrmLmdb
283
- * @param {Object|Array} data 輸入數據物件或陣列
284
- * @returns {Promise} 回傳Promise,resolve回傳插入結果,reject回傳錯誤訊息
285
- */
286
- async function insert(data) {
287
- let isErr = false
288
-
289
- //check
290
- if (!iseobj(data) &amp;&amp; !isearr(data)) {
291
- return {
292
- n: 0,
293
- nInserted: 0,
294
- ok: 1,
295
- }
296
- }
297
-
298
- //cloneDeep, 與外部數據脫勾
299
- data = cloneDeep(data)
300
-
301
- //res
302
- let res = null
303
- try {
304
-
305
- //check
306
- if (!isarr(data)) {
307
- data = [data]
308
- }
309
-
310
- //check id
311
- data = map(data, function(v) {
312
- if (!isestr(v.id)) {
313
- v.id = genIDSeq()
314
- }
315
- return v
316
- })
317
-
318
- //each
319
- //ifNoExists, 由LMDB於同一寫交易內原子完成[檢查v.id未存在]與[寫入], 併發時同一v.id僅有一次成功,
320
- //同批含重複v.id時亦僅首筆成功, 故不逐筆await而一次送出, 由LMDB寫執行緒依序處理並合併為批次寫交易
321
- //注意: 回調函數須為同步函數, 且client.put須於回調函數內直接呼叫,
322
- //若將client.put置於await之後, 該寫入會逸出條件批次而變成無條件寫入, 並使回傳值與實際狀態不一致
323
- let nAll = size(data)
324
- let ltdone = await Promise.all(map(data, function(v) {
325
- // console.log(v)
326
- return client.ifNoExists(v.id, () => {
327
- client.put(v.id, v)
328
- })
329
- }))
330
-
331
- //nPush
332
- let nPush = 0
333
- each(ltdone, function(done) {
334
- if (done) {
335
- //未存在v.id, 已寫入
336
- nPush++
337
- }
338
- else {
339
- //已存在v.id則不push
340
- }
341
- })
342
-
343
- //res
344
- res = {
345
- n: nAll,
346
- nInserted: nPush,
347
- ok: 1,
348
- }
349
-
350
- }
351
- catch (err) {
352
- isErr = true
353
- res = err
354
- }
355
-
356
- //update, 不能保證插入多少, 一律重設快取
357
- _cache = null
358
-
359
- //emit, 於change可能須使用select, 故須放在重設快取之後
360
- if (!isErr) {
361
- try {
362
-
363
- //emit
364
- ee.emit('change', 'insert', data, res)
365
-
366
- }
367
- catch (err) {
368
- console.log(err)
369
- }
370
- }
371
-
372
- //check
373
- if (isErr) {
374
- return Promise.reject(res)
375
- }
376
-
377
- return res
378
- }
379
-
380
- /**
381
- * 儲存數據
382
- *
383
- * @memberOf WOrmLmdb
384
- * @param {Object|Array} data 輸入數據物件或陣列
385
- * @param {Object} [option={}] 輸入設定物件,預設為{}
386
- * @param {boolean} [option.autoInsert=true] 輸入是否於儲存時發現原本無數據,則自動改以插入處理,預設為true
387
- * @returns {Promise} 回傳Promise,resolve回傳儲存結果,reject回傳錯誤訊息
388
- */
389
- async function save(data, option = {}) {
390
- let isErr = false
391
-
392
- //check
393
- if (!iseobj(data) &amp;&amp; !isearr(data)) {
394
- return []
395
- }
396
-
397
- //cloneDeep, 與外部數據脫勾
398
- data = cloneDeep(data)
399
-
400
- //autoInsert
401
- let autoInsert = get(option, 'autoInsert', true)
402
-
403
- //res
404
- let res = null
405
- try {
406
-
407
- //check
408
- if (!isarr(data)) {
409
- data = [data]
410
- }
411
-
412
- //check id
413
- data = map(data, function(v) {
414
- if (!isestr(v.id)) {
415
- v.id = genIDSeq()
416
- }
417
- return v
418
- })
419
-
420
- //pmSeries
421
- res = await pmSeries(data, async(v) => {
422
-
423
- //rest
424
- let rest = null
425
-
426
- //快速路徑, 先不開寫交易直接預讀, 內容相同者本就不須寫入, 可省去開啟寫交易之成本
427
- //預讀值縱使已被其他寫入者更動而過期亦不影響正確性, 因內容相同時本次save等價於無操作,
428
- //無操作可視為於預讀當下即已完成, 其後他人之寫入結果與[本次save先執行再輪到他人]相同
429
- let vp = await getValue(v.id) //不會有catch
430
- if (iseobj(vp) &amp;&amp; isEqual(v, vp)) {
431
- //內容相同不更新
432
- return {
433
- n: 0,
434
- nModified: 0,
435
- ok: 1,
436
- }
437
- }
438
-
439
- //existed, updated, inserted
440
- let existed = false
441
- let updated = false
442
- let inserted = false
443
-
444
- //transaction, 由LMDB於同一寫交易內原子完成[查找v.id]與[合併寫入],
445
- //併發時不會有兩方各自讀到同一舊值再各自寫入而導致遺失更新
446
- //注意: 回調函數須為同步函數, client.get於寫交易內為同步取值, 不可使用await,
447
- //若將client.get或client.put置於await之後, 該操作會逸出本交易而失去原子性
448
- await client.transaction(() => {
449
-
450
- //查找資料表內v.id
451
- let vv = client.get(v.id)
452
-
453
- //existed
454
- existed = iseobj(vv)
455
-
456
- //check
457
- if (existed) {
458
- //已存在v.id
459
- if (isEqual(v, vv)) {
460
- //內容相同不更新
461
- }
462
- else {
463
- //內容不同須更新
464
-
465
- //merge and put
466
- client.put(v.id, merge(vv, v))
467
-
468
- updated = true
469
- }
470
- }
471
- else {
472
- //內容不存在, 若autoInsert則須插入
473
- if (autoInsert) {
474
-
475
- //put
476
- client.put(v.id, v)
477
-
478
- inserted = true
479
- }
480
- }
481
-
482
- })
483
-
484
- //rest
485
- if (inserted) {
486
- //內容不存在而自動插入, 回傳形狀同insert
487
- rest = {
488
- n: 1,
489
- nInserted: 1,
490
- ok: 1,
491
- }
492
- }
493
- else if (updated) {
494
- rest = {
495
- n: 1,
496
- nModified: 1,
497
- ok: 1,
498
- }
499
- }
500
- else {
501
- //rest.n === 0:
502
- // 內容相同不更新, 不須update
503
- // 內容不存在且未開啟autoInsert
504
- rest = {
505
- n: 0,
506
- nModified: 0,
507
- ok: 1,
508
- }
509
- }
510
-
511
- //emit, 原autoInsert係轉呼叫insert故會發出insert事件, 此處維持既有行為,
512
- //須於交易外發出, 避免外部訂閱函數於寫交易內執行
513
- if (inserted) {
514
-
515
- //update, 不能保證插入多少, 一律重設快取
516
- _cache = null
517
-
518
- try {
519
-
520
- //emit
521
- ee.emit('change', 'insert', [v], rest)
522
-
523
- }
524
- catch (err) {
525
- console.log(err)
526
- }
527
-
528
- }
529
-
530
- return rest
531
- })
532
-
533
- }
534
- catch (err) {
535
- isErr = true
536
- res = err
537
- }
538
-
539
- //update, 不能保證變更多少, 一律重設快取
540
- _cache = null
541
-
542
- //emit, 於change可能須使用select, 故須放在重設快取之後
543
- if (!isErr) {
544
- try {
545
-
546
- //emit
547
- ee.emit('change', 'save', data, res)
548
-
549
- }
550
- catch (err) {
551
- console.log(err)
552
- }
553
- }
554
-
555
- //check
556
- if (isErr) {
557
- return Promise.reject(res)
558
- }
559
-
560
- return res
561
- }
562
-
563
- /**
564
- * 刪除數據
565
- *
566
- * @memberOf WOrmLmdb
567
- * @param {Object|Array} data 輸入數據物件或陣列
568
- * @returns {Promise} 回傳Promise,resolve回傳刪除結果,reject回傳錯誤訊息
569
- */
570
- async function del(data) {
571
- let isErr = false
572
-
573
- //check
574
- if (!iseobj(data) &amp;&amp; !isearr(data)) {
575
- return []
576
- }
577
-
578
- //cloneDeep, 與外部數據脫勾
579
- data = cloneDeep(data)
580
-
581
- //res
582
- let res = null
583
- try {
584
-
585
- //check
586
- if (!isarr(data)) {
587
- data = [data]
588
- }
589
-
590
- //pmSeries
591
- res = await pmSeries(data, async(v) => {
592
-
593
- //rest
594
- let rest = null
595
-
596
- //id
597
- let id = get(v, 'id', '')
598
-
599
- //check
600
- if (isestr(id)) {
601
-
602
- //查找資料表內v.id
603
- let vv = await getValue(v.id) //不會有catch
604
-
605
- //check
606
- if (iseobj(vv)) {
607
- //已存在v.id則須刪除
608
-
609
- //del
610
- await client.del(v.id)
611
-
612
- //rest
613
- rest = {
614
- n: 1,
615
- nDeleted: 1,
616
- ok: 1,
617
- }
618
-
619
- }
620
- else {
621
- //不存在v.id則不刪除
622
-
623
- //rest
624
- rest = {
625
- n: 1,
626
- nDeleted: 0,
627
- ok: 1,
628
- }
629
-
630
- }
631
-
632
- }
633
- else {
634
- //未給v.id則不刪除
635
-
636
- //rest
637
- rest = {
638
- n: 1,
639
- nDeleted: 0,
640
- ok: 0, //未給v.id視為有問題數據, 故ok給0
641
- }
642
-
643
- }
644
-
645
- return rest
646
- })
647
-
648
- }
649
- catch (err) {
650
- isErr = true
651
- res = err
652
- }
653
-
654
- //update, 不能保證刪除多少, 一律重設快取
655
- _cache = null
656
-
657
- //emit, 於change可能須使用select, 故須放在重設快取之後
658
- if (!isErr) {
659
- try {
660
-
661
- //emit
662
- ee.emit('change', 'del', data, res)
663
-
664
- }
665
- catch (err) {
666
- console.log(err)
667
- }
668
- }
669
-
670
- //check
671
- if (isErr) {
672
- return Promise.reject(res)
673
- }
674
-
675
- return res
676
- }
677
-
678
- /**
679
- * 刪除全部數據,需與del分開,避免未傳數據導致直接刪除全表
680
- *
681
- * @memberOf WOrmLmdb
682
- * @param {Object} [find={}] 輸入刪除條件物件
683
- * @returns {Promise} 回傳Promise,resolve回傳刪除結果,reject回傳錯誤訊息
684
- */
685
- async function delAll(find = {}) {
686
- let isErr = false
687
-
688
- //res
689
- let res = null
690
- try {
691
-
692
- //ltdt
693
- let ltdt = await getData()
694
-
695
- //filter
696
- let nAll = size(ltdt)
697
- let nDel = 0
698
- if (iseobj(find)) {
699
-
700
- //q
701
- let q = new mingo.Query(find)
702
- // console.log('q', q)
703
-
704
- //find
705
- let _res = q.find(ltdt).all()
706
- // console.log('_res', _res)
707
-
708
- //nDel
709
- nDel = size(_res)
710
- // console.log('nDel', nDel)
711
-
712
- if (nDel === 0) {
713
- //未有find結果等於不刪除
714
- }
715
- else if (nAll === nDel) {
716
- //全在find結果內等於全部刪除
717
-
718
- //empty
719
- for (let v of ltdt) {
720
- await client.del(v.id)
721
- }
722
-
723
- }
724
- else {
725
- //部份在find結果內
726
-
727
- //_kp
728
- let _kp = {}
729
- each(_res, (v, k) => {
730
- _kp[v.id] = { k, v }
731
- })
732
-
733
- //del
734
- for (let v of ltdt) {
735
- if (haskey(_kp, v.id)) {
736
- //在find結果內代表須刪除
737
- await client.del(v.id)
738
- }
739
- }
740
-
741
- }
742
- }
743
- else {
744
-
745
- //nDel
746
- nDel = nAll
747
-
748
- //empty
749
- for (let v of ltdt) {
750
- await client.del(v.id)
751
- }
752
-
753
- }
754
-
755
- //res
756
- res = {
757
- n: nAll,
758
- nDeleted: nDel,
759
- ok: 1,
760
- }
761
-
762
- }
763
- catch (err) {
764
- isErr = true
765
- res = err
766
- }
767
-
768
- //update, 不能保證刪除多少, 一律重設快取
769
- _cache = null
770
-
771
- //emit, 於change可能須使用select, 故須放在重設快取之後
772
- if (!isErr) {
773
- try {
774
-
775
- //emit
776
- ee.emit('change', 'delAll', null, res)
777
-
778
- }
779
- catch (err) {
780
- console.log(err)
781
- }
782
- }
783
-
784
- //check
785
- if (isErr) {
786
- return Promise.reject(res)
787
- }
788
-
789
- return res
790
- }
791
-
792
- //close, 關閉內部LMDB env並釋放檔案鎖, close後該實例即報廢, 須重新new WOrmLmdb
793
- let close = async () => {
794
- if (client &amp;&amp; client.status !== 'closed') {
795
- await client.close() //lmdb root database之close(), 回傳Promise
796
- }
797
- }
798
-
799
- //save
800
- ee.select = select
801
- ee.selectById = selectById
802
- ee.insert = insert
803
- ee.save = save
804
- ee.del = del
805
- ee.delAll = delAll
806
- ee.close = close
807
-
808
- return ee
809
- }
810
-
811
-
812
- export default WOrmLmdb
48
+ <pre class="prettyprint source linenums"><code>import { open } from 'lmdb'
49
+ // import mingo from 'mingo' //mingo內未更新import寫法, 會導致ERR_UNSUPPORTED_DIR_IMPORT, 故須改用require引入使用
50
+ import mingo from './reqMingo.js'
51
+ import size from 'lodash-es/size.js'
52
+ import get from 'lodash-es/get.js'
53
+ import each from 'lodash-es/each.js'
54
+ import map from 'lodash-es/map.js'
55
+ import merge from 'lodash-es/merge.js'
56
+ import isEqual from 'lodash-es/isEqual.js'
57
+ import cloneDeep from 'lodash-es/cloneDeep.js'
58
+ import isestr from 'wsemi/src/isestr.mjs'
59
+ import isarr from 'wsemi/src/isarr.mjs'
60
+ import isearr from 'wsemi/src/isearr.mjs'
61
+ import iseobj from 'wsemi/src/iseobj.mjs'
62
+ import isbol from 'wsemi/src/isbol.mjs'
63
+ import haskey from 'wsemi/src/haskey.mjs'
64
+ import evem from 'wsemi/src/evem.mjs'
65
+ import genIDSeq from 'wsemi/src/genIDSeq.mjs'
66
+ import pmSeries from 'wsemi/src/pmSeries.mjs'
67
+ import waitFun from 'wsemi/src/waitFun.mjs'
68
+
69
+
70
+ /**
71
+ * 操作資料庫(LMDB)
72
+ *
73
+ * @class
74
+ * @param {Object} [opt={}] 輸入設定物件,預設{}
75
+ * @param {String} [opt.url='_db'] 輸入資料庫用資料夾字串,預設'_db'
76
+ * @param {String} [opt.db='worm'] 輸入使用資料庫名稱字串,預設'worm'
77
+ * @param {String} [opt.cl='test'] 輸入使用資料表名稱字串,預設'test'
78
+ * @param {Boolean} [opt.useCache=false] 輸入是否使用select快取,適用於單程序操作,預設false
79
+ * @returns {Object} 回傳操作資料庫物件,各事件功能詳見說明
80
+ */
81
+ function WOrmLmdb(opt = {}) {
82
+
83
+ //_cache
84
+ let _cache = null
85
+
86
+ //url
87
+ let url = get(opt, 'url')
88
+ if (!isestr(url)) {
89
+ url = './_db'
90
+ }
91
+
92
+ //db
93
+ let db = get(opt, 'db')
94
+ if (!isestr(db)) {
95
+ db = 'worm'
96
+ }
97
+
98
+ //cl
99
+ let cl = get(opt, 'cl')
100
+ if (!isestr(cl)) {
101
+ cl = 'test'
102
+ }
103
+
104
+ //useCache
105
+ let useCache = get(opt, 'useCache')
106
+ if (!isbol(useCache)) {
107
+ useCache = false
108
+ }
109
+
110
+ //storage
111
+ let storage = `${url}/${db}/${cl}`
112
+ // console.log('storage',storage)
113
+
114
+ // client
115
+ let client = open({
116
+ path: storage,
117
+ compression: true,
118
+ useVersions: true,
119
+ })
120
+
121
+ //ee
122
+ let ee = evem()
123
+
124
+ //getData
125
+ let getData = async() => {
126
+
127
+ //check
128
+ if (useCache &amp;&amp; isarr(_cache)) {
129
+ return cloneDeep(_cache) //與外部使用數據脫勾
130
+ }
131
+
132
+ //waitOpen
133
+ await waitOpen()
134
+ // console.log('client.status',client.status)
135
+
136
+ //ltdt
137
+ let ltdt = []
138
+ for await (let { value: dt } of client.getRange()) {
139
+ // console.log('dt',dt)
140
+ ltdt.push(dt)
141
+ }
142
+
143
+ if (useCache) {
144
+ _cache = ltdt
145
+ return cloneDeep(ltdt) //與外部使用數據脫勾
146
+ }
147
+ return ltdt
148
+ }
149
+
150
+ //waitOpen, 等待client開啟, 因getRange與get於client關閉時會拋錯
151
+ let waitOpen = async () => {
152
+ await waitFun(() => {
153
+ if (client.status === 'closed') {
154
+ console.log(`client.status[${client.status}], level is closed`)
155
+ }
156
+ return client.status === 'open'
157
+ })
158
+ }
159
+
160
+ //getErrMsg, 取錯誤訊息字串, 供逐筆結果之err欄位使用
161
+ let getErrMsg = (err) => {
162
+ let m = get(err, 'message')
163
+ if (isestr(m)) {
164
+ return m
165
+ }
166
+ return String(err)
167
+ }
168
+
169
+ //getValue
170
+ let getValue = async (key) => {
171
+ let value = null
172
+ try {
173
+ value = await client.get(key)
174
+ }
175
+ catch (err) {
176
+ // if (err.notFound) {
177
+ // console.log('資料不存在')
178
+ // }
179
+ // else {
180
+ // console.log('其他錯誤:', err)
181
+ // }
182
+ }
183
+ return value
184
+ }
185
+
186
+ /**
187
+ * 查詢數據
188
+ *
189
+ * @memberOf WOrmLmdb
190
+ * @param {Object} [find={}] 輸入查詢條件物件
191
+ * @returns {Promise} 回傳Promise,resolve回傳數據,reject回傳錯誤訊息
192
+ */
193
+ async function select(find = {}) {
194
+ let isErr = false
195
+ let res = null
196
+
197
+ try {
198
+
199
+ //ltdt
200
+ let ltdt = await getData()
201
+ // console.log('select ltdt',ltdt)
202
+
203
+ //filter
204
+ if (iseobj(find)) {
205
+
206
+ //q
207
+ let q = new mingo.Query(find)
208
+ // console.log('q', q)
209
+
210
+ //find
211
+ res = q.find(ltdt).all()
212
+ // console.log('select(find) ltdt',res)
213
+
214
+ }
215
+ else {
216
+ res = ltdt
217
+ }
218
+
219
+ //check
220
+ if (!isarr(res)) {
221
+ isErr = true
222
+ res = `can not select by find[${JSON.stringify(find)}]`
223
+ }
224
+
225
+ }
226
+ catch (err) {
227
+ isErr = true
228
+ res = err
229
+ }
230
+ // console.log('res', res)
231
+
232
+ //check
233
+ if (isErr) {
234
+ return Promise.reject(res)
235
+ }
236
+
237
+ return res
238
+ }
239
+
240
+ /**
241
+ * 由主鍵查詢單筆數據,因直接由LMDB取值,不需如select提取全表數據再過濾,故數據量大時效能較佳
242
+ * 註: 本套件之主鍵欄位固定為id,尚未支援指定其他欄位為主鍵
243
+ *
244
+ * @memberOf WOrmLmdb
245
+ * @param {String} pk 輸入主鍵值字串,本套件之主鍵欄位為id
246
+ * @returns {Promise} 回傳Promise,resolve回傳數據物件,若無此主鍵則回傳null,reject回傳錯誤訊息
247
+ */
248
+ async function selectByPk(pk) {
249
+ let isErr = false
250
+ let res = null
251
+
252
+ try {
253
+
254
+ //check
255
+ if (!isestr(pk)) {
256
+ //未給有效主鍵值視為查無數據
257
+ return null
258
+ }
259
+
260
+ //waitOpen
261
+ await waitOpen()
262
+
263
+ //查找資料表內pk
264
+ let v = await getValue(pk) //不會有catch
265
+
266
+ //check, 判定基準與insert、save、del內對既有數據之認定一致
267
+ if (iseobj(v)) {
268
+ res = v
269
+ }
270
+ else {
271
+ //不存在此主鍵, 回傳null
272
+ res = null
273
+ }
274
+
275
+ }
276
+ catch (err) {
277
+ isErr = true
278
+ res = err
279
+ }
280
+
281
+ //check
282
+ if (isErr) {
283
+ return Promise.reject(res)
284
+ }
285
+
286
+ return res
287
+ }
288
+
289
+ /**
290
+ * 插入數據
291
+ *
292
+ * @memberOf WOrmLmdb
293
+ * @param {Object|Array} data 輸入數據物件或陣列
294
+ * @returns {Promise} 回傳Promise,resolve回傳插入結果物件{n,nInserted,ok},n為輸入筆數、nInserted為實際插入筆數,reject回傳錯誤訊息
295
+ */
296
+ async function insert(data) {
297
+ let isErr = false
298
+
299
+ //check
300
+ if (!iseobj(data) &amp;&amp; !isearr(data)) {
301
+ return {
302
+ n: 0,
303
+ nInserted: 0,
304
+ ok: 1,
305
+ }
306
+ }
307
+
308
+ //cloneDeep, 與外部數據脫勾
309
+ data = cloneDeep(data)
310
+
311
+ //res
312
+ let res = null
313
+ try {
314
+
315
+ //check
316
+ if (!isarr(data)) {
317
+ data = [data]
318
+ }
319
+
320
+ //check id
321
+ data = map(data, function(v) {
322
+ if (!isestr(v.id)) {
323
+ v.id = genIDSeq()
324
+ }
325
+ return v
326
+ })
327
+
328
+ //each
329
+ //ifNoExists, 由LMDB於同一寫交易內原子完成[檢查v.id未存在]與[寫入], 併發時同一v.id僅有一次成功,
330
+ //同批含重複v.id時亦僅首筆成功, 故不逐筆await而一次送出, 由LMDB寫執行緒依序處理並合併為批次寫交易
331
+ //注意: 回調函數須為同步函數, 且client.put須於回調函數內直接呼叫,
332
+ //若將client.put置於await之後, 該寫入會逸出條件批次而變成無條件寫入, 並使回傳值與實際狀態不一致
333
+ let nAll = size(data)
334
+ let ltdone = await Promise.all(map(data, function(v) {
335
+ // console.log(v)
336
+ return client.ifNoExists(v.id, () => {
337
+ client.put(v.id, v)
338
+ })
339
+ }))
340
+
341
+ //nPush
342
+ let nPush = 0
343
+ each(ltdone, function(done) {
344
+ if (done) {
345
+ //未存在v.id, 已寫入
346
+ nPush++
347
+ }
348
+ else {
349
+ //已存在v.id則不push
350
+ }
351
+ })
352
+
353
+ //res
354
+ res = {
355
+ n: nAll,
356
+ nInserted: nPush,
357
+ ok: 1,
358
+ }
359
+
360
+ }
361
+ catch (err) {
362
+ isErr = true
363
+ res = err
364
+ }
365
+
366
+ //update, 不能保證插入多少, 一律重設快取
367
+ _cache = null
368
+
369
+ //emit, 於change可能須使用select, 故須放在重設快取之後
370
+ if (!isErr) {
371
+ try {
372
+
373
+ //emit
374
+ ee.emit('change', 'insert', data, res)
375
+
376
+ }
377
+ catch (err) {
378
+ console.log(err)
379
+ }
380
+ }
381
+
382
+ //check
383
+ if (isErr) {
384
+ return Promise.reject(res)
385
+ }
386
+
387
+ return res
388
+ }
389
+
390
+ /**
391
+ * 儲存數據
392
+ *
393
+ * @memberOf WOrmLmdb
394
+ * @param {Object|Array} data 輸入數據物件或陣列
395
+ * @param {Object} [option={}] 輸入設定物件,預設為{}
396
+ * @param {boolean} [option.autoInsert=true] 輸入是否於儲存時發現原本無數據,則自動改以插入處理,預設為true
397
+ * @returns {Promise} 回傳Promise,resolve回傳與輸入等長之儲存結果陣列,各筆為{n,nInserted,nModified,ok},n為主鍵命中筆數,單筆失敗者ok為0並附err,reject回傳錯誤訊息
398
+ */
399
+ async function save(data, option = {}) {
400
+ let isErr = false
401
+
402
+ //check
403
+ if (!iseobj(data) &amp;&amp; !isearr(data)) {
404
+ return []
405
+ }
406
+
407
+ //cloneDeep, 與外部數據脫勾
408
+ data = cloneDeep(data)
409
+
410
+ //autoInsert
411
+ let autoInsert = get(option, 'autoInsert', true)
412
+
413
+ //res
414
+ let res = null
415
+ try {
416
+
417
+ //check
418
+ if (!isarr(data)) {
419
+ data = [data]
420
+ }
421
+
422
+ //check id
423
+ data = map(data, function(v) {
424
+ if (!isestr(v.id)) {
425
+ v.id = genIDSeq()
426
+ }
427
+ return v
428
+ })
429
+
430
+ //pmSeries
431
+ res = await pmSeries(data, async(v) => {
432
+
433
+ //rest
434
+ let rest = null
435
+
436
+ //inserted, 供emit使用
437
+ let inserted = false
438
+
439
+ try {
440
+
441
+ //快速路徑, 先不開寫交易直接預讀, 內容相同者本就不須寫入, 可省去開啟寫交易之成本
442
+ //預讀值縱使已被其他寫入者更動而過期亦不影響正確性, 因內容相同時本次save等價於無操作,
443
+ //無操作可視為於預讀當下即已完成, 其後他人之寫入結果與[本次save先執行再輪到他人]相同
444
+ //註: 預讀僅用於判斷是否略過寫入, 不用於決定寫入內容, 寫入內容一律由交易內讀到之現值決定
445
+ let vp = await getValue(v.id) //不會有catch
446
+ if (iseobj(vp) &amp;&amp; isEqual(merge({}, vp, v), vp)) {
447
+ //合併後與現值相同不須寫入, 惟已命中v.id故n為1
448
+ return {
449
+ n: 1,
450
+ nInserted: 0,
451
+ nModified: 0,
452
+ ok: 1,
453
+ }
454
+ }
455
+
456
+ //existed, updated
457
+ let existed = false
458
+ let updated = false
459
+
460
+ //transaction, 由LMDB於同一寫交易內原子完成[查找v.id]與[合併寫入],
461
+ //併發時不會有兩方各自讀到同一舊值再各自寫入而導致遺失更新
462
+ //注意: 回調函數須為同步函數, client.get於寫交易內為同步取值, 不可使用await,
463
+ //若將client.get或client.put置於await之後, 該操作會逸出本交易而失去原子性
464
+ await client.transaction(() => {
465
+
466
+ //查找資料表內v.id
467
+ let vv = client.get(v.id)
468
+
469
+ //existed
470
+ existed = iseobj(vv)
471
+
472
+ //check
473
+ if (existed) {
474
+ //已存在v.id
475
+
476
+ //vm, 合併後之結果
477
+ let vm = merge({}, vv, v)
478
+
479
+ //判定基準為[合併後結果與現值相同], 而非[待寫入物件與現值全等],
480
+ //令nModified忠實反映資料庫端是否真的寫入, 僅給部份欄位且值皆相同者不應回報已修改
481
+ if (isEqual(vm, vv)) {
482
+ //合併後與現值相同不須寫入
483
+ }
484
+ else {
485
+ //合併後與現值不同須更新
486
+
487
+ //put
488
+ client.put(v.id, vm)
489
+
490
+ updated = true
491
+ }
492
+ }
493
+ else {
494
+ //內容不存在, 若autoInsert則須插入
495
+ if (autoInsert) {
496
+
497
+ //put
498
+ client.put(v.id, v)
499
+
500
+ inserted = true
501
+ }
502
+ }
503
+
504
+ })
505
+
506
+ //rest, nInserted與nModified恆存在, 無對應行為者給0
507
+ if (inserted) {
508
+ rest = {
509
+ n: 1,
510
+ nInserted: 1,
511
+ nModified: 0,
512
+ ok: 1,
513
+ }
514
+ }
515
+ else if (updated) {
516
+ rest = {
517
+ n: 1,
518
+ nInserted: 0,
519
+ nModified: 1,
520
+ ok: 1,
521
+ }
522
+ }
523
+ else {
524
+ //未寫入, 有二:
525
+ // 已存在v.id而內容相同不更新, 已命中故n為1
526
+ // 不存在v.id且未開啟autoInsert, 未命中故n為0
527
+ //n為v.id之命中筆數, 與nModified[實際更新筆數]分屬不同語義, 不可混用
528
+ rest = {
529
+ n: existed ? 1 : 0,
530
+ nInserted: 0,
531
+ nModified: 0,
532
+ ok: 1,
533
+ }
534
+ }
535
+
536
+ }
537
+ catch (err) {
538
+
539
+ //本筆失敗不中斷整批, 以ok為0並附err回報, 由呼叫端逐筆檢查
540
+ rest = {
541
+ n: 1,
542
+ nInserted: 0,
543
+ nModified: 0,
544
+ ok: 0,
545
+ err: getErrMsg(err),
546
+ }
547
+
548
+ }
549
+
550
+ //emit, 原autoInsert係轉呼叫insert故會發出insert事件, 此處維持既有行為,
551
+ //須於交易外發出, 避免外部訂閱函數於寫交易內執行
552
+ if (inserted) {
553
+
554
+ //update, 不能保證插入多少, 一律重設快取
555
+ _cache = null
556
+
557
+ try {
558
+
559
+ //emit
560
+ ee.emit('change', 'insert', [v], rest)
561
+
562
+ }
563
+ catch (err) {
564
+ console.log(err)
565
+ }
566
+
567
+ }
568
+
569
+ return rest
570
+ })
571
+
572
+ }
573
+ catch (err) {
574
+ isErr = true
575
+ res = err
576
+ }
577
+
578
+ //update, 不能保證變更多少, 一律重設快取
579
+ _cache = null
580
+
581
+ //emit, 於change可能須使用select, 故須放在重設快取之後
582
+ if (!isErr) {
583
+ try {
584
+
585
+ //emit
586
+ ee.emit('change', 'save', data, res)
587
+
588
+ }
589
+ catch (err) {
590
+ console.log(err)
591
+ }
592
+ }
593
+
594
+ //check
595
+ if (isErr) {
596
+ return Promise.reject(res)
597
+ }
598
+
599
+ return res
600
+ }
601
+
602
+ /**
603
+ * 刪除數據
604
+ *
605
+ * @memberOf WOrmLmdb
606
+ * @param {Object|Array} data 輸入數據物件或陣列
607
+ * @returns {Promise} 回傳Promise,resolve回傳與輸入等長之刪除結果陣列,各筆為{n,nDeleted,ok},n為主鍵命中筆數,單筆失敗或未給有效id者ok為0並附err,reject回傳錯誤訊息
608
+ */
609
+ async function del(data) {
610
+ let isErr = false
611
+
612
+ //check
613
+ if (!iseobj(data) &amp;&amp; !isearr(data)) {
614
+ return []
615
+ }
616
+
617
+ //cloneDeep, 與外部數據脫勾
618
+ data = cloneDeep(data)
619
+
620
+ //res
621
+ let res = null
622
+ try {
623
+
624
+ //check
625
+ if (!isarr(data)) {
626
+ data = [data]
627
+ }
628
+
629
+ //pmSeries
630
+ res = await pmSeries(data, async(v) => {
631
+
632
+ //rest
633
+ let rest = null
634
+
635
+ try {
636
+
637
+ //id
638
+ let id = get(v, 'id', '')
639
+
640
+ //check
641
+ if (!isestr(id)) {
642
+ //未給有效v.id視為該筆數據有問題而無法處理, 以ok為0並附err回報,
643
+ //與[已給v.id但查無數據]之ok為1有別, 二者須可由ok分辨
644
+ return {
645
+ n: 0,
646
+ nDeleted: 0,
647
+ ok: 0,
648
+ err: `can not delete by invalid id[${id}]`,
649
+ }
650
+ }
651
+
652
+ //查找資料表內v.id
653
+ let vv = await getValue(id) //不會有catch
654
+
655
+ //check
656
+ if (iseobj(vv)) {
657
+ //已存在v.id則須刪除
658
+
659
+ //del
660
+ await client.del(id)
661
+
662
+ //rest
663
+ rest = {
664
+ n: 1,
665
+ nDeleted: 1,
666
+ ok: 1,
667
+ }
668
+
669
+ }
670
+ else {
671
+ //不存在v.id則不刪除, 未命中故n為0
672
+ rest = {
673
+ n: 0,
674
+ nDeleted: 0,
675
+ ok: 1,
676
+ }
677
+
678
+ }
679
+
680
+ }
681
+ catch (err) {
682
+
683
+ //本筆失敗不中斷整批, 以ok為0並附err回報, 由呼叫端逐筆檢查
684
+ rest = {
685
+ n: 1,
686
+ nDeleted: 0,
687
+ ok: 0,
688
+ err: getErrMsg(err),
689
+ }
690
+
691
+ }
692
+
693
+ return rest
694
+ })
695
+
696
+ }
697
+ catch (err) {
698
+ isErr = true
699
+ res = err
700
+ }
701
+
702
+ //update, 不能保證刪除多少, 一律重設快取
703
+ _cache = null
704
+
705
+ //emit, 於change可能須使用select, 故須放在重設快取之後
706
+ if (!isErr) {
707
+ try {
708
+
709
+ //emit
710
+ ee.emit('change', 'del', data, res)
711
+
712
+ }
713
+ catch (err) {
714
+ console.log(err)
715
+ }
716
+ }
717
+
718
+ //check
719
+ if (isErr) {
720
+ return Promise.reject(res)
721
+ }
722
+
723
+ return res
724
+ }
725
+
726
+ /**
727
+ * 刪除全部數據,需與del分開,避免未傳數據導致直接刪除全表
728
+ *
729
+ * @memberOf WOrmLmdb
730
+ * @param {Object} [find={}] 輸入刪除條件物件
731
+ * @returns {Promise} 回傳Promise,resolve回傳刪除結果物件{n,nDeleted,ok},n與nDeleted同為實際刪除筆數,reject回傳錯誤訊息
732
+ */
733
+ async function delAll(find = {}) {
734
+ let isErr = false
735
+
736
+ //res
737
+ let res = null
738
+ try {
739
+
740
+ //ltdt
741
+ let ltdt = await getData()
742
+
743
+ //filter
744
+ let nAll = size(ltdt)
745
+ let nDel = 0
746
+ if (iseobj(find)) {
747
+
748
+ //q
749
+ let q = new mingo.Query(find)
750
+ // console.log('q', q)
751
+
752
+ //find
753
+ let _res = q.find(ltdt).all()
754
+ // console.log('_res', _res)
755
+
756
+ //nDel
757
+ nDel = size(_res)
758
+ // console.log('nDel', nDel)
759
+
760
+ if (nDel === 0) {
761
+ //未有find結果等於不刪除
762
+ }
763
+ else if (nAll === nDel) {
764
+ //全在find結果內等於全部刪除
765
+
766
+ //empty
767
+ for (let v of ltdt) {
768
+ await client.del(v.id)
769
+ }
770
+
771
+ }
772
+ else {
773
+ //部份在find結果內
774
+
775
+ //_kp
776
+ let _kp = {}
777
+ each(_res, (v, k) => {
778
+ _kp[v.id] = { k, v }
779
+ })
780
+
781
+ //del
782
+ for (let v of ltdt) {
783
+ if (haskey(_kp, v.id)) {
784
+ //在find結果內代表須刪除
785
+ await client.del(v.id)
786
+ }
787
+ }
788
+
789
+ }
790
+ }
791
+ else {
792
+
793
+ //nDel
794
+ nDel = nAll
795
+
796
+ //empty
797
+ for (let v of ltdt) {
798
+ await client.del(v.id)
799
+ }
800
+
801
+ }
802
+
803
+ //res, n為實際刪除筆數而非全表筆數, 故與nDeleted同值
804
+ res = {
805
+ n: nDel,
806
+ nDeleted: nDel,
807
+ ok: 1,
808
+ }
809
+
810
+ }
811
+ catch (err) {
812
+ isErr = true
813
+ res = err
814
+ }
815
+
816
+ //update, 不能保證刪除多少, 一律重設快取
817
+ _cache = null
818
+
819
+ //emit, 於change可能須使用select, 故須放在重設快取之後
820
+ if (!isErr) {
821
+ try {
822
+
823
+ //emit
824
+ ee.emit('change', 'delAll', null, res)
825
+
826
+ }
827
+ catch (err) {
828
+ console.log(err)
829
+ }
830
+ }
831
+
832
+ //check
833
+ if (isErr) {
834
+ return Promise.reject(res)
835
+ }
836
+
837
+ return res
838
+ }
839
+
840
+ //close, 關閉內部LMDB env並釋放檔案鎖, close後該實例即報廢, 須重新new WOrmLmdb
841
+ let close = async () => {
842
+ if (client &amp;&amp; client.status !== 'closed') {
843
+ await client.close() //lmdb root database之close(), 回傳Promise
844
+ }
845
+ }
846
+
847
+ //save
848
+ ee.select = select
849
+ ee.selectByPk = selectByPk
850
+ ee.insert = insert
851
+ ee.save = save
852
+ ee.del = del
853
+ ee.delAll = delAll
854
+ ee.close = close
855
+
856
+ return ee
857
+ }
858
+
859
+
860
+ export default WOrmLmdb
813
861
  </code></pre>
814
862
  </article>
815
863
  </section>
@@ -824,7 +872,7 @@ export default WOrmLmdb
824
872
  <br class="clear">
825
873
 
826
874
  <footer>
827
- Documentation generated by <a href="https://github.com/jsdoc3/jsdoc">JSDoc 4.0.5</a> on Sun Aug 16 2026 16:58:57 GMT+0800 (台北標準時間) using the <a href="https://github.com/clenemt/docdash">docdash</a> theme.
875
+ Documentation generated by <a href="https://github.com/jsdoc3/jsdoc">JSDoc 4.0.5</a> on Sun Aug 16 2026 23:16:22 GMT+0800 (台北標準時間) using the <a href="https://github.com/clenemt/docdash">docdash</a> theme.
828
876
  </footer>
829
877
 
830
878
  <script>prettyPrint();</script>