w-orm-lmdb 1.0.12 → 1.0.13

This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
@@ -45,771 +45,818 @@
45
45
 
46
46
  <section>
47
47
  <article>
48
- <pre class="prettyprint source linenums"><code>import { open } from 'lmdb'
49
- // import mingo from 'mingo' //mingo內未更新import寫法, 會導致ERR_UNSUPPORTED_DIR_IMPORT, 故須改用require引入使用
50
- import mingo from './reqMingo.js'
51
- import size from 'lodash-es/size.js'
52
- import get from 'lodash-es/get.js'
53
- import each from 'lodash-es/each.js'
54
- import map from 'lodash-es/map.js'
55
- import merge from 'lodash-es/merge.js'
56
- import isEqual from 'lodash-es/isEqual.js'
57
- import cloneDeep from 'lodash-es/cloneDeep.js'
58
- import isestr from 'wsemi/src/isestr.mjs'
59
- import isarr from 'wsemi/src/isarr.mjs'
60
- import isearr from 'wsemi/src/isearr.mjs'
61
- import iseobj from 'wsemi/src/iseobj.mjs'
62
- import isbol from 'wsemi/src/isbol.mjs'
63
- import haskey from 'wsemi/src/haskey.mjs'
64
- import evem from 'wsemi/src/evem.mjs'
65
- import genIDSeq from 'wsemi/src/genIDSeq.mjs'
66
- import pmSeries from 'wsemi/src/pmSeries.mjs'
67
- import waitFun from 'wsemi/src/waitFun.mjs'
68
-
69
-
70
- /**
71
- * 操作資料庫(LMDB)
72
- *
73
- * @class
74
- * @param {Object} [opt={}] 輸入設定物件,預設{}
75
- * @param {String} [opt.url='_db'] 輸入資料庫用資料夾字串,預設'_db'
76
- * @param {String} [opt.db='worm'] 輸入使用資料庫名稱字串,預設'worm'
77
- * @param {String} [opt.cl='test'] 輸入使用資料表名稱字串,預設'test'
78
- * @param {Boolean} [opt.useCache=false] 輸入是否使用select快取,適用於單程序操作,預設false
79
- * @returns {Object} 回傳操作資料庫物件,各事件功能詳見說明
80
- */
81
- function WOrmLmdb(opt = {}) {
82
-
83
- //_cache
84
- let _cache = null
85
-
86
- //url
87
- let url = get(opt, 'url')
88
- if (!isestr(url)) {
89
- url = './_db'
90
- }
91
-
92
- //db
93
- let db = get(opt, 'db')
94
- if (!isestr(db)) {
95
- db = 'worm'
96
- }
97
-
98
- //cl
99
- let cl = get(opt, 'cl')
100
- if (!isestr(cl)) {
101
- cl = 'test'
102
- }
103
-
104
- //useCache
105
- let useCache = get(opt, 'useCache')
106
- if (!isbol(useCache)) {
107
- useCache = false
108
- }
109
-
110
- //storage
111
- let storage = `${url}/${db}/${cl}`
112
- // console.log('storage',storage)
113
-
114
- // client
115
- let client = open({
116
- path: storage,
117
- compression: true,
118
- useVersions: true,
119
- })
120
-
121
- //ee
122
- let ee = evem()
123
-
124
- //getData
125
- let getData = async() => {
126
-
127
- //check
128
- if (useCache &amp;&amp; isarr(_cache)) {
129
- return cloneDeep(_cache) //與外部使用數據脫勾
130
- }
131
-
132
- //waitOpen
133
- await waitOpen()
134
- // console.log('client.status',client.status)
135
-
136
- //ltdt
137
- let ltdt = []
138
- for await (let { value: dt } of client.getRange()) {
139
- // console.log('dt',dt)
140
- ltdt.push(dt)
141
- }
142
-
143
- if (useCache) {
144
- _cache = ltdt
145
- return cloneDeep(ltdt) //與外部使用數據脫勾
146
- }
147
- return ltdt
148
- }
149
-
150
- //waitOpen, 等待client開啟, 因getRange與get於client關閉時會拋錯
151
- let waitOpen = async () => {
152
- await waitFun(() => {
153
- if (client.status === 'closed') {
154
- console.log(`client.status[${client.status}], level is closed`)
155
- }
156
- return client.status === 'open'
157
- })
158
- }
159
-
160
- //getValue
161
- let getValue = async (key) => {
162
- let value = null
163
- try {
164
- value = await client.get(key)
165
- }
166
- catch (err) {
167
- // if (err.notFound) {
168
- // console.log('資料不存在')
169
- // }
170
- // else {
171
- // console.log('其他錯誤:', err)
172
- // }
173
- }
174
- return value
175
- }
176
-
177
- /**
178
- * 查詢數據
179
- *
180
- * @memberOf WOrmLmdb
181
- * @param {Object} [find={}] 輸入查詢條件物件
182
- * @returns {Promise} 回傳Promise,resolve回傳數據,reject回傳錯誤訊息
183
- */
184
- async function select(find = {}) {
185
- let isErr = false
186
- let res = null
187
-
188
- try {
189
-
190
- //ltdt
191
- let ltdt = await getData()
192
- // console.log('select ltdt',ltdt)
193
-
194
- //filter
195
- if (iseobj(find)) {
196
-
197
- //q
198
- let q = new mingo.Query(find)
199
- // console.log('q', q)
200
-
201
- //find
202
- res = q.find(ltdt).all()
203
- // console.log('select(find) ltdt',res)
204
-
205
- }
206
- else {
207
- res = ltdt
208
- }
209
-
210
- //check
211
- if (!isarr(res)) {
212
- isErr = true
213
- res = `can not select by find[${JSON.stringify(find)}]`
214
- }
215
-
216
- }
217
- catch (err) {
218
- isErr = true
219
- res = err
220
- }
221
- // console.log('res', res)
222
-
223
- //check
224
- if (isErr) {
225
- return Promise.reject(res)
226
- }
227
-
228
- return res
229
- }
230
-
231
- /**
232
- * 由主鍵id查詢單筆數據,因直接由LMDB取值,不需如select提取全表數據再過濾,故數據量大時效能較佳
233
- *
234
- * @memberOf WOrmLmdb
235
- * @param {String} id 輸入主鍵字串
236
- * @returns {Promise} 回傳Promise,resolve回傳數據物件,若無此id則回傳null,reject回傳錯誤訊息
237
- */
238
- async function selectById(id) {
239
- let isErr = false
240
- let res = null
241
-
242
- try {
243
-
244
- //check
245
- if (!isestr(id)) {
246
- //未給有效id視為查無數據
247
- return null
248
- }
249
-
250
- //waitOpen
251
- await waitOpen()
252
-
253
- //查找資料表內id
254
- let v = await getValue(id) //不會有catch
255
-
256
- //check, 判定基準與insert、save、del內對既有數據之認定一致
257
- if (iseobj(v)) {
258
- res = v
259
- }
260
- else {
261
- //不存在id, 回傳null
262
- res = null
263
- }
264
-
265
- }
266
- catch (err) {
267
- isErr = true
268
- res = err
269
- }
270
-
271
- //check
272
- if (isErr) {
273
- return Promise.reject(res)
274
- }
275
-
276
- return res
277
- }
278
-
279
- /**
280
- * 插入數據
281
- *
282
- * @memberOf WOrmLmdb
283
- * @param {Object|Array} data 輸入數據物件或陣列
284
- * @returns {Promise} 回傳Promise,resolve回傳插入結果,reject回傳錯誤訊息
285
- */
286
- async function insert(data) {
287
- let isErr = false
288
-
289
- //check
290
- if (!iseobj(data) &amp;&amp; !isearr(data)) {
291
- return {
292
- n: 0,
293
- nInserted: 0,
294
- ok: 1,
295
- }
296
- }
297
-
298
- //cloneDeep, 與外部數據脫勾
299
- data = cloneDeep(data)
300
-
301
- //res
302
- let res = null
303
- try {
304
-
305
- //check
306
- if (!isarr(data)) {
307
- data = [data]
308
- }
309
-
310
- //check id
311
- data = map(data, function(v) {
312
- if (!isestr(v.id)) {
313
- v.id = genIDSeq()
314
- }
315
- return v
316
- })
317
-
318
- //each
319
- //ifNoExists, 由LMDB於同一寫交易內原子完成[檢查v.id未存在]與[寫入], 併發時同一v.id僅有一次成功,
320
- //同批含重複v.id時亦僅首筆成功, 故不逐筆await而一次送出, 由LMDB寫執行緒依序處理並合併為批次寫交易
321
- //注意: 回調函數須為同步函數, 且client.put須於回調函數內直接呼叫,
322
- //若將client.put置於await之後, 該寫入會逸出條件批次而變成無條件寫入, 並使回傳值與實際狀態不一致
323
- let nAll = size(data)
324
- let ltdone = await Promise.all(map(data, function(v) {
325
- // console.log(v)
326
- return client.ifNoExists(v.id, () => {
327
- client.put(v.id, v)
328
- })
329
- }))
330
-
331
- //nPush
332
- let nPush = 0
333
- each(ltdone, function(done) {
334
- if (done) {
335
- //未存在v.id, 已寫入
336
- nPush++
337
- }
338
- else {
339
- //已存在v.id則不push
340
- }
341
- })
342
-
343
- //res
344
- res = {
345
- n: nAll,
346
- nInserted: nPush,
347
- ok: 1,
348
- }
349
-
350
- }
351
- catch (err) {
352
- isErr = true
353
- res = err
354
- }
355
-
356
- //update, 不能保證插入多少, 一律重設快取
357
- _cache = null
358
-
359
- //emit, 於change可能須使用select, 故須放在重設快取之後
360
- if (!isErr) {
361
- try {
362
-
363
- //emit
364
- ee.emit('change', 'insert', data, res)
365
-
366
- }
367
- catch (err) {
368
- console.log(err)
369
- }
370
- }
371
-
372
- //check
373
- if (isErr) {
374
- return Promise.reject(res)
375
- }
376
-
377
- return res
378
- }
379
-
380
- /**
381
- * 儲存數據
382
- *
383
- * @memberOf WOrmLmdb
384
- * @param {Object|Array} data 輸入數據物件或陣列
385
- * @param {Object} [option={}] 輸入設定物件,預設為{}
386
- * @param {boolean} [option.autoInsert=true] 輸入是否於儲存時發現原本無數據,則自動改以插入處理,預設為true
387
- * @returns {Promise} 回傳Promise,resolve回傳儲存結果,reject回傳錯誤訊息
388
- */
389
- async function save(data, option = {}) {
390
- let isErr = false
391
-
392
- //check
393
- if (!iseobj(data) &amp;&amp; !isearr(data)) {
394
- return []
395
- }
396
-
397
- //cloneDeep, 與外部數據脫勾
398
- data = cloneDeep(data)
399
-
400
- //autoInsert
401
- let autoInsert = get(option, 'autoInsert', true)
402
-
403
- //res
404
- let res = null
405
- try {
406
-
407
- //check
408
- if (!isarr(data)) {
409
- data = [data]
410
- }
411
-
412
- //check id
413
- data = map(data, function(v) {
414
- if (!isestr(v.id)) {
415
- v.id = genIDSeq()
416
- }
417
- return v
418
- })
419
-
420
- //pmSeries
421
- res = await pmSeries(data, async(v) => {
422
-
423
- //rest
424
- let rest = null
425
-
426
- //快速路徑, 先不開寫交易直接預讀, 內容相同者本就不須寫入, 可省去開啟寫交易之成本
427
- //預讀值縱使已被其他寫入者更動而過期亦不影響正確性, 因內容相同時本次save等價於無操作,
428
- //無操作可視為於預讀當下即已完成, 其後他人之寫入結果與[本次save先執行再輪到他人]相同
429
- let vp = await getValue(v.id) //不會有catch
430
- if (iseobj(vp) &amp;&amp; isEqual(v, vp)) {
431
- //內容相同不更新
432
- return {
433
- n: 0,
434
- nModified: 0,
435
- ok: 1,
436
- }
437
- }
438
-
439
- //existed, updated, inserted
440
- let existed = false
441
- let updated = false
442
- let inserted = false
443
-
444
- //transaction, 由LMDB於同一寫交易內原子完成[查找v.id]與[合併寫入],
445
- //併發時不會有兩方各自讀到同一舊值再各自寫入而導致遺失更新
446
- //注意: 回調函數須為同步函數, client.get於寫交易內為同步取值, 不可使用await,
447
- //若將client.get或client.put置於await之後, 該操作會逸出本交易而失去原子性
448
- await client.transaction(() => {
449
-
450
- //查找資料表內v.id
451
- let vv = client.get(v.id)
452
-
453
- //existed
454
- existed = iseobj(vv)
455
-
456
- //check
457
- if (existed) {
458
- //已存在v.id
459
- if (isEqual(v, vv)) {
460
- //內容相同不更新
461
- }
462
- else {
463
- //內容不同須更新
464
-
465
- //merge and put
466
- client.put(v.id, merge(vv, v))
467
-
468
- updated = true
469
- }
470
- }
471
- else {
472
- //內容不存在, 若autoInsert則須插入
473
- if (autoInsert) {
474
-
475
- //put
476
- client.put(v.id, v)
477
-
478
- inserted = true
479
- }
480
- }
481
-
482
- })
483
-
484
- //rest
485
- if (inserted) {
486
- //內容不存在而自動插入, 回傳形狀同insert
487
- rest = {
488
- n: 1,
489
- nInserted: 1,
490
- ok: 1,
491
- }
492
- }
493
- else if (updated) {
494
- rest = {
495
- n: 1,
496
- nModified: 1,
497
- ok: 1,
498
- }
499
- }
500
- else {
501
- //rest.n === 0:
502
- // 內容相同不更新, 不須update
503
- // 內容不存在且未開啟autoInsert
504
- rest = {
505
- n: 0,
506
- nModified: 0,
507
- ok: 1,
508
- }
509
- }
510
-
511
- //emit, 原autoInsert係轉呼叫insert故會發出insert事件, 此處維持既有行為,
512
- //須於交易外發出, 避免外部訂閱函數於寫交易內執行
513
- if (inserted) {
514
-
515
- //update, 不能保證插入多少, 一律重設快取
516
- _cache = null
517
-
518
- try {
519
-
520
- //emit
521
- ee.emit('change', 'insert', [v], rest)
522
-
523
- }
524
- catch (err) {
525
- console.log(err)
526
- }
527
-
528
- }
529
-
530
- return rest
531
- })
532
-
533
- }
534
- catch (err) {
535
- isErr = true
536
- res = err
537
- }
538
-
539
- //update, 不能保證變更多少, 一律重設快取
540
- _cache = null
541
-
542
- //emit, 於change可能須使用select, 故須放在重設快取之後
543
- if (!isErr) {
544
- try {
545
-
546
- //emit
547
- ee.emit('change', 'save', data, res)
548
-
549
- }
550
- catch (err) {
551
- console.log(err)
552
- }
553
- }
554
-
555
- //check
556
- if (isErr) {
557
- return Promise.reject(res)
558
- }
559
-
560
- return res
561
- }
562
-
563
- /**
564
- * 刪除數據
565
- *
566
- * @memberOf WOrmLmdb
567
- * @param {Object|Array} data 輸入數據物件或陣列
568
- * @returns {Promise} 回傳Promise,resolve回傳刪除結果,reject回傳錯誤訊息
569
- */
570
- async function del(data) {
571
- let isErr = false
572
-
573
- //check
574
- if (!iseobj(data) &amp;&amp; !isearr(data)) {
575
- return []
576
- }
577
-
578
- //cloneDeep, 與外部數據脫勾
579
- data = cloneDeep(data)
580
-
581
- //res
582
- let res = null
583
- try {
584
-
585
- //check
586
- if (!isarr(data)) {
587
- data = [data]
588
- }
589
-
590
- //pmSeries
591
- res = await pmSeries(data, async(v) => {
592
-
593
- //rest
594
- let rest = null
595
-
596
- //id
597
- let id = get(v, 'id', '')
598
-
599
- //check
600
- if (isestr(id)) {
601
-
602
- //查找資料表內v.id
603
- let vv = await getValue(v.id) //不會有catch
604
-
605
- //check
606
- if (iseobj(vv)) {
607
- //已存在v.id則須刪除
608
-
609
- //del
610
- await client.del(v.id)
611
-
612
- //rest
613
- rest = {
614
- n: 1,
615
- nDeleted: 1,
616
- ok: 1,
617
- }
618
-
619
- }
620
- else {
621
- //不存在v.id則不刪除
622
-
623
- //rest
624
- rest = {
625
- n: 1,
626
- nDeleted: 0,
627
- ok: 1,
628
- }
629
-
630
- }
631
-
632
- }
633
- else {
634
- //未給v.id則不刪除
635
-
636
- //rest
637
- rest = {
638
- n: 1,
639
- nDeleted: 0,
640
- ok: 0, //未給v.id視為有問題數據, 故ok給0
641
- }
642
-
643
- }
644
-
645
- return rest
646
- })
647
-
648
- }
649
- catch (err) {
650
- isErr = true
651
- res = err
652
- }
653
-
654
- //update, 不能保證刪除多少, 一律重設快取
655
- _cache = null
656
-
657
- //emit, 於change可能須使用select, 故須放在重設快取之後
658
- if (!isErr) {
659
- try {
660
-
661
- //emit
662
- ee.emit('change', 'del', data, res)
663
-
664
- }
665
- catch (err) {
666
- console.log(err)
667
- }
668
- }
669
-
670
- //check
671
- if (isErr) {
672
- return Promise.reject(res)
673
- }
674
-
675
- return res
676
- }
677
-
678
- /**
679
- * 刪除全部數據,需與del分開,避免未傳數據導致直接刪除全表
680
- *
681
- * @memberOf WOrmLmdb
682
- * @param {Object} [find={}] 輸入刪除條件物件
683
- * @returns {Promise} 回傳Promise,resolve回傳刪除結果,reject回傳錯誤訊息
684
- */
685
- async function delAll(find = {}) {
686
- let isErr = false
687
-
688
- //res
689
- let res = null
690
- try {
691
-
692
- //ltdt
693
- let ltdt = await getData()
694
-
695
- //filter
696
- let nAll = size(ltdt)
697
- let nDel = 0
698
- if (iseobj(find)) {
699
-
700
- //q
701
- let q = new mingo.Query(find)
702
- // console.log('q', q)
703
-
704
- //find
705
- let _res = q.find(ltdt).all()
706
- // console.log('_res', _res)
707
-
708
- //nDel
709
- nDel = size(_res)
710
- // console.log('nDel', nDel)
711
-
712
- if (nDel === 0) {
713
- //未有find結果等於不刪除
714
- }
715
- else if (nAll === nDel) {
716
- //全在find結果內等於全部刪除
717
-
718
- //empty
719
- for (let v of ltdt) {
720
- await client.del(v.id)
721
- }
722
-
723
- }
724
- else {
725
- //部份在find結果內
726
-
727
- //_kp
728
- let _kp = {}
729
- each(_res, (v, k) => {
730
- _kp[v.id] = { k, v }
731
- })
732
-
733
- //del
734
- for (let v of ltdt) {
735
- if (haskey(_kp, v.id)) {
736
- //在find結果內代表須刪除
737
- await client.del(v.id)
738
- }
739
- }
740
-
741
- }
742
- }
743
- else {
744
-
745
- //nDel
746
- nDel = nAll
747
-
748
- //empty
749
- for (let v of ltdt) {
750
- await client.del(v.id)
751
- }
752
-
753
- }
754
-
755
- //res
756
- res = {
757
- n: nAll,
758
- nDeleted: nDel,
759
- ok: 1,
760
- }
761
-
762
- }
763
- catch (err) {
764
- isErr = true
765
- res = err
766
- }
767
-
768
- //update, 不能保證刪除多少, 一律重設快取
769
- _cache = null
770
-
771
- //emit, 於change可能須使用select, 故須放在重設快取之後
772
- if (!isErr) {
773
- try {
774
-
775
- //emit
776
- ee.emit('change', 'delAll', null, res)
777
-
778
- }
779
- catch (err) {
780
- console.log(err)
781
- }
782
- }
783
-
784
- //check
785
- if (isErr) {
786
- return Promise.reject(res)
787
- }
788
-
789
- return res
790
- }
791
-
792
- //close, 關閉內部LMDB env並釋放檔案鎖, close後該實例即報廢, 須重新new WOrmLmdb
793
- let close = async () => {
794
- if (client &amp;&amp; client.status !== 'closed') {
795
- await client.close() //lmdb root database之close(), 回傳Promise
796
- }
797
- }
798
-
799
- //save
800
- ee.select = select
801
- ee.selectById = selectById
802
- ee.insert = insert
803
- ee.save = save
804
- ee.del = del
805
- ee.delAll = delAll
806
- ee.close = close
807
-
808
- return ee
809
- }
810
-
811
-
812
- export default WOrmLmdb
48
+ <pre class="prettyprint source linenums"><code>import { open } from 'lmdb'
49
+ // import mingo from 'mingo' //mingo內未更新import寫法, 會導致ERR_UNSUPPORTED_DIR_IMPORT, 故須改用require引入使用
50
+ import mingo from './reqMingo.js'
51
+ import size from 'lodash-es/size.js'
52
+ import get from 'lodash-es/get.js'
53
+ import each from 'lodash-es/each.js'
54
+ import map from 'lodash-es/map.js'
55
+ import merge from 'lodash-es/merge.js'
56
+ import isEqual from 'lodash-es/isEqual.js'
57
+ import cloneDeep from 'lodash-es/cloneDeep.js'
58
+ import isestr from 'wsemi/src/isestr.mjs'
59
+ import isarr from 'wsemi/src/isarr.mjs'
60
+ import isearr from 'wsemi/src/isearr.mjs'
61
+ import iseobj from 'wsemi/src/iseobj.mjs'
62
+ import isbol from 'wsemi/src/isbol.mjs'
63
+ import haskey from 'wsemi/src/haskey.mjs'
64
+ import evem from 'wsemi/src/evem.mjs'
65
+ import genIDSeq from 'wsemi/src/genIDSeq.mjs'
66
+ import pmSeries from 'wsemi/src/pmSeries.mjs'
67
+ import waitFun from 'wsemi/src/waitFun.mjs'
68
+
69
+
70
+ /**
71
+ * 操作資料庫(LMDB)
72
+ *
73
+ * @class
74
+ * @param {Object} [opt={}] 輸入設定物件,預設{}
75
+ * @param {String} [opt.url='_db'] 輸入資料庫用資料夾字串,預設'_db'
76
+ * @param {String} [opt.db='worm'] 輸入使用資料庫名稱字串,預設'worm'
77
+ * @param {String} [opt.cl='test'] 輸入使用資料表名稱字串,預設'test'
78
+ * @param {Boolean} [opt.useCache=false] 輸入是否使用select快取,適用於單程序操作,預設false
79
+ * @returns {Object} 回傳操作資料庫物件,各事件功能詳見說明
80
+ */
81
+ function WOrmLmdb(opt = {}) {
82
+
83
+ //_cache
84
+ let _cache = null
85
+
86
+ //url
87
+ let url = get(opt, 'url')
88
+ if (!isestr(url)) {
89
+ url = './_db'
90
+ }
91
+
92
+ //db
93
+ let db = get(opt, 'db')
94
+ if (!isestr(db)) {
95
+ db = 'worm'
96
+ }
97
+
98
+ //cl
99
+ let cl = get(opt, 'cl')
100
+ if (!isestr(cl)) {
101
+ cl = 'test'
102
+ }
103
+
104
+ //useCache
105
+ let useCache = get(opt, 'useCache')
106
+ if (!isbol(useCache)) {
107
+ useCache = false
108
+ }
109
+
110
+ //storage
111
+ let storage = `${url}/${db}/${cl}`
112
+ // console.log('storage',storage)
113
+
114
+ // client
115
+ let client = open({
116
+ path: storage,
117
+ compression: true,
118
+ useVersions: true,
119
+ })
120
+
121
+ //ee
122
+ let ee = evem()
123
+
124
+ //getData
125
+ let getData = async() => {
126
+
127
+ //check
128
+ if (useCache &amp;&amp; isarr(_cache)) {
129
+ return cloneDeep(_cache) //與外部使用數據脫勾
130
+ }
131
+
132
+ //waitOpen
133
+ await waitOpen()
134
+ // console.log('client.status',client.status)
135
+
136
+ //ltdt
137
+ let ltdt = []
138
+ for await (let { value: dt } of client.getRange()) {
139
+ // console.log('dt',dt)
140
+ ltdt.push(dt)
141
+ }
142
+
143
+ if (useCache) {
144
+ _cache = ltdt
145
+ return cloneDeep(ltdt) //與外部使用數據脫勾
146
+ }
147
+ return ltdt
148
+ }
149
+
150
+ //waitOpen, 等待client開啟, 因getRange與get於client關閉時會拋錯
151
+ let waitOpen = async () => {
152
+ await waitFun(() => {
153
+ if (client.status === 'closed') {
154
+ console.log(`client.status[${client.status}], level is closed`)
155
+ }
156
+ return client.status === 'open'
157
+ })
158
+ }
159
+
160
+ //getErrMsg, 取錯誤訊息字串, 供逐筆結果之err欄位使用
161
+ let getErrMsg = (err) => {
162
+ let m = get(err, 'message')
163
+ if (isestr(m)) {
164
+ return m
165
+ }
166
+ return String(err)
167
+ }
168
+
169
+ //getValue
170
+ let getValue = async (key) => {
171
+ let value = null
172
+ try {
173
+ value = await client.get(key)
174
+ }
175
+ catch (err) {
176
+ // if (err.notFound) {
177
+ // console.log('資料不存在')
178
+ // }
179
+ // else {
180
+ // console.log('其他錯誤:', err)
181
+ // }
182
+ }
183
+ return value
184
+ }
185
+
186
+ /**
187
+ * 查詢數據
188
+ *
189
+ * @memberOf WOrmLmdb
190
+ * @param {Object} [find={}] 輸入查詢條件物件
191
+ * @returns {Promise} 回傳Promise,resolve回傳數據,reject回傳錯誤訊息
192
+ */
193
+ async function select(find = {}) {
194
+ let isErr = false
195
+ let res = null
196
+
197
+ try {
198
+
199
+ //ltdt
200
+ let ltdt = await getData()
201
+ // console.log('select ltdt',ltdt)
202
+
203
+ //filter
204
+ if (iseobj(find)) {
205
+
206
+ //q
207
+ let q = new mingo.Query(find)
208
+ // console.log('q', q)
209
+
210
+ //find
211
+ res = q.find(ltdt).all()
212
+ // console.log('select(find) ltdt',res)
213
+
214
+ }
215
+ else {
216
+ res = ltdt
217
+ }
218
+
219
+ //check
220
+ if (!isarr(res)) {
221
+ isErr = true
222
+ res = `can not select by find[${JSON.stringify(find)}]`
223
+ }
224
+
225
+ }
226
+ catch (err) {
227
+ isErr = true
228
+ res = err
229
+ }
230
+ // console.log('res', res)
231
+
232
+ //check
233
+ if (isErr) {
234
+ return Promise.reject(res)
235
+ }
236
+
237
+ return res
238
+ }
239
+
240
+ /**
241
+ * 由主鍵id查詢單筆數據,因直接由LMDB取值,不需如select提取全表數據再過濾,故數據量大時效能較佳
242
+ *
243
+ * @memberOf WOrmLmdb
244
+ * @param {String} id 輸入主鍵字串
245
+ * @returns {Promise} 回傳Promise,resolve回傳數據物件,若無此id則回傳null,reject回傳錯誤訊息
246
+ */
247
+ async function selectById(id) {
248
+ let isErr = false
249
+ let res = null
250
+
251
+ try {
252
+
253
+ //check
254
+ if (!isestr(id)) {
255
+ //未給有效id視為查無數據
256
+ return null
257
+ }
258
+
259
+ //waitOpen
260
+ await waitOpen()
261
+
262
+ //查找資料表內id
263
+ let v = await getValue(id) //不會有catch
264
+
265
+ //check, 判定基準與insert、save、del內對既有數據之認定一致
266
+ if (iseobj(v)) {
267
+ res = v
268
+ }
269
+ else {
270
+ //不存在id, 回傳null
271
+ res = null
272
+ }
273
+
274
+ }
275
+ catch (err) {
276
+ isErr = true
277
+ res = err
278
+ }
279
+
280
+ //check
281
+ if (isErr) {
282
+ return Promise.reject(res)
283
+ }
284
+
285
+ return res
286
+ }
287
+
288
+ /**
289
+ * 插入數據
290
+ *
291
+ * @memberOf WOrmLmdb
292
+ * @param {Object|Array} data 輸入數據物件或陣列
293
+ * @returns {Promise} 回傳Promise,resolve回傳插入結果物件{n,nInserted,ok},n為輸入筆數、nInserted為實際插入筆數,reject回傳錯誤訊息
294
+ */
295
+ async function insert(data) {
296
+ let isErr = false
297
+
298
+ //check
299
+ if (!iseobj(data) &amp;&amp; !isearr(data)) {
300
+ return {
301
+ n: 0,
302
+ nInserted: 0,
303
+ ok: 1,
304
+ }
305
+ }
306
+
307
+ //cloneDeep, 與外部數據脫勾
308
+ data = cloneDeep(data)
309
+
310
+ //res
311
+ let res = null
312
+ try {
313
+
314
+ //check
315
+ if (!isarr(data)) {
316
+ data = [data]
317
+ }
318
+
319
+ //check id
320
+ data = map(data, function(v) {
321
+ if (!isestr(v.id)) {
322
+ v.id = genIDSeq()
323
+ }
324
+ return v
325
+ })
326
+
327
+ //each
328
+ //ifNoExists, 由LMDB於同一寫交易內原子完成[檢查v.id未存在]與[寫入], 併發時同一v.id僅有一次成功,
329
+ //同批含重複v.id時亦僅首筆成功, 故不逐筆await而一次送出, 由LMDB寫執行緒依序處理並合併為批次寫交易
330
+ //注意: 回調函數須為同步函數, 且client.put須於回調函數內直接呼叫,
331
+ //若將client.put置於await之後, 該寫入會逸出條件批次而變成無條件寫入, 並使回傳值與實際狀態不一致
332
+ let nAll = size(data)
333
+ let ltdone = await Promise.all(map(data, function(v) {
334
+ // console.log(v)
335
+ return client.ifNoExists(v.id, () => {
336
+ client.put(v.id, v)
337
+ })
338
+ }))
339
+
340
+ //nPush
341
+ let nPush = 0
342
+ each(ltdone, function(done) {
343
+ if (done) {
344
+ //未存在v.id, 已寫入
345
+ nPush++
346
+ }
347
+ else {
348
+ //已存在v.id則不push
349
+ }
350
+ })
351
+
352
+ //res
353
+ res = {
354
+ n: nAll,
355
+ nInserted: nPush,
356
+ ok: 1,
357
+ }
358
+
359
+ }
360
+ catch (err) {
361
+ isErr = true
362
+ res = err
363
+ }
364
+
365
+ //update, 不能保證插入多少, 一律重設快取
366
+ _cache = null
367
+
368
+ //emit, 於change可能須使用select, 故須放在重設快取之後
369
+ if (!isErr) {
370
+ try {
371
+
372
+ //emit
373
+ ee.emit('change', 'insert', data, res)
374
+
375
+ }
376
+ catch (err) {
377
+ console.log(err)
378
+ }
379
+ }
380
+
381
+ //check
382
+ if (isErr) {
383
+ return Promise.reject(res)
384
+ }
385
+
386
+ return res
387
+ }
388
+
389
+ /**
390
+ * 儲存數據
391
+ *
392
+ * @memberOf WOrmLmdb
393
+ * @param {Object|Array} data 輸入數據物件或陣列
394
+ * @param {Object} [option={}] 輸入設定物件,預設為{}
395
+ * @param {boolean} [option.autoInsert=true] 輸入是否於儲存時發現原本無數據,則自動改以插入處理,預設為true
396
+ * @returns {Promise} 回傳Promise,resolve回傳與輸入等長之儲存結果陣列,各筆為{n,nInserted,nModified,ok},n為主鍵命中筆數,單筆失敗者ok為0並附err,reject回傳錯誤訊息
397
+ */
398
+ async function save(data, option = {}) {
399
+ let isErr = false
400
+
401
+ //check
402
+ if (!iseobj(data) &amp;&amp; !isearr(data)) {
403
+ return []
404
+ }
405
+
406
+ //cloneDeep, 與外部數據脫勾
407
+ data = cloneDeep(data)
408
+
409
+ //autoInsert
410
+ let autoInsert = get(option, 'autoInsert', true)
411
+
412
+ //res
413
+ let res = null
414
+ try {
415
+
416
+ //check
417
+ if (!isarr(data)) {
418
+ data = [data]
419
+ }
420
+
421
+ //check id
422
+ data = map(data, function(v) {
423
+ if (!isestr(v.id)) {
424
+ v.id = genIDSeq()
425
+ }
426
+ return v
427
+ })
428
+
429
+ //pmSeries
430
+ res = await pmSeries(data, async(v) => {
431
+
432
+ //rest
433
+ let rest = null
434
+
435
+ //inserted, 供emit使用
436
+ let inserted = false
437
+
438
+ try {
439
+
440
+ //快速路徑, 先不開寫交易直接預讀, 內容相同者本就不須寫入, 可省去開啟寫交易之成本
441
+ //預讀值縱使已被其他寫入者更動而過期亦不影響正確性, 因內容相同時本次save等價於無操作,
442
+ //無操作可視為於預讀當下即已完成, 其後他人之寫入結果與[本次save先執行再輪到他人]相同
443
+ //註: 預讀僅用於判斷是否略過寫入, 不用於決定寫入內容, 寫入內容一律由交易內讀到之現值決定
444
+ let vp = await getValue(v.id) //不會有catch
445
+ if (iseobj(vp) &amp;&amp; isEqual(merge({}, vp, v), vp)) {
446
+ //合併後與現值相同不須寫入, 惟已命中v.id故n為1
447
+ return {
448
+ n: 1,
449
+ nInserted: 0,
450
+ nModified: 0,
451
+ ok: 1,
452
+ }
453
+ }
454
+
455
+ //existed, updated
456
+ let existed = false
457
+ let updated = false
458
+
459
+ //transaction, 由LMDB於同一寫交易內原子完成[查找v.id]與[合併寫入],
460
+ //併發時不會有兩方各自讀到同一舊值再各自寫入而導致遺失更新
461
+ //注意: 回調函數須為同步函數, client.get於寫交易內為同步取值, 不可使用await,
462
+ //若將client.get或client.put置於await之後, 該操作會逸出本交易而失去原子性
463
+ await client.transaction(() => {
464
+
465
+ //查找資料表內v.id
466
+ let vv = client.get(v.id)
467
+
468
+ //existed
469
+ existed = iseobj(vv)
470
+
471
+ //check
472
+ if (existed) {
473
+ //已存在v.id
474
+
475
+ //vm, 合併後之結果
476
+ let vm = merge({}, vv, v)
477
+
478
+ //判定基準為[合併後結果與現值相同], 而非[待寫入物件與現值全等],
479
+ //令nModified忠實反映資料庫端是否真的寫入, 僅給部份欄位且值皆相同者不應回報已修改
480
+ if (isEqual(vm, vv)) {
481
+ //合併後與現值相同不須寫入
482
+ }
483
+ else {
484
+ //合併後與現值不同須更新
485
+
486
+ //put
487
+ client.put(v.id, vm)
488
+
489
+ updated = true
490
+ }
491
+ }
492
+ else {
493
+ //內容不存在, 若autoInsert則須插入
494
+ if (autoInsert) {
495
+
496
+ //put
497
+ client.put(v.id, v)
498
+
499
+ inserted = true
500
+ }
501
+ }
502
+
503
+ })
504
+
505
+ //rest, nInserted與nModified恆存在, 無對應行為者給0
506
+ if (inserted) {
507
+ rest = {
508
+ n: 1,
509
+ nInserted: 1,
510
+ nModified: 0,
511
+ ok: 1,
512
+ }
513
+ }
514
+ else if (updated) {
515
+ rest = {
516
+ n: 1,
517
+ nInserted: 0,
518
+ nModified: 1,
519
+ ok: 1,
520
+ }
521
+ }
522
+ else {
523
+ //未寫入, 有二:
524
+ // 已存在v.id而內容相同不更新, 已命中故n為1
525
+ // 不存在v.id且未開啟autoInsert, 未命中故n為0
526
+ //n為v.id之命中筆數, 與nModified[實際更新筆數]分屬不同語義, 不可混用
527
+ rest = {
528
+ n: existed ? 1 : 0,
529
+ nInserted: 0,
530
+ nModified: 0,
531
+ ok: 1,
532
+ }
533
+ }
534
+
535
+ }
536
+ catch (err) {
537
+
538
+ //本筆失敗不中斷整批, 以ok為0並附err回報, 由呼叫端逐筆檢查
539
+ rest = {
540
+ n: 1,
541
+ nInserted: 0,
542
+ nModified: 0,
543
+ ok: 0,
544
+ err: getErrMsg(err),
545
+ }
546
+
547
+ }
548
+
549
+ //emit, 原autoInsert係轉呼叫insert故會發出insert事件, 此處維持既有行為,
550
+ //須於交易外發出, 避免外部訂閱函數於寫交易內執行
551
+ if (inserted) {
552
+
553
+ //update, 不能保證插入多少, 一律重設快取
554
+ _cache = null
555
+
556
+ try {
557
+
558
+ //emit
559
+ ee.emit('change', 'insert', [v], rest)
560
+
561
+ }
562
+ catch (err) {
563
+ console.log(err)
564
+ }
565
+
566
+ }
567
+
568
+ return rest
569
+ })
570
+
571
+ }
572
+ catch (err) {
573
+ isErr = true
574
+ res = err
575
+ }
576
+
577
+ //update, 不能保證變更多少, 一律重設快取
578
+ _cache = null
579
+
580
+ //emit, 於change可能須使用select, 故須放在重設快取之後
581
+ if (!isErr) {
582
+ try {
583
+
584
+ //emit
585
+ ee.emit('change', 'save', data, res)
586
+
587
+ }
588
+ catch (err) {
589
+ console.log(err)
590
+ }
591
+ }
592
+
593
+ //check
594
+ if (isErr) {
595
+ return Promise.reject(res)
596
+ }
597
+
598
+ return res
599
+ }
600
+
601
+ /**
602
+ * 刪除數據
603
+ *
604
+ * @memberOf WOrmLmdb
605
+ * @param {Object|Array} data 輸入數據物件或陣列
606
+ * @returns {Promise} 回傳Promise,resolve回傳與輸入等長之刪除結果陣列,各筆為{n,nDeleted,ok},n為主鍵命中筆數,單筆失敗或未給有效id者ok為0並附err,reject回傳錯誤訊息
607
+ */
608
+ async function del(data) {
609
+ let isErr = false
610
+
611
+ //check
612
+ if (!iseobj(data) &amp;&amp; !isearr(data)) {
613
+ return []
614
+ }
615
+
616
+ //cloneDeep, 與外部數據脫勾
617
+ data = cloneDeep(data)
618
+
619
+ //res
620
+ let res = null
621
+ try {
622
+
623
+ //check
624
+ if (!isarr(data)) {
625
+ data = [data]
626
+ }
627
+
628
+ //pmSeries
629
+ res = await pmSeries(data, async(v) => {
630
+
631
+ //rest
632
+ let rest = null
633
+
634
+ try {
635
+
636
+ //id
637
+ let id = get(v, 'id', '')
638
+
639
+ //check
640
+ if (!isestr(id)) {
641
+ //未給有效v.id視為該筆數據有問題而無法處理, 以ok為0並附err回報,
642
+ //與[已給v.id但查無數據]之ok為1有別, 二者須可由ok分辨
643
+ return {
644
+ n: 0,
645
+ nDeleted: 0,
646
+ ok: 0,
647
+ err: `can not delete by invalid id[${id}]`,
648
+ }
649
+ }
650
+
651
+ //查找資料表內v.id
652
+ let vv = await getValue(id) //不會有catch
653
+
654
+ //check
655
+ if (iseobj(vv)) {
656
+ //已存在v.id則須刪除
657
+
658
+ //del
659
+ await client.del(id)
660
+
661
+ //rest
662
+ rest = {
663
+ n: 1,
664
+ nDeleted: 1,
665
+ ok: 1,
666
+ }
667
+
668
+ }
669
+ else {
670
+ //不存在v.id則不刪除, 未命中故n為0
671
+ rest = {
672
+ n: 0,
673
+ nDeleted: 0,
674
+ ok: 1,
675
+ }
676
+
677
+ }
678
+
679
+ }
680
+ catch (err) {
681
+
682
+ //本筆失敗不中斷整批, 以ok為0並附err回報, 由呼叫端逐筆檢查
683
+ rest = {
684
+ n: 1,
685
+ nDeleted: 0,
686
+ ok: 0,
687
+ err: getErrMsg(err),
688
+ }
689
+
690
+ }
691
+
692
+ return rest
693
+ })
694
+
695
+ }
696
+ catch (err) {
697
+ isErr = true
698
+ res = err
699
+ }
700
+
701
+ //update, 不能保證刪除多少, 一律重設快取
702
+ _cache = null
703
+
704
+ //emit, 於change可能須使用select, 故須放在重設快取之後
705
+ if (!isErr) {
706
+ try {
707
+
708
+ //emit
709
+ ee.emit('change', 'del', data, res)
710
+
711
+ }
712
+ catch (err) {
713
+ console.log(err)
714
+ }
715
+ }
716
+
717
+ //check
718
+ if (isErr) {
719
+ return Promise.reject(res)
720
+ }
721
+
722
+ return res
723
+ }
724
+
725
+ /**
726
+ * 刪除全部數據,需與del分開,避免未傳數據導致直接刪除全表
727
+ *
728
+ * @memberOf WOrmLmdb
729
+ * @param {Object} [find={}] 輸入刪除條件物件
730
+ * @returns {Promise} 回傳Promise,resolve回傳刪除結果物件{n,nDeleted,ok},n與nDeleted同為實際刪除筆數,reject回傳錯誤訊息
731
+ */
732
+ async function delAll(find = {}) {
733
+ let isErr = false
734
+
735
+ //res
736
+ let res = null
737
+ try {
738
+
739
+ //ltdt
740
+ let ltdt = await getData()
741
+
742
+ //filter
743
+ let nAll = size(ltdt)
744
+ let nDel = 0
745
+ if (iseobj(find)) {
746
+
747
+ //q
748
+ let q = new mingo.Query(find)
749
+ // console.log('q', q)
750
+
751
+ //find
752
+ let _res = q.find(ltdt).all()
753
+ // console.log('_res', _res)
754
+
755
+ //nDel
756
+ nDel = size(_res)
757
+ // console.log('nDel', nDel)
758
+
759
+ if (nDel === 0) {
760
+ //未有find結果等於不刪除
761
+ }
762
+ else if (nAll === nDel) {
763
+ //全在find結果內等於全部刪除
764
+
765
+ //empty
766
+ for (let v of ltdt) {
767
+ await client.del(v.id)
768
+ }
769
+
770
+ }
771
+ else {
772
+ //部份在find結果內
773
+
774
+ //_kp
775
+ let _kp = {}
776
+ each(_res, (v, k) => {
777
+ _kp[v.id] = { k, v }
778
+ })
779
+
780
+ //del
781
+ for (let v of ltdt) {
782
+ if (haskey(_kp, v.id)) {
783
+ //在find結果內代表須刪除
784
+ await client.del(v.id)
785
+ }
786
+ }
787
+
788
+ }
789
+ }
790
+ else {
791
+
792
+ //nDel
793
+ nDel = nAll
794
+
795
+ //empty
796
+ for (let v of ltdt) {
797
+ await client.del(v.id)
798
+ }
799
+
800
+ }
801
+
802
+ //res, n為實際刪除筆數而非全表筆數, 故與nDeleted同值
803
+ res = {
804
+ n: nDel,
805
+ nDeleted: nDel,
806
+ ok: 1,
807
+ }
808
+
809
+ }
810
+ catch (err) {
811
+ isErr = true
812
+ res = err
813
+ }
814
+
815
+ //update, 不能保證刪除多少, 一律重設快取
816
+ _cache = null
817
+
818
+ //emit, 於change可能須使用select, 故須放在重設快取之後
819
+ if (!isErr) {
820
+ try {
821
+
822
+ //emit
823
+ ee.emit('change', 'delAll', null, res)
824
+
825
+ }
826
+ catch (err) {
827
+ console.log(err)
828
+ }
829
+ }
830
+
831
+ //check
832
+ if (isErr) {
833
+ return Promise.reject(res)
834
+ }
835
+
836
+ return res
837
+ }
838
+
839
+ //close, 關閉內部LMDB env並釋放檔案鎖, close後該實例即報廢, 須重新new WOrmLmdb
840
+ let close = async () => {
841
+ if (client &amp;&amp; client.status !== 'closed') {
842
+ await client.close() //lmdb root database之close(), 回傳Promise
843
+ }
844
+ }
845
+
846
+ //save
847
+ ee.select = select
848
+ ee.selectById = selectById
849
+ ee.insert = insert
850
+ ee.save = save
851
+ ee.del = del
852
+ ee.delAll = delAll
853
+ ee.close = close
854
+
855
+ return ee
856
+ }
857
+
858
+
859
+ export default WOrmLmdb
813
860
  </code></pre>
814
861
  </article>
815
862
  </section>
@@ -824,7 +871,7 @@ export default WOrmLmdb
824
871
  <br class="clear">
825
872
 
826
873
  <footer>
827
- Documentation generated by <a href="https://github.com/jsdoc3/jsdoc">JSDoc 4.0.5</a> on Sun Aug 16 2026 16:58:57 GMT+0800 (台北標準時間) using the <a href="https://github.com/clenemt/docdash">docdash</a> theme.
874
+ Documentation generated by <a href="https://github.com/jsdoc3/jsdoc">JSDoc 4.0.5</a> on Sun Aug 16 2026 21:38:34 GMT+0800 (台北標準時間) using the <a href="https://github.com/clenemt/docdash">docdash</a> theme.
828
875
  </footer>
829
876
 
830
877
  <script>prettyPrint();</script>