w-orm-lmdb 1.0.11 → 1.0.13

This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
package/src/WOrmLmdb.mjs CHANGED
@@ -1,657 +1,812 @@
1
- import { open } from 'lmdb'
2
- // import mingo from 'mingo' //mingo內未更新import寫法, 會導致ERR_UNSUPPORTED_DIR_IMPORT, 故須改用require引入使用
3
- import mingo from './reqMingo.js'
4
- import size from 'lodash-es/size.js'
5
- import get from 'lodash-es/get.js'
6
- import each from 'lodash-es/each.js'
7
- import map from 'lodash-es/map.js'
8
- import merge from 'lodash-es/merge.js'
9
- import isEqual from 'lodash-es/isEqual.js'
10
- import cloneDeep from 'lodash-es/cloneDeep.js'
11
- import isestr from 'wsemi/src/isestr.mjs'
12
- import isarr from 'wsemi/src/isarr.mjs'
13
- import isearr from 'wsemi/src/isearr.mjs'
14
- import iseobj from 'wsemi/src/iseobj.mjs'
15
- import isbol from 'wsemi/src/isbol.mjs'
16
- import haskey from 'wsemi/src/haskey.mjs'
17
- import evem from 'wsemi/src/evem.mjs'
18
- import genIDSeq from 'wsemi/src/genIDSeq.mjs'
19
- import pmSeries from 'wsemi/src/pmSeries.mjs'
20
- import waitFun from 'wsemi/src/waitFun.mjs'
21
-
22
-
23
- /**
24
- * 操作資料庫(LMDB)
25
- *
26
- * @class
27
- * @param {Object} [opt={}] 輸入設定物件,預設{}
28
- * @param {String} [opt.url='_db'] 輸入資料庫用資料夾字串,預設'_db'
29
- * @param {String} [opt.db='worm'] 輸入使用資料庫名稱字串,預設'worm'
30
- * @param {String} [opt.cl='test'] 輸入使用資料表名稱字串,預設'test'
31
- * @param {Boolean} [opt.useCache=false] 輸入是否使用select快取,適用於單程序操作,預設false
32
- * @returns {Object} 回傳操作資料庫物件,各事件功能詳見說明
33
- */
34
- function WOrmLmdb(opt = {}) {
35
-
36
- //_cache
37
- let _cache = null
38
-
39
- //url
40
- let url = get(opt, 'url')
41
- if (!isestr(url)) {
42
- url = './_db'
43
- }
44
-
45
- //db
46
- let db = get(opt, 'db')
47
- if (!isestr(db)) {
48
- db = 'worm'
49
- }
50
-
51
- //cl
52
- let cl = get(opt, 'cl')
53
- if (!isestr(cl)) {
54
- cl = 'test'
55
- }
56
-
57
- //useCache
58
- let useCache = get(opt, 'useCache')
59
- if (!isbol(useCache)) {
60
- useCache = false
61
- }
62
-
63
- //storage
64
- let storage = `${url}/${db}/${cl}`
65
- // console.log('storage',storage)
66
-
67
- // client
68
- let client = open({
69
- path: storage,
70
- compression: true,
71
- useVersions: true,
72
- })
73
-
74
- //ee
75
- let ee = evem()
76
-
77
- //getData
78
- let getData = async() => {
79
-
80
- //check
81
- if (useCache && isarr(_cache)) {
82
- return cloneDeep(_cache) //與外部使用數據脫勾
83
- }
84
-
85
- //waitFun
86
- await waitFun(() => {
87
- if (client.status === 'closed') {
88
- console.log(`client.status[${client.status}], level is closed`)
89
- }
90
- return client.status === 'open'
91
- })
92
- // console.log('client.status',client.status)
93
-
94
- //ltdt
95
- let ltdt = []
96
- for await (let { value: dt } of client.getRange()) {
97
- // console.log('dt',dt)
98
- ltdt.push(dt)
99
- }
100
-
101
- if (useCache) {
102
- _cache = ltdt
103
- return cloneDeep(ltdt) //與外部使用數據脫勾
104
- }
105
- return ltdt
106
- }
107
-
108
- //getValue
109
- let getValue = async (key) => {
110
- let value = null
111
- try {
112
- value = await client.get(key)
113
- }
114
- catch (err) {
115
- // if (err.notFound) {
116
- // console.log('資料不存在')
117
- // }
118
- // else {
119
- // console.log('其他錯誤:', err)
120
- // }
121
- }
122
- return value
123
- }
124
-
125
- /**
126
- * 查詢數據
127
- *
128
- * @memberOf WOrmLmdb
129
- * @param {Object} [find={}] 輸入查詢條件物件
130
- * @returns {Promise} 回傳Promise,resolve回傳數據,reject回傳錯誤訊息
131
- */
132
- async function select(find = {}) {
133
- let isErr = false
134
- let res = null
135
-
136
- try {
137
-
138
- //ltdt
139
- let ltdt = await getData()
140
- // console.log('select ltdt',ltdt)
141
-
142
- //filter
143
- if (iseobj(find)) {
144
-
145
- //q
146
- let q = new mingo.Query(find)
147
- // console.log('q', q)
148
-
149
- //find
150
- res = q.find(ltdt).all()
151
- // console.log('select(find) ltdt',res)
152
-
153
- }
154
- else {
155
- res = ltdt
156
- }
157
-
158
- //check
159
- if (!isarr(res)) {
160
- isErr = true
161
- res = `can not select by find[${JSON.stringify(find)}]`
162
- }
163
-
164
- }
165
- catch (err) {
166
- isErr = true
167
- res = err
168
- }
169
- // console.log('res', res)
170
-
171
- //check
172
- if (isErr) {
173
- return Promise.reject(res)
174
- }
175
-
176
- return res
177
- }
178
-
179
- /**
180
- * 插入數據
181
- *
182
- * @memberOf WOrmLmdb
183
- * @param {Object|Array} data 輸入數據物件或陣列
184
- * @returns {Promise} 回傳Promise,resolve回傳插入結果,reject回傳錯誤訊息
185
- */
186
- async function insert(data) {
187
- let isErr = false
188
-
189
- //check
190
- if (!iseobj(data) && !isearr(data)) {
191
- return {
192
- n: 0,
193
- nInserted: 0,
194
- ok: 1,
195
- }
196
- }
197
-
198
- //cloneDeep, 與外部數據脫勾
199
- data = cloneDeep(data)
200
-
201
- //res
202
- let res = null
203
- try {
204
-
205
- //check
206
- if (!isarr(data)) {
207
- data = [data]
208
- }
209
-
210
- //check id
211
- data = map(data, function(v) {
212
- if (!isestr(v.id)) {
213
- v.id = genIDSeq()
214
- }
215
- return v
216
- })
217
-
218
- //each
219
- let nAll = size(data)
220
- let nPush = 0
221
- for (let v of data) {
222
- // console.log(v)
223
-
224
- //查找資料表內v.id
225
- let vv = await getValue(v.id) //不會有catch
226
- // console.log('getValue',vv)
227
-
228
- //check
229
- if (!iseobj(vv)) {
230
- //未存在v.id
231
-
232
- //put
233
- await client.put(v.id, v)
234
-
235
- nPush++
236
- }
237
- else {
238
- //已存在v.id則不push
239
- }
240
-
241
- }
242
-
243
- //res
244
- res = {
245
- n: nAll,
246
- nInserted: nPush,
247
- ok: 1,
248
- }
249
-
250
- }
251
- catch (err) {
252
- isErr = true
253
- res = err
254
- }
255
-
256
- //update, 不能保證插入多少, 一律重設快取
257
- _cache = null
258
-
259
- //emit, 於change可能須使用select, 故須放在重設快取之後
260
- if (!isErr) {
261
- try {
262
-
263
- //emit
264
- ee.emit('change', 'insert', data, res)
265
-
266
- }
267
- catch (err) {
268
- console.log(err)
269
- }
270
- }
271
-
272
- //check
273
- if (isErr) {
274
- return Promise.reject(res)
275
- }
276
-
277
- return res
278
- }
279
-
280
- /**
281
- * 儲存數據
282
- *
283
- * @memberOf WOrmLmdb
284
- * @param {Object|Array} data 輸入數據物件或陣列
285
- * @param {Object} [option={}] 輸入設定物件,預設為{}
286
- * @param {boolean} [option.autoInsert=true] 輸入是否於儲存時發現原本無數據,則自動改以插入處理,預設為true
287
- * @returns {Promise} 回傳Promise,resolve回傳儲存結果,reject回傳錯誤訊息
288
- */
289
- async function save(data, option = {}) {
290
- let isErr = false
291
-
292
- //check
293
- if (!iseobj(data) && !isearr(data)) {
294
- return []
295
- }
296
-
297
- //cloneDeep, 與外部數據脫勾
298
- data = cloneDeep(data)
299
-
300
- //autoInsert
301
- let autoInsert = get(option, 'autoInsert', true)
302
-
303
- //res
304
- let res = null
305
- try {
306
-
307
- //check
308
- if (!isarr(data)) {
309
- data = [data]
310
- }
311
-
312
- //check id
313
- data = map(data, function(v) {
314
- if (!isestr(v.id)) {
315
- v.id = genIDSeq()
316
- }
317
- return v
318
- })
319
-
320
- //pmSeries
321
- res = await pmSeries(data, async(v) => {
322
-
323
- //rest
324
- let rest = null
325
-
326
- //查找資料表內v.id
327
- let vv = await getValue(v.id) //不會有catch
328
-
329
- //existed
330
- let existed = iseobj(vv)
331
-
332
- //check
333
- if (existed) {
334
- //已存在v.id
335
- if (isEqual(v, vv)) {
336
- //內容相同不更新
337
- }
338
- else {
339
- //內容不同須更新
340
-
341
- //merge and put
342
- await client.put(v.id, merge(vv, v))
343
-
344
- rest = { update: true }
345
- }
346
- }
347
- else {
348
- //內容不存在
349
- }
350
-
351
- //rest
352
- if (iseobj(rest)) {
353
- rest = {
354
- n: 1,
355
- nModified: 1,
356
- ok: 1,
357
- }
358
- }
359
- else {
360
- rest = {
361
- n: 0,
362
- nModified: 0,
363
- ok: 1,
364
- }
365
- }
366
- //rest.n === 0:
367
- // 內容相同不更新, 不須update
368
- // 內容不存在, 若autoInsert則須insert
369
-
370
- //autoInsert
371
- if (autoInsert && rest.n === 0 && !existed) {
372
- // console.log('insert(v)', v)
373
- rest = await insert(v)
374
- }
375
-
376
- return rest
377
- })
378
-
379
- }
380
- catch (err) {
381
- isErr = true
382
- res = err
383
- }
384
-
385
- //update, 不能保證變更多少, 一律重設快取
386
- _cache = null
387
-
388
- //emit, 於change可能須使用select, 故須放在重設快取之後
389
- if (!isErr) {
390
- try {
391
-
392
- //emit
393
- ee.emit('change', 'save', data, res)
394
-
395
- }
396
- catch (err) {
397
- console.log(err)
398
- }
399
- }
400
-
401
- //check
402
- if (isErr) {
403
- return Promise.reject(res)
404
- }
405
-
406
- return res
407
- }
408
-
409
- /**
410
- * 刪除數據
411
- *
412
- * @memberOf WOrmLmdb
413
- * @param {Object|Array} data 輸入數據物件或陣列
414
- * @returns {Promise} 回傳Promise,resolve回傳刪除結果,reject回傳錯誤訊息
415
- */
416
- async function del(data) {
417
- let isErr = false
418
-
419
- //check
420
- if (!iseobj(data) && !isearr(data)) {
421
- return []
422
- }
423
-
424
- //cloneDeep, 與外部數據脫勾
425
- data = cloneDeep(data)
426
-
427
- //res
428
- let res = null
429
- try {
430
-
431
- //check
432
- if (!isarr(data)) {
433
- data = [data]
434
- }
435
-
436
- //pmSeries
437
- res = await pmSeries(data, async(v) => {
438
-
439
- //rest
440
- let rest = null
441
-
442
- //id
443
- let id = get(v, 'id', '')
444
-
445
- //check
446
- if (isestr(id)) {
447
-
448
- //查找資料表內v.id
449
- let vv = await getValue(v.id) //不會有catch
450
-
451
- //check
452
- if (iseobj(vv)) {
453
- //已存在v.id則須刪除
454
-
455
- //del
456
- await client.del(v.id)
457
-
458
- //rest
459
- rest = {
460
- n: 1,
461
- nDeleted: 1,
462
- ok: 1,
463
- }
464
-
465
- }
466
- else {
467
- //不存在v.id則不刪除
468
-
469
- //rest
470
- rest = {
471
- n: 1,
472
- nDeleted: 0,
473
- ok: 1,
474
- }
475
-
476
- }
477
-
478
- }
479
- else {
480
- //未給v.id則不刪除
481
-
482
- //rest
483
- rest = {
484
- n: 1,
485
- nDeleted: 0,
486
- ok: 0, //未給v.id視為有問題數據, 故ok給0
487
- }
488
-
489
- }
490
-
491
- return rest
492
- })
493
-
494
- }
495
- catch (err) {
496
- isErr = true
497
- res = err
498
- }
499
-
500
- //update, 不能保證刪除多少, 一律重設快取
501
- _cache = null
502
-
503
- //emit, 於change可能須使用select, 故須放在重設快取之後
504
- if (!isErr) {
505
- try {
506
-
507
- //emit
508
- ee.emit('change', 'del', data, res)
509
-
510
- }
511
- catch (err) {
512
- console.log(err)
513
- }
514
- }
515
-
516
- //check
517
- if (isErr) {
518
- return Promise.reject(res)
519
- }
520
-
521
- return res
522
- }
523
-
524
- /**
525
- * 刪除全部數據,需與del分開,避免未傳數據導致直接刪除全表
526
- *
527
- * @memberOf WOrmLmdb
528
- * @param {Object} [find={}] 輸入刪除條件物件
529
- * @returns {Promise} 回傳Promise,resolve回傳刪除結果,reject回傳錯誤訊息
530
- */
531
- async function delAll(find = {}) {
532
- let isErr = false
533
-
534
- //res
535
- let res = null
536
- try {
537
-
538
- //ltdt
539
- let ltdt = await getData()
540
-
541
- //filter
542
- let nAll = size(ltdt)
543
- let nDel = 0
544
- if (iseobj(find)) {
545
-
546
- //q
547
- let q = new mingo.Query(find)
548
- // console.log('q', q)
549
-
550
- //find
551
- let _res = q.find(ltdt).all()
552
- // console.log('_res', _res)
553
-
554
- //nDel
555
- nDel = size(_res)
556
- // console.log('nDel', nDel)
557
-
558
- if (nDel === 0) {
559
- //未有find結果等於不刪除
560
- }
561
- else if (nAll === nDel) {
562
- //全在find結果內等於全部刪除
563
-
564
- //empty
565
- for (let v of ltdt) {
566
- await client.del(v.id)
567
- }
568
-
569
- }
570
- else {
571
- //部份在find結果內
572
-
573
- //_kp
574
- let _kp = {}
575
- each(_res, (v, k) => {
576
- _kp[v.id] = { k, v }
577
- })
578
-
579
- //del
580
- for (let v of ltdt) {
581
- if (haskey(_kp, v.id)) {
582
- //在find結果內代表須刪除
583
- await client.del(v.id)
584
- }
585
- }
586
-
587
- }
588
- }
589
- else {
590
-
591
- //nDel
592
- nDel = nAll
593
-
594
- //empty
595
- for (let v of ltdt) {
596
- await client.del(v.id)
597
- }
598
-
599
- }
600
-
601
- //res
602
- res = {
603
- n: nAll,
604
- nDeleted: nDel,
605
- ok: 1,
606
- }
607
-
608
- }
609
- catch (err) {
610
- isErr = true
611
- res = err
612
- }
613
-
614
- //update, 不能保證刪除多少, 一律重設快取
615
- _cache = null
616
-
617
- //emit, 於change可能須使用select, 故須放在重設快取之後
618
- if (!isErr) {
619
- try {
620
-
621
- //emit
622
- ee.emit('change', 'delAll', null, res)
623
-
624
- }
625
- catch (err) {
626
- console.log(err)
627
- }
628
- }
629
-
630
- //check
631
- if (isErr) {
632
- return Promise.reject(res)
633
- }
634
-
635
- return res
636
- }
637
-
638
- //close, 關閉內部LMDB env並釋放檔案鎖, close後該實例即報廢, 須重新new WOrmLmdb
639
- let close = async () => {
640
- if (client && client.status !== 'closed') {
641
- await client.close() //lmdb root database之close(), 回傳Promise
642
- }
643
- }
644
-
645
- //save
646
- ee.select = select
647
- ee.insert = insert
648
- ee.save = save
649
- ee.del = del
650
- ee.delAll = delAll
651
- ee.close = close
652
-
653
- return ee
654
- }
655
-
656
-
657
- export default WOrmLmdb
1
+ import { open } from 'lmdb'
2
+ // import mingo from 'mingo' //mingo內未更新import寫法, 會導致ERR_UNSUPPORTED_DIR_IMPORT, 故須改用require引入使用
3
+ import mingo from './reqMingo.js'
4
+ import size from 'lodash-es/size.js'
5
+ import get from 'lodash-es/get.js'
6
+ import each from 'lodash-es/each.js'
7
+ import map from 'lodash-es/map.js'
8
+ import merge from 'lodash-es/merge.js'
9
+ import isEqual from 'lodash-es/isEqual.js'
10
+ import cloneDeep from 'lodash-es/cloneDeep.js'
11
+ import isestr from 'wsemi/src/isestr.mjs'
12
+ import isarr from 'wsemi/src/isarr.mjs'
13
+ import isearr from 'wsemi/src/isearr.mjs'
14
+ import iseobj from 'wsemi/src/iseobj.mjs'
15
+ import isbol from 'wsemi/src/isbol.mjs'
16
+ import haskey from 'wsemi/src/haskey.mjs'
17
+ import evem from 'wsemi/src/evem.mjs'
18
+ import genIDSeq from 'wsemi/src/genIDSeq.mjs'
19
+ import pmSeries from 'wsemi/src/pmSeries.mjs'
20
+ import waitFun from 'wsemi/src/waitFun.mjs'
21
+
22
+
23
+ /**
24
+ * 操作資料庫(LMDB)
25
+ *
26
+ * @class
27
+ * @param {Object} [opt={}] 輸入設定物件,預設{}
28
+ * @param {String} [opt.url='_db'] 輸入資料庫用資料夾字串,預設'_db'
29
+ * @param {String} [opt.db='worm'] 輸入使用資料庫名稱字串,預設'worm'
30
+ * @param {String} [opt.cl='test'] 輸入使用資料表名稱字串,預設'test'
31
+ * @param {Boolean} [opt.useCache=false] 輸入是否使用select快取,適用於單程序操作,預設false
32
+ * @returns {Object} 回傳操作資料庫物件,各事件功能詳見說明
33
+ */
34
+ function WOrmLmdb(opt = {}) {
35
+
36
+ //_cache
37
+ let _cache = null
38
+
39
+ //url
40
+ let url = get(opt, 'url')
41
+ if (!isestr(url)) {
42
+ url = './_db'
43
+ }
44
+
45
+ //db
46
+ let db = get(opt, 'db')
47
+ if (!isestr(db)) {
48
+ db = 'worm'
49
+ }
50
+
51
+ //cl
52
+ let cl = get(opt, 'cl')
53
+ if (!isestr(cl)) {
54
+ cl = 'test'
55
+ }
56
+
57
+ //useCache
58
+ let useCache = get(opt, 'useCache')
59
+ if (!isbol(useCache)) {
60
+ useCache = false
61
+ }
62
+
63
+ //storage
64
+ let storage = `${url}/${db}/${cl}`
65
+ // console.log('storage',storage)
66
+
67
+ // client
68
+ let client = open({
69
+ path: storage,
70
+ compression: true,
71
+ useVersions: true,
72
+ })
73
+
74
+ //ee
75
+ let ee = evem()
76
+
77
+ //getData
78
+ let getData = async() => {
79
+
80
+ //check
81
+ if (useCache && isarr(_cache)) {
82
+ return cloneDeep(_cache) //與外部使用數據脫勾
83
+ }
84
+
85
+ //waitOpen
86
+ await waitOpen()
87
+ // console.log('client.status',client.status)
88
+
89
+ //ltdt
90
+ let ltdt = []
91
+ for await (let { value: dt } of client.getRange()) {
92
+ // console.log('dt',dt)
93
+ ltdt.push(dt)
94
+ }
95
+
96
+ if (useCache) {
97
+ _cache = ltdt
98
+ return cloneDeep(ltdt) //與外部使用數據脫勾
99
+ }
100
+ return ltdt
101
+ }
102
+
103
+ //waitOpen, 等待client開啟, 因getRange與get於client關閉時會拋錯
104
+ let waitOpen = async () => {
105
+ await waitFun(() => {
106
+ if (client.status === 'closed') {
107
+ console.log(`client.status[${client.status}], level is closed`)
108
+ }
109
+ return client.status === 'open'
110
+ })
111
+ }
112
+
113
+ //getErrMsg, 取錯誤訊息字串, 供逐筆結果之err欄位使用
114
+ let getErrMsg = (err) => {
115
+ let m = get(err, 'message')
116
+ if (isestr(m)) {
117
+ return m
118
+ }
119
+ return String(err)
120
+ }
121
+
122
+ //getValue
123
+ let getValue = async (key) => {
124
+ let value = null
125
+ try {
126
+ value = await client.get(key)
127
+ }
128
+ catch (err) {
129
+ // if (err.notFound) {
130
+ // console.log('資料不存在')
131
+ // }
132
+ // else {
133
+ // console.log('其他錯誤:', err)
134
+ // }
135
+ }
136
+ return value
137
+ }
138
+
139
+ /**
140
+ * 查詢數據
141
+ *
142
+ * @memberOf WOrmLmdb
143
+ * @param {Object} [find={}] 輸入查詢條件物件
144
+ * @returns {Promise} 回傳Promise,resolve回傳數據,reject回傳錯誤訊息
145
+ */
146
+ async function select(find = {}) {
147
+ let isErr = false
148
+ let res = null
149
+
150
+ try {
151
+
152
+ //ltdt
153
+ let ltdt = await getData()
154
+ // console.log('select ltdt',ltdt)
155
+
156
+ //filter
157
+ if (iseobj(find)) {
158
+
159
+ //q
160
+ let q = new mingo.Query(find)
161
+ // console.log('q', q)
162
+
163
+ //find
164
+ res = q.find(ltdt).all()
165
+ // console.log('select(find) ltdt',res)
166
+
167
+ }
168
+ else {
169
+ res = ltdt
170
+ }
171
+
172
+ //check
173
+ if (!isarr(res)) {
174
+ isErr = true
175
+ res = `can not select by find[${JSON.stringify(find)}]`
176
+ }
177
+
178
+ }
179
+ catch (err) {
180
+ isErr = true
181
+ res = err
182
+ }
183
+ // console.log('res', res)
184
+
185
+ //check
186
+ if (isErr) {
187
+ return Promise.reject(res)
188
+ }
189
+
190
+ return res
191
+ }
192
+
193
+ /**
194
+ * 由主鍵id查詢單筆數據,因直接由LMDB取值,不需如select提取全表數據再過濾,故數據量大時效能較佳
195
+ *
196
+ * @memberOf WOrmLmdb
197
+ * @param {String} id 輸入主鍵字串
198
+ * @returns {Promise} 回傳Promise,resolve回傳數據物件,若無此id則回傳null,reject回傳錯誤訊息
199
+ */
200
+ async function selectById(id) {
201
+ let isErr = false
202
+ let res = null
203
+
204
+ try {
205
+
206
+ //check
207
+ if (!isestr(id)) {
208
+ //未給有效id視為查無數據
209
+ return null
210
+ }
211
+
212
+ //waitOpen
213
+ await waitOpen()
214
+
215
+ //查找資料表內id
216
+ let v = await getValue(id) //不會有catch
217
+
218
+ //check, 判定基準與insert、save、del內對既有數據之認定一致
219
+ if (iseobj(v)) {
220
+ res = v
221
+ }
222
+ else {
223
+ //不存在id, 回傳null
224
+ res = null
225
+ }
226
+
227
+ }
228
+ catch (err) {
229
+ isErr = true
230
+ res = err
231
+ }
232
+
233
+ //check
234
+ if (isErr) {
235
+ return Promise.reject(res)
236
+ }
237
+
238
+ return res
239
+ }
240
+
241
+ /**
242
+ * 插入數據
243
+ *
244
+ * @memberOf WOrmLmdb
245
+ * @param {Object|Array} data 輸入數據物件或陣列
246
+ * @returns {Promise} 回傳Promise,resolve回傳插入結果物件{n,nInserted,ok},n為輸入筆數、nInserted為實際插入筆數,reject回傳錯誤訊息
247
+ */
248
+ async function insert(data) {
249
+ let isErr = false
250
+
251
+ //check
252
+ if (!iseobj(data) && !isearr(data)) {
253
+ return {
254
+ n: 0,
255
+ nInserted: 0,
256
+ ok: 1,
257
+ }
258
+ }
259
+
260
+ //cloneDeep, 與外部數據脫勾
261
+ data = cloneDeep(data)
262
+
263
+ //res
264
+ let res = null
265
+ try {
266
+
267
+ //check
268
+ if (!isarr(data)) {
269
+ data = [data]
270
+ }
271
+
272
+ //check id
273
+ data = map(data, function(v) {
274
+ if (!isestr(v.id)) {
275
+ v.id = genIDSeq()
276
+ }
277
+ return v
278
+ })
279
+
280
+ //each
281
+ //ifNoExists, 由LMDB於同一寫交易內原子完成[檢查v.id未存在]與[寫入], 併發時同一v.id僅有一次成功,
282
+ //同批含重複v.id時亦僅首筆成功, 故不逐筆await而一次送出, 由LMDB寫執行緒依序處理並合併為批次寫交易
283
+ //注意: 回調函數須為同步函數, 且client.put須於回調函數內直接呼叫,
284
+ //若將client.put置於await之後, 該寫入會逸出條件批次而變成無條件寫入, 並使回傳值與實際狀態不一致
285
+ let nAll = size(data)
286
+ let ltdone = await Promise.all(map(data, function(v) {
287
+ // console.log(v)
288
+ return client.ifNoExists(v.id, () => {
289
+ client.put(v.id, v)
290
+ })
291
+ }))
292
+
293
+ //nPush
294
+ let nPush = 0
295
+ each(ltdone, function(done) {
296
+ if (done) {
297
+ //未存在v.id, 已寫入
298
+ nPush++
299
+ }
300
+ else {
301
+ //已存在v.id則不push
302
+ }
303
+ })
304
+
305
+ //res
306
+ res = {
307
+ n: nAll,
308
+ nInserted: nPush,
309
+ ok: 1,
310
+ }
311
+
312
+ }
313
+ catch (err) {
314
+ isErr = true
315
+ res = err
316
+ }
317
+
318
+ //update, 不能保證插入多少, 一律重設快取
319
+ _cache = null
320
+
321
+ //emit, 於change可能須使用select, 故須放在重設快取之後
322
+ if (!isErr) {
323
+ try {
324
+
325
+ //emit
326
+ ee.emit('change', 'insert', data, res)
327
+
328
+ }
329
+ catch (err) {
330
+ console.log(err)
331
+ }
332
+ }
333
+
334
+ //check
335
+ if (isErr) {
336
+ return Promise.reject(res)
337
+ }
338
+
339
+ return res
340
+ }
341
+
342
+ /**
343
+ * 儲存數據
344
+ *
345
+ * @memberOf WOrmLmdb
346
+ * @param {Object|Array} data 輸入數據物件或陣列
347
+ * @param {Object} [option={}] 輸入設定物件,預設為{}
348
+ * @param {boolean} [option.autoInsert=true] 輸入是否於儲存時發現原本無數據,則自動改以插入處理,預設為true
349
+ * @returns {Promise} 回傳Promise,resolve回傳與輸入等長之儲存結果陣列,各筆為{n,nInserted,nModified,ok},n為主鍵命中筆數,單筆失敗者ok為0並附err,reject回傳錯誤訊息
350
+ */
351
+ async function save(data, option = {}) {
352
+ let isErr = false
353
+
354
+ //check
355
+ if (!iseobj(data) && !isearr(data)) {
356
+ return []
357
+ }
358
+
359
+ //cloneDeep, 與外部數據脫勾
360
+ data = cloneDeep(data)
361
+
362
+ //autoInsert
363
+ let autoInsert = get(option, 'autoInsert', true)
364
+
365
+ //res
366
+ let res = null
367
+ try {
368
+
369
+ //check
370
+ if (!isarr(data)) {
371
+ data = [data]
372
+ }
373
+
374
+ //check id
375
+ data = map(data, function(v) {
376
+ if (!isestr(v.id)) {
377
+ v.id = genIDSeq()
378
+ }
379
+ return v
380
+ })
381
+
382
+ //pmSeries
383
+ res = await pmSeries(data, async(v) => {
384
+
385
+ //rest
386
+ let rest = null
387
+
388
+ //inserted, 供emit使用
389
+ let inserted = false
390
+
391
+ try {
392
+
393
+ //快速路徑, 先不開寫交易直接預讀, 內容相同者本就不須寫入, 可省去開啟寫交易之成本
394
+ //預讀值縱使已被其他寫入者更動而過期亦不影響正確性, 因內容相同時本次save等價於無操作,
395
+ //無操作可視為於預讀當下即已完成, 其後他人之寫入結果與[本次save先執行再輪到他人]相同
396
+ //註: 預讀僅用於判斷是否略過寫入, 不用於決定寫入內容, 寫入內容一律由交易內讀到之現值決定
397
+ let vp = await getValue(v.id) //不會有catch
398
+ if (iseobj(vp) && isEqual(merge({}, vp, v), vp)) {
399
+ //合併後與現值相同不須寫入, 惟已命中v.id故n為1
400
+ return {
401
+ n: 1,
402
+ nInserted: 0,
403
+ nModified: 0,
404
+ ok: 1,
405
+ }
406
+ }
407
+
408
+ //existed, updated
409
+ let existed = false
410
+ let updated = false
411
+
412
+ //transaction, 由LMDB於同一寫交易內原子完成[查找v.id]與[合併寫入],
413
+ //併發時不會有兩方各自讀到同一舊值再各自寫入而導致遺失更新
414
+ //注意: 回調函數須為同步函數, client.get於寫交易內為同步取值, 不可使用await,
415
+ //若將client.get或client.put置於await之後, 該操作會逸出本交易而失去原子性
416
+ await client.transaction(() => {
417
+
418
+ //查找資料表內v.id
419
+ let vv = client.get(v.id)
420
+
421
+ //existed
422
+ existed = iseobj(vv)
423
+
424
+ //check
425
+ if (existed) {
426
+ //已存在v.id
427
+
428
+ //vm, 合併後之結果
429
+ let vm = merge({}, vv, v)
430
+
431
+ //判定基準為[合併後結果與現值相同], 而非[待寫入物件與現值全等],
432
+ //令nModified忠實反映資料庫端是否真的寫入, 僅給部份欄位且值皆相同者不應回報已修改
433
+ if (isEqual(vm, vv)) {
434
+ //合併後與現值相同不須寫入
435
+ }
436
+ else {
437
+ //合併後與現值不同須更新
438
+
439
+ //put
440
+ client.put(v.id, vm)
441
+
442
+ updated = true
443
+ }
444
+ }
445
+ else {
446
+ //內容不存在, 若autoInsert則須插入
447
+ if (autoInsert) {
448
+
449
+ //put
450
+ client.put(v.id, v)
451
+
452
+ inserted = true
453
+ }
454
+ }
455
+
456
+ })
457
+
458
+ //rest, nInserted與nModified恆存在, 無對應行為者給0
459
+ if (inserted) {
460
+ rest = {
461
+ n: 1,
462
+ nInserted: 1,
463
+ nModified: 0,
464
+ ok: 1,
465
+ }
466
+ }
467
+ else if (updated) {
468
+ rest = {
469
+ n: 1,
470
+ nInserted: 0,
471
+ nModified: 1,
472
+ ok: 1,
473
+ }
474
+ }
475
+ else {
476
+ //未寫入, 有二:
477
+ // 已存在v.id而內容相同不更新, 已命中故n為1
478
+ // 不存在v.id且未開啟autoInsert, 未命中故n為0
479
+ //n為v.id之命中筆數, 與nModified[實際更新筆數]分屬不同語義, 不可混用
480
+ rest = {
481
+ n: existed ? 1 : 0,
482
+ nInserted: 0,
483
+ nModified: 0,
484
+ ok: 1,
485
+ }
486
+ }
487
+
488
+ }
489
+ catch (err) {
490
+
491
+ //本筆失敗不中斷整批, 以ok為0並附err回報, 由呼叫端逐筆檢查
492
+ rest = {
493
+ n: 1,
494
+ nInserted: 0,
495
+ nModified: 0,
496
+ ok: 0,
497
+ err: getErrMsg(err),
498
+ }
499
+
500
+ }
501
+
502
+ //emit, 原autoInsert係轉呼叫insert故會發出insert事件, 此處維持既有行為,
503
+ //須於交易外發出, 避免外部訂閱函數於寫交易內執行
504
+ if (inserted) {
505
+
506
+ //update, 不能保證插入多少, 一律重設快取
507
+ _cache = null
508
+
509
+ try {
510
+
511
+ //emit
512
+ ee.emit('change', 'insert', [v], rest)
513
+
514
+ }
515
+ catch (err) {
516
+ console.log(err)
517
+ }
518
+
519
+ }
520
+
521
+ return rest
522
+ })
523
+
524
+ }
525
+ catch (err) {
526
+ isErr = true
527
+ res = err
528
+ }
529
+
530
+ //update, 不能保證變更多少, 一律重設快取
531
+ _cache = null
532
+
533
+ //emit, 於change可能須使用select, 故須放在重設快取之後
534
+ if (!isErr) {
535
+ try {
536
+
537
+ //emit
538
+ ee.emit('change', 'save', data, res)
539
+
540
+ }
541
+ catch (err) {
542
+ console.log(err)
543
+ }
544
+ }
545
+
546
+ //check
547
+ if (isErr) {
548
+ return Promise.reject(res)
549
+ }
550
+
551
+ return res
552
+ }
553
+
554
+ /**
555
+ * 刪除數據
556
+ *
557
+ * @memberOf WOrmLmdb
558
+ * @param {Object|Array} data 輸入數據物件或陣列
559
+ * @returns {Promise} 回傳Promise,resolve回傳與輸入等長之刪除結果陣列,各筆為{n,nDeleted,ok},n為主鍵命中筆數,單筆失敗或未給有效id者ok為0並附err,reject回傳錯誤訊息
560
+ */
561
+ async function del(data) {
562
+ let isErr = false
563
+
564
+ //check
565
+ if (!iseobj(data) && !isearr(data)) {
566
+ return []
567
+ }
568
+
569
+ //cloneDeep, 與外部數據脫勾
570
+ data = cloneDeep(data)
571
+
572
+ //res
573
+ let res = null
574
+ try {
575
+
576
+ //check
577
+ if (!isarr(data)) {
578
+ data = [data]
579
+ }
580
+
581
+ //pmSeries
582
+ res = await pmSeries(data, async(v) => {
583
+
584
+ //rest
585
+ let rest = null
586
+
587
+ try {
588
+
589
+ //id
590
+ let id = get(v, 'id', '')
591
+
592
+ //check
593
+ if (!isestr(id)) {
594
+ //未給有效v.id視為該筆數據有問題而無法處理, 以ok為0並附err回報,
595
+ //與[已給v.id但查無數據]之ok為1有別, 二者須可由ok分辨
596
+ return {
597
+ n: 0,
598
+ nDeleted: 0,
599
+ ok: 0,
600
+ err: `can not delete by invalid id[${id}]`,
601
+ }
602
+ }
603
+
604
+ //查找資料表內v.id
605
+ let vv = await getValue(id) //不會有catch
606
+
607
+ //check
608
+ if (iseobj(vv)) {
609
+ //已存在v.id則須刪除
610
+
611
+ //del
612
+ await client.del(id)
613
+
614
+ //rest
615
+ rest = {
616
+ n: 1,
617
+ nDeleted: 1,
618
+ ok: 1,
619
+ }
620
+
621
+ }
622
+ else {
623
+ //不存在v.id則不刪除, 未命中故n為0
624
+ rest = {
625
+ n: 0,
626
+ nDeleted: 0,
627
+ ok: 1,
628
+ }
629
+
630
+ }
631
+
632
+ }
633
+ catch (err) {
634
+
635
+ //本筆失敗不中斷整批, 以ok為0並附err回報, 由呼叫端逐筆檢查
636
+ rest = {
637
+ n: 1,
638
+ nDeleted: 0,
639
+ ok: 0,
640
+ err: getErrMsg(err),
641
+ }
642
+
643
+ }
644
+
645
+ return rest
646
+ })
647
+
648
+ }
649
+ catch (err) {
650
+ isErr = true
651
+ res = err
652
+ }
653
+
654
+ //update, 不能保證刪除多少, 一律重設快取
655
+ _cache = null
656
+
657
+ //emit, 於change可能須使用select, 故須放在重設快取之後
658
+ if (!isErr) {
659
+ try {
660
+
661
+ //emit
662
+ ee.emit('change', 'del', data, res)
663
+
664
+ }
665
+ catch (err) {
666
+ console.log(err)
667
+ }
668
+ }
669
+
670
+ //check
671
+ if (isErr) {
672
+ return Promise.reject(res)
673
+ }
674
+
675
+ return res
676
+ }
677
+
678
+ /**
679
+ * 刪除全部數據,需與del分開,避免未傳數據導致直接刪除全表
680
+ *
681
+ * @memberOf WOrmLmdb
682
+ * @param {Object} [find={}] 輸入刪除條件物件
683
+ * @returns {Promise} 回傳Promise,resolve回傳刪除結果物件{n,nDeleted,ok},n與nDeleted同為實際刪除筆數,reject回傳錯誤訊息
684
+ */
685
+ async function delAll(find = {}) {
686
+ let isErr = false
687
+
688
+ //res
689
+ let res = null
690
+ try {
691
+
692
+ //ltdt
693
+ let ltdt = await getData()
694
+
695
+ //filter
696
+ let nAll = size(ltdt)
697
+ let nDel = 0
698
+ if (iseobj(find)) {
699
+
700
+ //q
701
+ let q = new mingo.Query(find)
702
+ // console.log('q', q)
703
+
704
+ //find
705
+ let _res = q.find(ltdt).all()
706
+ // console.log('_res', _res)
707
+
708
+ //nDel
709
+ nDel = size(_res)
710
+ // console.log('nDel', nDel)
711
+
712
+ if (nDel === 0) {
713
+ //未有find結果等於不刪除
714
+ }
715
+ else if (nAll === nDel) {
716
+ //全在find結果內等於全部刪除
717
+
718
+ //empty
719
+ for (let v of ltdt) {
720
+ await client.del(v.id)
721
+ }
722
+
723
+ }
724
+ else {
725
+ //部份在find結果內
726
+
727
+ //_kp
728
+ let _kp = {}
729
+ each(_res, (v, k) => {
730
+ _kp[v.id] = { k, v }
731
+ })
732
+
733
+ //del
734
+ for (let v of ltdt) {
735
+ if (haskey(_kp, v.id)) {
736
+ //在find結果內代表須刪除
737
+ await client.del(v.id)
738
+ }
739
+ }
740
+
741
+ }
742
+ }
743
+ else {
744
+
745
+ //nDel
746
+ nDel = nAll
747
+
748
+ //empty
749
+ for (let v of ltdt) {
750
+ await client.del(v.id)
751
+ }
752
+
753
+ }
754
+
755
+ //res, n為實際刪除筆數而非全表筆數, 故與nDeleted同值
756
+ res = {
757
+ n: nDel,
758
+ nDeleted: nDel,
759
+ ok: 1,
760
+ }
761
+
762
+ }
763
+ catch (err) {
764
+ isErr = true
765
+ res = err
766
+ }
767
+
768
+ //update, 不能保證刪除多少, 一律重設快取
769
+ _cache = null
770
+
771
+ //emit, 於change可能須使用select, 故須放在重設快取之後
772
+ if (!isErr) {
773
+ try {
774
+
775
+ //emit
776
+ ee.emit('change', 'delAll', null, res)
777
+
778
+ }
779
+ catch (err) {
780
+ console.log(err)
781
+ }
782
+ }
783
+
784
+ //check
785
+ if (isErr) {
786
+ return Promise.reject(res)
787
+ }
788
+
789
+ return res
790
+ }
791
+
792
+ //close, 關閉內部LMDB env並釋放檔案鎖, close後該實例即報廢, 須重新new WOrmLmdb
793
+ let close = async () => {
794
+ if (client && client.status !== 'closed') {
795
+ await client.close() //lmdb root database之close(), 回傳Promise
796
+ }
797
+ }
798
+
799
+ //save
800
+ ee.select = select
801
+ ee.selectById = selectById
802
+ ee.insert = insert
803
+ ee.save = save
804
+ ee.del = del
805
+ ee.delAll = delAll
806
+ ee.close = close
807
+
808
+ return ee
809
+ }
810
+
811
+
812
+ export default WOrmLmdb