@cuboapp/crdt 1.0.19 → 1.0.21

package/package.json

@@ -1,6 +1,6 @@
 {
   "name": "@cuboapp/crdt",
-  "version": "1.0.19",
+  "version": "1.0.21",
   "description": "CRDT for CUBO",
   "main": "src/index.ts",
   "repository": {

package/src/client/index.ts

@@ -1,6 +1,6 @@
 import { keyBy, pick, uuid } from '@cuboapp/utils'
 import { WsClientEvent } from '@cuboapp/ws'
-import { computed, reactive } from 'vue'
+import { computed, reactive, shallowReactive } from 'vue'
 import { applyAwarenessUpdate, Awareness, encodeAwarenessUpdate, removeAwarenessStates } from 'y-protocols/awareness'
 import { applyUpdate, Doc } from 'yjs'
 
@@ -40,6 +40,7 @@ export class CuboCrdtClient<M> {
       filters?: Record<string, any>
       awareness?: boolean
       paginated?: boolean
+      counted?: boolean
     }
   >()
   private onReconnect = () => this.resubscribeAll()
@@ -145,7 +146,8 @@ export class CuboCrdtClient<M> {
               entity: sub.entity,
               filters: sub.filters,
               awareness: sub.awareness,
-              paginated: sub.paginated
+              paginated: sub.paginated,
+              counted: sub.counted
             }
           },
           { wait: true, timeout: 10_000 }
@@ -176,6 +178,29 @@ export class CuboCrdtClient<M> {
     return Number.isFinite(page) && page > 0 && Number.isFinite(limit) && limit > 0
   }
 
+  /**
+   * Подписка на КОЛИЧЕСТВО строк под фильтрами.
+   *
+   * Возвращает реактивное число и живёт как обычная подписка: сервер пересчитывает
+   * count на любую мутацию сущности и присылает только totals — строки не грузятся,
+   * CRDT-документы не создаются.
+   *
+   * Зачем: счётчику (оранжевая точка инбокса, число задач в «Неразобранном») нужно одно
+   * число, а обычная подписка ради него держала бы весь набор строк — память на сервере,
+   * трафик на каждое их изменение и документы, которые никто не читает.
+   *
+   *   const { count, unsubscribe } = crdt.useCount('events', { filters: { recipient: 5 } })
+   */
+  public useCount<K extends Extract<keyof M, string>>(entity: K | string, opts?: CuboCrdtClientUseOptions) {
+    const list = this.useList(entity, { ...(opts || {}), counted: true })
+    const totals = list.totals()
+
+    return {
+      ...list,
+      count: computed(() => Number(totals.value?.count || 0))
+    }
+  }
+
   public useComputedList<K extends Extract<keyof M, string>>(entity: K) {
     return computed(() => (this.store[entity]?.state.rows || []) as M[K][])
   }
@@ -209,8 +234,8 @@ export class CuboCrdtClient<M> {
 
       this.store[storeKey] = {
         state,
-        docs: new Map(),
-        awarenesses: new Map()
+        docs: shallowReactive(new Map()),
+        awarenesses: shallowReactive(new Map())
       }
     }
 
@@ -228,6 +253,7 @@ export class CuboCrdtClient<M> {
 
       filters = filters !== undefined ? filters : opts?.filters
       const paginated = this.resolvePaginated(filters, opts?.paginated)
+      const counted = !!opts?.counted
 
       if (this.debug) {
         console.log('[CRDT] subscribe', { entity, opts, filters })
@@ -256,7 +282,8 @@ export class CuboCrdtClient<M> {
         storeKey,
         filters,
         awareness: opts?.awareness,
-        paginated
+        paginated,
+        counted
       })
 
       // подписываемся на бэке (если сокет ещё не подключён — переподпишемся по событию CONNECTED)
@@ -270,7 +297,8 @@ export class CuboCrdtClient<M> {
                 entity,
                 filters,
                 awareness: opts?.awareness,
-                paginated
+                paginated,
+                counted
               }
             },
             { wait: true, timeout: 10_000 }
@@ -489,7 +517,7 @@ export class CuboCrdtClient<M> {
       .request(
         {
           method: CUBO_CRDT_EVENT.UPGRADE,
-          data: { subscribe_id, filters, paginated: sub?.paginated }
+          data: { subscribe_id, filters, paginated: sub?.paginated, counted: sub?.counted }
         },
         { wait: true, timeout: 10_000 }
       )
@@ -523,6 +551,47 @@ export class CuboCrdtClient<M> {
     }
   }
 
+  private ensureDocumentAwareness(
+    ctx: CuboCrdtClientSubscribeEvent,
+    opts: CuboCrdtClientDocUpdateOptions,
+    doc: Doc,
+    entity_id: number
+  ) {
+    if (!opts.awareness) {
+      return
+    }
+
+    let awareness = this.store[opts.storeKey]?.awarenesses.get(entity_id)
+
+    if (awareness) {
+      return
+    }
+
+    awareness = new Awareness(doc)
+
+    awareness.on('update', ({ added, updated, removed }, origin) => {
+      if (origin === 'remote') {
+        return
+      }
+
+      const changed = added.concat(updated).concat(removed)
+      const update = encodeAwarenessUpdate(awareness!, changed)
+
+      this.ws.request({
+        method: CUBO_CRDT_EVENT.EVENT,
+        data: {
+          action: 'awareness',
+          entity: ctx.entity,
+          entity_id,
+          data: Array.from(update),
+          origin: { expose: 'other', subscribe_id: opts.subscribe_id }
+        }
+      })
+    })
+
+    this.store[opts.storeKey]?.awarenesses.set(entity_id, awareness)
+  }
+
   private async onDocumentCreate(ctx: CuboCrdtClientSubscribeEvent, opts: CuboCrdtClientDocUpdateOptions) {
     const entity_id = ctx.entity_id
     if (entity_id === undefined) {
@@ -540,6 +609,7 @@ export class CuboCrdtClient<M> {
 
       applyUpdate(existing, new Uint8Array(ctx.data as any), { react: false })
       this.applyRowJson(opts.storeKey, entity_id, existing)
+      this.ensureDocumentAwareness(ctx, opts, existing, entity_id)
       return
     }
 
@@ -602,38 +672,7 @@ export class CuboCrdtClient<M> {
       await opts.onAfterCreate(doc, update, ctx, opts)
     }
 
-    if (opts?.awareness) {
-      let awareness = this.store[opts.storeKey]?.awarenesses.get(entity_id)
-
-      if (!awareness) {
-        awareness = new Awareness(doc)
-
-        awareness.on('update', ({ added, updated, removed }, origin) => {
-          // console.log('[CRDT] awarness update', origin)
-
-          if (origin === 'remote') {
-            return
-          }
-
-          const changed = added.concat(updated).concat(removed)
-          const update = encodeAwarenessUpdate(awareness, changed)
-
-          this.ws.request({
-            method: CUBO_CRDT_EVENT.EVENT,
-            data: {
-              action: 'awareness',
-              entity: ctx.entity,
-              entity_id,
-              data: Array.from(update),
-              // 'other' — не шлём свой же курсор обратно исходной подписке
-              origin: { expose: 'other', subscribe_id: opts.subscribe_id }
-            }
-          })
-        })
-
-        this.store[opts.storeKey]?.awarenesses.set(entity_id, awareness)
-      }
-    }
+    this.ensureDocumentAwareness(ctx, opts, doc, entity_id)
   }
 
   private async onDocumentUpdate(ctx: CuboCrdtClientSubscribeEvent, opts: CuboCrdtClientDocUpdateOptions) {

package/src/client/types/index.ts

@@ -27,6 +27,11 @@ export type CuboCrdtClientUseOptions = CuboCrdtClientBaseOptions & {
   filters?: Record<string, any>
   awareness?: boolean
   paginated?: boolean
+  /**
+   * Подписка только на КОЛИЧЕСТВО строк под фильтрами: строки не грузятся и документы
+   * не создаются, приезжает лишь totals. Для счётчиков и индикаторов — см. useCount.
+   */
+  counted?: boolean
 }
 
 export type CuboCrdtClientSubscribeEvent = {

package/src/server/document/index.ts

@@ -19,28 +19,7 @@ export class CuboCrdtServerDocument {
     })
 
     if (opts.awareness) {
-      this.awareness = new Awareness(this.ydoc)
-      this.awareness.setLocalState(null)
-
-      this.awareness.on('update', ({ added, updated, removed }, origin: CuboCrdtServerDocumentOrigin) => {
-        const subId = origin?.subscribe_id
-
-        if (subId) {
-          let set = this.awarenessBySubscribe.get(subId)
-          if (!set) {
-            set = new Set()
-            this.awarenessBySubscribe.set(subId, set)
-          }
-
-          added.concat(updated).forEach((id) => set!.add(id))
-          removed.forEach((id) => set!.delete(id))
-        }
-
-        const changed = added.concat(updated).concat(removed)
-        const update = encodeAwarenessUpdate(this.awareness!, changed)
-
-        this.opts?.onAwarenessUpdate?.(update, origin)
-      })
+      this.enableAwareness()
     }
 
     this.persistedState = cloneDeep(opts.initialState ?? {})
@@ -72,6 +51,35 @@ export class CuboCrdtServerDocument {
     })
   }
 
+  public enableAwareness() {
+    if (this.awareness) {
+      return
+    }
+
+    this.awareness = new Awareness(this.ydoc)
+    this.awareness.setLocalState(null)
+
+    this.awareness.on('update', ({ added, updated, removed }, origin: CuboCrdtServerDocumentOrigin) => {
+      const subId = origin?.subscribe_id
+
+      if (subId) {
+        let set = this.awarenessBySubscribe.get(subId)
+        if (!set) {
+          set = new Set()
+          this.awarenessBySubscribe.set(subId, set)
+        }
+
+        added.concat(updated).forEach((id) => set!.add(id))
+        removed.forEach((id) => set!.delete(id))
+      }
+
+      const changed = added.concat(updated).concat(removed)
+      const update = encodeAwarenessUpdate(this.awareness!, changed)
+
+      this.opts?.onAwarenessUpdate?.(update, origin)
+    })
+  }
+
   public get name() {
     return this.opts.name
   }

package/src/server/index.ts

@@ -49,7 +49,7 @@ export class CuboCrdtServer<M, A = {}, E extends Extract<keyof M, string> = Extr
     this.entities.forEach((e) => this.subscribesByEntity.set(e, new Set()))
 
     this.ws.registerHandler(CUBO_CRDT_EVENT.SUBSCRIBE, async ({ client, message }) => {
-      const { subscribe_id: id, entity, filters, awareness = false, paginated } = message.data as CuboCrdtServerSubscribeDto
+      const { subscribe_id: id, entity, filters, awareness = false, paginated, counted } = message.data as CuboCrdtServerSubscribeDto
 
       if (this.debug) {
         console.log('[CRDT] subscribe', entity, filters)
@@ -67,6 +67,7 @@ export class CuboCrdtServer<M, A = {}, E extends Extract<keyof M, string> = Extr
         filters: cloneDeep(filters || {}),
         awareness,
         paginated: this.resolvePaginated(filters, paginated),
+        counted: !!counted,
         row_ids: [],
         totals: {},
         revision: 0
@@ -87,7 +88,7 @@ export class CuboCrdtServer<M, A = {}, E extends Extract<keyof M, string> = Extr
     })
 
     this.ws.registerHandler(CUBO_CRDT_EVENT.UPGRADE, async ({ client, message }) => {
-      const { subscribe_id: id, entity, filters, paginated } = message.data as CuboCrdtServerSubscribeDto
+      const { subscribe_id: id, entity, filters, paginated, counted } = message.data as CuboCrdtServerSubscribeDto
 
       if (this.debug) {
         console.log('[CRDT] upgrade', entity, filters)
@@ -99,7 +100,7 @@ export class CuboCrdtServer<M, A = {}, E extends Extract<keyof M, string> = Extr
       }
 
       // обновляем подписку
-      await this.upgradeSubscribe(client, subscribe, { filters, paginated })
+      await this.upgradeSubscribe(client, subscribe, { filters, paginated, counted })
 
       return { subscribe_id: id, revision: subscribe.revision }
     })
@@ -523,6 +524,13 @@ export class CuboCrdtServer<M, A = {}, E extends Extract<keyof M, string> = Extr
   }
 
   private shouldRefreshSubscribe(entity: E, subscribe: CuboCrdtServerSubscribe, mutation: CuboCrdtMutation<M[E]>) {
+    // Счётчик пересчитываем на любую мутацию сущности: количество — свойство ВЫБОРКИ,
+    // а не строки, и по одному событию понять, изменилось ли оно, нельзя. Строк мы при
+    // этом не держим, поэтому пересчёт стоит один запрос count, а не выгрузку набора.
+    if (subscribe.counted) {
+      return true
+    }
+
     if (!subscribe.paginated) {
       return false
     }
@@ -582,7 +590,7 @@ export class CuboCrdtServer<M, A = {}, E extends Extract<keyof M, string> = Extr
   public invalidate(entity: E) {
     for (const subscribe_id of this.subscribesByEntity.get(entity) || []) {
       const subscribe = this.subscribes.get(subscribe_id)
-      if (subscribe?.paginated) {
+      if (subscribe?.paginated || subscribe?.counted) {
         this.requestSubscribeRefresh(subscribe_id)
       }
     }
@@ -597,6 +605,10 @@ export class CuboCrdtServer<M, A = {}, E extends Extract<keyof M, string> = Extr
 
     let document = this.documents.get(documentName)
     if (document) {
+      if (awareness) {
+        document.enableAwareness()
+      }
+
       // Освежаем существующий документ строкой из БД.
       //
       // Раньше документ возвращался как есть, а подписка отправляла клиенту его
@@ -953,6 +965,33 @@ export class CuboCrdtServer<M, A = {}, E extends Extract<keyof M, string> = Extr
       return false
     }
 
+    // Счётчику строки не нужны: документы не создаём и не связываем, храним только
+    // totals. Иначе подписка ради одного числа тянула бы весь набор в память сервера
+    // и рассылала бы клиенту каждое его изменение.
+    if (subscribe.counted) {
+      const totalsChanged = !areCrdtListTotalsEqual(subscribe.totals, result.totals)
+
+      subscribe.totals = result.totals
+
+      if (!forceSync && !totalsChanged) {
+        return true
+      }
+
+      subscribe.revision += 1
+
+      // Тот же sync, что и у пагинированной подписки, только со всегда пустым списком id:
+      // клиент уже умеет его принимать и обновлять totals/revision — отдельный тип
+      // сообщения пришлось бы поддерживать в обоих концах.
+      this.sendToClient(subscribe.client_id, {
+        action: 'sync',
+        entity: subscribe.entity,
+        subscribe_id: subscribe.id,
+        data: { ids: [], totals: subscribe.totals, revision: subscribe.revision }
+      })
+
+      return true
+    }
+
     const rowsById = new Map<number, any>()
     const nextIds: number[] = []
 
@@ -1028,7 +1067,7 @@ export class CuboCrdtServer<M, A = {}, E extends Extract<keyof M, string> = Extr
   private async upgradeSubscribe(
     client: WsServerSocket,
     subscribe: CuboCrdtServerSubscribe,
-    upgrade: Partial<Pick<CuboCrdtServerSubscribe, 'filters' | 'paginated'>>
+    upgrade: Partial<Pick<CuboCrdtServerSubscribe, 'filters' | 'paginated' | 'counted'>>
   ) {
     if (this.debug) {
       console.log('[CRDT] upgrade subscribe ' + client.id, subscribe)

package/src/server/types/subscribe.ts

@@ -11,6 +11,14 @@ export type CuboCrdtServerSubscribeDto = {
   }
   awareness?: boolean
   paginated?: boolean
+  /**
+   * Подписка только на КОЛИЧЕСТВО строк под фильтрами.
+   *
+   * Документы при этом не создаются вовсе: клиенту нужно одно число (счётчик,
+   * индикатор непрочитанного), а держать ради него весь набор строк — держать
+   * лишнюю память на сервере и лишний трафик на каждое их изменение.
+   */
+  counted?: boolean
 }
 
 export type CuboCrdtServerSubscribe = {
@@ -19,7 +27,7 @@ export type CuboCrdtServerSubscribe = {
   row_ids: number[]
   totals: CuboCrdtListTotals
   revision: number
-} & Pick<CuboCrdtServerSubscribeDto, 'entity' | 'filters' | 'awareness' | 'paginated'>
+} & Pick<CuboCrdtServerSubscribeDto, 'entity' | 'filters' | 'awareness' | 'paginated' | 'counted'>
 
 export type CuboCrdtSubscribeRefreshState = {
   dirty: boolean