@cuboapp/crdt 1.0.14 → 1.0.15

package/package.json

@@ -1,6 +1,6 @@
 {
   "name": "@cuboapp/crdt",
-  "version": "1.0.14",
+  "version": "1.0.15",
   "description": "CRDT for CUBO",
   "main": "src/index.ts",
   "repository": {

package/src/client/index.ts

@@ -413,6 +413,10 @@ export class CuboCrdtClient<M> {
           entity_id: ctx.entity_id,
           data: Array.from(update),
           origin: {
+            // по умолчанию 'other' — исходную подписку исключаем (её yjs-документ уже
+            // применил изменение локально). Без этого апдейты от TipTap/y-prosemirror
+            // приходят без expose и сервер эхом шлёт их обратно самому автору.
+            expose: 'other',
             ...pick(origin || {}, ['store', 'keys', 'expose']),
             subscribe_id: opts?.subscribe_id
           }
@@ -468,7 +472,8 @@ export class CuboCrdtClient<M> {
               entity: ctx.entity,
               entity_id: ctx.entity_id,
               data: Array.from(update),
-              origin: { subscribe_id: opts.subscribe_id }
+              // 'other' — не шлём свой же курсор обратно исходной подписке
+              origin: { expose: 'other', subscribe_id: opts.subscribe_id }
             }
           })
         })

package/src/server/document/index.ts

@@ -94,8 +94,18 @@ export class CuboCrdtServerDocument {
   async write(dto: object, origin?: CuboCrdtServerDocumentOrigin) {
     const map = this.getMap()
 
+    // Пропускаем скалярные ключи с тем же значением: Y.Map.set всегда создаёт новый Item и
+    // тумбстонит старый (безостановочный рост документа + лишний update-эвент), даже если
+    // значение не изменилось. Сравнение по ссылке — дёшево и не трогает объекты (для них
+    // set выполняется как и раньше, без лишней сериализации на горячем пути).
+    const entries = Object.entries(dto).filter(([key, value]) => map.get(key) !== value)
+
+    if (!entries.length) {
+      return
+    }
+
     this.ydoc.transact(() => {
-      Object.entries(dto).forEach(([key, value]) => {
+      entries.forEach(([key, value]) => {
         map.set(key, value)
       })
     }, origin)

package/src/server/index.ts

@@ -36,6 +36,9 @@ export class CuboCrdtServer<M, A = {}, E extends Extract<keyof M, string> = Extr
 
   private documents = new Map<string, CuboCrdtServerDocument>()
   private subscribesByDocument = new Map<string, Set<string>>()
+  // обратный индекс: подписка -> имена документов, к которым она привязана.
+  // Нужен, чтобы отписка/очистка не сканировала ВСЕ документы сервера (O(subs x docs)).
+  private documentsBySubscribe = new Map<string, Set<string>>()
 
   public async init() {
     this.entities.forEach((e) => this.subscribesByEntity.set(e, new Set()))
@@ -163,8 +166,9 @@ export class CuboCrdtServer<M, A = {}, E extends Extract<keyof M, string> = Extr
   }
 
   public removeClient(client: WsServerSocket) {
-    // удаляем все подписки по клиенту
-    this.subscribesByClient.get(client.id)?.forEach((subscribe_id) => this.cleanSubscribe(subscribe_id))
+    // удаляем все подписки по клиенту (но только те, что всё ещё принадлежат ЭТОМУ сокету —
+    // подписка могла быть переподвязана к новому сокету при reconnect с тем же subscribe_id)
+    this.subscribesByClient.get(client.id)?.forEach((subscribe_id) => this.cleanSubscribe(subscribe_id, client.id))
 
     // удаляем мапу подписок по клиенту
     this.subscribesByClient.delete(client.id)
@@ -198,17 +202,17 @@ export class CuboCrdtServer<M, A = {}, E extends Extract<keyof M, string> = Extr
       return
     }
 
-    // дедупликация одинаковых событий внутри батча
-    const data = [...new Map(Array.from(queue).map((item) => [JSON.stringify(item), item])).values()]
+    // Дедупликация побайтово идентичных событий внутри батча + сборка кадра за ОДИН проход
+    // сериализации: сериализуем каждый элемент один раз (он же служит ключом дедупа) и
+    // склеиваем готовые JSON-строки, а не сериализуем весь массив повторно.
+    const items = new Set<string>()
+    for (const item of queue) {
+      items.add(JSON.stringify(item))
+    }
 
     queue.clear()
 
-    client.send(
-      JSON.stringify({
-        method: CUBO_CRDT_EVENT.EVENT,
-        data
-      })
-    )
+    client.send(`{"method":${JSON.stringify(CUBO_CRDT_EVENT.EVENT)},"data":[${Array.from(items).join(',')}]}`)
   }
 
   public sendToClient(client_id: string, data: any) {
@@ -241,6 +245,29 @@ export class CuboCrdtServer<M, A = {}, E extends Extract<keyof M, string> = Extr
     }
   }
 
+  // привязываем подписку к документу (в обоих индексах)
+  private linkSubscribeToDocument(subscribe_id: string, docName: string) {
+    let byDoc = this.subscribesByDocument.get(docName)
+    if (!byDoc) {
+      byDoc = new Set()
+      this.subscribesByDocument.set(docName, byDoc)
+    }
+    byDoc.add(subscribe_id)
+
+    let bySub = this.documentsBySubscribe.get(subscribe_id)
+    if (!bySub) {
+      bySub = new Set()
+      this.documentsBySubscribe.set(subscribe_id, bySub)
+    }
+    bySub.add(docName)
+  }
+
+  // отвязываем подписку от документа (в обоих индексах)
+  private unlinkSubscribeFromDocument(subscribe_id: string, docName: string) {
+    this.subscribesByDocument.get(docName)?.delete(subscribe_id)
+    this.documentsBySubscribe.get(subscribe_id)?.delete(docName)
+  }
+
   // если у документа нет подписок - сносим его
   private checkDocumentNeedRemove(name: string) {
     if (!this.subscribesByDocument.get(name)?.size) {
@@ -250,55 +277,62 @@ export class CuboCrdtServer<M, A = {}, E extends Extract<keyof M, string> = Extr
 
       this.documents.get(name)?.destroy()
       this.documents.delete(name)
+      // не оставляем пустой Set в индексе (иначе — медленная утечка записей мапы);
+      // getOrCreateDocument пересоздаст его при повторном появлении документа
+      this.subscribesByDocument.delete(name)
     }
   }
 
-  // очистка подписки (при отписке клиента - через emit-метод или options-хук)
-  private cleanSubscribe(subscribe_id: string) {
+  // очистка подписки (при отписке клиента - через emit-метод или options-хук).
+  // ownerClientId (опционально): при отключении сокета передаётся id этого сокета —
+  // если подписка уже переподвязана к НОВОМУ клиенту (reconnect с тем же subscribe_id),
+  // старый close-хендлер не должен её сносить.
+  private cleanSubscribe(subscribe_id: string, ownerClientId?: string) {
     const subscribe = this.subscribes.get(subscribe_id)
-    if (subscribe) {
+    if (!subscribe) {
+      return
+    }
+
+    // подписка была переподвязана к другому (более новому) клиенту — не трогаем
+    if (ownerClientId !== undefined && subscribe.client_id !== ownerClientId) {
       if (this.debug) {
-        console.log('[CRDT] unsubscribe', subscribe.entity, subscribe.filters)
+        console.log('[CRDT] cleanSubscribe skipped (rebound to newer client)', subscribe_id)
       }
+      return
+    }
 
-      if (subscribe.awareness) {
-        //убираем аварнесс стейт при отписке
-        this.subscribesByDocument.forEach((subs, docName) => {
-          if (!subs.has(subscribe_id)) {
-            return
-          }
+    if (this.debug) {
+      console.log('[CRDT] unsubscribe', subscribe.entity, subscribe.filters)
+    }
 
-          const doc = this.documents.get(docName)
-          if (!doc?.awareness) {
-            return
-          }
+    // документы этой подписки берём из обратного индекса, а не сканируем все
+    const docNames = this.documentsBySubscribe.get(subscribe_id)
 
-          const ids = Array.from(doc.awarenessBySubscribe.get(subscribe_id) || [])
-          if (!ids.length) {
-            return
+    if (docNames) {
+      for (const docName of docNames) {
+        if (subscribe.awareness) {
+          //убираем аварнесс стейт при отписке
+          const doc = this.documents.get(docName)
+          const ids = doc?.awareness ? Array.from(doc.awarenessBySubscribe.get(subscribe_id) || []) : []
+          if (doc?.awareness && ids.length) {
+            removeAwarenessStates(doc.awareness, ids, { subscribe_id, expose: 'all' })
+            doc.awarenessBySubscribe.delete(subscribe_id)
           }
+        }
 
-          removeAwarenessStates(doc.awareness, ids, { subscribe_id, expose: 'all' })
-
-          doc.awarenessBySubscribe.delete(subscribe_id)
-        })
+        // отписываем документ от подписки (только по одной стороне индекса — другую чистим ниже)
+        this.subscribesByDocument.get(docName)?.delete(subscribe_id)
+        this.checkDocumentNeedRemove(docName)
       }
+    }
 
-      // удаляем подписку по сущности
-      this.subscribesByEntity.get(subscribe.entity as E)?.delete(subscribe.id)
-
-      // отписываем все документы от подписки
-      this.subscribesByDocument.forEach((subscribes, docName) => {
-        subscribes.delete(subscribe_id)
-
-        this.checkDocumentNeedRemove(docName)
-      })
+    // удаляем обратный индекс
+    this.documentsBySubscribe.delete(subscribe_id)
 
-      // удаляем подписки
-      this.subscribes.delete(subscribe_id)
-      this.subscribesByClient.get(subscribe.client_id)?.delete(subscribe_id)
-      this.subscribesByEntity.get(subscribe.entity as E)?.delete(subscribe_id)
-    }
+    // удаляем подписки
+    this.subscribes.delete(subscribe_id)
+    this.subscribesByClient.get(subscribe.client_id)?.delete(subscribe_id)
+    this.subscribesByEntity.get(subscribe.entity as E)?.delete(subscribe_id)
   }
 
   public getDocument(entity: string, entity_id: number) {
@@ -321,60 +355,97 @@ export class CuboCrdtServer<M, A = {}, E extends Extract<keyof M, string> = Extr
     })
   }
 
-  public ensureDocument(entity: E, row: any, awareness?: boolean) {
-    // todo: врапнуть всё это в Promise
+  // создаёт (или возвращает существующий) серверный документ БЕЗ рассылки подписчикам.
+  // Используется как для рассылочного пути (ensureDocument), так и для точечной
+  // доставки на init подписки (pushSubscribeDocuments).
+  private getOrCreateDocument(entity: E, row: any, awareness?: boolean): CuboCrdtServerDocument {
     const entity_id = row.id
     const documentName = `${entity}:${entity_id}`
 
-    // проверяем документ
     let document = this.documents.get(documentName)
-    if (!document) {
-      document = new CuboCrdtServerDocument({
-        name: documentName,
-        initialState: row,
-        awareness: awareness,
-        onUpdate: (data: Uint8Array, origin?: CuboCrdtServerDocumentOrigin) => {
-          // пушим обновление документа
-          // console.log('push document update', document.name)
-
-          this.pushDocumentAction('update', entity, document!, data, origin)
-        },
-        onAwarenessUpdate: (data: Uint8Array, origin?: CuboCrdtServerDocumentOrigin) => {
-          // пушим обновление документа
-          // console.log('push document update', document.name)
-
-          this.pushDocumentAction('awareness', entity, document!, data, origin)
-        },
-        onStore: (item: object, origin: CuboCrdtServerDocumentOrigin) => {
-          const subscribe = origin.subscribe_id && this.subscribes.get(origin.subscribe_id)
-          const client = subscribe && this.clients.get(subscribe.client_id)
+    if (document) {
+      return document
+    }
 
-          if (client) {
-            return this.options?.storeRow?.(entity as any, entity_id, item as any, { document, client, origin })
-          }
+    document = new CuboCrdtServerDocument({
+      name: documentName,
+      initialState: row,
+      awareness: awareness,
+      onUpdate: (data: Uint8Array, origin?: CuboCrdtServerDocumentOrigin) => {
+        this.pushDocumentAction('update', entity, document!, data, origin)
+      },
+      onAwarenessUpdate: (data: Uint8Array, origin?: CuboCrdtServerDocumentOrigin) => {
+        this.pushDocumentAction('awareness', entity, document!, data, origin)
+      },
+      onStore: (item: object, origin: CuboCrdtServerDocumentOrigin) => {
+        const subscribe = origin.subscribe_id && this.subscribes.get(origin.subscribe_id)
+        const client = subscribe && this.clients.get(subscribe.client_id)
+
+        if (client) {
+          return this.options?.storeRow?.(entity as any, entity_id, item as any, { document, client, origin })
         }
-      })
-
-      // создаём документ
-      this.documents.set(documentName, document)
+      }
+    })
 
-      // создаём пул подписок по документу
+    this.documents.set(documentName, document)
+    if (!this.subscribesByDocument.has(documentName)) {
       this.subscribesByDocument.set(documentName, new Set())
+    }
 
-      // пушим создание документа
-      this.pushDocumentAction('create', entity, document, document.stateAsUpdate)
+    return document
+  }
 
-      // console.log('create document', documentName)
-    } else {
-      // console.log('update document', documentName)
+  // Рассылочный путь (хук onAfterCreate/onAfterUpdate из бэка): создаёт документ и
+  // раскатывает 'create'/'upsert' по ВСЕМ подходящим подпискам сущности.
+  public ensureDocument(entity: E, row: any, awareness?: boolean) {
+    if (row?.id == null) {
+      if (this.debug) {
+        console.warn('[CRDT] ensureDocument: row without id', entity, row)
+      }
+      return
+    }
+
+    const documentName = `${entity}:${row.id}`
+    const existed = this.documents.has(documentName)
+    const document = this.getOrCreateDocument(entity, row, awareness)
 
-      // пушим обновление документа
+    if (!existed) {
+      this.pushDocumentAction('create', entity, document, document.stateAsUpdate)
+    } else {
       this.pushDocumentAction('upsert', entity, document, document.stateAsUpdate)
     }
 
     return document
   }
 
+  // Точечная доставка документа ТОЛЬКО инициирующей подписке (init/upgrade/resubscribe).
+  // Раньше это шло через ensureDocument -> pushDocumentAction('upsert') с полным сканом
+  // всех подписок сущности — на каждый ряд из fetchRows. Теперь — один send на подписку.
+  private sendDocumentToSubscribe(subscribe: CuboCrdtServerSubscribe, document: CuboCrdtServerDocument, entity_id: number) {
+    this.linkSubscribeToDocument(subscribe.id, document.name)
+
+    this.sendToClient(subscribe.client_id, {
+      action: 'create',
+      entity: subscribe.entity,
+      entity_id,
+      data: Array.from(document.stateAsUpdate),
+      subscribe_id: subscribe.id
+    })
+
+    if (subscribe.awareness && document.awareness) {
+      const ids = Array.from(document.awareness.getStates().keys())
+      if (ids.length) {
+        this.sendToClient(subscribe.client_id, {
+          action: 'awareness',
+          entity: subscribe.entity,
+          entity_id,
+          data: Array.from(encodeAwarenessUpdate(document.awareness, ids)),
+          subscribe_id: subscribe.id
+        })
+      }
+    }
+  }
+
   public deleteDocument(entity: E, row: any, origin?: CuboCrdtClientDocOrigin) {
     if (this.debug) {
       console.log('[CRDT] delete document', entity, row.id, origin)
@@ -387,6 +458,15 @@ export class CuboCrdtServer<M, A = {}, E extends Extract<keyof M, string> = Extr
       // сначала пушим удаление документа
       this.pushDocumentAction('delete', entity, document, null, origin)
 
+      // чистим обратный индекс: убираем документ из documentsBySubscribe у всех его подписок
+      const subs = this.subscribesByDocument.get(documentName)
+      if (subs) {
+        for (const subscribe_id of subs) {
+          this.documentsBySubscribe.get(subscribe_id)?.delete(documentName)
+        }
+      }
+      this.subscribesByDocument.delete(documentName)
+
       // удаляем документ
       this.documents.delete(documentName)
 
@@ -402,11 +482,19 @@ export class CuboCrdtServer<M, A = {}, E extends Extract<keyof M, string> = Extr
   private onDocumentExternalUpdate(update: Uint8Array, action: CuboCrdtServerDocumentIncomingAction) {
     let document = this.getDocument(action.entity, action.entity_id)
     if (!document) {
+      // документ мог быть вытеснен (эвикция при отключении всех подписчиков), пока
+      // клиент ещё шлёт апдейты. Пересоздаём под ПРАВИЛЬНЫМ ключом ({ id }, а не число),
+      // без рассылки пустого 'create'. Раньше сюда передавался entity_id как row ->
+      // row.id === undefined -> общий документ-призрак `entity:undefined`.
+      if (action.entity_id == null) {
+        return
+      }
+
       if (this.debug) {
         console.warn('[CRDT] onDocumentExternalUpdate - document not found, creating:', action.entity, action.entity_id)
       }
 
-      document = this.ensureDocument(action.entity as E, action.entity_id, true)
+      document = this.getOrCreateDocument(action.entity as E, { id: action.entity_id }, true)
     }
 
     document.applyUpdate(new Uint8Array(update), action.origin)
@@ -468,6 +556,15 @@ export class CuboCrdtServer<M, A = {}, E extends Extract<keyof M, string> = Extr
     const sutableSubscribes = Array.from(this.subscribesByEntity.get(entity) || [])
       .map((subscribe_id) => {
         const subscribe = this.subscribes.get(subscribe_id)
+        if (!subscribe) {
+          return null
+        }
+
+        // аварнесс-события (курсоры/выделения) раскатываем ТОЛЬКО подпискам с awareness,
+        // а не всем спискам сущности, которым awareness не нужен
+        if (action === 'awareness' && !subscribe.awareness) {
+          return null
+        }
 
         const subscribeSutable = this.checkSubscribeIsSutable(origin, subscribe)
         const documentExistsInSubscribe = this.subscribesByDocument.get(document.name)?.has(subscribe.id)
@@ -534,8 +631,6 @@ export class CuboCrdtServer<M, A = {}, E extends Extract<keyof M, string> = Extr
       .filter((i) => !!i) as { subscribe: CuboCrdtServerSubscribe; action: CuboCrdtAction; data: undefined | number[] }[]
 
     if (sutableSubscribes.length) {
-      const documentSubscribes = this.subscribesByDocument.get(document.name)
-
       sutableSubscribes.forEach(({ subscribe, action, data }) => {
         this.sendToClient(subscribe.client_id, {
           action,
@@ -549,10 +644,10 @@ export class CuboCrdtServer<M, A = {}, E extends Extract<keyof M, string> = Extr
           case 'create':
           case 'upsert':
           case 'update':
-            documentSubscribes.add(subscribe.id)
+            this.linkSubscribeToDocument(subscribe.id, document.name)
             break
           case 'delete':
-            documentSubscribes.delete(subscribe.id)
+            this.unlinkSubscribeFromDocument(subscribe.id, document.name)
             this.checkDocumentNeedRemove(document.name)
             break
         }
@@ -577,13 +672,21 @@ export class CuboCrdtServer<M, A = {}, E extends Extract<keyof M, string> = Extr
   }
 
   private async pushSubscribeDocuments(client: WsServerSocket, subscribe: CuboCrdtServerSubscribe) {
-    // получаем список всех документов
+    // получаем строки под фильтры ЭТОЙ подписки
     const rows = await this.options.fetchRows?.(client, subscribe)
 
-    // пушим их в сокеты
+    // Доставляем документы ТОЧЕЧНО инициирующей подписке. Раньше это шло через
+    // ensureDocument -> pushDocumentAction('upsert') с полным сканом всех подписок сущности
+    // НА КАЖДУЮ строку из fetchRows (до 10k) — главный усилитель нагрузки при (ре)подписке.
+    // Строки уже отфильтрованы под фильтры подписки в fetchRows, поэтому повторная
+    // проверка/рассылка остальным не нужна: живые create/update придут через onAfterCreate.
     for (const row of rows || []) {
-      // this.ensureDocument(subscribe.entity as E, row, { subscribes_ids: [subscribe.id] })
-      this.ensureDocument(subscribe.entity as E, row, subscribe.awareness)
+      if ((row as any)?.id == null) {
+        continue
+      }
+
+      const document = this.getOrCreateDocument(subscribe.entity as E, row, subscribe.awareness)
+      this.sendDocumentToSubscribe(subscribe, document, (row as any).id)
     }
   }