@modusensus/dsh-mneme 0.14.0-beta.1 → 0.14.0-beta.2
This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
- package/LICENSE +21 -21
- package/README.md +830 -830
- package/assets/icon.svg +3 -3
- package/bin/cli.mjs +964 -964
- package/bin/dsh-mneme-choro.mjs +262 -262
- package/bin/dsh-mneme-mcp.mjs +510 -510
- package/bin/dsh-mneme-serve.mjs +151 -151
- package/cordis.patch.yml +21 -21
- package/docs/CONFIGURATION.md +407 -404
- package/docs/CONTINUITY.md +139 -139
- package/docs/DAEMON.md +57 -57
- package/docs/DIRECTORIES.md +114 -114
- package/docs/DISTILL.md +397 -371
- package/docs/DSH-GO.md +97 -97
- package/docs/ENTITIES.md +247 -247
- package/docs/FORGET.md +77 -77
- package/docs/KB.md +110 -110
- package/docs/LOCAL_MODEL.md +222 -222
- package/docs/SEMANTIC.md +256 -256
- package/docs/SHARE.md +552 -552
- package/docs/SLEEP.md +202 -202
- package/docs/STORAGE.md +122 -122
- package/docs/WORKFLOWS.md +366 -366
- package/lib/api-standalone.js +1007 -1007
- package/lib/api.js +3600 -3600
- package/lib/attachment-text.js +122 -122
- package/lib/bootstrap-http.js +105 -105
- package/lib/bootstrap.js +215 -215
- package/lib/candidates.js +454 -454
- package/lib/capabilities.js +819 -819
- package/lib/choro-command.js +111 -111
- package/lib/client.js +14420 -14322
- package/lib/commands.js +95 -95
- package/lib/config-keys.js +144 -144
- package/lib/config.js +1361 -1344
- package/lib/content-hash.js +54 -54
- package/lib/continuity.js +258 -258
- package/lib/date-hint.js +32 -0
- package/lib/diary/auto.js +190 -190
- package/lib/diary/compose.js +440 -440
- package/lib/diary/dir.js +59 -59
- package/lib/diary/export.js +97 -97
- package/lib/diary/index.js +26 -26
- package/lib/diary/library.js +189 -189
- package/lib/diary/qq-inbox.js +142 -142
- package/lib/diary/rollover.js +61 -61
- package/lib/diary/session-provider.js +122 -122
- package/lib/document-index.js +94 -94
- package/lib/document.js +322 -322
- package/lib/dream/clustering.js +123 -123
- package/lib/dream/decisions.js +945 -945
- package/lib/dream/narratives.js +44 -44
- package/lib/dream/sleep.js +2027 -2027
- package/lib/dream/triage.js +139 -139
- package/lib/dream.js +1879 -1879
- package/lib/dsh-go/host.js +162 -162
- package/lib/dsh-go/panel.js +2091 -2091
- package/lib/dsh-go/text.js +342 -342
- package/lib/dsh-go/views/common.js +68 -68
- package/lib/dsh-go/views/entity.js +48 -48
- package/lib/dsh-go/views/memory.js +198 -198
- package/lib/dsh-go/views/root.js +30 -30
- package/lib/dsh-go/views/settings.js +398 -398
- package/lib/dsh-go/views/status.js +51 -51
- package/lib/embedding.js +342 -342
- package/lib/entities/extractor.js +285 -285
- package/lib/fence.js +24 -24
- package/lib/graph/anchoring.js +184 -184
- package/lib/guide.js +74 -74
- package/lib/heat.js +144 -144
- package/lib/hot-memory.js +119 -119
- package/lib/image-describe.js +158 -0
- package/lib/index.js +852 -852
- package/lib/inject.js +656 -651
- package/lib/kb/index.js +309 -309
- package/lib/kb/routes.js +219 -219
- package/lib/kb/tools.js +148 -148
- package/lib/lang.js +607 -595
- package/lib/local-embedder.js +358 -358
- package/lib/maintenance.js +162 -162
- package/lib/memory-source.js +9 -9
- package/lib/mirror.js +330 -330
- package/lib/organize.js +456 -456
- package/lib/peak-hours.js +172 -172
- package/lib/pipeline-activities.js +178 -178
- package/lib/pipeline-attribution.js +165 -165
- package/lib/pipeline-command.js +279 -279
- package/lib/pipeline-confirm.js +142 -142
- package/lib/pipeline-exec.js +174 -174
- package/lib/pipeline-nudge-auto.js +129 -129
- package/lib/pipeline-nudge.js +1623 -1623
- package/lib/pipeline-observations.js +181 -181
- package/lib/pipeline-observe.js +133 -133
- package/lib/pipeline-runner.js +361 -361
- package/lib/pipeline-runs.js +442 -442
- package/lib/pipeline.js +716 -716
- package/lib/placement.js +13 -13
- package/lib/pre-inject-gate.js +354 -354
- package/lib/profile-extract.js +164 -164
- package/lib/profile-facts.js +356 -356
- package/lib/provenance-http.js +251 -251
- package/lib/quality-filter.js +162 -162
- package/lib/recall-stats.js +190 -190
- package/lib/reclaim-http.js +150 -150
- package/lib/reranker.js +269 -269
- package/lib/runtime/adopt.js +176 -176
- package/lib/runtime/closure.js +172 -172
- package/lib/runtime/download.js +247 -247
- package/lib/runtime/layout.js +265 -265
- package/lib/runtime/loader.js +252 -252
- package/lib/runtime/model-fetch.js +361 -361
- package/lib/runtime/provision.js +237 -237
- package/lib/runtime/tarball.js +130 -130
- package/lib/runtime/verify.js +223 -223
- package/lib/safe-slice.js +18 -18
- package/lib/scope-state.js +277 -277
- package/lib/scope.js +187 -187
- package/lib/search/adaptive.js +60 -60
- package/lib/search/bm25.js +96 -96
- package/lib/semantic.js +572 -572
- package/lib/sensitive-scan.js +209 -209
- package/lib/serve.js +228 -228
- package/lib/service.js +3268 -3268
- package/lib/session-gate.js +91 -91
- package/lib/session-usage.js +350 -350
- package/lib/settings.js +827 -817
- package/lib/share-http.js +281 -281
- package/lib/share-import.js +234 -234
- package/lib/share.js +335 -335
- package/lib/store.js +5895 -5895
- package/lib/summarize.js +1388 -1343
- package/lib/tools.js +1370 -1356
- package/lib/user-settings.js +230 -230
- package/lib/vector-index.js +180 -180
- package/lib/version-check.js +122 -122
- package/lib/wiki/claims.js +267 -267
- package/lib/wiki/cli-hint.js +90 -90
- package/lib/wiki/inject.js +164 -164
- package/lib/wiki/partition.js +200 -200
- package/lib/wiki/plan.js +214 -214
- package/lib/wiki/queries.js +640 -640
- package/lib/wiki/render.js +261 -261
- package/lib/wiki/scan.js +371 -371
- package/lib/wiki/t0.js +500 -500
- package/lib/wiki/t1-jobs.js +232 -232
- package/lib/wiki/t1.js +609 -609
- package/lib/write-admission.js +404 -404
- package/locale/en.json +6 -6
- package/locale/zh.json +6 -6
- package/package.json +1 -1
- package/runtime-manifest.json +526 -526
- package/scripts/benchmark-embed.js +201 -201
- package/scripts/benchmark-recall.js +249 -249
- package/scripts/benchmark-rerank.js +166 -166
- package/scripts/build-runtime-manifest.mjs +224 -224
- package/scripts/changelog-prep.mjs +91 -91
- package/scripts/check-sync.js +44 -44
- package/scripts/e2e-dsh.js +220 -220
- package/scripts/mneme-runtime.mjs +277 -277
- package/scripts/publish-gate.mjs +197 -197
- package/scripts/release-docs.mjs +210 -210
- package/scripts/release-notes.mjs +164 -164
- package/scripts/stress-dsh.js +255 -255
- package/scripts/sync-lib.js +47 -47
- package/scripts/sync-test-badge.mjs +69 -69
- package/scripts/test-count-sync.mjs +48 -48
- package/src/api-standalone.js +1007 -1007
- package/src/api.js +3600 -3600
- package/src/attachment-text.js +122 -122
- package/src/bootstrap-http.js +105 -105
- package/src/bootstrap.js +215 -215
- package/src/candidates.js +454 -454
- package/src/capabilities.js +819 -819
- package/src/choro-command.js +111 -111
- package/src/commands.js +95 -95
- package/src/config-keys.js +144 -144
- package/src/config.js +1361 -1344
- package/src/content-hash.js +54 -54
- package/src/continuity.js +258 -258
- package/src/date-hint.js +32 -0
- package/src/diary/auto.js +190 -190
- package/src/diary/compose.js +440 -440
- package/src/diary/dir.js +59 -59
- package/src/diary/export.js +97 -97
- package/src/diary/index.js +26 -26
- package/src/diary/library.js +189 -189
- package/src/diary/qq-inbox.js +142 -142
- package/src/diary/rollover.js +61 -61
- package/src/diary/session-provider.js +122 -122
- package/src/document-index.js +94 -94
- package/src/document.js +322 -322
- package/src/dream/clustering.js +123 -123
- package/src/dream/decisions.js +945 -945
- package/src/dream/narratives.js +44 -44
- package/src/dream/sleep.js +2027 -2027
- package/src/dream/triage.js +139 -139
- package/src/dream.js +1879 -1879
- package/src/dsh-go/host.js +162 -162
- package/src/dsh-go/panel.js +2091 -2091
- package/src/dsh-go/text.js +342 -342
- package/src/dsh-go/views/common.js +68 -68
- package/src/dsh-go/views/entity.js +48 -48
- package/src/dsh-go/views/memory.js +198 -198
- package/src/dsh-go/views/root.js +30 -30
- package/src/dsh-go/views/settings.js +398 -398
- package/src/dsh-go/views/status.js +51 -51
- package/src/embedding.js +342 -342
- package/src/entities/extractor.js +285 -285
- package/src/fence.js +24 -24
- package/src/graph/anchoring.js +184 -184
- package/src/guide.js +74 -74
- package/src/heat.js +144 -144
- package/src/hot-memory.js +119 -119
- package/src/image-describe.js +158 -0
- package/src/index.js +852 -852
- package/src/inject.js +656 -651
- package/src/kb/index.js +309 -309
- package/src/kb/routes.js +219 -219
- package/src/kb/tools.js +148 -148
- package/src/lang.js +607 -595
- package/src/local-embedder.js +358 -358
- package/src/maintenance.js +162 -162
- package/src/memory-source.js +9 -9
- package/src/mirror.js +330 -330
- package/src/organize.js +456 -456
- package/src/peak-hours.js +172 -172
- package/src/pipeline-activities.js +178 -178
- package/src/pipeline-attribution.js +165 -165
- package/src/pipeline-command.js +279 -279
- package/src/pipeline-confirm.js +142 -142
- package/src/pipeline-exec.js +174 -174
- package/src/pipeline-nudge-auto.js +129 -129
- package/src/pipeline-nudge.js +1623 -1623
- package/src/pipeline-observations.js +181 -181
- package/src/pipeline-observe.js +133 -133
- package/src/pipeline-runner.js +361 -361
- package/src/pipeline-runs.js +442 -442
- package/src/pipeline.js +716 -716
- package/src/placement.js +13 -13
- package/src/pre-inject-gate.js +354 -354
- package/src/profile-extract.js +164 -164
- package/src/profile-facts.js +356 -356
- package/src/provenance-http.js +251 -251
- package/src/quality-filter.js +162 -162
- package/src/recall-stats.js +190 -190
- package/src/reclaim-http.js +150 -150
- package/src/reranker.js +269 -269
- package/src/runtime/adopt.js +176 -176
- package/src/runtime/closure.js +172 -172
- package/src/runtime/download.js +247 -247
- package/src/runtime/layout.js +265 -265
- package/src/runtime/loader.js +252 -252
- package/src/runtime/model-fetch.js +361 -361
- package/src/runtime/provision.js +237 -237
- package/src/runtime/tarball.js +130 -130
- package/src/runtime/verify.js +223 -223
- package/src/safe-slice.js +18 -18
- package/src/scope-state.js +277 -277
- package/src/scope.js +187 -187
- package/src/search/adaptive.js +60 -60
- package/src/search/bm25.js +96 -96
- package/src/semantic.js +572 -572
- package/src/sensitive-scan.js +209 -209
- package/src/serve.js +228 -228
- package/src/service.js +3268 -3268
- package/src/session-gate.js +91 -91
- package/src/session-usage.js +350 -350
- package/src/settings.js +827 -817
- package/src/share-http.js +281 -281
- package/src/share-import.js +234 -234
- package/src/share.js +335 -335
- package/src/store.js +5895 -5895
- package/src/summarize.js +1388 -1343
- package/src/tools.js +1370 -1356
- package/src/user-settings.js +230 -230
- package/src/vector-index.js +180 -180
- package/src/version-check.js +122 -122
- package/src/wiki/claims.js +267 -267
- package/src/wiki/cli-hint.js +90 -90
- package/src/wiki/inject.js +164 -164
- package/src/wiki/partition.js +200 -200
- package/src/wiki/plan.js +214 -214
- package/src/wiki/queries.js +640 -640
- package/src/wiki/render.js +261 -261
- package/src/wiki/scan.js +371 -371
- package/src/wiki/t0.js +500 -500
- package/src/wiki/t1-jobs.js +232 -232
- package/src/wiki/t1.js +609 -609
- package/src/write-admission.js +404 -404
- package/test/adaptive-inject-budget.test.js +85 -85
- package/test/api-hardening.test.js +173 -173
- package/test/api-nudge-route.test.js +259 -259
- package/test/api-routes-gaps.test.js +1092 -1092
- package/test/api.test.js +3007 -2998
- package/test/attachment-text.test.js +139 -139
- package/test/audit.test.js +448 -448
- package/test/baseline-persist.test.js +248 -248
- package/test/benchmark.test.js +94 -94
- package/test/bm25-corpus-cache.test.js +145 -145
- package/test/bootstrap.test.js +228 -228
- package/test/candidates.test.js +345 -345
- package/test/capabilities.test.js +577 -577
- package/test/capacity-warning.test.js +262 -262
- package/test/changelog-prep.test.js +125 -125
- package/test/choro-command.test.js +218 -218
- package/test/cli-enums.test.js +37 -37
- package/test/cli-flag-value.test.js +86 -86
- package/test/cli-receive.test.js +390 -390
- package/test/cli-share.test.js +437 -437
- package/test/client-share.test.js +225 -225
- package/test/client.test.js +4595 -4425
- package/test/clustering.test.js +100 -100
- package/test/commands.test.js +106 -106
- package/test/config-keys-routes.test.js +233 -233
- package/test/config.test.js +153 -153
- package/test/conflict-freeze.test.js +344 -344
- package/test/conflict-ledger-enforce.test.js +452 -452
- package/test/conflict-ledger.test.js +242 -242
- package/test/conflict-reviewed.test.js +79 -79
- package/test/content-hash.test.js +204 -204
- package/test/continuity.test.js +452 -452
- package/test/contrast.test.js +432 -432
- package/test/date-hint.test.js +156 -0
- package/test/dedupe-candidate-window.test.js +180 -180
- package/test/dependency-overrides.test.js +78 -78
- package/test/diary-library.test.js +187 -187
- package/test/diary.test.js +576 -576
- package/test/differentiate-feedback.test.js +248 -248
- package/test/distill-tx-embed-gap.test.js +110 -110
- package/test/docs-config-keys.test.js +65 -65
- package/test/document-dir.test.js +233 -233
- package/test/document.test.js +703 -703
- package/test/dream-archive-guardrail.test.js +116 -116
- package/test/dream-baseline-clamp.test.js +174 -174
- package/test/dream-candidate-hybrid.test.js +281 -281
- package/test/dream-coverage-degrade.test.js +86 -86
- package/test/dream-decision-evidence.test.js +314 -314
- package/test/dream-failure-backoff.test.js +173 -173
- package/test/dream-fence.test.js +207 -207
- package/test/dream-maxtokens-fallback.test.js +132 -132
- package/test/dream-merge-guardrail.test.js +219 -219
- package/test/dream-peak-hours.test.js +194 -194
- package/test/dream.test.js +1528 -1528
- package/test/dsh-go-host.test.js +134 -134
- package/test/dsh-go-panel-actions.test.js +854 -854
- package/test/dsh-go-panel.test.js +251 -251
- package/test/embed-ready-poll.test.js +94 -94
- package/test/embed-text-reasons.test.js +112 -112
- package/test/embedding-cache-f32.test.js +276 -276
- package/test/embedding-ready.test.js +226 -226
- package/test/entities.test.js +711 -711
- package/test/entity-recall.test.js +179 -179
- package/test/epistemic.test.js +325 -325
- package/test/failure-query.test.js +147 -147
- package/test/failure-retention.test.js +105 -105
- package/test/fnew-0112.test.js +311 -311
- package/test/fnew-03.test.js +422 -422
- package/test/forget-corrections.test.js +70 -70
- package/test/graph-anchoring.test.js +184 -184
- package/test/graph-api.test.js +333 -333
- package/test/graph-boosted-relations.test.js +189 -189
- package/test/graph-inject-budget.test.js +103 -103
- package/test/graph-multipath.test.js +269 -269
- package/test/graph-passive-confirm.test.js +91 -91
- package/test/graph-weight-evolution.test.js +104 -104
- package/test/heat.test.js +175 -175
- package/test/helpers/dream-mock.js +86 -86
- package/test/helpers/peer-worker.mjs +25 -25
- package/test/helpers/runtime-source.js +60 -60
- package/test/helpers/tar-builder.js +80 -80
- package/test/helpers/write-admission-samples.js +312 -312
- package/test/hot-memory.test.js +259 -259
- package/test/image-description.test.js +271 -0
- package/test/image-memory.test.js +170 -170
- package/test/inject-content-cap.test.js +91 -91
- package/test/inject-first-round-bm25.test.js +89 -89
- package/test/inject-heat.test.js +77 -77
- package/test/inject-parent-gate.test.js +134 -109
- package/test/inject-pin-explicit.test.js +300 -300
- package/test/inject-pin-vector-crowd.test.js +225 -225
- package/test/inject-pools.test.js +195 -195
- package/test/inject-recall.test.js +172 -172
- package/test/inject-rotation.test.js +161 -161
- package/test/inject.test.js +553 -553
- package/test/issue-617-step1-query-and-fusion.test.js +361 -361
- package/test/kb-api-wiring.test.js +128 -128
- package/test/kb-collections.test.js +272 -272
- package/test/kb-routes.test.js +379 -379
- package/test/lang.test.js +98 -98
- package/test/lastrunat-persist.test.js +101 -101
- package/test/lib-smoke.test.js +116 -116
- package/test/llm-audit.test.js +815 -815
- package/test/llm-message-source.test.js +207 -207
- package/test/local-embedder.test.js +292 -292
- package/test/maintenance.test.js +501 -501
- package/test/mcp-stdio.test.js +385 -385
- package/test/mint-source.test.js +311 -311
- package/test/mirror-dirty.test.js +424 -424
- package/test/mirror-edit-digest.test.js +187 -187
- package/test/mirror-generation.test.js +499 -499
- package/test/mirror-types.test.js +208 -208
- package/test/mirror.test.js +249 -249
- package/test/narrative-bars.test.js +162 -162
- package/test/organize-tool.test.js +232 -232
- package/test/organize.test.js +418 -418
- package/test/panel-chart-scale.test.js +90 -90
- package/test/panel-tokens.test.js +245 -245
- package/test/peak-hours-observability.test.js +70 -70
- package/test/peer-blockers.test.js +193 -193
- package/test/persona-addressing.test.js +83 -83
- package/test/persona-api.test.js +172 -172
- package/test/persona-by-session.test.js +568 -568
- package/test/persona-flag.test.js +36 -36
- package/test/persona-inject.test.js +145 -145
- package/test/persona-settings.test.js +198 -198
- package/test/pipeline-activities.test.js +155 -155
- package/test/pipeline-attribution.test.js +175 -175
- package/test/pipeline-command.test.js +243 -243
- package/test/pipeline-confirm.test.js +148 -148
- package/test/pipeline-exec.test.js +172 -172
- package/test/pipeline-nudge-auto.test.js +248 -248
- package/test/pipeline-nudge.test.js +1278 -1278
- package/test/pipeline-observations.test.js +157 -157
- package/test/pipeline-observe.test.js +127 -127
- package/test/pipeline-r1r2.test.js +278 -278
- package/test/pipeline-runner.test.js +468 -468
- package/test/pipeline-runs.test.js +767 -767
- package/test/pipeline.test.js +636 -636
- package/test/placement.test.js +36 -36
- package/test/policy-epoch.test.js +259 -259
- package/test/pre-inject-gate.test.js +444 -444
- package/test/profile-extract.test.js +269 -269
- package/test/profile-facts.test.js +492 -492
- package/test/prompt-stance.test.js +128 -128
- package/test/provenance-http.test.js +367 -367
- package/test/publish-gate.test.js +272 -272
- package/test/quality-backfill.test.js +290 -290
- package/test/quality-filter.test.js +295 -295
- package/test/readme-claims.test.js +113 -113
- package/test/reasoning-effort.test.js +752 -752
- package/test/recall-anti-update.test.js +82 -82
- package/test/recall-evals.test.js +253 -253
- package/test/recall-layer.test.js +326 -326
- package/test/recall-retention.test.js +128 -128
- package/test/recall-stats.test.js +274 -274
- package/test/receipt-chain.test.js +451 -451
- package/test/reclaim-http.test.js +209 -209
- package/test/reflection-update-gate.test.js +129 -129
- package/test/reflection.test.js +226 -226
- package/test/reindex-backfill.test.js +475 -475
- package/test/reindex-scheduler.test.js +369 -369
- package/test/release-docs.test.js +156 -156
- package/test/release-notes.test.js +265 -265
- package/test/release-workflow.test.js +93 -93
- package/test/reranker-single-logit.test.js +73 -73
- package/test/reranker.test.js +197 -197
- package/test/resident-status.test.js +83 -83
- package/test/route-policy.test.js +113 -113
- package/test/runtime-adopt.test.js +206 -206
- package/test/runtime-cli.test.js +89 -89
- package/test/runtime-closure.test.js +193 -193
- package/test/runtime-download.test.js +302 -302
- package/test/runtime-layout.test.js +163 -163
- package/test/runtime-loader.test.js +255 -255
- package/test/runtime-manifest.test.js +159 -159
- package/test/runtime-model-fetch.test.js +348 -348
- package/test/runtime-provision.test.js +101 -101
- package/test/runtime-tarball.test.js +81 -81
- package/test/runtime-verify.test.js +319 -319
- package/test/scope-candidates.test.js +491 -491
- package/test/scope-distill-stamp.test.js +134 -134
- package/test/scope-explicit.test.js +452 -452
- package/test/scope-inject-soft.test.js +106 -106
- package/test/scope-optional-service.test.js +110 -110
- package/test/scope-retrieval.test.js +197 -197
- package/test/scope-state.test.js +610 -610
- package/test/scope-storage.test.js +255 -255
- package/test/scope-strict.test.js +367 -367
- package/test/search-fusion.test.js +90 -90
- package/test/security-doc.test.js +188 -188
- package/test/semantic.test.js +124 -124
- package/test/sensitive-scan.test.js +251 -251
- package/test/serve-bin.test.js +121 -121
- package/test/serve.test.js +258 -258
- package/test/service-search.test.js +174 -174
- package/test/service.test.js +410 -410
- package/test/session-gate.test.js +264 -264
- package/test/session-usage.test.js +317 -317
- package/test/settings.test.js +273 -273
- package/test/share-foreign-rows.test.js +144 -144
- package/test/share-http.test.js +144 -144
- package/test/share-import.test.js +577 -577
- package/test/share-imported-guard.test.js +311 -311
- package/test/share-imported-identity.test.js +111 -111
- package/test/share-pack.test.js +511 -511
- package/test/share-receive-http.test.js +756 -756
- package/test/share-routes.test.js +337 -337
- package/test/share-store.test.js +133 -133
- package/test/share-validate.test.js +101 -101
- package/test/skip-invalid-restore.test.js +262 -262
- package/test/sleep-action-set.test.js +441 -441
- package/test/sleep-catchup.test.js +315 -315
- package/test/sleep-failure-backoff.test.js +156 -156
- package/test/sleep-heat.test.js +174 -174
- package/test/sleep-scheduler-rearm.test.js +89 -89
- package/test/sleep.test.js +1455 -1455
- package/test/standalone-api.test.js +1344 -1344
- package/test/store-vector-cache.test.js +98 -98
- package/test/store-write-path-columns.test.js +191 -191
- package/test/store.test.js +744 -744
- package/test/stress.test.js +209 -209
- package/test/summarize-occurred-at.test.js +127 -127
- package/test/summarize-parse-diagnostics.test.js +75 -75
- package/test/summarize-reasoning-effort.test.js +189 -189
- package/test/summarize.test.js +2251 -2251
- package/test/supersede-state-tracking.test.js +394 -394
- package/test/test-count-sync.test.js +71 -71
- package/test/tool-state-ignore.test.js +65 -65
- package/test/tools-dto-schema-matrix.test.js +398 -398
- package/test/tools-memory-get-schema.test.js +65 -65
- package/test/tools.test.js +585 -585
- package/test/updated-at-semantics.test.js +113 -113
- package/test/user-settings-preview.test.js +127 -127
- package/test/user-settings-segments.test.js +527 -527
- package/test/vector-index.test.js +334 -334
- package/test/version-check.test.js +152 -152
- package/test/webServer-optional.test.js +82 -82
- package/test/wiki-api.test.js +734 -734
- package/test/wiki-claims.test.js +194 -194
- package/test/wiki-cli-hint.test.js +118 -118
- package/test/wiki-inject.test.js +265 -265
- package/test/wiki-partition.test.js +112 -112
- package/test/wiki-plan.test.js +80 -80
- package/test/wiki-provenance.test.js +202 -202
- package/test/wiki-queries.test.js +398 -398
- package/test/wiki-scan.test.js +208 -208
- package/test/wiki-store.test.js +190 -190
- package/test/wiki-t0.test.js +456 -456
- package/test/wiki-t1-jobs.test.js +125 -125
- package/test/wiki-t1.test.js +460 -460
- package/test/wiki-tools.test.js +176 -176
- package/test/workflow-guards.test.js +155 -155
- package/test/write-admission.test.js +668 -668
package/src/share.js
CHANGED
|
@@ -1,335 +1,335 @@
|
|
|
1
|
-
// 记忆分享包的纯核心:取行口径、脱敏、序列化。
|
|
2
|
-
// 本模块不认识 store、不认识 http,也不读 config —— 两侧出口(宿主内面板路由与
|
|
3
|
-
// standalone Bearer 数据面)共用的解析与答复在 share-http.js,#411 的教训是这两张皮
|
|
4
|
-
// 只许剩鉴权与路径不同。
|
|
5
|
-
// 唯一进来的外部判据是两个纯函数(write-admission 的空白/噪声、sensitive-scan 的
|
|
6
|
-
// 密钥/PII):判据只许有一份,所以这里 import 而不是重抄,代价是模块图会连带把
|
|
7
|
-
// store 模块**加载**进来(write-admission → service → store)—— 加载不等于使用,
|
|
8
|
-
// 本模块不调它任何一个方法,也不碰 config。
|
|
9
|
-
import { createHash, randomBytes } from "node:crypto";
|
|
10
|
-
import { informationlessReason } from "./write-admission.js";
|
|
11
|
-
import { scanSensitive } from "./sensitive-scan.js";
|
|
12
|
-
|
|
13
|
-
export const SHARE_KIND = "mneme.share/v1";
|
|
14
|
-
|
|
15
|
-
// 跳过清单的条数上限:面板与 CLI 都要把「为什么这条没进包」摊给人看,但一个
|
|
16
|
-
// 几千条的库不该因此产出一份比包还长的报告。超限就截断,计数仍给全量。
|
|
17
|
-
export const SHARE_SKIP_LIST_MAX = 50;
|
|
18
|
-
|
|
19
|
-
// 体积水位留在 3 MiB,上限是两侧 readBody 各自写死的 4 MiB(api.js:57、
|
|
20
|
-
// api-standalone.js:31)。留 1 MiB 是给 JSON 包装与接收侧再序列化的余量——
|
|
21
|
-
// 包本身要作为 body 原样 POST 回去,水位贴上限等于给自己埋 413。
|
|
22
|
-
export const MAX_PACK_BYTES = 3 * 1024 * 1024;
|
|
23
|
-
|
|
24
|
-
// document 是指针行(#296),正文文件不随包走,导出去对面就是「看着有、点开是空」;
|
|
25
|
-
// 与 mirror.js 的 MIRROR_READONLY_TYPES 同口径,但这里刻意写死字面量而不是 import
|
|
26
|
-
// 那个 Set —— 分享格式的兼容面比镜像宽,镜像哪天放开只读 type 不该自动改掉包的口径。
|
|
27
|
-
export const SHARE_READONLY_TYPES = new Set(["document"]);
|
|
28
|
-
export const SHARE_EXCLUDED_TYPES = new Set(["summary"]);
|
|
29
|
-
|
|
30
|
-
const withoutNul = (value) => String(value ?? "").replace(/\u0000/g, "");
|
|
31
|
-
|
|
32
|
-
/**
|
|
33
|
-
* 幂等键:`pack_id \0 type \0 title \0 content_hash`,防 ("ab","c") 与 ("a","bc") 撞同一键。
|
|
34
|
-
*
|
|
35
|
-
* 分隔符只保证「字段之间」的切法唯一,所以入参自己的 U+0000 必须先剥掉:不剥的话
|
|
36
|
-
* ("t","a\0b") 与 ("t\0a","b") 拼出同一串字节,对面重算时把这条当成「已经吃过」,
|
|
37
|
-
* 于是该建的行静默不建(串号是幂等表上最难查的那类 bug,没有报错)。剥完 `"a\0b"` 与
|
|
38
|
-
* `"ab"` 同键——这与既有的 trim 是同一类归一(丢字节换切法唯一),不是新开的口子。
|
|
39
|
-
* 归一写在这里而不是各调用方:铸造侧(本模块)与重算侧(车道 C)必须共用一份口径,
|
|
40
|
-
* 两份实现各自归一迟早漂。除 U+0000 外不动别的字节,trim 口径照旧 —— 归一规则一变,
|
|
41
|
-
* 已发出去的包里每个 external_id 都对不上。
|
|
42
|
-
*
|
|
43
|
-
* 第四格是内容锚,不是装饰:库里的去重键含 `content_hash`(store.js:1233),所以同 type
|
|
44
|
-
* 同 title、正文不同的两条是两条合法记忆。键里没它时两条铸出同一个 external_id,收侧
|
|
45
|
-
* 「先查后跳过」把第二条当成已吃过而静默不建,而包里的 `report.included` 已经说了 2 ——
|
|
46
|
-
* 说谎的是这份账。缺锚的行(store 没算过)与 `null` 都归一成 `""`:JSON 里没有 undefined,
|
|
47
|
-
* 重算侧只会看到 null,两者不许铸出两个键。
|
|
48
|
-
*/
|
|
49
|
-
export function deriveExternalId(packId, type, title, contentHash) {
|
|
50
|
-
const parts = [withoutNul(packId), withoutNul(type), withoutNul(title).trim(), withoutNul(contentHash)];
|
|
51
|
-
return createHash("sha256").update(parts.join("\u0000"), "utf8").digest("hex").slice(0, 16);
|
|
52
|
-
}
|
|
53
|
-
|
|
54
|
-
const reEsc = (s) => s.replace(/[.*+?^${}()|[\]\\]/g, "\\$&");
|
|
55
|
-
|
|
56
|
-
/**
|
|
57
|
-
* 把正文里的本机 home 前缀换成 `~`。
|
|
58
|
-
*
|
|
59
|
-
* 判据是**分隔符游程**,不是几种固定拼法:把 base 按 `[/\\]+` 切成段,再用 `[/\\]+`
|
|
60
|
-
* 拼回一条正则(段间至少一个分隔符、个数不限)。于是同一目录的所有写法——单反斜杠、
|
|
61
|
-
* 正斜杠、JSON 里转义过的双反斜杠、混合、二次编码——都走同一条判据。上一版按
|
|
62
|
-
* base / 单反斜杠 / 双反斜杠三个固定形态匹配,混合与二次编码照样漏,而「按拼法打补丁」
|
|
63
|
-
* 的失败方式是永远漏下没列到的那一种,漏出来的正是用户名。
|
|
64
|
-
* 大小写不敏感:盘符与用户目录在真实路径里的大小写常常和 homedir() 不一致。
|
|
65
|
-
* 已知代价:游程要求段间**至少一个**分隔符,所以段间没有分隔符的写法(`C:Users`)不
|
|
66
|
-
* 命中——上一版按三个固定形态匹配时同样不命中,游程在这一格既没放宽也没收窄。那已经不是
|
|
67
|
-
* 同一目录的拼法(Node 与 JSON 都不产它),要命中只能把前缀约束整个拆掉,而那侧错的方向
|
|
68
|
-
* 是泄露。
|
|
69
|
-
*/
|
|
70
|
-
export function createHomeRedactor(homeDir) {
|
|
71
|
-
// 尾分隔符先剥:留着它就成了末段空串,拼出的游程把「正文必须带尾分隔符」写进判据,
|
|
72
|
-
// 没带的那个反而漏。全由分隔符组成的 home(`//`)剥完即空,走 identity 出口——
|
|
73
|
-
// 否则正则会把正文里的斜杠吃成 `~/`,把内容改花。
|
|
74
|
-
const base = (typeof homeDir === "string" ? homeDir.trim() : "").replace(/[/\\]+$/, "");
|
|
75
|
-
if (base.length < 2) return (text) => String(text ?? "");
|
|
76
|
-
const re = new RegExp(`${base.split(/[/\\]+/).map(reEsc).join("[/\\\\]+")}[\\\\/]?`, "gi");
|
|
77
|
-
// 折掉的只有「前缀 + 紧跟着的那一个分隔符」,输出统一成读者与对面 agent 都认的 `~/`;
|
|
78
|
-
// 后面的路径按原样留着——改写用户写下的字节是另一类事故。前缀落在句尾时不补分隔符。
|
|
79
|
-
return (text) => String(text ?? "").replace(re, (m) => (m.endsWith("\\") || m.endsWith("/") ? "~/" : "~"));
|
|
80
|
-
}
|
|
81
|
-
|
|
82
|
-
/**
|
|
83
|
-
* 一条记忆进不进包。顺序是刻意的:先状态位(archived/forgotten),再类型,
|
|
84
|
-
* 再判据 —— 空白与噪声先于敏感判定,因为一条内容为空的记忆没有可泄露的东西,
|
|
85
|
-
* 把它记成 sensitive 会让跳过清单的读数说错原因。
|
|
86
|
-
*
|
|
87
|
-
* 「空白/噪声」这一级不自建判据:复用 informationlessReason(write-admission.js:117),
|
|
88
|
-
* 它的口径是 title+content 的**组合**判定 —— 两侧归一后都不剩字才命中("blank" 全空、
|
|
89
|
-
* "noise" 只剩标点/空白)。组合口径管的是「这条写入有没有信息」,分享边界要问的是另一个
|
|
90
|
-
* 问题:对面能不能吃下这一条。所以这里另外补一刀「正文 trim 后为空」(见函数内注释)。
|
|
91
|
-
*
|
|
92
|
-
* 跳过的分支也返回脱敏后的 title:跳过清单不只在本机看 —— 打包侧把它原样写进
|
|
93
|
-
* pack.report.skip_list,CLI 再整份打到终端(车道 A3/A7 的口径),而 413 那次拒发
|
|
94
|
-
* 仍带着同一份 report 出去(src/share-http.js)。未遮的 title 等于把用户名装进这份
|
|
95
|
-
* 「设计上不含它」的文件,而泄露面最大的恰恰是不进包的那几条。所以在源头遮,每个
|
|
96
|
-
* 消费方拿到的都是安全字符串;下游不需要、也不该再各补一刀。遮的仍是同一个 redact,
|
|
97
|
-
* 本模块只有这一条脱敏路径。
|
|
98
|
-
*
|
|
99
|
-
* 但「遮过 home」不等于「可以外发」:一条被密钥判据认中的行,它的**标题**常常就是
|
|
100
|
-
* 那条凭据的回声(最终评审的复现:标题「生产库密码 P@ssw0rd-for-prod-db 别丢」+ 正文
|
|
101
|
-
* `password: …`,被跳过原因是 archived)。规则表只认「关键词 + 赋值号 + 值的形状」,
|
|
102
|
-
* 单看这一串标题它并不命中 —— 所以这里判的是**整行**含不含凭据,命中就连带标题一起
|
|
103
|
-
* 不给:正文不发的那条,它的标题也不该跟着包走。留空而不是给摘要/哈希:skip_list 随包
|
|
104
|
-
* 外发,一个哈希是递给收侧的离线爆破 oracle,而低熵口令正是这类行最常见的内容。
|
|
105
|
-
* 方向上的代价只有「少看得见一条标题」,计数仍给全量。
|
|
106
|
-
*
|
|
107
|
-
* 因此扫描面在判序**之前**算一次(原因归属仍按下面的判序,空白照旧先于敏感):代价是
|
|
108
|
-
* 归档行也进扫描,不再是「进包候选 + 敏感命中」那一小撮。量级没变 —— 整库逐条扫描实测
|
|
109
|
-
* 98 ms(docs/SHARE.md),而这条路径本来就要付一次全表读(同处约 1.1 s)。
|
|
110
|
-
*/
|
|
111
|
-
export function classifyRowForShare(row, { redact = (t) => t } = {}) {
|
|
112
|
-
const title = redact(row?.title ?? "");
|
|
113
|
-
// 扫描面用 `scanSensitive` 这个「任意文本」口径的导出,不用带开关的那个工厂面:
|
|
114
|
-
// 工厂在 sensitiveScanEnabled 关时返回 null(sensitive-scan.js:199),而那个键管的是
|
|
115
|
-
// **写入侧**可观测性。分享边界本身就是安全边界(spec §4)——用户没开写入闸门时
|
|
116
|
-
// 恰恰最需要这里照常在扫,跟着开关走等于裸发整库。
|
|
117
|
-
const scanned = scanSensitive([row?.title, row?.content, ...(Array.isArray(row?.tags) ? row.tags : [])]
|
|
118
|
-
.filter((s) => typeof s === "string").join("\n"));
|
|
119
|
-
const skipTitle = scanned ? "" : title;
|
|
120
|
-
if (row?.archived) return { include: false, reason: "archived", title: skipTitle };
|
|
121
|
-
if (row?.forgotten) return { include: false, reason: "forgotten", title: skipTitle };
|
|
122
|
-
if (SHARE_READONLY_TYPES.has(row?.type)) return { include: false, reason: "readonly_type", title: skipTitle };
|
|
123
|
-
if (SHARE_EXCLUDED_TYPES.has(row?.type)) return { include: false, reason: "excluded_type", title: skipTitle };
|
|
124
|
-
// 正文 trim 后为空即算空白,这一格 `informationlessReason` 够不着:它判的是 title+content
|
|
125
|
-
// 的**组合**(两侧归一后都不剩字才命中),所以「标题有字、正文一片空白」在它眼里是有信息
|
|
126
|
-
// 的。上一版据此让那条进包,判据本身没错,错在出口:收侧的 `content` 列 NOT NULL,车道 C
|
|
127
|
-
// 还按 spec §5 逐条校验非空,一条空正文不是少发一条而是**把整包毒掉**(校验不过 → 什么都不
|
|
128
|
-
// 导入,对面拿着一个报错的包不知道差在哪一条)。这里不开第七个原因键:六个键被 docs/SHARE.md
|
|
129
|
-
// 的表、CLI 的档位名与本文件的计数三方钉死,多一个就是第四份要跟着改的口径;而「这条不该进包」
|
|
130
|
-
// 的原因确实就是「它没有正文」,同一格读数不撒谎。
|
|
131
|
-
if (!String(row?.content ?? "").trim() || informationlessReason(row)) {
|
|
132
|
-
return { include: false, reason: "blank_or_noise", title: skipTitle };
|
|
133
|
-
}
|
|
134
|
-
// 命中判据时标题恒为空串,与「这条压根没标题」同一个出口形状(下游只看到字符串)。
|
|
135
|
-
if (scanned) return { include: false, reason: "sensitive", title: "" };
|
|
136
|
-
const content = redact(row?.content ?? "");
|
|
137
|
-
return {
|
|
138
|
-
include: true,
|
|
139
|
-
row: {
|
|
140
|
-
type: row.type,
|
|
141
|
-
title,
|
|
142
|
-
content,
|
|
143
|
-
tags: (Array.isArray(row.tags) ? row.tags : []).map((t) => String(redact(t))),
|
|
144
|
-
importance: Number.isInteger(row.importance) ? row.importance : 3,
|
|
145
|
-
epistemic_status: row.epistemic_status ?? "subjective",
|
|
146
|
-
created_at: row.created_at ?? null,
|
|
147
|
-
updated_at: row.updated_at ?? null,
|
|
148
|
-
// 这一条是**发送方库里的内容锚**,原样带过去只作引用,不是完整性凭证,别拿它
|
|
149
|
-
// 校验「正文没在路上被改」(车道 C 注意)。两处对不上:① 它由 store 从**未脱敏**
|
|
150
|
-
// 的 title/content 派生(store.js:1160 → contentHashOf,content-hash.js:49-53),
|
|
151
|
-
// 而包里的 content/title 是遮过的——所以只要 home 遮过一次,两者就必然不一致,
|
|
152
|
-
// 恰恰是遮过的那几条对不上;② 它算的是归一化后的文本(NFKC → 小写 → 去标点 →
|
|
153
|
-
// 空白折叠),对面按收到的字节重算 sha256 本来就得不到同一个值。真要做传输完整性
|
|
154
|
-
// 校验,得对遮后的字节另派一把新字段,不是复用这一把。
|
|
155
|
-
content_hash: row.content_hash ?? null
|
|
156
|
-
}
|
|
157
|
-
};
|
|
158
|
-
}
|
|
159
|
-
|
|
160
|
-
/**
|
|
161
|
-
* filters 一个键的形状归一:→「任一命中」的集合,或 null(= 没填,不收窄)。
|
|
162
|
-
* type 与 tag 共用这一份判据(裁定:两者同形)。三条理由,方向各不同:
|
|
163
|
-
* - 裸字符串与数组都算收窄。出口把 `--type` / `--tag` 给成串还是数组不由这里决定
|
|
164
|
-
* (单旗标给串、重复旗标与面板多选给数组都说得通),只认一种就是把另一种读成「没筛」
|
|
165
|
-
* = **放行整库**,而她以为只发了一类。多值取「任一」,与 type 原本用的集合口径一致。
|
|
166
|
-
* - 空数组与只剩空白的条目算「没填」:清空勾选不等于要一个空包,读成「筛成 0 条」是替
|
|
167
|
-
* 她说谎。同一次调用不该因为出口给串还是给数组而读出两种结果。
|
|
168
|
-
* - 认不出的条目(非字符串)留在集合里 → 谁都不匹配 → 收窄到 0 条。这一侧错的方向是
|
|
169
|
-
* **少发**,report 与 stdout 当场看得见;「认不出就当没填」才是把整库发出去。
|
|
170
|
-
*/
|
|
171
|
-
function shareFilterSet(value) {
|
|
172
|
-
if (value === undefined || value === null) return null;
|
|
173
|
-
const kept = [];
|
|
174
|
-
for (const item of Array.isArray(value) ? value : [value]) {
|
|
175
|
-
if (typeof item !== "string") { kept.push(item); continue; }
|
|
176
|
-
const trimmed = item.trim();
|
|
177
|
-
if (trimmed) kept.push(trimmed);
|
|
178
|
-
}
|
|
179
|
-
return kept.length ? new Set(kept) : null;
|
|
180
|
-
}
|
|
181
|
-
|
|
182
|
-
/**
|
|
183
|
-
* 打包。顺序是刻意的:过滤 → 逐条定性 → 用**进包的那对值**铸 external_id → 序列化 → 量字节。
|
|
184
|
-
*
|
|
185
|
-
* 水位量的是**最终序列化字节**,不是条数也不是字符数:这份包要原样当 body POST 回
|
|
186
|
-
* 对面(车道 C),而中文字符数与 UTF-8 字节数差三倍,按字符数判等于把 413 留给对面;
|
|
187
|
-
* 按条数判则对「条少但每条很长」的库说谎,那种包照样过大。字节只能在 JSON 写完之后再量,
|
|
188
|
-
* 所以这里没有「先算大小再决定装几条」的分支。
|
|
189
|
-
*
|
|
190
|
-
* 超限**不裁条目**:裁到哪一条是替分享者做「哪条可以不发」的判断,而这份判断该由她自己
|
|
191
|
-
* 用 filters 分批来做(spec §4 决策 5)。所以只拒绝,并把量到的 bytes 与 limitBytes 一起
|
|
192
|
-
* 交回,让出口能说出「大了多少、怎么分批」。
|
|
193
|
-
*
|
|
194
|
-
* filters 是分享者的显式收窄,**不进跳过计数也不进清单**:那份账要说的是「本可以发、
|
|
195
|
-
* 因为口径没发」,把她自己筛掉的记进去,读数就把她指向错的那一类。所以两个判据都排在
|
|
196
|
-
* classifyRowForShare **之前**——这一条顺序是测试锁住的(把过滤挪到定性之后就多说几条
|
|
197
|
-
* 她没跳过的行),别当成可读性优化来「合并条件」。
|
|
198
|
-
*
|
|
199
|
-
* skip_list 截到 SHARE_SKIP_LIST_MAX,skipped 的六个计数仍走全量——截的是清单不是账。
|
|
200
|
-
* 清单里的 title 用 classifyRowForShare 返回值原样写入:它已在源头遮过 home,命中密钥
|
|
201
|
-
* 判据的那几条也已在源头留空(标题是凭据的回声,而这份清单随包外发)。这里补第二刀
|
|
202
|
-
* 是「两个口径」的开始,不是更安全。
|
|
203
|
-
*
|
|
204
|
-
* `report.deduped`:同一份包里铸出同一把 `external_id` 的行只发一条。键是
|
|
205
|
-
* `(pack_id, type, title, content_hash)`,**没有 scope**,而库里同 type 同标题同内容锚、
|
|
206
|
-
* scope 不同的两条是合法的两行(store.js:1233 的去重键带 agent/workspace/sensitivity
|
|
207
|
-
* 三维)——所以「两条不同记忆铸出同一个键」是常态,不是畸形数据。为什么在出包侧折叠:
|
|
208
|
-
* ①对面那台库没有 scope 这一维(包里就不带它),这两条到对面就是同一条记忆,正文与
|
|
209
|
-
* 标题逐字节相同,发两份只是让她多两行一样的东西;②不折叠的后果不是重复而是**整包失败**
|
|
210
|
-
* ——车道 C 的 `share_external_id` 是 UNIQUE 索引,第二条 INSERT 抛错会穿出 runAtomically
|
|
211
|
-
* 的 ROLLBACK 把整包带走(spec §5 明写「先查管常规重复导入、UNIQUE 管并发」,可同一个包
|
|
212
|
-
* 内部的两条先查谁都查不到,因为那时一行都没落)。「重跑就 created=0」救不了它:重跑吃的
|
|
213
|
-
* 是同一个死键。方向上的代价只有少发一条重复正文,`included` 因此是**实际发出的条数**,
|
|
214
|
-
* 折叠掉的数在 `deduped` 里,两份账相加才是「够格进包的行数」。
|
|
215
|
-
*/
|
|
216
|
-
export function buildSharePack({
|
|
217
|
-
rows, alias = "", homeDir, packageVersion, filters = {},
|
|
218
|
-
packId = randomBytes(8).toString("hex"), generatedAt = new Date().toISOString()
|
|
219
|
-
} = {}) {
|
|
220
|
-
const redact = createHomeRedactor(homeDir);
|
|
221
|
-
const wantedTypes = shareFilterSet(filters.type);
|
|
222
|
-
const wantedTags = shareFilterSet(filters.tag);
|
|
223
|
-
const skipped = { archived: 0, forgotten: 0, readonly_type: 0, excluded_type: 0, blank_or_noise: 0, sensitive: 0 };
|
|
224
|
-
const skipList = [];
|
|
225
|
-
const memories = [];
|
|
226
|
-
// 折叠过的键(见模块头那段 `report.deduped` 的理由)。用 Set 而不是再查一次 memories:
|
|
227
|
-
// 一个包几千条,`some` 会变成平方。
|
|
228
|
-
const shipped = new Set();
|
|
229
|
-
let deduped = 0;
|
|
230
|
-
for (const source of Array.isArray(rows) ? rows : []) {
|
|
231
|
-
// 两条判据都在定性之前(见上文:筛掉的不是跳过的,一次都不许进那份账)。
|
|
232
|
-
if (wantedTypes && !wantedTypes.has(source?.type)) continue;
|
|
233
|
-
if (wantedTags && !(Array.isArray(source?.tags) ? source.tags : []).some((t) => wantedTags.has(t))) continue;
|
|
234
|
-
const verdict = classifyRowForShare(source, { redact });
|
|
235
|
-
if (!verdict.include) {
|
|
236
|
-
skipped[verdict.reason] = (skipped[verdict.reason] ?? 0) + 1;
|
|
237
|
-
if (skipList.length < SHARE_SKIP_LIST_MAX) skipList.push({ title: verdict.title ?? "", reason: verdict.reason });
|
|
238
|
-
continue;
|
|
239
|
-
}
|
|
240
|
-
// 键的四个入参一律取自 verdict.row,不是 source:收侧是按包内字节重算的(spec §5),
|
|
241
|
-
// 铸造侧多吃一个遮之前的字节,对面就判成手改包而整包拒绝。内容锚同理——它是发送方
|
|
242
|
-
// 遮之前的归一化锚(决策 4),但**包里的 content_hash 就是这一个值**,重算吃得准。
|
|
243
|
-
const externalId = deriveExternalId(packId, verdict.row.type, verdict.row.title, verdict.row.content_hash);
|
|
244
|
-
// 同键的第二条不发(见模块头):留第一条,字节层面两条本就同文同题同锚。
|
|
245
|
-
if (shipped.has(externalId)) { deduped += 1; continue; }
|
|
246
|
-
shipped.add(externalId);
|
|
247
|
-
memories.push({ external_id: externalId, ...verdict.row });
|
|
248
|
-
}
|
|
249
|
-
const pack = {
|
|
250
|
-
kind: SHARE_KIND,
|
|
251
|
-
pack_id: packId,
|
|
252
|
-
alias: typeof alias === "string" ? alias.trim() : "",
|
|
253
|
-
generated_at: generatedAt,
|
|
254
|
-
source_version: String(packageVersion ?? ""),
|
|
255
|
-
report: { included: memories.length, deduped, skipped, skip_list: skipList },
|
|
256
|
-
memories
|
|
257
|
-
};
|
|
258
|
-
const bytes = Buffer.byteLength(JSON.stringify(pack), "utf8");
|
|
259
|
-
if (bytes > MAX_PACK_BYTES) {
|
|
260
|
-
return { ok: false, error: "too-large", pack, bytes, limitBytes: MAX_PACK_BYTES };
|
|
261
|
-
}
|
|
262
|
-
return { ok: true, pack, bytes };
|
|
263
|
-
}
|
|
264
|
-
|
|
265
|
-
// 车道 A 铸 pack_id 用的是 randomBytes(8) 的 hex,16 位;接收侧按这个形状判。
|
|
266
|
-
// 本行不是抄文档:spec §3 初稿写过 12 位,按它校验会把每一个真包拒掉。
|
|
267
|
-
export const PACK_ID_RE = /^[0-9a-f]{16}$/;
|
|
268
|
-
|
|
269
|
-
// 能入库的类型 = TYPE_FILE 的键集减去两个不随包走的排除项。这里重述一份而不是
|
|
270
|
-
// import mirror 的表,与 SHARE_READONLY_TYPES 同一理由:包的兼容面比镜像宽,
|
|
271
|
-
// 镜像哪天放开某个类型不该自动扩大接收侧的入库范围。形状由测试静态锁比对防漂。
|
|
272
|
-
// 耦合是双向的:出包口径不看 MIRROR_EXCLUDED_TYPES——某类若进了那个集合却没人对本表
|
|
273
|
-
// 做过决定,它照样随包发出、却在收侧把**整包**毒掉(invalid-type 是整包拒绝);
|
|
274
|
-
// test/share-validate.test.js 的静态锁(直接 Object.keys(TYPE_FILE))正是让这类
|
|
275
|
-
// 不匹配当场转红、而不是静默发生的仪器。
|
|
276
|
-
export const SHARE_ALLOWED_TYPES = new Set([
|
|
277
|
-
"preference", "project", "decision", "history", "pitfall", "constraint", "rejected_solution", "pattern"
|
|
278
|
-
]);
|
|
279
|
-
|
|
280
|
-
// 上限管的是**成品标签**而不是别名片段:这个串要落进 tags 列并在面板上原样显示,
|
|
281
|
-
// 别名是对面自报的任意字符串,不封顶等于让她决定我们这里的字段长度。前缀 `from-`
|
|
282
|
-
// 也算在内,所以别名实际吃到的是 32-5=27 个字符。
|
|
283
|
-
const IMPORTED_TAG_MAX = 32;
|
|
284
|
-
|
|
285
|
-
/** 外来行的来源标签。别名是分享者自报的自由字符串,在这里被压成一条安全标签;
|
|
286
|
-
* 空别名走中性值,绝不拿对面的机器身份(用户名、路径)兜底。 */
|
|
287
|
-
export function importedTagFor(alias) {
|
|
288
|
-
// 整类空白(含换行与制表符)**一条规则**:游程折成一个 "-"。上一版删 \r\n\t、折其余
|
|
289
|
-
// 空白——同一字符类开两条规则,而删除那侧恰恰制造 "a\nb" 与 "ab" 的同标签碰撞,
|
|
290
|
-
// 还从收件人实际看得见的来源读数里擦掉词缝。「标签必须单行」两个行为都满足,不构成
|
|
291
|
-
// 区分理由;仓库先例是 mirror.js 的 oneLine():只折不删。
|
|
292
|
-
// trim 排在折叠**之前**:全空白的别名折叠后会剩一个 "-",于是拿到 `from--` 而不是
|
|
293
|
-
// 中性值——「空别名走 from-shared」这条契约就漏在半空白那种写法上。
|
|
294
|
-
const flat = String(alias ?? "").trim().replace(/\s+/g, "-");
|
|
295
|
-
if (!flat) return "from-shared";
|
|
296
|
-
return `from-${flat}`.slice(0, IMPORTED_TAG_MAX);
|
|
297
|
-
}
|
|
298
|
-
|
|
299
|
-
/**
|
|
300
|
-
* 整包校验。返回第一个不合格项就停:半途入库是最难复盘的失败,而「哪一条不合格」
|
|
301
|
-
* 对发送方已经足够(index + 一个码)。
|
|
302
|
-
*
|
|
303
|
-
* 判序也是契约的一部分(出口按码映射 400,不看码之外的次序):包级三格先判,因为
|
|
304
|
-
* 它们决定逐条判据有没有意义;条目内「类型 → 标题 → 正文」排在重算之前,因为一条
|
|
305
|
-
* 空白正文无论键对不对都不该入库——把它记成 external-id-mismatch 会把人指向「包被改
|
|
306
|
-
* 过」,而真正的问题是那条本身没内容。
|
|
307
|
-
*/
|
|
308
|
-
export function validateSharePack(pack) {
|
|
309
|
-
if (!pack || typeof pack !== "object" || Array.isArray(pack)) return { ok: false, error: "invalid-kind" };
|
|
310
|
-
if (pack.kind !== SHARE_KIND) return { ok: false, error: "invalid-kind" };
|
|
311
|
-
if (typeof pack.pack_id !== "string" || !PACK_ID_RE.test(pack.pack_id)) return { ok: false, error: "invalid-pack-id" };
|
|
312
|
-
if (!Array.isArray(pack.memories)) return { ok: false, error: "invalid-memories" };
|
|
313
|
-
if (!pack.memories.length) return { ok: false, error: "empty-pack" };
|
|
314
|
-
const seen = new Set();
|
|
315
|
-
for (let index = 0; index < pack.memories.length; index++) {
|
|
316
|
-
const m = pack.memories[index];
|
|
317
|
-
if (!m || typeof m !== "object") return { ok: false, error: "invalid-entry", index };
|
|
318
|
-
if (!SHARE_ALLOWED_TYPES.has(m.type)) return { ok: false, error: "invalid-type", index, detail: String(m.type ?? "") };
|
|
319
|
-
if (typeof m.title !== "string" || !m.title.trim()) return { ok: false, error: "invalid-entry", index, detail: "title" };
|
|
320
|
-
if (typeof m.content !== "string" || !m.content.trim()) return { ok: false, error: "invalid-entry", index, detail: "content" };
|
|
321
|
-
if (m.tags !== undefined && !Array.isArray(m.tags)) return { ok: false, error: "invalid-entry", index, detail: "tags" };
|
|
322
|
-
if (m.importance !== undefined && !Number.isInteger(m.importance)) return { ok: false, error: "invalid-entry", index, detail: "importance" };
|
|
323
|
-
// 16 位这个长度与 PACK_ID_RE 相同是巧合,不是同一份契约:pack_id 是 randomBytes(8)
|
|
324
|
-
// 的 hex,这一把是 sha256 的前 16 位(deriveExternalId)。写成两个正则是为了让
|
|
325
|
-
// 「哪天只把包 id 加长」不会顺手改掉这里的判据。
|
|
326
|
-
if (typeof m.external_id !== "string" || !/^[0-9a-f]{16}$/.test(m.external_id)) return { ok: false, error: "invalid-entry", index, detail: "external_id" };
|
|
327
|
-
// 四个入参与铸造侧逐字对齐,缺锚归一成 null 而不是跳过这一格:少了第四格时,同标题
|
|
328
|
-
// 不同正文的两条会重算出同一个键,第二条被判成「包被人改过」——而它恰恰没被改。
|
|
329
|
-
const expect = deriveExternalId(pack.pack_id, m.type, m.title, typeof m.content_hash === "string" ? m.content_hash : null);
|
|
330
|
-
if (expect !== m.external_id) return { ok: false, error: "external-id-mismatch", index };
|
|
331
|
-
if (seen.has(m.external_id)) return { ok: false, error: "duplicate-external-id", index };
|
|
332
|
-
seen.add(m.external_id);
|
|
333
|
-
}
|
|
334
|
-
return { ok: true, pack, count: pack.memories.length };
|
|
335
|
-
}
|
|
1
|
+
// 记忆分享包的纯核心:取行口径、脱敏、序列化。
|
|
2
|
+
// 本模块不认识 store、不认识 http,也不读 config —— 两侧出口(宿主内面板路由与
|
|
3
|
+
// standalone Bearer 数据面)共用的解析与答复在 share-http.js,#411 的教训是这两张皮
|
|
4
|
+
// 只许剩鉴权与路径不同。
|
|
5
|
+
// 唯一进来的外部判据是两个纯函数(write-admission 的空白/噪声、sensitive-scan 的
|
|
6
|
+
// 密钥/PII):判据只许有一份,所以这里 import 而不是重抄,代价是模块图会连带把
|
|
7
|
+
// store 模块**加载**进来(write-admission → service → store)—— 加载不等于使用,
|
|
8
|
+
// 本模块不调它任何一个方法,也不碰 config。
|
|
9
|
+
import { createHash, randomBytes } from "node:crypto";
|
|
10
|
+
import { informationlessReason } from "./write-admission.js";
|
|
11
|
+
import { scanSensitive } from "./sensitive-scan.js";
|
|
12
|
+
|
|
13
|
+
export const SHARE_KIND = "mneme.share/v1";
|
|
14
|
+
|
|
15
|
+
// 跳过清单的条数上限:面板与 CLI 都要把「为什么这条没进包」摊给人看,但一个
|
|
16
|
+
// 几千条的库不该因此产出一份比包还长的报告。超限就截断,计数仍给全量。
|
|
17
|
+
export const SHARE_SKIP_LIST_MAX = 50;
|
|
18
|
+
|
|
19
|
+
// 体积水位留在 3 MiB,上限是两侧 readBody 各自写死的 4 MiB(api.js:57、
|
|
20
|
+
// api-standalone.js:31)。留 1 MiB 是给 JSON 包装与接收侧再序列化的余量——
|
|
21
|
+
// 包本身要作为 body 原样 POST 回去,水位贴上限等于给自己埋 413。
|
|
22
|
+
export const MAX_PACK_BYTES = 3 * 1024 * 1024;
|
|
23
|
+
|
|
24
|
+
// document 是指针行(#296),正文文件不随包走,导出去对面就是「看着有、点开是空」;
|
|
25
|
+
// 与 mirror.js 的 MIRROR_READONLY_TYPES 同口径,但这里刻意写死字面量而不是 import
|
|
26
|
+
// 那个 Set —— 分享格式的兼容面比镜像宽,镜像哪天放开只读 type 不该自动改掉包的口径。
|
|
27
|
+
export const SHARE_READONLY_TYPES = new Set(["document"]);
|
|
28
|
+
export const SHARE_EXCLUDED_TYPES = new Set(["summary"]);
|
|
29
|
+
|
|
30
|
+
const withoutNul = (value) => String(value ?? "").replace(/\u0000/g, "");
|
|
31
|
+
|
|
32
|
+
/**
|
|
33
|
+
* 幂等键:`pack_id \0 type \0 title \0 content_hash`,防 ("ab","c") 与 ("a","bc") 撞同一键。
|
|
34
|
+
*
|
|
35
|
+
* 分隔符只保证「字段之间」的切法唯一,所以入参自己的 U+0000 必须先剥掉:不剥的话
|
|
36
|
+
* ("t","a\0b") 与 ("t\0a","b") 拼出同一串字节,对面重算时把这条当成「已经吃过」,
|
|
37
|
+
* 于是该建的行静默不建(串号是幂等表上最难查的那类 bug,没有报错)。剥完 `"a\0b"` 与
|
|
38
|
+
* `"ab"` 同键——这与既有的 trim 是同一类归一(丢字节换切法唯一),不是新开的口子。
|
|
39
|
+
* 归一写在这里而不是各调用方:铸造侧(本模块)与重算侧(车道 C)必须共用一份口径,
|
|
40
|
+
* 两份实现各自归一迟早漂。除 U+0000 外不动别的字节,trim 口径照旧 —— 归一规则一变,
|
|
41
|
+
* 已发出去的包里每个 external_id 都对不上。
|
|
42
|
+
*
|
|
43
|
+
* 第四格是内容锚,不是装饰:库里的去重键含 `content_hash`(store.js:1233),所以同 type
|
|
44
|
+
* 同 title、正文不同的两条是两条合法记忆。键里没它时两条铸出同一个 external_id,收侧
|
|
45
|
+
* 「先查后跳过」把第二条当成已吃过而静默不建,而包里的 `report.included` 已经说了 2 ——
|
|
46
|
+
* 说谎的是这份账。缺锚的行(store 没算过)与 `null` 都归一成 `""`:JSON 里没有 undefined,
|
|
47
|
+
* 重算侧只会看到 null,两者不许铸出两个键。
|
|
48
|
+
*/
|
|
49
|
+
export function deriveExternalId(packId, type, title, contentHash) {
|
|
50
|
+
const parts = [withoutNul(packId), withoutNul(type), withoutNul(title).trim(), withoutNul(contentHash)];
|
|
51
|
+
return createHash("sha256").update(parts.join("\u0000"), "utf8").digest("hex").slice(0, 16);
|
|
52
|
+
}
|
|
53
|
+
|
|
54
|
+
const reEsc = (s) => s.replace(/[.*+?^${}()|[\]\\]/g, "\\$&");
|
|
55
|
+
|
|
56
|
+
/**
|
|
57
|
+
* 把正文里的本机 home 前缀换成 `~`。
|
|
58
|
+
*
|
|
59
|
+
* 判据是**分隔符游程**,不是几种固定拼法:把 base 按 `[/\\]+` 切成段,再用 `[/\\]+`
|
|
60
|
+
* 拼回一条正则(段间至少一个分隔符、个数不限)。于是同一目录的所有写法——单反斜杠、
|
|
61
|
+
* 正斜杠、JSON 里转义过的双反斜杠、混合、二次编码——都走同一条判据。上一版按
|
|
62
|
+
* base / 单反斜杠 / 双反斜杠三个固定形态匹配,混合与二次编码照样漏,而「按拼法打补丁」
|
|
63
|
+
* 的失败方式是永远漏下没列到的那一种,漏出来的正是用户名。
|
|
64
|
+
* 大小写不敏感:盘符与用户目录在真实路径里的大小写常常和 homedir() 不一致。
|
|
65
|
+
* 已知代价:游程要求段间**至少一个**分隔符,所以段间没有分隔符的写法(`C:Users`)不
|
|
66
|
+
* 命中——上一版按三个固定形态匹配时同样不命中,游程在这一格既没放宽也没收窄。那已经不是
|
|
67
|
+
* 同一目录的拼法(Node 与 JSON 都不产它),要命中只能把前缀约束整个拆掉,而那侧错的方向
|
|
68
|
+
* 是泄露。
|
|
69
|
+
*/
|
|
70
|
+
export function createHomeRedactor(homeDir) {
|
|
71
|
+
// 尾分隔符先剥:留着它就成了末段空串,拼出的游程把「正文必须带尾分隔符」写进判据,
|
|
72
|
+
// 没带的那个反而漏。全由分隔符组成的 home(`//`)剥完即空,走 identity 出口——
|
|
73
|
+
// 否则正则会把正文里的斜杠吃成 `~/`,把内容改花。
|
|
74
|
+
const base = (typeof homeDir === "string" ? homeDir.trim() : "").replace(/[/\\]+$/, "");
|
|
75
|
+
if (base.length < 2) return (text) => String(text ?? "");
|
|
76
|
+
const re = new RegExp(`${base.split(/[/\\]+/).map(reEsc).join("[/\\\\]+")}[\\\\/]?`, "gi");
|
|
77
|
+
// 折掉的只有「前缀 + 紧跟着的那一个分隔符」,输出统一成读者与对面 agent 都认的 `~/`;
|
|
78
|
+
// 后面的路径按原样留着——改写用户写下的字节是另一类事故。前缀落在句尾时不补分隔符。
|
|
79
|
+
return (text) => String(text ?? "").replace(re, (m) => (m.endsWith("\\") || m.endsWith("/") ? "~/" : "~"));
|
|
80
|
+
}
|
|
81
|
+
|
|
82
|
+
/**
|
|
83
|
+
* 一条记忆进不进包。顺序是刻意的:先状态位(archived/forgotten),再类型,
|
|
84
|
+
* 再判据 —— 空白与噪声先于敏感判定,因为一条内容为空的记忆没有可泄露的东西,
|
|
85
|
+
* 把它记成 sensitive 会让跳过清单的读数说错原因。
|
|
86
|
+
*
|
|
87
|
+
* 「空白/噪声」这一级不自建判据:复用 informationlessReason(write-admission.js:117),
|
|
88
|
+
* 它的口径是 title+content 的**组合**判定 —— 两侧归一后都不剩字才命中("blank" 全空、
|
|
89
|
+
* "noise" 只剩标点/空白)。组合口径管的是「这条写入有没有信息」,分享边界要问的是另一个
|
|
90
|
+
* 问题:对面能不能吃下这一条。所以这里另外补一刀「正文 trim 后为空」(见函数内注释)。
|
|
91
|
+
*
|
|
92
|
+
* 跳过的分支也返回脱敏后的 title:跳过清单不只在本机看 —— 打包侧把它原样写进
|
|
93
|
+
* pack.report.skip_list,CLI 再整份打到终端(车道 A3/A7 的口径),而 413 那次拒发
|
|
94
|
+
* 仍带着同一份 report 出去(src/share-http.js)。未遮的 title 等于把用户名装进这份
|
|
95
|
+
* 「设计上不含它」的文件,而泄露面最大的恰恰是不进包的那几条。所以在源头遮,每个
|
|
96
|
+
* 消费方拿到的都是安全字符串;下游不需要、也不该再各补一刀。遮的仍是同一个 redact,
|
|
97
|
+
* 本模块只有这一条脱敏路径。
|
|
98
|
+
*
|
|
99
|
+
* 但「遮过 home」不等于「可以外发」:一条被密钥判据认中的行,它的**标题**常常就是
|
|
100
|
+
* 那条凭据的回声(最终评审的复现:标题「生产库密码 P@ssw0rd-for-prod-db 别丢」+ 正文
|
|
101
|
+
* `password: …`,被跳过原因是 archived)。规则表只认「关键词 + 赋值号 + 值的形状」,
|
|
102
|
+
* 单看这一串标题它并不命中 —— 所以这里判的是**整行**含不含凭据,命中就连带标题一起
|
|
103
|
+
* 不给:正文不发的那条,它的标题也不该跟着包走。留空而不是给摘要/哈希:skip_list 随包
|
|
104
|
+
* 外发,一个哈希是递给收侧的离线爆破 oracle,而低熵口令正是这类行最常见的内容。
|
|
105
|
+
* 方向上的代价只有「少看得见一条标题」,计数仍给全量。
|
|
106
|
+
*
|
|
107
|
+
* 因此扫描面在判序**之前**算一次(原因归属仍按下面的判序,空白照旧先于敏感):代价是
|
|
108
|
+
* 归档行也进扫描,不再是「进包候选 + 敏感命中」那一小撮。量级没变 —— 整库逐条扫描实测
|
|
109
|
+
* 98 ms(docs/SHARE.md),而这条路径本来就要付一次全表读(同处约 1.1 s)。
|
|
110
|
+
*/
|
|
111
|
+
export function classifyRowForShare(row, { redact = (t) => t } = {}) {
|
|
112
|
+
const title = redact(row?.title ?? "");
|
|
113
|
+
// 扫描面用 `scanSensitive` 这个「任意文本」口径的导出,不用带开关的那个工厂面:
|
|
114
|
+
// 工厂在 sensitiveScanEnabled 关时返回 null(sensitive-scan.js:199),而那个键管的是
|
|
115
|
+
// **写入侧**可观测性。分享边界本身就是安全边界(spec §4)——用户没开写入闸门时
|
|
116
|
+
// 恰恰最需要这里照常在扫,跟着开关走等于裸发整库。
|
|
117
|
+
const scanned = scanSensitive([row?.title, row?.content, ...(Array.isArray(row?.tags) ? row.tags : [])]
|
|
118
|
+
.filter((s) => typeof s === "string").join("\n"));
|
|
119
|
+
const skipTitle = scanned ? "" : title;
|
|
120
|
+
if (row?.archived) return { include: false, reason: "archived", title: skipTitle };
|
|
121
|
+
if (row?.forgotten) return { include: false, reason: "forgotten", title: skipTitle };
|
|
122
|
+
if (SHARE_READONLY_TYPES.has(row?.type)) return { include: false, reason: "readonly_type", title: skipTitle };
|
|
123
|
+
if (SHARE_EXCLUDED_TYPES.has(row?.type)) return { include: false, reason: "excluded_type", title: skipTitle };
|
|
124
|
+
// 正文 trim 后为空即算空白,这一格 `informationlessReason` 够不着:它判的是 title+content
|
|
125
|
+
// 的**组合**(两侧归一后都不剩字才命中),所以「标题有字、正文一片空白」在它眼里是有信息
|
|
126
|
+
// 的。上一版据此让那条进包,判据本身没错,错在出口:收侧的 `content` 列 NOT NULL,车道 C
|
|
127
|
+
// 还按 spec §5 逐条校验非空,一条空正文不是少发一条而是**把整包毒掉**(校验不过 → 什么都不
|
|
128
|
+
// 导入,对面拿着一个报错的包不知道差在哪一条)。这里不开第七个原因键:六个键被 docs/SHARE.md
|
|
129
|
+
// 的表、CLI 的档位名与本文件的计数三方钉死,多一个就是第四份要跟着改的口径;而「这条不该进包」
|
|
130
|
+
// 的原因确实就是「它没有正文」,同一格读数不撒谎。
|
|
131
|
+
if (!String(row?.content ?? "").trim() || informationlessReason(row)) {
|
|
132
|
+
return { include: false, reason: "blank_or_noise", title: skipTitle };
|
|
133
|
+
}
|
|
134
|
+
// 命中判据时标题恒为空串,与「这条压根没标题」同一个出口形状(下游只看到字符串)。
|
|
135
|
+
if (scanned) return { include: false, reason: "sensitive", title: "" };
|
|
136
|
+
const content = redact(row?.content ?? "");
|
|
137
|
+
return {
|
|
138
|
+
include: true,
|
|
139
|
+
row: {
|
|
140
|
+
type: row.type,
|
|
141
|
+
title,
|
|
142
|
+
content,
|
|
143
|
+
tags: (Array.isArray(row.tags) ? row.tags : []).map((t) => String(redact(t))),
|
|
144
|
+
importance: Number.isInteger(row.importance) ? row.importance : 3,
|
|
145
|
+
epistemic_status: row.epistemic_status ?? "subjective",
|
|
146
|
+
created_at: row.created_at ?? null,
|
|
147
|
+
updated_at: row.updated_at ?? null,
|
|
148
|
+
// 这一条是**发送方库里的内容锚**,原样带过去只作引用,不是完整性凭证,别拿它
|
|
149
|
+
// 校验「正文没在路上被改」(车道 C 注意)。两处对不上:① 它由 store 从**未脱敏**
|
|
150
|
+
// 的 title/content 派生(store.js:1160 → contentHashOf,content-hash.js:49-53),
|
|
151
|
+
// 而包里的 content/title 是遮过的——所以只要 home 遮过一次,两者就必然不一致,
|
|
152
|
+
// 恰恰是遮过的那几条对不上;② 它算的是归一化后的文本(NFKC → 小写 → 去标点 →
|
|
153
|
+
// 空白折叠),对面按收到的字节重算 sha256 本来就得不到同一个值。真要做传输完整性
|
|
154
|
+
// 校验,得对遮后的字节另派一把新字段,不是复用这一把。
|
|
155
|
+
content_hash: row.content_hash ?? null
|
|
156
|
+
}
|
|
157
|
+
};
|
|
158
|
+
}
|
|
159
|
+
|
|
160
|
+
/**
|
|
161
|
+
* filters 一个键的形状归一:→「任一命中」的集合,或 null(= 没填,不收窄)。
|
|
162
|
+
* type 与 tag 共用这一份判据(裁定:两者同形)。三条理由,方向各不同:
|
|
163
|
+
* - 裸字符串与数组都算收窄。出口把 `--type` / `--tag` 给成串还是数组不由这里决定
|
|
164
|
+
* (单旗标给串、重复旗标与面板多选给数组都说得通),只认一种就是把另一种读成「没筛」
|
|
165
|
+
* = **放行整库**,而她以为只发了一类。多值取「任一」,与 type 原本用的集合口径一致。
|
|
166
|
+
* - 空数组与只剩空白的条目算「没填」:清空勾选不等于要一个空包,读成「筛成 0 条」是替
|
|
167
|
+
* 她说谎。同一次调用不该因为出口给串还是给数组而读出两种结果。
|
|
168
|
+
* - 认不出的条目(非字符串)留在集合里 → 谁都不匹配 → 收窄到 0 条。这一侧错的方向是
|
|
169
|
+
* **少发**,report 与 stdout 当场看得见;「认不出就当没填」才是把整库发出去。
|
|
170
|
+
*/
|
|
171
|
+
function shareFilterSet(value) {
|
|
172
|
+
if (value === undefined || value === null) return null;
|
|
173
|
+
const kept = [];
|
|
174
|
+
for (const item of Array.isArray(value) ? value : [value]) {
|
|
175
|
+
if (typeof item !== "string") { kept.push(item); continue; }
|
|
176
|
+
const trimmed = item.trim();
|
|
177
|
+
if (trimmed) kept.push(trimmed);
|
|
178
|
+
}
|
|
179
|
+
return kept.length ? new Set(kept) : null;
|
|
180
|
+
}
|
|
181
|
+
|
|
182
|
+
/**
|
|
183
|
+
* 打包。顺序是刻意的:过滤 → 逐条定性 → 用**进包的那对值**铸 external_id → 序列化 → 量字节。
|
|
184
|
+
*
|
|
185
|
+
* 水位量的是**最终序列化字节**,不是条数也不是字符数:这份包要原样当 body POST 回
|
|
186
|
+
* 对面(车道 C),而中文字符数与 UTF-8 字节数差三倍,按字符数判等于把 413 留给对面;
|
|
187
|
+
* 按条数判则对「条少但每条很长」的库说谎,那种包照样过大。字节只能在 JSON 写完之后再量,
|
|
188
|
+
* 所以这里没有「先算大小再决定装几条」的分支。
|
|
189
|
+
*
|
|
190
|
+
* 超限**不裁条目**:裁到哪一条是替分享者做「哪条可以不发」的判断,而这份判断该由她自己
|
|
191
|
+
* 用 filters 分批来做(spec §4 决策 5)。所以只拒绝,并把量到的 bytes 与 limitBytes 一起
|
|
192
|
+
* 交回,让出口能说出「大了多少、怎么分批」。
|
|
193
|
+
*
|
|
194
|
+
* filters 是分享者的显式收窄,**不进跳过计数也不进清单**:那份账要说的是「本可以发、
|
|
195
|
+
* 因为口径没发」,把她自己筛掉的记进去,读数就把她指向错的那一类。所以两个判据都排在
|
|
196
|
+
* classifyRowForShare **之前**——这一条顺序是测试锁住的(把过滤挪到定性之后就多说几条
|
|
197
|
+
* 她没跳过的行),别当成可读性优化来「合并条件」。
|
|
198
|
+
*
|
|
199
|
+
* skip_list 截到 SHARE_SKIP_LIST_MAX,skipped 的六个计数仍走全量——截的是清单不是账。
|
|
200
|
+
* 清单里的 title 用 classifyRowForShare 返回值原样写入:它已在源头遮过 home,命中密钥
|
|
201
|
+
* 判据的那几条也已在源头留空(标题是凭据的回声,而这份清单随包外发)。这里补第二刀
|
|
202
|
+
* 是「两个口径」的开始,不是更安全。
|
|
203
|
+
*
|
|
204
|
+
* `report.deduped`:同一份包里铸出同一把 `external_id` 的行只发一条。键是
|
|
205
|
+
* `(pack_id, type, title, content_hash)`,**没有 scope**,而库里同 type 同标题同内容锚、
|
|
206
|
+
* scope 不同的两条是合法的两行(store.js:1233 的去重键带 agent/workspace/sensitivity
|
|
207
|
+
* 三维)——所以「两条不同记忆铸出同一个键」是常态,不是畸形数据。为什么在出包侧折叠:
|
|
208
|
+
* ①对面那台库没有 scope 这一维(包里就不带它),这两条到对面就是同一条记忆,正文与
|
|
209
|
+
* 标题逐字节相同,发两份只是让她多两行一样的东西;②不折叠的后果不是重复而是**整包失败**
|
|
210
|
+
* ——车道 C 的 `share_external_id` 是 UNIQUE 索引,第二条 INSERT 抛错会穿出 runAtomically
|
|
211
|
+
* 的 ROLLBACK 把整包带走(spec §5 明写「先查管常规重复导入、UNIQUE 管并发」,可同一个包
|
|
212
|
+
* 内部的两条先查谁都查不到,因为那时一行都没落)。「重跑就 created=0」救不了它:重跑吃的
|
|
213
|
+
* 是同一个死键。方向上的代价只有少发一条重复正文,`included` 因此是**实际发出的条数**,
|
|
214
|
+
* 折叠掉的数在 `deduped` 里,两份账相加才是「够格进包的行数」。
|
|
215
|
+
*/
|
|
216
|
+
export function buildSharePack({
|
|
217
|
+
rows, alias = "", homeDir, packageVersion, filters = {},
|
|
218
|
+
packId = randomBytes(8).toString("hex"), generatedAt = new Date().toISOString()
|
|
219
|
+
} = {}) {
|
|
220
|
+
const redact = createHomeRedactor(homeDir);
|
|
221
|
+
const wantedTypes = shareFilterSet(filters.type);
|
|
222
|
+
const wantedTags = shareFilterSet(filters.tag);
|
|
223
|
+
const skipped = { archived: 0, forgotten: 0, readonly_type: 0, excluded_type: 0, blank_or_noise: 0, sensitive: 0 };
|
|
224
|
+
const skipList = [];
|
|
225
|
+
const memories = [];
|
|
226
|
+
// 折叠过的键(见模块头那段 `report.deduped` 的理由)。用 Set 而不是再查一次 memories:
|
|
227
|
+
// 一个包几千条,`some` 会变成平方。
|
|
228
|
+
const shipped = new Set();
|
|
229
|
+
let deduped = 0;
|
|
230
|
+
for (const source of Array.isArray(rows) ? rows : []) {
|
|
231
|
+
// 两条判据都在定性之前(见上文:筛掉的不是跳过的,一次都不许进那份账)。
|
|
232
|
+
if (wantedTypes && !wantedTypes.has(source?.type)) continue;
|
|
233
|
+
if (wantedTags && !(Array.isArray(source?.tags) ? source.tags : []).some((t) => wantedTags.has(t))) continue;
|
|
234
|
+
const verdict = classifyRowForShare(source, { redact });
|
|
235
|
+
if (!verdict.include) {
|
|
236
|
+
skipped[verdict.reason] = (skipped[verdict.reason] ?? 0) + 1;
|
|
237
|
+
if (skipList.length < SHARE_SKIP_LIST_MAX) skipList.push({ title: verdict.title ?? "", reason: verdict.reason });
|
|
238
|
+
continue;
|
|
239
|
+
}
|
|
240
|
+
// 键的四个入参一律取自 verdict.row,不是 source:收侧是按包内字节重算的(spec §5),
|
|
241
|
+
// 铸造侧多吃一个遮之前的字节,对面就判成手改包而整包拒绝。内容锚同理——它是发送方
|
|
242
|
+
// 遮之前的归一化锚(决策 4),但**包里的 content_hash 就是这一个值**,重算吃得准。
|
|
243
|
+
const externalId = deriveExternalId(packId, verdict.row.type, verdict.row.title, verdict.row.content_hash);
|
|
244
|
+
// 同键的第二条不发(见模块头):留第一条,字节层面两条本就同文同题同锚。
|
|
245
|
+
if (shipped.has(externalId)) { deduped += 1; continue; }
|
|
246
|
+
shipped.add(externalId);
|
|
247
|
+
memories.push({ external_id: externalId, ...verdict.row });
|
|
248
|
+
}
|
|
249
|
+
const pack = {
|
|
250
|
+
kind: SHARE_KIND,
|
|
251
|
+
pack_id: packId,
|
|
252
|
+
alias: typeof alias === "string" ? alias.trim() : "",
|
|
253
|
+
generated_at: generatedAt,
|
|
254
|
+
source_version: String(packageVersion ?? ""),
|
|
255
|
+
report: { included: memories.length, deduped, skipped, skip_list: skipList },
|
|
256
|
+
memories
|
|
257
|
+
};
|
|
258
|
+
const bytes = Buffer.byteLength(JSON.stringify(pack), "utf8");
|
|
259
|
+
if (bytes > MAX_PACK_BYTES) {
|
|
260
|
+
return { ok: false, error: "too-large", pack, bytes, limitBytes: MAX_PACK_BYTES };
|
|
261
|
+
}
|
|
262
|
+
return { ok: true, pack, bytes };
|
|
263
|
+
}
|
|
264
|
+
|
|
265
|
+
// 车道 A 铸 pack_id 用的是 randomBytes(8) 的 hex,16 位;接收侧按这个形状判。
|
|
266
|
+
// 本行不是抄文档:spec §3 初稿写过 12 位,按它校验会把每一个真包拒掉。
|
|
267
|
+
export const PACK_ID_RE = /^[0-9a-f]{16}$/;
|
|
268
|
+
|
|
269
|
+
// 能入库的类型 = TYPE_FILE 的键集减去两个不随包走的排除项。这里重述一份而不是
|
|
270
|
+
// import mirror 的表,与 SHARE_READONLY_TYPES 同一理由:包的兼容面比镜像宽,
|
|
271
|
+
// 镜像哪天放开某个类型不该自动扩大接收侧的入库范围。形状由测试静态锁比对防漂。
|
|
272
|
+
// 耦合是双向的:出包口径不看 MIRROR_EXCLUDED_TYPES——某类若进了那个集合却没人对本表
|
|
273
|
+
// 做过决定,它照样随包发出、却在收侧把**整包**毒掉(invalid-type 是整包拒绝);
|
|
274
|
+
// test/share-validate.test.js 的静态锁(直接 Object.keys(TYPE_FILE))正是让这类
|
|
275
|
+
// 不匹配当场转红、而不是静默发生的仪器。
|
|
276
|
+
export const SHARE_ALLOWED_TYPES = new Set([
|
|
277
|
+
"preference", "project", "decision", "history", "pitfall", "constraint", "rejected_solution", "pattern"
|
|
278
|
+
]);
|
|
279
|
+
|
|
280
|
+
// 上限管的是**成品标签**而不是别名片段:这个串要落进 tags 列并在面板上原样显示,
|
|
281
|
+
// 别名是对面自报的任意字符串,不封顶等于让她决定我们这里的字段长度。前缀 `from-`
|
|
282
|
+
// 也算在内,所以别名实际吃到的是 32-5=27 个字符。
|
|
283
|
+
const IMPORTED_TAG_MAX = 32;
|
|
284
|
+
|
|
285
|
+
/** 外来行的来源标签。别名是分享者自报的自由字符串,在这里被压成一条安全标签;
|
|
286
|
+
* 空别名走中性值,绝不拿对面的机器身份(用户名、路径)兜底。 */
|
|
287
|
+
export function importedTagFor(alias) {
|
|
288
|
+
// 整类空白(含换行与制表符)**一条规则**:游程折成一个 "-"。上一版删 \r\n\t、折其余
|
|
289
|
+
// 空白——同一字符类开两条规则,而删除那侧恰恰制造 "a\nb" 与 "ab" 的同标签碰撞,
|
|
290
|
+
// 还从收件人实际看得见的来源读数里擦掉词缝。「标签必须单行」两个行为都满足,不构成
|
|
291
|
+
// 区分理由;仓库先例是 mirror.js 的 oneLine():只折不删。
|
|
292
|
+
// trim 排在折叠**之前**:全空白的别名折叠后会剩一个 "-",于是拿到 `from--` 而不是
|
|
293
|
+
// 中性值——「空别名走 from-shared」这条契约就漏在半空白那种写法上。
|
|
294
|
+
const flat = String(alias ?? "").trim().replace(/\s+/g, "-");
|
|
295
|
+
if (!flat) return "from-shared";
|
|
296
|
+
return `from-${flat}`.slice(0, IMPORTED_TAG_MAX);
|
|
297
|
+
}
|
|
298
|
+
|
|
299
|
+
/**
|
|
300
|
+
* 整包校验。返回第一个不合格项就停:半途入库是最难复盘的失败,而「哪一条不合格」
|
|
301
|
+
* 对发送方已经足够(index + 一个码)。
|
|
302
|
+
*
|
|
303
|
+
* 判序也是契约的一部分(出口按码映射 400,不看码之外的次序):包级三格先判,因为
|
|
304
|
+
* 它们决定逐条判据有没有意义;条目内「类型 → 标题 → 正文」排在重算之前,因为一条
|
|
305
|
+
* 空白正文无论键对不对都不该入库——把它记成 external-id-mismatch 会把人指向「包被改
|
|
306
|
+
* 过」,而真正的问题是那条本身没内容。
|
|
307
|
+
*/
|
|
308
|
+
export function validateSharePack(pack) {
|
|
309
|
+
if (!pack || typeof pack !== "object" || Array.isArray(pack)) return { ok: false, error: "invalid-kind" };
|
|
310
|
+
if (pack.kind !== SHARE_KIND) return { ok: false, error: "invalid-kind" };
|
|
311
|
+
if (typeof pack.pack_id !== "string" || !PACK_ID_RE.test(pack.pack_id)) return { ok: false, error: "invalid-pack-id" };
|
|
312
|
+
if (!Array.isArray(pack.memories)) return { ok: false, error: "invalid-memories" };
|
|
313
|
+
if (!pack.memories.length) return { ok: false, error: "empty-pack" };
|
|
314
|
+
const seen = new Set();
|
|
315
|
+
for (let index = 0; index < pack.memories.length; index++) {
|
|
316
|
+
const m = pack.memories[index];
|
|
317
|
+
if (!m || typeof m !== "object") return { ok: false, error: "invalid-entry", index };
|
|
318
|
+
if (!SHARE_ALLOWED_TYPES.has(m.type)) return { ok: false, error: "invalid-type", index, detail: String(m.type ?? "") };
|
|
319
|
+
if (typeof m.title !== "string" || !m.title.trim()) return { ok: false, error: "invalid-entry", index, detail: "title" };
|
|
320
|
+
if (typeof m.content !== "string" || !m.content.trim()) return { ok: false, error: "invalid-entry", index, detail: "content" };
|
|
321
|
+
if (m.tags !== undefined && !Array.isArray(m.tags)) return { ok: false, error: "invalid-entry", index, detail: "tags" };
|
|
322
|
+
if (m.importance !== undefined && !Number.isInteger(m.importance)) return { ok: false, error: "invalid-entry", index, detail: "importance" };
|
|
323
|
+
// 16 位这个长度与 PACK_ID_RE 相同是巧合,不是同一份契约:pack_id 是 randomBytes(8)
|
|
324
|
+
// 的 hex,这一把是 sha256 的前 16 位(deriveExternalId)。写成两个正则是为了让
|
|
325
|
+
// 「哪天只把包 id 加长」不会顺手改掉这里的判据。
|
|
326
|
+
if (typeof m.external_id !== "string" || !/^[0-9a-f]{16}$/.test(m.external_id)) return { ok: false, error: "invalid-entry", index, detail: "external_id" };
|
|
327
|
+
// 四个入参与铸造侧逐字对齐,缺锚归一成 null 而不是跳过这一格:少了第四格时,同标题
|
|
328
|
+
// 不同正文的两条会重算出同一个键,第二条被判成「包被人改过」——而它恰恰没被改。
|
|
329
|
+
const expect = deriveExternalId(pack.pack_id, m.type, m.title, typeof m.content_hash === "string" ? m.content_hash : null);
|
|
330
|
+
if (expect !== m.external_id) return { ok: false, error: "external-id-mismatch", index };
|
|
331
|
+
if (seen.has(m.external_id)) return { ok: false, error: "duplicate-external-id", index };
|
|
332
|
+
seen.add(m.external_id);
|
|
333
|
+
}
|
|
334
|
+
return { ok: true, pack, count: pack.memories.length };
|
|
335
|
+
}
|