discovery-media-player 0.1.147 → 0.1.149

package/docs/HOST-CONTRACT.md

@@ -482,6 +482,56 @@ forwarded re-shares of their own links included, because they caused those readi
 changes for a role you already answer *yes* to. If your table predates `list.all`, see the warning
 above: an unheard-of action answered *no* narrows this view rather than breaking it.
 
+⚠️ **`?contract=1&schema=1` now tells you what is still stored, not only what you may purge.**
+`retentionSweep` says the instance *can* purge; it says nothing about what has piled up. The card
+gains a `purge` block counting the rows that still carry a reader IP or a raw User-Agent:
+
+    "purge": { "borne": 5000, "tronque": false, "lignes": { "sessions": 1908, "vues": 3200 },
+               "sessionsIp": 0, "sessionsUa": 0, "vuesUa": 0, "vide": true }
+
+`vide` is the reading that matters: `true` means nothing of that legacy is left **on this
+instance's live rows** — the condition under which those columns can eventually be dropped —
+`false` means rows remain, and **`null` means at least one probe did not answer**. A count is
+`null` for the same reason: a failed probe must never read as a zero, because zero is the answer
+that authorises a deletion.
+
+`lignes` is what the counter **looked at**, per table. A bare `0` cannot tell "purged" from "never
+written" from "the probe is aimed wrong"; the denominator separates them — *0 of 1908* means there
+was something to look at, *0 of 0* means the table is empty or out of reach and the zero proves
+nothing. It is `null` on the same terms as the counts.
+
+The counts are **bounded** at `borne` rows and read one small column. ⚠️ **`tronque` says whether
+that bound was reached**: when it is `true`, every number in the block is a *lower bound*, not a
+count. Without it a saturated `5000` would be indistinguishable from an exact five thousand — a
+wrong number that reads as right, which is worse than an absent one, because an absence makes you
+look and a number makes you conclude. `vide` stays correct either way: saturation can only make it
+`false`, never wrongly `true`.
+
+They run only under `&schema=1`, the mode where you have asked for the database.
+
+⚠️ **The purge attestation is a commitment, not a convenience.** Every column this player empties
+carries a `comment on column` whose text **begins with the exact marker**:
+
+    VIDE ET PLUS JAMAIS ECRITE depuis la <migration number>.
+
+Read it through `col_description()`. It is what *proves* a purge was applied — a count of zero does
+not, since it cannot tell "purged" from "never written". **We commit to two things**: to post it on
+every column a future migration empties, and not to reword that prefix. It is deliberately plain
+ASCII, without accent or apostrophe, so it survives encodings and needs no escaping.
+
+This used to be a convenience, designed for a person proving a purge. A host told us its inventory
+now reads it **mechanically**, crossing it with the residual counts to raise an alarm when values
+reappear beside an attestation. That is the moment an artefact becomes an interface — and the reason
+to commit is the failure mode: if we quietly stopped posting it, that alarm would go **silent
+without saying so**, a failure caused here and invisible there. A guard in this repository refuses
+any migration that empties a column without the marker, so undoing the commitment turns something
+red rather than turning something quiet.
+
+⚠️ **Why this exists at all:** our tables live in *your* database, and your audit enumerates *your*
+tables — a dependency's schema occupies a zone nobody's inventory visits. Two integrating hosts
+found 2361 rows still carrying these columns, and they found them because a third party asked a
+question about its own database, not because anything told them.
+
 ⚠️ **The reader IP is erased, and a direct query of your own will start seeing nothing.** The
 sessions table carried `ip` in the clear. `0.1.147` stops serving it — no player path reads it back,
 so nothing in this contract changes — stops writing it, and ships migration **0026**, which erases

package/docs/RETENTION.md

@@ -177,11 +177,35 @@ end on a populated database: 200 rows kept, 200 addresses gone after a routine v
 replayable with no further effect. **The erasure is therefore complete today.** What is deferred is
 the shape of the schema, not the data.
 
-**When the columns are removed, and how to know the moment has come.** Not until **every deployed
-host runs a version that no longer writes them** — the release carrying 0026 and 0027, or later.
-Until then a `DROP` of any of the three would fail every session and view write of a host that
-applies migrations before deploying. The check is not a date: it is whether the oldest player version
-still in service is at or past that release.
+**Dropping the three columns is YOUR decision, not a migration we will ship.** This section used to
+say the removal would come "in a later release", which was misleading: **we cannot know which player
+version runs against your database, and you can.** A `DROP` is only safe once every instance writing
+to that database is on `0.1.147` or later; on `0.1.145` and earlier PostgREST would reject every
+session and view write, with an error naming a column rather than a version. Shipping that `DROP` in
+`supabase/migrations/`, which every host replays, would hand the same irreversible gesture to hosts
+whose deployment we have never seen. So it stays where the answer is known — with you.
+
+**How to know the moment has come.** `?contract=1&schema=1` reports `purge.vide`. When it is `true`
+on every instance pointing at that database, and every one of them is on `0.1.147` or later, nothing
+writes those columns any more. Then, if you want the schema tidied:
+
+```sql
+alter table public.commercial_doc_sessions drop column if exists ip;
+alter table public.commercial_doc_sessions drop column if exists ua;
+alter table public.commercial_doc_views    drop column if exists ua;
+```
+
+⚠️ **This buys tidiness, not erasure — the erasure already happened.** `0026` and `0027` are what
+removed the values, and routine autovacuum is what removed them from the pages (measured on a real
+host: four seconds after the second migration, no lock, nothing triggered by hand). A `DROP` on
+already-empty columns rewrites nothing and frees nothing. Run it because a schema should say what it
+holds, not because anything is still there.
+
+⚠️ **And you lose the attestation with the column.** The comment carried by each column — readable
+through `col_description()` — is what proves the purge was applied; a count of zero does not, since
+it cannot tell "purged" from "never written". Capture that proof before dropping if you may need to
+show it. After the drop, `purge.vide` still reads `true`: an absent column is a known state, not an
+unknown one.
 
 **Why the column itself survives, for now.** A migration here must be safe to apply *while the
 previous version of the player is running* — that rule is what makes the deployment order harmless,
@@ -218,23 +242,47 @@ is a number.
 **1. The rows.** Reading logs are deleted **13 months** after `at` / `last_at` by default. A host
 changes that through `config.retention` — whole months in `[1, 120]`.
 
-⚠️ **But the automatic sweep is strictly opt-in.** It runs only where a host has written
-`config.retention.balayage: true`; the `retention.run` action stays available without opt-in, because
-calling it *is* the decision. **On a host that has enabled neither, no row has ever been deleted, and
-the 13 months describe an intent rather than an event.** Anyone attesting a retention period should
-check which of the two is true of the installation in front of them, rather than quoting the default.
+⚠️ **But the automatic sweep is strictly opt-in**, and there are **three** states, not two — an
+integrating host measured the one we had left out:
+
+| state | how to tell | what you may claim |
+|---|---|---|
+| **off** | `retentionSweep` false, and no `retention.run` in your logs | nothing has ever been deleted; the window is a policy you have not applied |
+| **armed, never exercised** | armed, but no row has yet reached the window — check the age of your oldest row against it | nothing has ever been deleted **either**, and not for want of configuration |
+| **armed, and has deleted** | armed, and a run reported non-zero counts | the window is an *event*, and only here |
+
+⚠️ **The middle state is the misleading one**, because it has every appearance of the good one: armed,
+correct, and indistinguishable in its effects from being off — no deletion, no log, no evidence it
+works. A host reported exactly this: sweep armed, oldest row 63 days old, **zero rows past 13 months
+out of 1908**. Its first real execution will be roughly **eighteen months after it was armed**, on
+data nobody will have looked at, never having run in anger. Treat it as what it is — a guard that has
+never been exercised, with a deadline — and exercise it deliberately before then, on a copy or with
+`retention.run` and a short window, rather than discovering its behaviour the day it matters.
+
+Anyone attesting a retention period should establish which of the **three** is true of the
+installation in front of them, rather than quoting the default.
 
 **2. The values inside surviving rows.** Erased by 0026 and 0027 as soon as they are applied, and
 physically gone from the table once routine autovacuum has passed — no operator action, typically
 minutes to hours on an active table. This part does not wait for the 13 months.
 
 **3. Backups, write-ahead logs, exports and migration dumps.** **Outside this player's reach, and we
-neither set nor observe them.** They follow the hosting platform's own settings — on a managed
-provider, typically a point-in-time-recovery window plus a snapshot schedule, each with its own
-retention. A purge is complete end to end at *the later of*: the day 0026/0027 were applied plus the
-host's longest backup retention, and — for the rows themselves — whichever purge the host actually
-runs. **Ask the platform for two numbers: the PITR window and the oldest retained snapshot.** Until
-both have rolled past the migration date, earlier copies still hold the erased values.
+neither set nor observe them.** They follow the hosting platform's own settings — typically a
+point-in-time-recovery window plus a snapshot schedule, each with its own retention. Ask the platform
+for **the PITR window and the age of the oldest retained snapshot**; until they have rolled past the
+day 0026/0027 were applied, earlier copies still hold the erased values.
+
+⚠️ **Neither number is exposed by any API, and that matters more than it looks.** Two integrating
+hosts checked independently, on two different toolsets: the provider's API and its MCP tools return
+region, status and engine version — nothing about backups. **A human has to read them from the
+dashboard.** This is written here because the instruction above is *executable in appearance*: an
+agent following it will look for a tool, find none, and then either stop — or, the real risk, report
+the purge complete having skipped the one step it could not measure. If you cannot produce these two
+numbers, say so; do not round the sentence.
+
+⚠️ **And it is not always "the later of two".** An option that is not subscribed retains nothing, so
+it defers nothing. A host with no PITR and eight daily snapshots has **one** deadline, not two: the
+age of its oldest snapshot. Take the later of the deadlines that *exist*.
 
 ## Limits stated rather than left unsaid
 

package/package.json

@@ -1,6 +1,6 @@
 {
   "name": "discovery-media-player",
-  "version": "0.1.147",
+  "version": "0.1.149",
   "description": "Self-hosted document viewer: per-recipient tracked links, reading analytics, live presentation. The core knows nothing about the application hosting it — everything it borrows arrives through an injected context.",
   "keywords": [
     "pdf-viewer",

package/server/handler.js

@@ -801,6 +801,18 @@ async function handlerMesure(req, res) {
           ...(String(q.schema || "") === "1"
             ? await require("./schema").sonderTout()
             : require("./schema").etatDuSchema()) },
+        // ⚠️ CE QUI S'ACCUMULE, PAS SEULEMENT CE QU'ON PEUT PURGER. `retentionSweep` ci-dessus dit
+        // « je PEUX purger » ; il ne dit rien de ce qui est là. Nos tables vivent dans la base de
+        // l'hôte, et l'audit d'un hôte énumère SES tables : le schéma d'une dépendance occupe une
+        // zone que les inventaires de personne ne visitent. Deux hôtes ont trouvé 2361 lignes
+        // portant encore une adresse ou un agent brut — parce qu'un TIERS avait posé une question
+        // sur SA base, pas parce que quoi que ce soit le leur avait dit.
+        //
+        // Sous `&schema=1` seulement : c'est une lecture de la base, et sans le paramètre cette
+        // carte garde sa propriété de répondre quand plus rien ne répond.
+        ...(String(q.schema || "") === "1"
+          ? { purge: await require("./retention").resteDeLaPurge() }
+          : {}),
         // « L'hôte peut-il créer un lien en son nom propre ? » — configuré, pas seulement
         // possible. Un hôte qui oublie le secret reçoit un 401 qui ressemble à un droit
         // manquant ; ce booléen le lui dit sans qu'il ait à essayer.

package/server/retention.js

@@ -391,4 +391,140 @@ function tick() {
     .catch((e) => { try { PLAYER.errors.capture(e, { route: "retention", benin: true }); } catch { /* jamais bloquant */ } });
 }
 
-module.exports = { init, purgerRetention, tick, borne };
+/**
+ * CE QUI RESTE DE L'HÉRITAGE, CHEZ CET HÔTE — les lignes qui portent encore une adresse IP ou un
+ * User-Agent brut.
+ *
+ * ⚠️ POURQUOI CE COMPTEUR EXISTE, ET C'EST UN HÔTE QUI L'A DIT. Nos tables vivent dans la base de
+ * nos hôtes, et l'audit d'un hôte énumère SES tables : le schéma d'une dépendance occupe une zone
+ * que les inventaires de personne ne visitent. Deux hôtes ont découvert 2361 lignes portant ces
+ * colonnes — non pas en surveillant, mais parce qu'un TIERS avait posé une question sur SA base.
+ * `retentionSweep` dit « je PEUX purger » ; il ne dit pas CE QUI S'ACCUMULE. Ce compteur le dit,
+ * chez chacun, sans que personne ait à y penser.
+ *
+ * ⚠️ ET IL RÉPOND À LA QUESTION QUI DÉCIDE DU RETRAIT DES COLONNES. `0026` et `0027` VIDENT sans
+ * supprimer, parce qu'une migration doit rester sûre pendant que la version précédente du code
+ * tourne. Le retrait attend que plus aucune version supportée ne les écrive — une condition qu'on
+ * ne peut aujourd'hui que SUPPOSER, en croyant savoir quelle version tourne chez qui. `vide` la
+ * rend LISIBLE.
+ *
+ * ⚠️ ON COMPTE DES LIGNES, PAS UN `count=exact`. La capacité `db` de l'hôte rend le corps de la
+ * réponse, pas ses en-têtes : le compte de PostgREST voyage dans `Content-Range`, donc il serait
+ * illisible sans élargir le contrat d'hôte — ce qu'un compteur de diagnostic ne justifie pas.
+ * D'où un comptage BORNÉ : au plus `BORNE_RESTE` identifiants, une seule petite colonne.
+ *
+ * ⚠️ ET LA SATURATION SE DIT, ELLE NE SE DEVINE PAS — deux hôtes ont trouvé ce défaut dans la
+ * première version, le même jour, indépendamment. Elle demandait `limit=BORNE` et publiait
+ * `lignes.length` : sur une base portant cinq mille adresses, elle rendait `1000`, que rien ne
+ * distinguait d'un compte exact de mille. Un nombre faux qui se lit comme juste — pire qu'un
+ * nombre absent, parce que l'absence fait chercher et que le nombre fait conclure.
+ *
+ * Le remède vivait à trois cents lignes d'ici : `purgerRetention` rend `tronque` depuis toujours,
+ * pour exactement cette raison. On demande donc `BORNE + 1` : en recevoir autant prouve qu'il en
+ * reste, sans coûter une ligne de plus. `n` reste plafonné à la borne, et `tronque` dit qu'il faut
+ * le lire « au moins ».
+ *
+ * ⚠️ ET LE COÛT EST INVERSE DE L'INTUITION, donc il est dit plutôt que caché : quand il reste
+ * beaucoup de lignes, la base s'arrête à la borne et c'est rapide ; quand il n'en reste AUCUNE,
+ * elle parcourt la table pour ne rien trouver. Le cas cher est le cas terminal — celui où ce
+ * compteur a fini son office et disparaîtra avec les colonnes qu'il surveille. Il ne s'exécute
+ * d'ailleurs que sur `?contract=1&schema=1`, le seul mode où l'appelant demande la base.
+ *
+ * ⚠️ UN ÉCHEC REND `null`, JAMAIS ZÉRO. Zéro est la réponse qui autorise à supprimer une colonne :
+ * la fabriquer à partir d'une sonde en panne serait le pire mensonge que cette carte puisse faire.
+ */
+// ⚠️ CINQ MILLE, ET LE NOMBRE VIENT D'UNE MESURE. Il valait mille, et le banc écrit avec les
+// volumes RÉELS d'un hôte l'a fait rougir : sa table de vues en portait 1651. La borne saturait
+// donc dès le premier jour chez lui, et un compteur qui plafonne sous les volumes qu'il est censé
+// décrire ne décrit rien. Cinq mille couvre les deux hôtes connus avec de la marge, reste une
+// seule petite colonne à transférer, et `tronque` dit le reste. La borne est un plafond de COÛT,
+// pas une opinion sur ce qu'un hôte peut avoir.
+const BORNE_RESTE = 5000;
+
+const SONDES_RESTE = [
+  ["sessionsIp", "commercial_doc_sessions", "session_id", "ip"],
+  ["sessionsUa", "commercial_doc_sessions", "session_id", "ua"],
+  ["vuesUa", "commercial_doc_views", "id", "ua"],
+];
+
+/** Les tables regardées, pour le dénominateur — une par table, pas une par sonde. */
+const TABLES_RESTE = [["sessions", "commercial_doc_sessions", "session_id"],
+  ["vues", "commercial_doc_views", "id"]];
+
+/**
+ * ⚠️ ET LA COLONNE DISPARUE EST UN ÉTAT CONNU, PAS UNE PANNE. Le jour où un exploitant supprime ces
+ * colonnes — le geste que ce compteur sert à autoriser — la requête échoue avec le
+ * `42703` de PostgreSQL, « colonne inexistante ». Rendre `null` ferait alors lire « on ne sait
+ * pas » au moment EXACT où l'on sait le mieux : plus rien ne peut porter une colonne qui n'existe
+ * plus. Le compteur deviendrait aveugle précisément quand son sujet est réglé.
+ *
+ * Toute autre erreur reste `null`. Et un hôte dont la capacité `db` ne rend pas le corps analysé
+ * retombe sur `null` : ne pas savoir est le côté sûr, puisque zéro est ce qui autorise à supprimer.
+ */
+const COLONNE_ABSENTE = "42703";
+
+/** `{ n, tronque }` — `n` nul veut dire indéterminé, jamais zéro. */
+const compte = (n, tronque) => ({ n, tronque });
+
+async function compterBorne(chemin) {
+  try {
+    // ⚠️ BORNE + 1 : la ligne excédentaire ne sert qu'à PROUVER qu'il en reste. On ne la publie pas.
+    const lignes = await PLAYER.db.request(`${chemin}&limit=${BORNE_RESTE + 1}`, { timeoutMs: 8000 });
+    if (!Array.isArray(lignes)) return compte(null, false);
+    return compte(Math.min(lignes.length, BORNE_RESTE), lignes.length > BORNE_RESTE);
+  } catch (e) {
+    if (e && e.details && e.details.code === COLONNE_ABSENTE) return compte(0, false);
+    return compte(null, false);   // indéterminé — surtout pas zéro
+  }
+}
+
+const compterReste = (table, cle, colonne) =>
+  compterBorne(`${table}?select=${cle}&${colonne}=not.is.null`);
+
+/**
+ * ⚠️ ET LE COMPTEUR PORTE CE QU'IL A REGARDÉ — un hôte nous l'a demandé, et il avait raison.
+ *
+ * `sessionsIp: 0` ne distingue pas trois choses : « purgé », « jamais écrit », et « la sonde vise à
+ * côté ». Les deux premières se valent pour qui veut supprimer une colonne ; la troisième est un
+ * mensonge. Le dénominateur les sépare : « 0 sur 1908 lignes examinées » dit qu'il y avait quelque
+ * chose à regarder, « 0 sur 0 » dit que la table est vide ou hors d'atteinte et que le zéro ne
+ * prouve rien.
+ *
+ * C'est notre propre règle anti-vacuité — un plancher compte la FORME RECONNUE, pas les choses
+ * comptées — appliquée partout dans `tools/` et absente d'ici jusqu'à ce qu'un lecteur la réclame.
+ *
+ * ⚠️ ET IL NE COÛTE PRESQUE RIEN, à l'inverse du compte filtré : sans filtre, la base s'arrête à la
+ * borne dès les premières lignes. Une par TABLE, pas une par sonde — deux des trois colonnes vivent
+ * dans la même.
+ */
+const compterLignes = (table, cle) => compterBorne(`${table}?select=${cle}`);
+
+async function resteDeLaPurge() {
+  const [comptes, totaux] = await Promise.all([
+    Promise.all(SONDES_RESTE.map(([, t, c, col]) => compterReste(t, c, col))),
+    Promise.all(TABLES_RESTE.map(([, t, c]) => compterLignes(t, c))),
+  ]);
+  // ⚠️ ACCUMULATEURS NUS, comme celui de `fenetresValidees` plus haut et pour la même raison : la
+  // garde de forme reconnaît `Object.create(null)`, et une écriture indexée par autre chose qu'un
+  // littéral n'a alors aucun prototype à polluer. Les clés viennent ici de constantes du fichier,
+  // mais un objet nu ne coûte rien et la propriété se lit sans avoir à remonter leur provenance.
+  const parTable = Object.create(null);
+  TABLES_RESTE.forEach(([nom], i) => { parTable[nom] = totaux[i].n; });
+  const out = Object.create(null);
+  out.borne = BORNE_RESTE;
+  // ⚠️ UN SEUL DRAPEAU POUR TOUT LE BLOC, parce qu'il ne sert qu'à une chose : dire au lecteur que
+  // les nombres qu'il voit sont des minorants. Un drapeau par compte suggérerait qu'on peut faire
+  // confiance aux autres, alors que la borne est commune et que la question ne l'est pas.
+  out.tronque = [...comptes, ...totaux].some((c) => c.tronque);
+  out.lignes = parTable;
+  SONDES_RESTE.forEach(([nom], i) => { out[nom] = comptes[i].n; });
+  // ⚠️ TROIS ÉTATS, PAS DEUX. `true` : plus rien, le retrait des colonnes est permis ICI. `false` :
+  // il reste des lignes. `null` : au moins une sonde n'a pas répondu — on ne sait pas, et « on ne
+  // sait pas » ne doit jamais se lire comme « c'est bon ».
+  // ⚠️ `vide` RESTE JUSTE MÊME SATURÉ, et c'est ce qui compte : c'est le champ qui autorise le
+  // retrait d'une colonne, et la saturation ne peut le rendre que FAUX — jamais vrai à tort.
+  out.vide = comptes.some((c) => c.n === null) ? null : comptes.every((c) => c.n === 0);
+  return out;
+}
+
+module.exports = { init, purgerRetention, tick, borne, resteDeLaPurge, BORNE_RESTE };