letopis 1.4.0 → 1.4.2

package/sql/90-time.sql

@@ -389,9 +389,12 @@ begin
       end if;
     end loop;
   end if;
+  -- по классам: последняя версия id — любого класса, класс проверяется у неё (план 2.0, 7.1 №1)
   for r in select distinct on (l.id) l.* from @SCHEMA@.log l
-           where l.tenant = c.tenant and (case when p_ids is not null then l.id = any (p_ids) else l.class = any (p_classes) end)
+           where l.tenant = c.tenant and (case when p_ids is not null then l.id = any (p_ids)
+                                               else l.id in (select x.id from @SCHEMA@.log x where x.tenant = c.tenant and x.class = any (p_classes)) end)
            order by l.id, l.rev desc loop
+    continue when p_ids is null and not (r.class = any (p_classes));
     continue when r.op in ('purge', 'reset')
       or not @SCHEMA@.row_visible(r.tenant, r.class, r.id, r.owner, r.tags, r.data, r.links, c.tenant, c.account, rd->'plan');
     if r.class in ('Class', 'Account', 'member', 'Resource', 'rule') then
@@ -622,7 +625,7 @@ end $$;
 -- последнего включённого владельца. Данные и журнал арендатора-цели стираются физически; в чужих
 -- арендаторах членства снимаются (надгробия), владение строками переходит арендаторам (§2.10);
 -- остались ссылки на аккаунт — delete_restricted. Строка Account удаляется с надгробием (история
--- аккаунтов — аудит), сессии гаснут, креды удаляются.
+-- аккаунтов — аудит), сессии гаснут с сигналом, строки secret аккаунта стирает каскад внешнего ключа.
 create or replace function @SCHEMA@.account_purge(p_account uuid) returns jsonb
 language plpgsql volatile security definer
 set search_path = pg_catalog, @SCHEMA@, pg_temp
@@ -658,6 +661,14 @@ begin
   if a.id is null or p_account = '@SYSTEM@'::uuid then
     perform @SCHEMA@.lt_fail('target_not_found', 'аккаунт не найден');
   end if;
+  -- владелец стирает арендатора, в котором работает: его членство уйдёт вместе с данными, а надгробия и
+  -- передача владения ниже перечитывают ctx() — остаток операции идёт в личном арендаторе вызывающего,
+  -- и его сессия больше не указывает на стёртого арендатора (иначе tenant_denied и откат всего вызова)
+  if c.tenant = p_account then
+    perform set_config('letopis.tenant', c.account::text, true);
+    update @SCHEMA@.secret s set meta = s.meta - 'tenant'
+    where s.id = c.session and s.kind = 'SESSION' and s.meta->>'tenant' = p_account::text;
+  end if;
   -- последний владелец: в каждом чужом арендаторе, где цель — владелец, должен остаться другой
   for t in select x.tenant from @SCHEMA@.entity x
            where x.class = 'member' and x.links->>'User' = p_account::text and x.tenant <> p_account
@@ -679,7 +690,7 @@ begin
     perform @SCHEMA@.tombstone(m);
     n_mem := n_mem + 1;
   end loop;
-  for t in select distinct x.tenant from @SCHEMA@.entity x where x.owner = p_account and x.owner <> x.tenant loop
+  for t in select distinct x.tenant from @SCHEMA@.entity x where x.owner = p_account and x.owner <> x.tenant order by x.tenant loop
     n_own := n_own + @SCHEMA@.owner_to_tenant(t.tenant, p_account);
   end loop;
   select coalesce(jsonb_agg(jsonb_build_object('id', x.id, 'class', x.class, 'tenant', x.tenant)), '[]'::jsonb) into blockers
@@ -687,10 +698,10 @@ begin
   if blockers <> '[]'::jsonb then
     perform @SCHEMA@.lt_fail('delete_restricted', 'на аккаунт ссылаются другие строки', @SCHEMA@.visible_detail(blockers, c.tenant));
   end if;
+  -- сессии аккаунта гасит с сигналом триггер до удаления (trg_entity_bd_account, срабатывает и для владельца), а его
+  -- строки secret — сессии и креды — стирает каскад внешнего ключа secret.account (ревизия 7)
   delete from @SCHEMA@.entity x where x.id = p_account;
   perform @SCHEMA@.tombstone(a);
-  perform @SCHEMA@.auth_kill(p_account, null);
-  delete from @SCHEMA@.secret s where s.account = p_account;
   -- данные арендатора-цели — его парами; Account и member — классы прав, их сигнал сбрасывает всё
   perform @SCHEMA@.signal(classes || array['Account', 'member'],
     array(select p_account from unnest(classes)) || array['@SYSTEM@'::uuid, '@SYSTEM@'::uuid]);
@@ -789,7 +800,9 @@ end $$;
 -- ========================= обслуживание =========================
 
 -- Одна пачка прореживания журнала (§2.11): версии, которые не нужны действующей политике хранения
--- своего класса. Не трогаются версия 1, текущая и версии особых видов (create, delete, reclass,
+-- своего класса — как его резолвит class_row: свой класс арендатора, иначе System; у арендатора со своим одноимённым
+-- классом политика класса System не действует (план 2.0, 7.3 №1: класс System, заведённый позже, дублировал строки
+-- журнала в отборе и стирал промежуточные версии). Не трогаются версия 1, текущая и версии особых видов (create, delete, reclass,
 -- rekey, restore, purge, reset, trim); история удалённого объекта, надгробие которого старше
 -- последнего яруса со сроком, стирается целиком. Пачка — до 100 объектов после курсора (meta
 -- строки ключа: участки по порядку id), не больше p_limit версий; объект, не вошедший целиком,
@@ -819,32 +832,60 @@ begin
   )
   select array_agg(q.id order by q.id) into ids from (
     select distinct l.id from @SCHEMA@.log l
-    join pol on pol.p is not null and pol.cls = l.class and (pol.ct = l.tenant or pol.ct = '@SYSTEM@'::uuid)
+    join pol on pol.p is not null and pol.cls = l.class
+      and (pol.ct = l.tenant
+           or pol.ct = '@SYSTEM@'::uuid
+              and not exists (select 1 from @SCHEMA@.entity y
+                              where y.class = 'Class' and y.tenant = l.tenant and y.data->>'name' = l.class))
     where l.at < p_now - @SCHEMA@.history_iv(pol.p->>'all') and (cur is null or l.id > cur)
     order by l.id limit 100) q;
   if ids is null then
     update @SCHEMA@.secret s set meta = s.meta - 'thin' where s.id = '@SYSTEM@'::uuid;
     return jsonb_build_object('thinned', 0, 'more', false);
   end if;
+  -- последняя запись каждого id пачки — for update: restore(), purge() и новая версия того же id берут её же (инвариант
+  -- M-TIME); отбор ниже видит то, что они успели зафиксировать, и не стирает историю объекта, который только что
+  -- восстановили (план 2.0, 7.3 №3)
+  perform 1 from @SCHEMA@.log l
+   where l.id = any (ids) and not exists (select 1 from @SCHEMA@.log z where z.id = l.id and z.rev > l.rev)
+   order by l.id
+   for update of l;
   with pol as (
     select x.data->>'name' as cls, x.tenant as ct, @SCHEMA@.history_policy(x.data->'resolved') as p
     from @SCHEMA@.entity x where x.class = 'Class'
   ), v as (
-    select l.id, l.rev, l.at, l.op, pol.p, coalesce(pol.p->>'tz', 'UTC') as tz,
+    -- все версии id, любого класса: последняя версия и следующая по времени — по всей цепочке (план 2.0, 7.3 №2: после
+    -- reclass версии прежнего класса без политики выпадали из отбора и переживали стирание истории удалённого)
+    select l.id, l.rev, l.at, l.op, l.class, l.tenant,
            max(l.rev) over (partition by l.id) as last_rev,
            first_value(l.op) over (partition by l.id order by l.rev desc) as last_op,
            first_value(l.at) over (partition by l.id order by l.rev desc) as last_at,
+           first_value(l.class) over (partition by l.id order by l.rev desc) as last_class,
            lead(l.at) over (partition by l.id order by l.rev) as next_at
     from @SCHEMA@.log l
-    join pol on pol.p is not null and pol.cls = l.class and (pol.ct = l.tenant or pol.ct = '@SYSTEM@'::uuid)
     where l.id = any (ids)
+  ), vp as (
+    -- прореживание версии — по политике её класса; стирание удалённого целиком — по политике класса надгробия
+    select v.*, pv.p, coalesce(pv.p->>'tz', 'UTC') as tz, pl.p as lp, coalesce(pl.p->>'tz', 'UTC') as ltz
+    from v
+    left join pol pv on pv.cls = v.class
+      and (pv.ct = v.tenant
+           or pv.ct = '@SYSTEM@'::uuid
+              and not exists (select 1 from @SCHEMA@.entity y
+                              where y.class = 'Class' and y.tenant = v.tenant and y.data->>'name' = v.class))
+    left join pol pl on pl.cls = v.last_class
+      and (pl.ct = v.tenant
+           or pl.ct = '@SYSTEM@'::uuid
+              and not exists (select 1 from @SCHEMA@.entity y
+                              where y.class = 'Class' and y.tenant = v.tenant and y.data->>'name' = v.last_class))
   )
-  select array_agg(v.id order by v.id, v.rev), array_agg(v.rev order by v.id, v.rev) into vid, vrev
-  from v
-  where (v.last_op = 'delete' and timezone(v.tz, v.last_at) <= timezone(v.tz, p_now) - @SCHEMA@.history_horizon(v.p))
-     or (v.rev <> 1 and v.rev <> v.last_rev
-         and v.op not in ('create', 'delete', 'reclass', 'rekey', 'restore', 'purge', 'reset', 'trim')
-         and not @SCHEMA@.history_keep(v.p, timezone(v.tz, v.at), timezone(v.tz, p_now), timezone(v.tz, v.next_at)));
+  select array_agg(vp.id order by vp.id, vp.rev), array_agg(vp.rev order by vp.id, vp.rev) into vid, vrev
+  from vp
+  where (vp.last_op = 'delete' and vp.lp is not null
+         and timezone(vp.ltz, vp.last_at) <= timezone(vp.ltz, p_now) - @SCHEMA@.history_horizon(vp.lp))
+     or (vp.p is not null and vp.rev <> 1 and vp.rev <> vp.last_rev
+         and vp.op not in ('create', 'delete', 'reclass', 'rekey', 'restore', 'purge', 'reset', 'trim')
+         and not @SCHEMA@.history_keep(vp.p, timezone(vp.tz, vp.at), timezone(vp.tz, p_now), timezone(vp.tz, vp.next_at)));
   total := coalesce(cardinality(vid), 0);
   k := least(total, p_limit);
   if k > 0 then
@@ -867,11 +908,15 @@ begin
   return jsonb_build_object('thinned', k, 'more', more);
 end $$;
 
--- Обслуживание (этап 6, п. 8): истёкшие и погашенные сессии и одноразовые коды, одна пачка
--- прореживания журнала, заполнение очереди сигналов. Вызывает системный администратор, роль с
+-- Обслуживание (этап 6, п. 8): истёкшие и погашенные сессии и одноразовые коды, строки-замки удалённых семейств, одна
+-- пачка прореживания журнала, заполнение очереди сигналов. Вызывает системный администратор, роль с
 -- правом letopis.maintain или администраторское подключение. p_now — момент «сейчас» для
--- прореживания, только при allow_reset (тесты): иначе одним вызовом можно было бы проредить всю историю.
-create or replace function @SCHEMA@.maintain(p_now timestamptz default null, p_limit int default 10000) returns jsonb
+-- прореживания, только при allow_reset (тесты): иначе одним вызовом можно было бы проредить всю историю. p_cleanup —
+-- удалять ли истёкшие сессии, коды и строки-замки: библиотека передаёт true только в первой пачке вызова, иначе каждая
+-- из ≤100 пачек заново просматривала бы secret (план 2.0, 7.3 №4); прежний вызов без третьего аргумента чистит, как раньше.
+drop function if exists @SCHEMA@.maintain(timestamptz, int);
+create or replace function @SCHEMA@.maintain(p_now timestamptz default null, p_limit int default 10000,
+  p_cleanup boolean default true) returns jsonb
 language plpgsql volatile security definer
 set search_path = pg_catalog, @SCHEMA@, pg_temp
 as $$
@@ -879,6 +924,7 @@ declare
   ts timestamptz := clock_timestamp();
   s int;
   o int;
+  fam text := '@SCHEMA_NAME@:family:';
 begin
   if not @SCHEMA@.letopis_allowed('letopis.maintain') then
     perform @SCHEMA@.lt_fail('acl_denied', 'нет права letopis.maintain');
@@ -894,12 +940,41 @@ begin
     end if;
     ts := p_now;
   end if;
-  with d as (delete from @SCHEMA@.secret x where x.kind = 'SESSION'
-             and (x.deleted_at is not null or x.expires_at <= clock_timestamp()) returning 1)
-  select count(*)::int into s from d;
-  with d as (delete from @SCHEMA@.secret x where x.kind = 'OTP'
-             and (x.deleted_at is not null or x.expires_at <= clock_timestamp()) returning 1)
-  select count(*)::int into o from d;
+  s := 0;
+  o := 0;
+  if coalesce(p_cleanup, true) then
+    with d as (delete from @SCHEMA@.secret x where x.kind = 'SESSION'
+               and (x.deleted_at is not null or x.expires_at <= clock_timestamp()) returning 1)
+    select count(*)::int into s from d;
+    -- коды всех видов, которые выпускает auth_issue_otp: OTP и OTP_<имя> (тот же шаблон вида), — использованные,
+    -- заменённые, исчерпавшие попытки (deleted_at) и истёкшие
+    with d as (delete from @SCHEMA@.secret x where x.kind ~ '^OTP(_[A-Z0-9]{1,27})?$'
+               and (x.deleted_at is not null or x.expires_at <= clock_timestamp()) returning 1)
+    select count(*)::int into o from d;
+    -- строки-замки семейств, чьего корня больше нет — удалён класс или его арендатор (план 2.0, 7.7 №8, долгий
+    -- прогон): их заранее заводит запись строки Class (family_rows), а сами они не уходили — заведение и удаление
+    -- классов копило их без предела. Корень жив — строка Class с этим именем у арендатора семейства (family_name;
+    -- в имени класса двоеточия нет). Занятую строку не трогаем (skip locked), а строку-замок семейства — только вместе
+    -- с её шлюзом или без шлюза: исключительная блокировка берёт шлюз первым, и строка-замок, до которой она ещё не
+    -- дошла, у неё не пропадёт. Пропавшую строку lock_row и family_lock заводят заново, если класс с этим именем
+    -- появится снова.
+    with stale as (
+      select l.id, l.meta->>'name' as n
+      from @SCHEMA@.secret l
+      where l.kind = 'LOCK' and l.account = '@SYSTEM@'::uuid and l.deleted_at is null
+        and left(l.meta->>'name', length(fam)) = fam
+        and not exists (
+          select 1 from @SCHEMA@.entity c
+          where c.class = 'Class'
+            and c.data->>'name' = split_part(substr(l.meta->>'name', length(fam) + 1), ':', 2)
+            and c.tenant::text = split_part(substr(l.meta->>'name', length(fam) + 1), ':', 1))
+      for update of l skip locked)
+    delete from @SCHEMA@.secret x using stale st
+    where x.id = st.id
+      and (st.n like '%:gate'
+           or exists (select 1 from stale g where g.n = st.n || ':gate')
+           or not exists (select 1 from @SCHEMA@.secret y where y.id = @SCHEMA@.lock_id(st.n || ':gate')));
+  end if;
   return jsonb_build_object('sessions', s, 'codes', o, 'queue', pg_notification_queue_usage())
     || @SCHEMA@.thin_batch(ts, greatest(coalesce(p_limit, 10000), 1));
 end $$;
@@ -959,8 +1034,12 @@ begin
     select jsonb_build_object('id', id, 'rev', want_rev, 'problem', 'разрыв: нет версий ' || want_rev || '…' || (rev - 1))
       from exp
       where rev > want_rev
-        and not exists (select 1 from pol where pol.cls = exp.class and (pol.ct = exp.tenant or pol.ct = '@SYSTEM@'::uuid)
-                                            and exp.prev_at < ts - pol.all_iv)
+        and not exists (select 1 from pol where pol.cls = exp.class and exp.prev_at < ts - pol.all_iv
+                                            and (pol.ct = exp.tenant
+                                                 or pol.ct = '@SYSTEM@'::uuid
+                                                    and not exists (select 1 from @SCHEMA@.entity y
+                                                                    where y.class = 'Class' and y.tenant = exp.tenant
+                                                                      and y.data->>'name' = exp.class)))
     union all
     select jsonb_build_object('id', id, 'rev', rev, 'problem', 'номер версии меньше ожидаемого после обрезки')
       from exp where rev < want_rev
@@ -1054,11 +1133,20 @@ as $$
 declare
   horizon xid8 := pg_snapshot_xmin(pg_current_snapshot());
   lim interval;
+  t uuid := @SCHEMA@.ctx_tenant();
 begin
   if p_at is not null then
+    -- ярус all классов, которые видит подписка: арендатора сессии и System (кроме одноимённых своих); политика класса
+    -- чужого арендатора с тем же именем курсор не просрочивает (план 2.0, 7.3 №1). Без арендатора в контексте
+    -- (администраторское подключение видит всех) — все классы
     select min(@SCHEMA@.history_iv(p.p->>'all')) into lim
     from @SCHEMA@.entity x cross join lateral (select @SCHEMA@.history_policy(x.data->'resolved') as p) p
-    where x.class = 'Class' and p.p is not null and (p_classes is null or x.data->>'name' = any (p_classes));
+    where x.class = 'Class' and p.p is not null and (p_classes is null or x.data->>'name' = any (p_classes))
+      and (t is null
+           or x.tenant = t
+           or x.tenant = '@SYSTEM@'::uuid
+              and not exists (select 1 from @SCHEMA@.entity y
+                              where y.class = 'Class' and y.tenant = t and y.data->>'name' = x.data->>'name'));
     if lim is not null and p_at < clock_timestamp() - lim then
       raise exception using errcode = 'LT016',
         message = 'letopis: cursor_expired: курсор подписки старше яруса all — события могли проредиться, перечитайте текущее состояние';
@@ -1146,7 +1234,7 @@ begin
     'history_keep(jsonb, timestamp, timestamp, timestamp)', 'session_role()', 'admin_role()', 'letopis_allowed(text)', 'session_expires()', 'signal_mode()', 'signal_key()', 'class_stamp()',
     'last_version_visible(uuid, uuid, jsonb)', 'restore(uuid)', 'projector_unread(uuid, uuid, int)', 'purge(uuid, boolean)', 'trim_history(uuid[], text[], timestamptz)',
     'rekey(uuid, jsonb, jsonb)', 'rekey_class(text, jsonb)', 'account_purge(uuid)', 'reset_mark(uuid, text, uuid)',
-    'reset(text, text, uuid, int)', 'thin_batch(timestamptz, int)', 'maintain(timestamptz, int)', 'verify(boolean)',
+    'reset(text, text, uuid, int)', 'thin_batch(timestamptz, int)', 'maintain(timestamptz, int, boolean)', 'verify(boolean)',
     'watch_read(xid8, bigint, timestamptz, text[], int, pg_snapshot, boolean)', 'watch_leaving(xid8, bigint, text[], int, pg_snapshot, xid8, bigint)', 'watch_head()'] loop
     execute format('alter function @SCHEMA@.%s owner to @OWNER@', f);
     execute format('revoke all on function @SCHEMA@.%s from public', f);
@@ -1155,7 +1243,7 @@ end $$;
 -- приложению: функции владельца этапа 6 (проверяют права сами), подписка (под RLS) и чистые помощники политики
 grant execute on function @SCHEMA@.restore(uuid), @SCHEMA@.purge(uuid, boolean), @SCHEMA@.trim_history(uuid[], text[], timestamptz),
   @SCHEMA@.rekey(uuid, jsonb, jsonb), @SCHEMA@.rekey_class(text, jsonb), @SCHEMA@.account_purge(uuid),
-  @SCHEMA@.reset(text, text, uuid, int), @SCHEMA@.maintain(timestamptz, int), @SCHEMA@.verify(boolean),
+  @SCHEMA@.reset(text, text, uuid, int), @SCHEMA@.maintain(timestamptz, int, boolean), @SCHEMA@.verify(boolean),
   @SCHEMA@.session_expires(), @SCHEMA@.watch_read(xid8, bigint, timestamptz, text[], int, pg_snapshot, boolean), @SCHEMA@.watch_leaving(xid8, bigint, text[], int, pg_snapshot, xid8, bigint), @SCHEMA@.watch_head(),
   @SCHEMA@.history_default(), @SCHEMA@.history_policy(jsonb), @SCHEMA@.history_iv(text),
   @SCHEMA@.signal_mode(), @SCHEMA@.signal_key(), @SCHEMA@.class_stamp() to @APP@;

package/sql/95-seed.system.sql

@@ -78,6 +78,12 @@ declare
   o_signals uuid;
   op text;
 begin
+  -- аккаунт System — раньше строки ключа: служебные строки secret (KEY, LOCK, PROJECTOR) принадлежат ему, а внешний
+  -- ключ secret.account (ревизия 7) требует строку аккаунта в entity. Счётчик прав sys_create повышает, только когда
+  -- строка ключа уже есть, — на свежей установке и после reset({ all }) ей неоткуда взяться, и начальный v — 0
+  perform @SCHEMA@.sys_create('@SYSTEM@'::uuid, 'Account', '@SYSTEM@'::uuid, '{}',
+    '{"name": "System", "categories": ["System"], "enabled": true}');
+
   -- Ключ подписи пропуска прав и счётчик изменений прав (50-acl.sql: acl_token, acl_bump); от ключа же
   -- выводится ключ сигналов. Режим сигналов (up({ signals })) хранится в meta этой строки: установщик
   -- читает его перед накатом, поэтому повторный up() без опции режим не меняет, а reset({ all }) кладёт
@@ -87,9 +93,6 @@ begin
   on conflict (id) do update set meta = k.meta || '{"signals": "@SIGNALS@"}'
   where k.meta->>'signals' is distinct from '@SIGNALS@';
 
-  perform @SCHEMA@.sys_create('@SYSTEM@'::uuid, 'Account', '@SYSTEM@'::uuid, '{}',
-    '{"name": "System", "categories": ["System"], "enabled": true}');
-
   -- Строка Class, описывающая саму себя, и системные классы. Полная метасхема и развёрнутое
   -- описание resolved — в 40-class.sql (этап 1, п. 6).
   perform @SCHEMA@.sys_create(@SCHEMA@.v5_id('@SYSTEM@'::uuid, 'Class', array['Class']), 'Class', '@SYSTEM@'::uuid, '{}',

package/sql/99-revision.sql

@@ -1,4 +1,4 @@
 -- letopis 1.0 — штамп ревизии движка (план, §2.2, этап 1, п. 11): последний оператор наката.
 -- Номер совпадает с DDL_REVISION в lib/src/types.ts (проверяет check-docs). С 1.4 в штампе ещё версия пакета и хэш
 -- файлов ядра (engine, sql): connect() предупреждает, если функции схемы ставила другая версия движка той же ревизии.
-comment on schema @SCHEMA@ is 'letopis ddl_revision=6 engine=@ENGINE_VERSION@ sql=@ENGINE_SQL@';
+comment on schema @SCHEMA@ is 'letopis ddl_revision=7 engine=@ENGINE_VERSION@ sql=@ENGINE_SQL@';

package/sql/migrate/0007-secret-account-fk.sql

@@ -0,0 +1,12 @@
+-- Ревизия 7 (1.4.1-alpha.0, решение владельца): строки secret принадлежат аккаунту — строке entity. Удалённый аккаунт
+-- уносит свои строки каскадом внешнего ключа: сессии, хэши паролей и ключей, секреты TOTP, внешние учётные записи. До
+-- ревизии 7 удаление аккаунта лишь помечало их deleted_at, а maintain() убирает только сессии и коды OTP — остальное
+-- хранилось вечно. Сначала стираются строки, чьих аккаунтов в entity уже нет, затем ставится ключ (как в 10-core.sql).
+delete from @SCHEMA@.secret s where not exists (select 1 from @SCHEMA@.entity e where e.id = s.account);
+do $$
+begin
+  if not exists (select 1 from pg_constraint where conrelid = '@SCHEMA@.secret'::regclass and conname = 'secret_account_fkey') then
+    alter table @SCHEMA@.secret add constraint secret_account_fkey
+      foreign key (account) references @SCHEMA@.entity (id) on delete cascade;
+  end if;
+end $$;