letopis 1.3.0 → 1.4.1

package/sql/90-time.sql

@@ -80,13 +80,22 @@ begin
   return false;
 end $$;
 
+-- Действующая роль сеанса, под которой вызывающий работает вне функций владельца: роль SET ROLE (и параметра запуска
+-- role), иначе роль входа. Внутри функции владельца current_user — владелец, а session_user — роль входа, даже если
+-- поверх неё поставлена роль приложения: привилегированный вход с ролью приложения выглядел бы администратором
+-- (автоматическое ревью коммита 1734d21). Подменить её нельзя: SET ROLE проверяет членство.
+create or replace function @SCHEMA@.session_role() returns name
+language sql stable
+set search_path = pg_catalog, @SCHEMA@, pg_temp
+return coalesce(nullif(current_setting('role'), 'none'), session_user)::name;
+
 -- Роль подключения — администраторская (суперпользователь или может стать владельцем): verify,
 -- reset и maintain доступны ей и без сессии (CLI, обслуживание по расписанию).
 create or replace function @SCHEMA@.admin_role() returns boolean
 language sql stable
 set search_path = pg_catalog, @SCHEMA@, pg_temp
-return exists (select 1 from pg_roles where rolname = session_user and rolsuper)
-    or pg_has_role(session_user, '@OWNER_NAME@', 'SET');
+return exists (select 1 from pg_roles where rolname = @SCHEMA@.session_role() and rolsuper)
+    or pg_has_role(@SCHEMA@.session_role(), '@OWNER_NAME@', 'SET');
 
 -- Право letopis.* актора сессии по правилам System или администраторская роль подключения.
 create or replace function @SCHEMA@.letopis_allowed(p_endpoint text) returns boolean
@@ -209,6 +218,9 @@ begin
   end if;
   perform @SCHEMA@.family_lock(cls, false);
   cls := @SCHEMA@.class_row(l.class, l.tenant);
+  if cls.id is null then
+    perform @SCHEMA@.lt_fail('invalid_class', format('класс %s удалён', l.class));
+  end if;
   res := cls.data->'resolved';
   if coalesce((res->>'abstract')::boolean, false) then
     perform @SCHEMA@.lt_fail('invalid_class', format('класс %s абстрактный', l.class));
@@ -256,12 +268,16 @@ end $$;
 -- все версии удаляются, а на место версии 1 встаёт запись purge с числом стёртых версий и хэшем
 -- последней. Право DELETE на класс по последнему снимку. История системных классов — аудит прав и
 -- схемы: её не стирают.
--- Проектор источника ещё не прочёл версию (p_tx, p_seq) строки арендатора p_tenant класса из p_classes (ревью
--- безопасности №3, №5 — purge; хвост ревью №3 — обрезка истории). Проектор касается арендатора, у которого есть его
--- производный класс (derivedBy — имя проектора): брошенный проектор с удалёнными производными классами не держит.
--- Курсор «tx:seq~снимок»: транзакции, видимые в снимке, учла перестройка. Чекпоинт без from (до 1.2.0) касается всех
--- классов.
-create or replace function @SCHEMA@.projector_behind(p_tenant uuid, p_classes text[], p_tx xid8, p_seq bigint) returns boolean
+-- Проектор источника ещё не прочёл одну из версий p_id арендатора p_tenant с номером до p_rev включительно (null — все
+-- версии): курсор не прошёл её позицию (tx, seq), и снимок перестройки её не учёл (ревью безопасности №3, №5 — purge;
+-- хвост ревью №3 — обрезка истории). Проверяется каждая версия (хвост ревью доработок после 1.2.0): у более поздней
+-- версии бывает меньший xid, а снимок перестройки учитывает транзакции, зафиксированные до него, — непрочитанной может
+-- оказаться и версия между самой поздней по (tx, seq) и последней. Проектор касается арендатора, у которого есть его
+-- производный класс (derivedBy — имя проектора): брошенный проектор с удалёнными производными классами не держит, — и
+-- строки, у которой хоть одна из этих версий — в классах его источника: уход из семейства источников сменой класса он
+-- тоже читает. Курсор «tx:seq~снимок»; чекпоинт без from (до 1.2.0) касается всех классов. Записи purge, trim и reset —
+-- не версии.
+create or replace function @SCHEMA@.projector_unread(p_tenant uuid, p_id uuid, p_rev int) returns boolean
 language sql stable
 set search_path = pg_catalog, @SCHEMA@, pg_temp
 return exists (select 1 from @SCHEMA@.secret s
@@ -272,11 +288,18 @@ return exists (select 1 from @SCHEMA@.secret s
                  and exists (select 1 from @SCHEMA@.entity x where x.class = 'Class' and x.tenant = p_tenant
                              and x.data->'resolved'->>'derivedBy' = s.ident)
                  and (not s.meta ? 'from'
-                      or exists (select 1 from unnest(p_classes) c
-                                 where coalesce((@SCHEMA@.class_row(c, p_tenant)).data->'resolved'->'ancestors', jsonb_build_array(c))
+                      or exists (select 1 from (select distinct v.class from @SCHEMA@.log v
+                                                where v.id = p_id and (p_rev is null or v.rev <= p_rev)
+                                                  and v.op not in ('purge', 'trim', 'reset')) c
+                                 where coalesce((@SCHEMA@.class_row(c.class, p_tenant)).data->'resolved'->'ancestors', jsonb_build_array(c.class))
                                        ?| array(select jsonb_array_elements_text(s.meta->'from'))))
-                 and (p_tx, p_seq) > (split_part(k.head, ':', 1)::xid8, split_part(k.head, ':', 2)::bigint)
-                 and not coalesce(pg_visible_in_snapshot(p_tx, k.snap::pg_snapshot), false));
+                 and exists (select 1 from @SCHEMA@.log v
+                             where v.id = p_id and (p_rev is null or v.rev <= p_rev) and v.op not in ('purge', 'trim', 'reset')
+                               and (v.tx, v.seq) > (split_part(k.head, ':', 1)::xid8, split_part(k.head, ':', 2)::bigint)
+                               and not coalesce(pg_visible_in_snapshot(v.tx, k.snap::pg_snapshot), false)));
+
+-- до 1.4 проверялась одна позиция: надгробие у purge, самая поздняя по (tx, seq) версия у стыка обрезки
+drop function if exists @SCHEMA@.projector_behind(uuid, text[], xid8, bigint);
 
 create or replace function @SCHEMA@.purge(p_id uuid, p_confirm boolean default false) returns jsonb
 language plpgsql volatile security definer
@@ -301,9 +324,9 @@ begin
   if not @SCHEMA@.acl_row_ok(@SCHEMA@.acl_plan('DELETE'), l.class, l.id, l.owner, l.tenant, l.tags, l.data, l.links) then
     perform @SCHEMA@.lt_fail('acl_denied', format('нет права DELETE на класс %s', l.class));
   end if;
-  -- проектор источника, чей курсор ещё не прошёл надгробие (в том числе надгробие этой транзакции), об удалении не
-  -- узнал бы — вклад строки остался бы в итогах навсегда (ревью безопасности №3, №5)
-  if @SCHEMA@.projector_behind(l.tenant, array[l.class], l.tx, l.seq) then
+  -- проектор источника, который ещё не прочёл какую-то версию строки (в том числе надгробие этой транзакции), об
+  -- удалении не узнал бы — вклад строки остался бы в итогах навсегда (ревью безопасности №3, №5)
+  if @SCHEMA@.projector_unread(l.tenant, p_id, null) then
     perform @SCHEMA@.lt_fail('projector_pending', 'проектор источника ещё не прочёл удаление: purge — после его run()');
   end if;
   select count(*)::int into n from @SCHEMA@.log x where x.id = p_id;
@@ -340,7 +363,6 @@ declare
   r @SCHEMA@.log;
   first @SCHEMA@.log;
   nxt record;
-  late record;
   j int;
   h bytea;
   k int;
@@ -385,15 +407,11 @@ begin
     select x.* into first from @SCHEMA@.log x where x.id = r.id order by x.rev limit 1;
     -- до момента — только сама запись trim: стирать нечего
     continue when j = 1 and first.op = 'trim';
-    -- проектор источника, чей курсор ещё не прошёл первую оставшуюся версию: читая её, он возьмёт прошлую версию для
-    -- before, а её уже не будет — свёртка прибавила бы новую, не вычитая прежнюю (хвост ревью безопасности №3). Класс —
-    -- обеих версий у стыка: строка могла уйти из семейства источников сменой класса
-    select x.rev, x.class into nxt from @SCHEMA@.log x where x.id = r.id and x.rev > j order by x.rev limit 1;
-    -- позиция — самая поздняя по (tx, seq) среди стираемых версий и первой оставшейся: у более поздней версии бывает
-    -- меньший xid (автоматическое ревью)
-    select x.tx, x.seq into late from @SCHEMA@.log x where x.id = r.id and x.rev <= nxt.rev order by x.tx desc, x.seq desc limit 1;
-    if @SCHEMA@.projector_behind(r.tenant, array[(select x.class from @SCHEMA@.log x where x.id = r.id and x.rev = j), nxt.class],
-                                 late.tx, late.seq) then
+    -- проектор источника, который ещё не прочёл стираемые версии или первую оставшуюся: читая её, он возьмёт прошлую
+    -- версию для before, а её уже не будет — свёртка прибавила бы новую, не вычитая прежнюю (хвост ревью безопасности
+    -- №3); каждая версия до первой оставшейся — у более поздней версии бывает меньший xid
+    select x.rev into nxt from @SCHEMA@.log x where x.id = r.id and x.rev > j order by x.rev limit 1;
+    if @SCHEMA@.projector_unread(r.tenant, r.id, nxt.rev) then
       perform @SCHEMA@.lt_fail('projector_pending', 'проектор источника ещё не прочёл версии: trimHistory — после его run()');
     end if;
     select x.hash into h from @SCHEMA@.log x where x.id = r.id and x.rev = j;
@@ -456,6 +474,9 @@ begin
   cls := @SCHEMA@.class_row(o.class, o.tenant);
   perform @SCHEMA@.family_lock(cls, false);
   cls := @SCHEMA@.class_row(o.class, o.tenant);
+  if cls.id is null then
+    perform @SCHEMA@.lt_fail('invalid_class', format('класс %s удалён', o.class));
+  end if;
   res := cls.data->'resolved';
   if res ? 'derivedBy' then
     perform @SCHEMA@.lt_fail('derived_class', format('класс %s производный: его строки пишет проектор %s', o.class, res->>'derivedBy'));
@@ -601,7 +622,7 @@ end $$;
 -- последнего включённого владельца. Данные и журнал арендатора-цели стираются физически; в чужих
 -- арендаторах членства снимаются (надгробия), владение строками переходит арендаторам (§2.10);
 -- остались ссылки на аккаунт — delete_restricted. Строка Account удаляется с надгробием (история
--- аккаунтов — аудит), сессии гаснут, креды удаляются.
+-- аккаунтов — аудит), сессии гаснут с сигналом, строки secret аккаунта стирает каскад внешнего ключа.
 create or replace function @SCHEMA@.account_purge(p_account uuid) returns jsonb
 language plpgsql volatile security definer
 set search_path = pg_catalog, @SCHEMA@, pg_temp
@@ -637,6 +658,14 @@ begin
   if a.id is null or p_account = '@SYSTEM@'::uuid then
     perform @SCHEMA@.lt_fail('target_not_found', 'аккаунт не найден');
   end if;
+  -- владелец стирает арендатора, в котором работает: его членство уйдёт вместе с данными, а надгробия и
+  -- передача владения ниже перечитывают ctx() — остаток операции идёт в личном арендаторе вызывающего,
+  -- и его сессия больше не указывает на стёртого арендатора (иначе tenant_denied и откат всего вызова)
+  if c.tenant = p_account then
+    perform set_config('letopis.tenant', c.account::text, true);
+    update @SCHEMA@.secret s set meta = s.meta - 'tenant'
+    where s.id = c.session and s.kind = 'SESSION' and s.meta->>'tenant' = p_account::text;
+  end if;
   -- последний владелец: в каждом чужом арендаторе, где цель — владелец, должен остаться другой
   for t in select x.tenant from @SCHEMA@.entity x
            where x.class = 'member' and x.links->>'User' = p_account::text and x.tenant <> p_account
@@ -658,7 +687,7 @@ begin
     perform @SCHEMA@.tombstone(m);
     n_mem := n_mem + 1;
   end loop;
-  for t in select distinct x.tenant from @SCHEMA@.entity x where x.owner = p_account and x.owner <> x.tenant loop
+  for t in select distinct x.tenant from @SCHEMA@.entity x where x.owner = p_account and x.owner <> x.tenant order by x.tenant loop
     n_own := n_own + @SCHEMA@.owner_to_tenant(t.tenant, p_account);
   end loop;
   select coalesce(jsonb_agg(jsonb_build_object('id', x.id, 'class', x.class, 'tenant', x.tenant)), '[]'::jsonb) into blockers
@@ -666,10 +695,10 @@ begin
   if blockers <> '[]'::jsonb then
     perform @SCHEMA@.lt_fail('delete_restricted', 'на аккаунт ссылаются другие строки', @SCHEMA@.visible_detail(blockers, c.tenant));
   end if;
+  -- сессии аккаунта гасит с сигналом триггер до удаления (trg_entity_bd_account, срабатывает и для владельца), а его
+  -- строки secret — сессии и креды — стирает каскад внешнего ключа secret.account (ревизия 7)
   delete from @SCHEMA@.entity x where x.id = p_account;
   perform @SCHEMA@.tombstone(a);
-  perform @SCHEMA@.auth_kill(p_account, null);
-  delete from @SCHEMA@.secret s where s.account = p_account;
   -- данные арендатора-цели — его парами; Account и member — классы прав, их сигнал сбрасывает всё
   perform @SCHEMA@.signal(classes || array['Account', 'member'],
     array(select p_account from unnest(classes)) || array['@SYSTEM@'::uuid, '@SYSTEM@'::uuid]);
@@ -876,7 +905,9 @@ begin
   with d as (delete from @SCHEMA@.secret x where x.kind = 'SESSION'
              and (x.deleted_at is not null or x.expires_at <= clock_timestamp()) returning 1)
   select count(*)::int into s from d;
-  with d as (delete from @SCHEMA@.secret x where x.kind = 'OTP'
+  -- коды всех видов, которые выпускает auth_issue_otp: OTP и OTP_<имя> (тот же шаблон вида), — использованные,
+  -- заменённые, исчерпавшие попытки (deleted_at) и истёкшие
+  with d as (delete from @SCHEMA@.secret x where x.kind ~ '^OTP(_[A-Z0-9]{1,27})?$'
              and (x.deleted_at is not null or x.expires_at <= clock_timestamp()) returning 1)
   select count(*)::int into o from d;
   return jsonb_build_object('sessions', s, 'codes', o, 'queue', pg_notification_queue_usage())
@@ -1061,7 +1092,10 @@ end $$;
 -- окна p_upto — последняя строка полной пачки watch_read), а строки — синтетические надгробия прежней версии: класс,
 -- концы и данные прежние; номер, время, автор, tx и seq — версии смены класса; вид delete; агента и причины нет. Только
 -- если нового класса нет в p_classes, а прежнюю версию актор видит (row_visible с его планом READ): о строке, которой он
--- не читал, подписчик не узнает. Функция владельца: версию с новым классом актору видеть не нужно.
+-- не читал, подписчик не узнает. Функция владельца: версию с новым классом актору видеть не нужно. Подключение в обход
+-- RLS (суперпользователь, BYPASSRLS, член роли-владельца с наследованием — connect() пускает его только с
+-- allowBypassRls) видит в watch_read журнал всех арендаторов, поэтому и события ухода получает все, с автором (хвост
+-- ревью доработок после 1.2.0). Роль — действующая роль сеанса (session_role): та, к которой watch_read применяет RLS.
 create or replace function @SCHEMA@.watch_leaving(p_tx xid8, p_seq bigint, p_classes text[], p_limit int,
   p_snap pg_snapshot default null, p_upto_tx xid8 default null, p_upto_seq bigint default null)
 returns setof @SCHEMA@.log
@@ -1071,12 +1105,15 @@ as $$
 declare
   horizon xid8 := pg_snapshot_xmin(pg_current_snapshot());
   a jsonb;
+  bypass boolean;
 begin
   if p_classes is null then
     return;
   end if;
-  a := @SCHEMA@.acl_actor('READ');
-  if a is null then
+  bypass := exists (select 1 from pg_roles r where r.rolname = @SCHEMA@.session_role() and (r.rolsuper or r.rolbypassrls))
+            or pg_has_role(@SCHEMA@.session_role(), '@OWNER_NAME@', 'USAGE');
+  a := case when not bypass then @SCHEMA@.acl_actor('READ') end;
+  if a is null and not bypass then
     return;
   end if;
   -- новую версию актор не видит — надгробие при любом p_classes и без автора: перебором классов подписки он узнал бы её
@@ -1086,15 +1123,15 @@ begin
     from @SCHEMA@.log l
     cross join lateral (select x.* from @SCHEMA@.log x where x.id = l.id and x.rev < l.rev and x.op not in ('purge', 'trim', 'reset')
                         order by x.rev desc limit 1) p
-    cross join lateral (select @SCHEMA@.row_visible(l.tenant, l.class, l.id, l.owner, l.tags, l.data, l.links,
+    cross join lateral (select bypass or @SCHEMA@.row_visible(l.tenant, l.class, l.id, l.owner, l.tags, l.data, l.links,
                                (a->>'tenant')::uuid, (a->>'account')::uuid, a->'plan') as seen) v
     where (l.tx, l.seq) > (p_tx, p_seq) and l.tx < horizon
       and (p_upto_tx is null or (l.tx, l.seq) <= (p_upto_tx, p_upto_seq))
       and l.op = 'reclass' and l.moved is null and (not (l.class = any (p_classes)) or not v.seen)
       and p.class = any (p_classes) and p.op <> 'delete'
       and (p_snap is null or not pg_visible_in_snapshot(l.tx, p_snap))
-      and @SCHEMA@.row_visible(p.tenant, p.class, p.id, p.owner, p.tags, p.data, p.links,
-                               (a->>'tenant')::uuid, (a->>'account')::uuid, a->'plan')
+      and (bypass or @SCHEMA@.row_visible(p.tenant, p.class, p.id, p.owner, p.tags, p.data, p.links,
+                                          (a->>'tenant')::uuid, (a->>'account')::uuid, a->'plan'))
     order by l.tx, l.seq limit p_limit;
 end $$;
 
@@ -1116,8 +1153,8 @@ declare f text;
 begin
   foreach f in array array[
     'history_default()', 'history_policy(jsonb)', 'history_iv(text)', 'history_horizon(jsonb)',
-    'history_keep(jsonb, timestamp, timestamp, timestamp)', 'admin_role()', 'letopis_allowed(text)', 'session_expires()', 'signal_mode()', 'signal_key()', 'class_stamp()',
-    'last_version_visible(uuid, uuid, jsonb)', 'restore(uuid)', 'projector_behind(uuid, text[], xid8, bigint)', 'purge(uuid, boolean)', 'trim_history(uuid[], text[], timestamptz)',
+    'history_keep(jsonb, timestamp, timestamp, timestamp)', 'session_role()', 'admin_role()', 'letopis_allowed(text)', 'session_expires()', 'signal_mode()', 'signal_key()', 'class_stamp()',
+    'last_version_visible(uuid, uuid, jsonb)', 'restore(uuid)', 'projector_unread(uuid, uuid, int)', 'purge(uuid, boolean)', 'trim_history(uuid[], text[], timestamptz)',
     'rekey(uuid, jsonb, jsonb)', 'rekey_class(text, jsonb)', 'account_purge(uuid)', 'reset_mark(uuid, text, uuid)',
     'reset(text, text, uuid, int)', 'thin_batch(timestamptz, int)', 'maintain(timestamptz, int)', 'verify(boolean)',
     'watch_read(xid8, bigint, timestamptz, text[], int, pg_snapshot, boolean)', 'watch_leaving(xid8, bigint, text[], int, pg_snapshot, xid8, bigint)', 'watch_head()'] loop

package/sql/95-seed.system.sql

@@ -78,6 +78,12 @@ declare
   o_signals uuid;
   op text;
 begin
+  -- аккаунт System — раньше строки ключа: служебные строки secret (KEY, LOCK, PROJECTOR) принадлежат ему, а внешний
+  -- ключ secret.account (ревизия 7) требует строку аккаунта в entity. Счётчик прав sys_create повышает, только когда
+  -- строка ключа уже есть, — на свежей установке и после reset({ all }) ей неоткуда взяться, и начальный v — 0
+  perform @SCHEMA@.sys_create('@SYSTEM@'::uuid, 'Account', '@SYSTEM@'::uuid, '{}',
+    '{"name": "System", "categories": ["System"], "enabled": true}');
+
   -- Ключ подписи пропуска прав и счётчик изменений прав (50-acl.sql: acl_token, acl_bump); от ключа же
   -- выводится ключ сигналов. Режим сигналов (up({ signals })) хранится в meta этой строки: установщик
   -- читает его перед накатом, поэтому повторный up() без опции режим не меняет, а reset({ all }) кладёт
@@ -87,9 +93,6 @@ begin
   on conflict (id) do update set meta = k.meta || '{"signals": "@SIGNALS@"}'
   where k.meta->>'signals' is distinct from '@SIGNALS@';
 
-  perform @SCHEMA@.sys_create('@SYSTEM@'::uuid, 'Account', '@SYSTEM@'::uuid, '{}',
-    '{"name": "System", "categories": ["System"], "enabled": true}');
-
   -- Строка Class, описывающая саму себя, и системные классы. Полная метасхема и развёрнутое
   -- описание resolved — в 40-class.sql (этап 1, п. 6).
   perform @SCHEMA@.sys_create(@SCHEMA@.v5_id('@SYSTEM@'::uuid, 'Class', array['Class']), 'Class', '@SYSTEM@'::uuid, '{}',

package/sql/99-revision.sql

@@ -1,3 +1,4 @@
 -- letopis 1.0 — штамп ревизии движка (план, §2.2, этап 1, п. 11): последний оператор наката.
--- Номер совпадает с DDL_REVISION в lib/src/types.ts (проверяет check-docs).
-comment on schema @SCHEMA@ is 'letopis ddl_revision=6';
+-- Номер совпадает с DDL_REVISION в lib/src/types.ts (проверяет check-docs). С 1.4 в штампе ещё версия пакета и хэш
+-- файлов ядра (engine, sql): connect() предупреждает, если функции схемы ставила другая версия движка той же ревизии.
+comment on schema @SCHEMA@ is 'letopis ddl_revision=7 engine=@ENGINE_VERSION@ sql=@ENGINE_SQL@';

package/sql/README.md

@@ -17,6 +17,8 @@
 | `@HISTORY_DEFAULT@` | политика хранения по умолчанию `up({ history })` литералом JSON или `'null'` — константа установки |
 | `@RESERVED_NAMES@` | методы цепочки — `RESERVED_CLASS_NAMES` из `lib/src/types.ts`, литералами через запятую |
 | `@SIGNALS@` | режим сигналов `class`, `tenant`, `opaque` или `none` (план 1.1, §2.2): опция `up({ signals })`, иначе сохранённый в `meta.signals` строки ключа `secret`, иначе `class` — константа установки |
+| `@ENGINE_VERSION@` | версия пакета (`lib/package.json`) — штамп движка в комментарии схемы (`99-revision.sql`) |
+| `@ENGINE_SQL@` | 16 знаков sha256 исходного текста файлов `NN-*.sql` до подстановок (переводы строк — LF): `connect()` сверяет его с файлами своего пакета |
 
 ## Колонки снимка версии
 

package/sql/migrate/0007-secret-account-fk.sql

@@ -0,0 +1,12 @@
+-- Ревизия 7 (1.4.1-alpha.0, решение владельца): строки secret принадлежат аккаунту — строке entity. Удалённый аккаунт
+-- уносит свои строки каскадом внешнего ключа: сессии, хэши паролей и ключей, секреты TOTP, внешние учётные записи. До
+-- ревизии 7 удаление аккаунта лишь помечало их deleted_at, а maintain() убирает только сессии и коды OTP — остальное
+-- хранилось вечно. Сначала стираются строки, чьих аккаунтов в entity уже нет, затем ставится ключ (как в 10-core.sql).
+delete from @SCHEMA@.secret s where not exists (select 1 from @SCHEMA@.entity e where e.id = s.account);
+do $$
+begin
+  if not exists (select 1 from pg_constraint where conrelid = '@SCHEMA@.secret'::regclass and conname = 'secret_account_fkey') then
+    alter table @SCHEMA@.secret add constraint secret_account_fkey
+      foreign key (account) references @SCHEMA@.entity (id) on delete cascade;
+  end if;
+end $$;