letopis 1.2.0 → 1.4.0

package/sql/90-time.sql

@@ -80,13 +80,22 @@ begin
   return false;
 end $$;
 
+-- Действующая роль сеанса, под которой вызывающий работает вне функций владельца: роль SET ROLE (и параметра запуска
+-- role), иначе роль входа. Внутри функции владельца current_user — владелец, а session_user — роль входа, даже если
+-- поверх неё поставлена роль приложения: привилегированный вход с ролью приложения выглядел бы администратором
+-- (автоматическое ревью коммита 1734d21). Подменить её нельзя: SET ROLE проверяет членство.
+create or replace function @SCHEMA@.session_role() returns name
+language sql stable
+set search_path = pg_catalog, @SCHEMA@, pg_temp
+return coalesce(nullif(current_setting('role'), 'none'), session_user)::name;
+
 -- Роль подключения — администраторская (суперпользователь или может стать владельцем): verify,
 -- reset и maintain доступны ей и без сессии (CLI, обслуживание по расписанию).
 create or replace function @SCHEMA@.admin_role() returns boolean
 language sql stable
 set search_path = pg_catalog, @SCHEMA@, pg_temp
-return exists (select 1 from pg_roles where rolname = session_user and rolsuper)
-    or pg_has_role(session_user, '@OWNER_NAME@', 'SET');
+return exists (select 1 from pg_roles where rolname = @SCHEMA@.session_role() and rolsuper)
+    or pg_has_role(@SCHEMA@.session_role(), '@OWNER_NAME@', 'SET');
 
 -- Право letopis.* актора сессии по правилам System или администраторская роль подключения.
 create or replace function @SCHEMA@.letopis_allowed(p_endpoint text) returns boolean
@@ -209,6 +218,9 @@ begin
   end if;
   perform @SCHEMA@.family_lock(cls, false);
   cls := @SCHEMA@.class_row(l.class, l.tenant);
+  if cls.id is null then
+    perform @SCHEMA@.lt_fail('invalid_class', format('класс %s удалён', l.class));
+  end if;
   res := cls.data->'resolved';
   if coalesce((res->>'abstract')::boolean, false) then
     perform @SCHEMA@.lt_fail('invalid_class', format('класс %s абстрактный', l.class));
@@ -256,6 +268,39 @@ end $$;
 -- все версии удаляются, а на место версии 1 встаёт запись purge с числом стёртых версий и хэшем
 -- последней. Право DELETE на класс по последнему снимку. История системных классов — аудит прав и
 -- схемы: её не стирают.
+-- Проектор источника ещё не прочёл одну из версий p_id арендатора p_tenant с номером до p_rev включительно (null — все
+-- версии): курсор не прошёл её позицию (tx, seq), и снимок перестройки её не учёл (ревью безопасности №3, №5 — purge;
+-- хвост ревью №3 — обрезка истории). Проверяется каждая версия (хвост ревью доработок после 1.2.0): у более поздней
+-- версии бывает меньший xid, а снимок перестройки учитывает транзакции, зафиксированные до него, — непрочитанной может
+-- оказаться и версия между самой поздней по (tx, seq) и последней. Проектор касается арендатора, у которого есть его
+-- производный класс (derivedBy — имя проектора): брошенный проектор с удалёнными производными классами не держит, — и
+-- строки, у которой хоть одна из этих версий — в классах его источника: уход из семейства источников сменой класса он
+-- тоже читает. Курсор «tx:seq~снимок»; чекпоинт без from (до 1.2.0) касается всех классов. Записи purge, trim и reset —
+-- не версии.
+create or replace function @SCHEMA@.projector_unread(p_tenant uuid, p_id uuid, p_rev int) returns boolean
+language sql stable
+set search_path = pg_catalog, @SCHEMA@, pg_temp
+return exists (select 1 from @SCHEMA@.secret s
+               cross join lateral (select split_part(s.meta->>'cursor', '~', 1) as head,
+                                          nullif(split_part(s.meta->>'cursor', '~', 2), '') as snap) k
+               where s.kind = 'PROJECTOR' and s.account = '@SYSTEM@'::uuid and s.deleted_at is null
+                 and coalesce(s.meta->>'cursor', '') <> ''
+                 and exists (select 1 from @SCHEMA@.entity x where x.class = 'Class' and x.tenant = p_tenant
+                             and x.data->'resolved'->>'derivedBy' = s.ident)
+                 and (not s.meta ? 'from'
+                      or exists (select 1 from (select distinct v.class from @SCHEMA@.log v
+                                                where v.id = p_id and (p_rev is null or v.rev <= p_rev)
+                                                  and v.op not in ('purge', 'trim', 'reset')) c
+                                 where coalesce((@SCHEMA@.class_row(c.class, p_tenant)).data->'resolved'->'ancestors', jsonb_build_array(c.class))
+                                       ?| array(select jsonb_array_elements_text(s.meta->'from'))))
+                 and exists (select 1 from @SCHEMA@.log v
+                             where v.id = p_id and (p_rev is null or v.rev <= p_rev) and v.op not in ('purge', 'trim', 'reset')
+                               and (v.tx, v.seq) > (split_part(k.head, ':', 1)::xid8, split_part(k.head, ':', 2)::bigint)
+                               and not coalesce(pg_visible_in_snapshot(v.tx, k.snap::pg_snapshot), false)));
+
+-- до 1.4 проверялась одна позиция: надгробие у purge, самая поздняя по (tx, seq) версия у стыка обрезки
+drop function if exists @SCHEMA@.projector_behind(uuid, text[], xid8, bigint);
+
 create or replace function @SCHEMA@.purge(p_id uuid, p_confirm boolean default false) returns jsonb
 language plpgsql volatile security definer
 set search_path = pg_catalog, @SCHEMA@, pg_temp
@@ -279,22 +324,9 @@ begin
   if not @SCHEMA@.acl_row_ok(@SCHEMA@.acl_plan('DELETE'), l.class, l.id, l.owner, l.tenant, l.tags, l.data, l.links) then
     perform @SCHEMA@.lt_fail('acl_denied', format('нет права DELETE на класс %s', l.class));
   end if;
-  -- проектор источника, чей курсор ещё не прошёл надгробие (в том числе надгробие этой транзакции), об удалении не
-  -- узнал бы — вклад строки остался бы в итогах навсегда (ревью безопасности №3, №5). Проектор касается арендатора, у
-  -- которого есть его производный класс (derivedBy — имя проектора): брошенный проектор с удалёнными производными
-  -- классами purge не держит. Курсор «tx:seq~снимок»: транзакции, видимые в снимке, учла перестройка. Чекпоинт без from
-  -- (до 1.2.0) касается всех классов.
-  if exists (select 1 from @SCHEMA@.secret s
-             cross join lateral (select split_part(s.meta->>'cursor', '~', 1) as head,
-                                        nullif(split_part(s.meta->>'cursor', '~', 2), '') as snap) k
-             where s.kind = 'PROJECTOR' and s.account = '@SYSTEM@'::uuid and s.deleted_at is null
-               and coalesce(s.meta->>'cursor', '') <> ''
-               and exists (select 1 from @SCHEMA@.entity x where x.class = 'Class' and x.tenant = l.tenant
-                           and x.data->'resolved'->>'derivedBy' = s.ident)
-               and (not s.meta ? 'from' or coalesce((@SCHEMA@.class_row(l.class, l.tenant)).data->'resolved'->'ancestors',
-                                                    jsonb_build_array(l.class)) ?| array(select jsonb_array_elements_text(s.meta->'from')))
-               and (l.tx, l.seq) > (split_part(k.head, ':', 1)::xid8, split_part(k.head, ':', 2)::bigint)
-               and not coalesce(pg_visible_in_snapshot(l.tx, k.snap::pg_snapshot), false)) then
+  -- проектор источника, который ещё не прочёл какую-то версию строки (в том числе надгробие этой транзакции), об
+  -- удалении не узнал бы — вклад строки остался бы в итогах навсегда (ревью безопасности №3, №5)
+  if @SCHEMA@.projector_unread(l.tenant, p_id, null) then
     perform @SCHEMA@.lt_fail('projector_pending', 'проектор источника ещё не прочёл удаление: purge — после его run()');
   end if;
   select count(*)::int into n from @SCHEMA@.log x where x.id = p_id;
@@ -330,6 +362,7 @@ declare
   dplan jsonb;
   r @SCHEMA@.log;
   first @SCHEMA@.log;
+  nxt record;
   j int;
   h bytea;
   k int;
@@ -374,6 +407,13 @@ begin
     select x.* into first from @SCHEMA@.log x where x.id = r.id order by x.rev limit 1;
     -- до момента — только сама запись trim: стирать нечего
     continue when j = 1 and first.op = 'trim';
+    -- проектор источника, который ещё не прочёл стираемые версии или первую оставшуюся: читая её, он возьмёт прошлую
+    -- версию для before, а её уже не будет — свёртка прибавила бы новую, не вычитая прежнюю (хвост ревью безопасности
+    -- №3); каждая версия до первой оставшейся — у более поздней версии бывает меньший xid
+    select x.rev into nxt from @SCHEMA@.log x where x.id = r.id and x.rev > j order by x.rev limit 1;
+    if @SCHEMA@.projector_unread(r.tenant, r.id, nxt.rev) then
+      perform @SCHEMA@.lt_fail('projector_pending', 'проектор источника ещё не прочёл версии: trimHistory — после его run()');
+    end if;
     select x.hash into h from @SCHEMA@.log x where x.id = r.id and x.rev = j;
     with d as (delete from @SCHEMA@.log x where x.id = r.id and x.rev <= j returning 1)
     select count(*)::int into k from d;
@@ -434,6 +474,9 @@ begin
   cls := @SCHEMA@.class_row(o.class, o.tenant);
   perform @SCHEMA@.family_lock(cls, false);
   cls := @SCHEMA@.class_row(o.class, o.tenant);
+  if cls.id is null then
+    perform @SCHEMA@.lt_fail('invalid_class', format('класс %s удалён', o.class));
+  end if;
   res := cls.data->'resolved';
   if res ? 'derivedBy' then
     perform @SCHEMA@.lt_fail('derived_class', format('класс %s производный: его строки пишет проектор %s', o.class, res->>'derivedBy'));
@@ -1034,6 +1077,54 @@ begin
     order by l.tx, l.seq limit p_limit;
 end $$;
 
+-- Уход строки из классов подписки сменой класса без смены id (хвост ревью безопасности №3): версия пишется уже с новым
+-- классом, и подписка по классам её не видит. Здесь — те же окно, горизонт и снимок, что у watch_read (и верхняя граница
+-- окна p_upto — последняя строка полной пачки watch_read), а строки — синтетические надгробия прежней версии: класс,
+-- концы и данные прежние; номер, время, автор, tx и seq — версии смены класса; вид delete; агента и причины нет. Только
+-- если нового класса нет в p_classes, а прежнюю версию актор видит (row_visible с его планом READ): о строке, которой он
+-- не читал, подписчик не узнает. Функция владельца: версию с новым классом актору видеть не нужно. Подключение в обход
+-- RLS (суперпользователь, BYPASSRLS, член роли-владельца с наследованием — connect() пускает его только с
+-- allowBypassRls) видит в watch_read журнал всех арендаторов, поэтому и события ухода получает все, с автором (хвост
+-- ревью доработок после 1.2.0). Роль — действующая роль сеанса (session_role): та, к которой watch_read применяет RLS.
+create or replace function @SCHEMA@.watch_leaving(p_tx xid8, p_seq bigint, p_classes text[], p_limit int,
+  p_snap pg_snapshot default null, p_upto_tx xid8 default null, p_upto_seq bigint default null)
+returns setof @SCHEMA@.log
+language plpgsql stable security definer
+set search_path = pg_catalog, @SCHEMA@, pg_temp
+as $$
+declare
+  horizon xid8 := pg_snapshot_xmin(pg_current_snapshot());
+  a jsonb;
+  bypass boolean;
+begin
+  if p_classes is null then
+    return;
+  end if;
+  bypass := exists (select 1 from pg_roles r where r.rolname = @SCHEMA@.session_role() and (r.rolsuper or r.rolbypassrls))
+            or pg_has_role(@SCHEMA@.session_role(), '@OWNER_NAME@', 'USAGE');
+  a := case when not bypass then @SCHEMA@.acl_actor('READ') end;
+  if a is null and not bypass then
+    return;
+  end if;
+  -- новую версию актор не видит — надгробие при любом p_classes и без автора: перебором классов подписки он узнал бы её
+  -- класс (автоматическое ревью доработок после 1.2.0)
+  return query select l.seq, l.tx, p.id, l.rev, p.class, p.cv, p.tenant, p.owner, p.links, p.data, p.tags, l.at,
+      case when v.seen then l.author end, null::text, 'delete'::text, null::text, null::uuid, null::bytea, null::bytea, null::jsonb
+    from @SCHEMA@.log l
+    cross join lateral (select x.* from @SCHEMA@.log x where x.id = l.id and x.rev < l.rev and x.op not in ('purge', 'trim', 'reset')
+                        order by x.rev desc limit 1) p
+    cross join lateral (select bypass or @SCHEMA@.row_visible(l.tenant, l.class, l.id, l.owner, l.tags, l.data, l.links,
+                               (a->>'tenant')::uuid, (a->>'account')::uuid, a->'plan') as seen) v
+    where (l.tx, l.seq) > (p_tx, p_seq) and l.tx < horizon
+      and (p_upto_tx is null or (l.tx, l.seq) <= (p_upto_tx, p_upto_seq))
+      and l.op = 'reclass' and l.moved is null and (not (l.class = any (p_classes)) or not v.seen)
+      and p.class = any (p_classes) and p.op <> 'delete'
+      and (p_snap is null or not pg_visible_in_snapshot(l.tx, p_snap))
+      and (bypass or @SCHEMA@.row_visible(p.tenant, p.class, p.id, p.owner, p.tags, p.data, p.links,
+                                          (a->>'tenant')::uuid, (a->>'account')::uuid, a->'plan'))
+    order by l.tx, l.seq limit p_limit;
+end $$;
+
 -- Точка подписки «с этого момента»: курсор — горизонт завершённых транзакций, снимок — чтобы не
 -- отдавать транзакции, зафиксированные до подписки, но ещё не ушедшие за горизонт.
 drop function if exists @SCHEMA@.watch_head();
@@ -1052,11 +1143,11 @@ declare f text;
 begin
   foreach f in array array[
     'history_default()', 'history_policy(jsonb)', 'history_iv(text)', 'history_horizon(jsonb)',
-    'history_keep(jsonb, timestamp, timestamp, timestamp)', 'admin_role()', 'letopis_allowed(text)', 'session_expires()', 'signal_mode()', 'signal_key()', 'class_stamp()',
-    'last_version_visible(uuid, uuid, jsonb)', 'restore(uuid)', 'purge(uuid, boolean)', 'trim_history(uuid[], text[], timestamptz)',
+    'history_keep(jsonb, timestamp, timestamp, timestamp)', 'session_role()', 'admin_role()', 'letopis_allowed(text)', 'session_expires()', 'signal_mode()', 'signal_key()', 'class_stamp()',
+    'last_version_visible(uuid, uuid, jsonb)', 'restore(uuid)', 'projector_unread(uuid, uuid, int)', 'purge(uuid, boolean)', 'trim_history(uuid[], text[], timestamptz)',
     'rekey(uuid, jsonb, jsonb)', 'rekey_class(text, jsonb)', 'account_purge(uuid)', 'reset_mark(uuid, text, uuid)',
     'reset(text, text, uuid, int)', 'thin_batch(timestamptz, int)', 'maintain(timestamptz, int)', 'verify(boolean)',
-    'watch_read(xid8, bigint, timestamptz, text[], int, pg_snapshot, boolean)', 'watch_head()'] loop
+    'watch_read(xid8, bigint, timestamptz, text[], int, pg_snapshot, boolean)', 'watch_leaving(xid8, bigint, text[], int, pg_snapshot, xid8, bigint)', 'watch_head()'] loop
     execute format('alter function @SCHEMA@.%s owner to @OWNER@', f);
     execute format('revoke all on function @SCHEMA@.%s from public', f);
   end loop;
@@ -1065,6 +1156,6 @@ end $$;
 grant execute on function @SCHEMA@.restore(uuid), @SCHEMA@.purge(uuid, boolean), @SCHEMA@.trim_history(uuid[], text[], timestamptz),
   @SCHEMA@.rekey(uuid, jsonb, jsonb), @SCHEMA@.rekey_class(text, jsonb), @SCHEMA@.account_purge(uuid),
   @SCHEMA@.reset(text, text, uuid, int), @SCHEMA@.maintain(timestamptz, int), @SCHEMA@.verify(boolean),
-  @SCHEMA@.session_expires(), @SCHEMA@.watch_read(xid8, bigint, timestamptz, text[], int, pg_snapshot, boolean), @SCHEMA@.watch_head(),
+  @SCHEMA@.session_expires(), @SCHEMA@.watch_read(xid8, bigint, timestamptz, text[], int, pg_snapshot, boolean), @SCHEMA@.watch_leaving(xid8, bigint, text[], int, pg_snapshot, xid8, bigint), @SCHEMA@.watch_head(),
   @SCHEMA@.history_default(), @SCHEMA@.history_policy(jsonb), @SCHEMA@.history_iv(text),
   @SCHEMA@.signal_mode(), @SCHEMA@.signal_key(), @SCHEMA@.class_stamp() to @APP@;

package/sql/99-revision.sql

@@ -1,3 +1,4 @@
 -- letopis 1.0 — штамп ревизии движка (план, §2.2, этап 1, п. 11): последний оператор наката.
--- Номер совпадает с DDL_REVISION в lib/src/types.ts (проверяет check-docs).
-comment on schema @SCHEMA@ is 'letopis ddl_revision=6';
+-- Номер совпадает с DDL_REVISION в lib/src/types.ts (проверяет check-docs). С 1.4 в штампе ещё версия пакета и хэш
+-- файлов ядра (engine, sql): connect() предупреждает, если функции схемы ставила другая версия движка той же ревизии.
+comment on schema @SCHEMA@ is 'letopis ddl_revision=6 engine=@ENGINE_VERSION@ sql=@ENGINE_SQL@';

package/sql/README.md

@@ -17,6 +17,8 @@
 | `@HISTORY_DEFAULT@` | политика хранения по умолчанию `up({ history })` литералом JSON или `'null'` — константа установки |
 | `@RESERVED_NAMES@` | методы цепочки — `RESERVED_CLASS_NAMES` из `lib/src/types.ts`, литералами через запятую |
 | `@SIGNALS@` | режим сигналов `class`, `tenant`, `opaque` или `none` (план 1.1, §2.2): опция `up({ signals })`, иначе сохранённый в `meta.signals` строки ключа `secret`, иначе `class` — константа установки |
+| `@ENGINE_VERSION@` | версия пакета (`lib/package.json`) — штамп движка в комментарии схемы (`99-revision.sql`) |
+| `@ENGINE_SQL@` | 16 знаков sha256 исходного текста файлов `NN-*.sql` до подстановок (переводы строк — LF): `connect()` сверяет его с файлами своего пакета |
 
 ## Колонки снимка версии
 
@@ -53,7 +55,7 @@
 | LT020 | `confirm_mismatch` | подтверждение сброса не совпадает с именем схемы (этап 6) |
 | LT021 | `derived_class` | строки производного класса (`derivedBy`) пишет и удаляет только его проектор; на них не ссылаются концы (план 1.1, §2.4) |
 | LT022 | `aggregate_field` | агрегатное поле (`aggregate`) считает база: приложение и сырой SQL его не передают и не меняют (план 1.1, §2.4) |
-| LT023 | `projector_pending` | `purge` удалённого объекта, чьё надгробие ещё не прочёл проектор его класса (ревью безопасности №3, №5) |
+| LT023 | `projector_pending` | `purge` удалённого объекта, чьё надгробие ещё не прочёл проектор его класса (ревью безопасности №3, №5), или `trim_history`, чью первую оставшуюся версию он ещё не прочёл (хвост ревью №3) |
 
 ## Порядок файлов