@ganju/utils 0.0.21 → 0.0.22

package/src/dataTypes.ts

@@ -65,9 +65,43 @@ export interface DataTableInput {
   access?: DataAccess;
   customerScoped?: boolean;
   history?: boolean;
+  source?: DataTableSource | null;
   columns: DataColumnInput[];
 }
 
+// A table kept in step with a spreadsheet or CSV in the project's knowledge:
+// `key` is the unique column that names a row in both, and the sheet wins.
+// `title` is the file's name when the source was saved, for messages.
+export interface DataTableSource {
+  uri: string;
+  sheet?: string | null;
+  key: string;
+  title?: string | null;
+}
+
+// How the last sync went. A refused one changed nothing.
+export interface DataTableSync {
+  at: string;
+  status: 'ok' | 'failed';
+  inserted: number;
+  updated: number;
+  deleted: number;
+  unchanged: number;
+  error: string | null;
+  // The version of the file (its stored time) the rows were last made from.
+  // A sync of an older one is skipped, so two that overlap can't leave the
+  // older sheet's rows.
+  version?: string | null;
+  // Only in a sync's answer: skipped, an older file than the rows already are.
+  stale?: boolean;
+}
+
+// Who a sync's changes are made by, in row history and trigger events.
+export const DATA_SHEET_SYNC_ACTOR = 'system:sheet-sync';
+// A source file is read whole, so it stays small.
+export const DATA_SHEET_MAX_BYTES = 5 * 1024 * 1024;
+export const DATA_SHEET_MAX_ROWS = 20_000;
+
 // A column as the database object stores it: the input plus its stable id,
 // which names its indexes and constraints so a rename never orphans them.
 export interface DataColumn {
@@ -100,6 +134,9 @@ export interface DataTable {
   history: boolean;
   position: number;
   columns: DataColumn[];
+  // Set while the table is synced from a sheet: its rows are then read-only.
+  source?: DataTableSource | null;
+  sync?: DataTableSync | null;
 }
 
 export interface DataSchema {
@@ -364,6 +401,15 @@ export const toTableInput = (table: DataTable): DataTableInput => ({
   access: table.access,
   customerScoped: table.customerScoped,
   history: table.history,
+  ...(table.source
+    ? {
+        source: {
+          uri: table.source.uri,
+          ...(table.source.sheet ? { sheet: table.source.sheet } : {}),
+          key: table.source.key
+        }
+      }
+    : {}),
   columns: table.columns.map(column => {
     const out: DataColumnInput = { name: column.name, type: column.type };
     if (column.label) out.label = column.label;

package/src/index.ts

@@ -272,9 +272,11 @@ import type {
 import {
   wrapUntrustedContent,
   unwrapUntrustedContent,
+  stripUntrustedMarks,
   isUntrustedToolResult,
   findInstructionLikeText,
   UNTRUSTED_CONTENT_TAG,
+  UNTRUSTED_CONTENT_MARK_PATTERN,
   UNTRUSTED_CONTENT_META_KEY,
   UNTRUSTED_CONTENT_NOTE,
   INSTRUCTION_WARNING_METADATA_KEY,
@@ -576,9 +578,11 @@ export const utils = {
   stableJson,
   wrapUntrustedContent,
   unwrapUntrustedContent,
+  stripUntrustedMarks,
   isUntrustedToolResult,
   findInstructionLikeText,
   UNTRUSTED_CONTENT_TAG,
+  UNTRUSTED_CONTENT_MARK_PATTERN,
   UNTRUSTED_CONTENT_META_KEY,
   UNTRUSTED_CONTENT_NOTE,
   INSTRUCTION_WARNING_METADATA_KEY,

package/src/localizeDataError.ts

@@ -424,7 +424,24 @@ export const DATA_ERROR_MESSAGES_ES: Record<string, string | Render> = {
   'A trigger is an object.': 'Un disparador es un objeto.',
   'There is no table named {0}.': 'No hay ninguna tabla llamada {0}.',
   'A trigger needs "table".': 'Un disparador necesita "table".',
-  '"on" is insert, update or delete.': '"on" es insert, update o delete.',
+  '"on" is insert, update, delete or time.':
+    '"on" es insert, update, delete o time.',
+  // Time triggers.
+  '"after" is for "on": "time" only.': '"after" es solo para "on": "time".',
+  'A time trigger needs "after": { "column", "minutes" }, such as { "column": "created_at", "minutes": 30 }.':
+    'Un disparador por tiempo necesita "after": { "column", "minutes" }, por ejemplo { "column": "created_at", "minutes": 30 }.',
+  '"after.column" is created_at, updated_at or a date or datetime column of {0}.':
+    '"after.column" es created_at, updated_at o una columna de fecha o de fecha y hora de {0}.',
+  '"after.minutes" is a whole number of minutes from {0} to {1} (30 days), negative for before the column\'s time.':
+    '"after.minutes" es un número entero de minutos de {0} a {1} (30 días), negativo para antes de la hora de la columna.',
+  '"after.minutes" can\'t be negative on {0}: that time has already passed when the row is written. Use a date or datetime column for a reminder before.':
+    '"after.minutes" no puede ser negativo en {0}: esa hora ya pasó cuando se escribe la fila. Usa una columna de fecha o de fecha y hora para un recordatorio antes.',
+  '"when".{0}.{1}: a time trigger reads the row as it is when it comes due, so its tests are "equals" only.':
+    '"when".{0}.{1}: un disparador por tiempo lee la fila tal como está cuando se cumple el plazo, así que sus pruebas son solo "equals".',
+  'A database holds up to {0} time triggers.':
+    'Una base de datos tiene hasta {0} disparadores por tiempo.',
+  '{0}.{1} stays a date or datetime while time triggers count from it ({2}); change or delete them first.':
+    '{0}.{1} debe seguir siendo de fecha o de fecha y hora mientras haya disparadores por tiempo que cuenten desde ella ({2}); cámbialos o elimínalos primero.',
   "A trigger's name is lowercase letters, digits, _ and -, starting with a letter.":
     'El nombre de un disparador usa minúsculas, dígitos, _ y -, empezando por una letra.',
   '"rateLimit" is 1 to {0} runs a minute.':
@@ -556,6 +573,8 @@ export const DATA_ERROR_MESSAGES_ES: Record<string, string | Render> = {
     '{0} no es uno de tus chats vinculados con los bots de este proyecto.',
   'Several of your chats are linked to this project\'s bots; pick one with "participantId".':
     'Varios de tus chats están vinculados con los bots de este proyecto; elige uno con "participantId".',
+  "This organization's plan no longer includes Data, so its triggers are paused and can't be tested. Upgrade to Pro to send a test.":
+    'El plan de esta organización ya no incluye Datos, así que sus disparadores están en pausa y no se pueden probar. Pasa a Pro para enviar una prueba.',
   '{0} has no rows yet; add one to build the test from.':
     '{0} aún no tiene filas; agrega una para armar la prueba.',
   'Reading a row as its trigger event is for the project owner.':
@@ -612,6 +631,68 @@ export const DATA_ERROR_MESSAGES_ES: Record<string, string | Render> = {
     'La plantilla de WhatsApp {0} tiene {1} variables; se dio {2} valor.',
   'The WhatsApp template {0} has {1} variables; {2} values were given.':
     'La plantilla de WhatsApp {0} tiene {1} variables; se dieron {2} valores.',
+  // Tables synced from a sheet
+  '{0} is synced from "{1}"; change the sheet, or stop syncing it.':
+    '{0} se sincroniza desde "{1}"; cambia la hoja, o deja de sincronizarla.',
+  '"source" is { "uri", "sheet"?, "key" }, or null to stop syncing.':
+    '"source" es { "uri", "sheet"?, "key" }, o null para dejar de sincronizar.',
+  '"source" takes uri, sheet and key, not "{0}".':
+    '"source" recibe uri, sheet y key, no "{0}".',
+  '"source.uri" is the uri of a spreadsheet or CSV in the project\'s knowledge.':
+    '"source.uri" es el uri de una hoja de cálculo o un CSV en el conocimiento del proyecto.',
+  '"source.sheet" is the name of a sheet in the file, up to 100 characters.':
+    '"source.sheet" es el nombre de una hoja del archivo, de hasta 100 caracteres.',
+  '"source.key" is the column that names a row in both the sheet and {0}. Columns: {1}.':
+    '"source.key" es la columna que identifica una fila tanto en la hoja como en {0}. Columnas: {1}.',
+  '{0}.{1} must be unique to be the sync key.':
+    '{0}.{1} debe ser única para ser la clave de la sincronización.',
+  '{0}.{1} is the key the sheet sync matches rows by, so it stays unique.':
+    '{0}.{1} es la clave con la que la sincronización empareja las filas, así que sigue siendo única.',
+  "{0}.{1} is the sheet sync's key: rename it on its own, then make the other changes.":
+    '{0}.{1} es la clave de la sincronización: cámbiale el nombre por separado, y luego haz los demás cambios.',
+  '{0}.{1} is the key the sheet sync matches rows by; stop syncing the table, or pick another key, first.':
+    '{0}.{1} es la clave con la que la sincronización empareja las filas; primero deja de sincronizar la tabla, o elige otra clave.',
+  "{0} isn't synced from a sheet.": '{0} no se sincroniza desde una hoja.',
+  'A sync takes "columns" and "rows".':
+    'Una sincronización recibe "columns" y "rows".',
+  "The sheet has no column for {0}'s key, {1}.":
+    'La hoja no tiene una columna para la clave de {0}, {1}.',
+  'The sheet has no column for {0}, which is required.':
+    'La hoja no tiene una columna para {0}, que es obligatoria.',
+  'The sheet has no column for {0}, which are required.':
+    'La hoja no tiene columnas para {0}, que son obligatorias.',
+  'The sheet has {0} rows; a synced table takes up to {1}.':
+    'La hoja tiene {0} filas; una tabla sincronizada recibe hasta {1}.',
+  'Line {0}: {1}': (a, t) => `Línea ${a[0]}: ${t(a[1])}`,
+  'A row is an object of column: value.':
+    'Una fila es un objeto de columna: valor.',
+  'The key, {0}, is empty.': 'La clave, {0}, está vacía.',
+  '{0} {1} is already on line {2}; each line of the sheet needs its own key.':
+    '{0} {1} ya está en la línea {2}; cada línea de la hoja necesita su propia clave.',
+  'Rows in {0} still point at a row the sheet no longer has ({1}.{2}); put them back in the sheet, or change those rows first.':
+    'Filas de {0} todavía apuntan a una fila que la hoja ya no tiene ({1}.{2}); vuelve a ponerla en la hoja, o cambia esas filas primero.',
+  'Rows in {0} still point at {1} rows the sheet no longer has ({2}.{3}); put them back in the sheet, or change those rows first.':
+    'Filas de {0} todavía apuntan a {1} filas que la hoja ya no tiene ({2}.{3}); vuelve a ponerlas en la hoja, o cambia esas filas primero.',
+  "There is no file {0} in the project's knowledge.":
+    'No hay ningún archivo {0} en el conocimiento del proyecto.',
+  '{0} is {1}; a table syncs from a spreadsheet or CSV.':
+    '{0} es {1}; una tabla se sincroniza desde una hoja de cálculo o un CSV.',
+  "{0} is no longer in the project's knowledge; pick the file again, or stop syncing {1}.":
+    '{0} ya no está en el conocimiento del proyecto; vuelve a elegir el archivo, o deja de sincronizar {1}.',
+  '{0} is over {1} MB; a synced table reads files up to that size.':
+    '{0} pesa más de {1} MB; una tabla sincronizada lee archivos de hasta ese tamaño.',
+  'The sheet could not be read; try "Sync now" again in a few minutes.':
+    'No se pudo leer la hoja; vuelve a intentar "Sincronizar ahora" en unos minutos.',
+  "{0} can't be both customer-scoped and synced from a sheet: synced rows have no customer, so the bots wouldn't see them.":
+    '{0} no puede estar limitada al cliente y a la vez sincronizarse desde una hoja: las filas sincronizadas no tienen cliente, así que los bots no las verían.',
+  'Can\'t delete: it would change a row of {0} ({1}.{2}), which is synced from "{3}"; change the sheet first, or stop syncing it.':
+    'No se puede eliminar: cambiaría una fila de {0} ({1}.{2}), que se sincroniza desde "{3}"; primero cambia la hoja, o deja de sincronizarla.',
+  'Can\'t delete: it would change {0} rows of {1} ({2}.{3}), which is synced from "{4}"; change the sheet first, or stop syncing it.':
+    'No se puede eliminar: cambiaría {0} filas de {1} ({2}.{3}), que se sincroniza desde "{4}"; primero cambia la hoja, o deja de sincronizarla.',
+  '{0} has no sheet "{1}". Sheets: {2}.': '{0} no tiene una hoja "{1}". Hojas: {2}.',
+  '{0} is over {1} MB.': '{0} pesa más de {1} MB.',
+  '{0} is {1}; a table reads CSV and Excel files.':
+    '{0} es {1}; una tabla lee archivos CSV y de Excel.',
   'A post needs "chatId".': 'Una publicación necesita "chatId".',
   'WhatsApp has no group chats for bots; message a customer with send().':
     'WhatsApp no tiene chats de grupo para bots; escríbele a un cliente con send().'

package/src/schema.ts

@@ -543,7 +543,12 @@ const ARTIFACT_PICK_RESOURCE = z.object({
   userId: z.uuid(),
   organizationId: z.uuid(),
   q: z.string().trim().max(200).optional(),
-  limit: z.coerce.number().int().min(1).max(50).default(20)
+  limit: z.coerce.number().int().min(1).max(50).default(20),
+  // Only spreadsheets and CSV, for a table's sheet source.
+  tabular: z
+    .enum(['1', 'true'])
+    .optional()
+    .transform(v => v !== undefined)
 });
 
 const ARTIFACT_REMOVE_RESOURCE = z.object({
@@ -602,6 +607,14 @@ const DATA_COLUMN_INPUT = z.strictObject({
 });
 
 // The CLI's schema file holds a list of these.
+// A spreadsheet or CSV in the project's knowledge the table's rows come
+// from, matched by `key`. Null stops syncing.
+const DATA_TABLE_SOURCE = z.strictObject({
+  uri: z.string().min(1).max(2048),
+  sheet: z.string().trim().min(1).max(100).nullable().optional(),
+  key: DATA_IDENTIFIER
+});
+
 const DATA_TABLE_INPUT = z.strictObject({
   name: DATA_IDENTIFIER,
   label: DATA_TEXT(DATA_MAX_LABEL),
@@ -610,6 +623,7 @@ const DATA_TABLE_INPUT = z.strictObject({
   access: z.enum(DATA_ACCESS_LEVELS).optional(),
   customerScoped: z.boolean().optional(),
   history: z.boolean().optional(),
+  source: DATA_TABLE_SOURCE.nullable().optional(),
   columns: z.array(DATA_COLUMN_INPUT).max(DATA_MAX_COLUMNS)
 });
 
@@ -815,9 +829,18 @@ const DATA_TRIGGER_INPUT = z.strictObject({
   name: DATA_TRIGGER_NAME.optional(),
   description: z.string().max(300).nullish(),
   table: DATA_IDENTIFIER,
-  on: z.enum(['insert', 'update', 'delete']),
+  on: z.enum(['insert', 'update', 'delete', 'time']),
+  // With "time": fires this many minutes after the column's time (negative:
+  // before it). The column is created_at, updated_at or a date / datetime.
+  after: z
+    .strictObject({
+      column: DATA_IDENTIFIER,
+      minutes: z.number().int().min(-43_200).max(43_200)
+    })
+    .nullish(),
   // { column: { changedTo | changedFrom | equals: value, changed: true } },
-  // combined with { all: [...] } or { any: [...] }.
+  // combined with { all: [...] } or { any: [...] }. A time trigger takes
+  // equals only.
   when: z.record(z.string(), z.unknown()).nullish(),
   enabled: z.boolean().optional(),
   // false: refuse to save over an existing trigger of this name.
@@ -2201,6 +2224,7 @@ export const Schema = {
   DATA_DATABASE_CREATE,
   DATA_DATABASE_DELETE,
   DATA_COLUMN_INPUT,
+  DATA_TABLE_SOURCE,
   DATA_TABLE_INPUT,
   DATA_TABLE_PATCH,
   DATA_COLUMN_PATCH,

package/src/untrustedContent.ts

@@ -121,6 +121,21 @@ export const unwrapUntrustedContent = (text: string): string => {
   return match ? match[2] : text;
 };
 
+// Either line wrapUntrustedContent adds around a block, with the newline that
+// joins it to the body. A `<` of ours inside a body was escaped, so every
+// match is a real mark. A source string so SQL can strip the same marks.
+export const UNTRUSTED_CONTENT_MARK_PATTERN =
+  `\\n?<${UNTRUSTED_CONTENT_TAG} id="[0-9a-f]+" source="[^"]*">\\n?` +
+  `|\\n?</${UNTRUSTED_CONTENT_TAG} id="[0-9a-f]+">`;
+
+/**
+ * Text with the marks around every wrapped block removed and the bodies kept,
+ * for showing a recorded result to a person: an error that quotes an
+ * endpoint's answer reads as the message and the answer.
+ */
+export const stripUntrustedMarks = (text: string): string =>
+  text.replace(new RegExp(UNTRUSTED_CONTENT_MARK_PATTERN, 'g'), '\n').trim();
+
 /** Whether a tool result carries the flag set by the server that ran it. */
 export const isUntrustedToolResult = (result: unknown): boolean => {
   if (!result || typeof result !== 'object') return false;