neuroalpha 0.2.0 → 0.3.12

package/server/model/dataset.js

@@ -1,352 +1,362 @@
-import { ensureCandles, ensureDividends, exDate, mskToTs, tsToDate } from '../data/moex.js';
-import { ensureVocab } from './vocab.js';
-import { kvGet, kvSet } from '../db.js';
-
-const MSK = 3 * 3600000;
-const DAY = 86400000;
-const dow = (ts) => (Math.floor((ts + MSK) / DAY) + 4) % 7;
-const dayKey = (ts) => Math.floor((ts + MSK) / DAY);
-const dayKeyToStr = (dk) => new Date(dk * DAY).toISOString().slice(0, 10);
-
-// Кэш последних датасетов в памяти (не больше двух: исследование + живая проверка/прогноз).
-// Вызывающий код датасет не мутирует — кэширование безопасно.
-const datasetCache = new Map();
-
-// Свечи, на которых работает модель: 10 минут (горизонт прогноза задаётся с точностью до 10 минут)
-export const BAR_INTERVAL = 10;
-export const BAR_MS = BAR_INTERVAL * 60000;
-// горизонт в часах → число свечей (минимум одна свеча)
-export const barsFromHours = (h) => Math.max(1, Math.round(Number(h) * (60 / BAR_INTERVAL)));
-
-function cacheKey(interval, fromTs, tillTs, useMacro, useDividends) {
-  const day = Math.floor(fromTs / DAY);
-  const hour = Math.floor(tillTs / 3600000);
-  return JSON.stringify([interval, day, hour, useMacro ? 1 : 0, useDividends ? (process.env.DIVIDENDS_MODE || 1) : 0]);
-}
-
-async function pool(items, limit, fn) {
-  let i = 0;
-  await Promise.all(Array.from({ length: Math.min(limit, items.length) }, async () => {
-    while (i < items.length) { const k = i++; await fn(items[k], k); }
-  }));
-}
-
-// Компактное хранение свечей: типизированные массивы вместо миллионов объектов (в ~15 раз меньше памяти)
-function compact(rows) {
-  const n = rows.length;
-  const ts = new Float64Array(n), open = new Float64Array(n), high = new Float64Array(n), low = new Float64Array(n), close = new Float64Array(n), value = new Float64Array(n);
-  for (let i = 0; i < n; i++) {
-    const r = rows[i];
-    ts[i] = r.ts;
-    open[i] = r.open;
-    high[i] = r.high || r.close;
-    low[i] = r.low || r.close;
-    close[i] = r.close;
-    value[i] = r.value || 0;
-  }
-  return { n, ts, open, high, low, close, value };
-}
-const EMPTY = () => ({ n: 0, ts: new Float64Array(0), open: new Float64Array(0), high: new Float64Array(0), low: new Float64Array(0), close: new Float64Array(0), value: new Float64Array(0) });
-
-// ---------- дивиденды: обратная корректировка цен (in-place по типизированным массивам) ----------
-// Цены до экс-даты умножаем на (1 − дивиденд/закрытие предыдущей свечи), идя от поздних дивидендов к ранним.
-// Тогда доходности, z-движения и результат сделок через отношение цен автоматически учитывают дивиденд.
-// Источник дивидендов (сайт) бывает неточным: дубли, прогнозные строки, сдвиг даты. Поэтому дату отсечки сверяем с ценой:
-// ночной разрыв (открытие дня к закрытию предыдущего) должен быть примерно равен дивиденду; ищем такой день рядом
-// с расчётной датой (±2 дня), а если разрыва нет нигде — дивиденд не учитываем (иначе в ценах появился бы ложный скачок).
-// verify=false — прежнее поведение (всегда по расчётной дате), только для сравнения.
-const DIV_MIN = 0.005; // дивиденд меньше 0,5% от цены неотличим от шума — не корректируем
-export function adjustDividends(c, divs, { verify = true } = {}) {
-  const stat = { applied: 0, skipped: 0 };
-  if (!c.n || !divs?.length) return stat;
-  const days = [], first = [];
-  let lastDk = -1;
-  for (let i = 0; i < c.n; i++) {
-    const dk = dayKey(c.ts[i]);
-    if (dk !== lastDk) { lastDk = dk; days.push(dayKeyToStr(dk)); first.push(i); }
-  }
-  const prevClose = (k) => { for (let j = first[k] - 1; j >= 0; j--) if (c.close[j] > 0) return c.close[j]; return NaN; };
-  const seen = new Set();
-  const sorted = divs
-    .filter((d) => { const key = `${d.registry}|${d.value}`; if (seen.has(key)) return false; seen.add(key); return true; }) // дубли источника
-    .sort((a, b) => (a.registry < b.registry ? 1 : -1)); // от поздних к ранним
-  for (const div of sorted) {
-    const ex = exDate(div.registry, days);
-    const di = ex ? days.indexOf(ex) : -1;
-    if (di < 1) continue;
-    const pc = prevClose(di);
-    const y = div.value / pc;
-    if (!(y >= DIV_MIN && y < 0.5)) { if (y >= 0.5) stat.skipped++; continue; } // у y≥50% — мусор (валюта и т.п.)
-    let k = di;
-    if (verify) {
-      const expected = Math.log(1 - y), tol = Math.max(0.5 * y, 0.003);
-      // крупный дивиденд ищем в ±2 днях, мелкий — только в расчётный день
-      const cand = y >= 0.01 ? [0, -1, 1, -2, 2] : [0];
-      let best = null;
-      for (const s of cand) {
-        const kk = di + s;
-        if (kk < 1 || kk >= days.length) continue;
-        const p0 = prevClose(kk), o = c.open[first[kk]];
-        if (!(p0 > 0 && o > 0)) continue;
-        const err = Math.abs(Math.log(o / p0) - expected);
-        if (err <= tol && (!best || err < best.err - 1e-9)) best = { kk, err };
-      }
-      if (!best) { stat.skipped++; continue; }
-      k = best.kk;
-    }
-    const i0 = first[k];
-    const base = prevClose(k);
-    const f = 1 - div.value / base;
-    if (!(f > 0.5 && f < 1.2)) { stat.skipped++; continue; }
-    const hasHL = c.high?.length === c.n && c.low?.length === c.n;
-    for (let j = 0; j < i0; j++) {
-      c.open[j] *= f;
-      c.close[j] *= f;
-      if (hasHL) { c.high[j] *= f; c.low[j] *= f; }
-    }
-    stat.applied++;
-  }
-  return stat;
-}
-
-// ---------- макро-инструменты («рыночные токены») ----------
-const MACRO = [
-  { id: 'RGBI', label: 'облигации (RGBI)' },
-  { id: 'CNYRUB_TOM', label: 'юань' },
-  { id: 'USD000UTSTOM', label: 'доллар' },
-  { id: 'GLDRUBF', label: 'золото' },
-  { id: 'BR', label: 'нефть Brent' }, // склейка фьючерсов, см. loadBrent
-];
-
-const MCODES = ['F', 'G', 'H', 'J', 'K', 'M', 'N', 'Q', 'U', 'V', 'X', 'Z']; // месяцы в кодах фьючерсов
-
-// Список существующих контрактов BR с их периодами (кэш на сутки, чтобы не пробовать все коды каждый раз)
-async function brentContracts(fromTs, tillTs, signal) {
-  const cached = kvGet('brContracts');
-  let list = cached?.list;
-  if (!cached || Date.now() - cached.at > DAY) {
-    list = [];
-    const codes = [];
-    const y0 = new Date(fromTs - 40 * DAY).getUTCFullYear(), y1 = new Date(tillTs + 100 * DAY).getUTCFullYear();
-    for (let y = y0; y <= y1; y++) for (const m of MCODES) codes.push(`BR${m}${y % 10}`);
-    await pool(codes, 6, async (code) => {
-      try {
-        const rows = await ensureCandles(code, 24, fromTs - 35 * DAY, tillTs + 35 * DAY, { signal });
-        if (rows.length) list.push({ code, first: rows[0].ts, last: rows[rows.length - 1].ts });
-      } catch { /* контракта нет */ }
-    });
-    list.sort((a, b) => a.first - b.first);
-    kvSet('brContracts', { at: Date.now(), list });
-  }
-  return list.filter((c) => c.last >= fromTs && c.first <= tillTs);
-}
-
-// Непрерывный ряд цены нефти: в каждый день — контракт с наибольшим оборотом дня,
-// на стыке контрактов цена продолжается без скачка (доходность стыка = 0)
-async function loadBrent(fromTs, tillTs, signal) {
-  const list = await brentContracts(fromTs, tillTs, signal);
-  const raw = [];
-  await pool(list, 4, async (c) => {
-    try {
-      const rows = await ensureCandles(c.code, BAR_INTERVAL, fromTs, tillTs, { signal });
-      if (rows.length) raw.push(compact(rows));
-    } catch { /* пропускаем */ }
-  });
-  // оборот каждого контракта по дням
-  const dayVol = new Map(); // day -> Map(idx -> vol)
-  raw.forEach((c, ci) => {
-    for (let i = 0; i < c.n; i++) {
-      const d = dayKey(c.ts[i]);
-      let m = dayVol.get(d);
-      if (!m) dayVol.set(d, (m = new Map()));
-      m.set(ci, (m.get(ci) || 0) + (c.value[i] || 0));
-    }
-  });
-  const days = [...dayVol.keys()].sort((a, b) => a - b);
-  // бары контракта по дням: ci -> Map(day -> [индексы]) — идём по возрастанию, так что просто указатели
-  const ptr = raw.map(() => 0);
-  const ts = [], close = [];
-  let factor = 1, prevClose = NaN, active = -1;
-  for (const d of days) {
-    const m = dayVol.get(d);
-    let best = -1, bv = -1;
-    for (const [ci, v] of m) if (v > bv) { bv = v; best = ci; }
-    if (best < 0) continue;
-    if (best !== active) {
-      // смена контракта: масштабируем так, чтобы первая свеча нового дня продолжила предыдущую цену
-      const c = raw[best];
-      let j = ptr[best];
-      while (j < c.n && dayKey(c.ts[j]) < d) j++;
-      if (j < c.n && dayKey(c.ts[j]) === d && Number.isFinite(prevClose) && c.close[j] > 0) factor = prevClose / c.close[j];
-      active = best;
-    }
-    const c = raw[active];
-    let j = ptr[active];
-    while (j < c.n && dayKey(c.ts[j]) < d) j++;
-    while (j < c.n && dayKey(c.ts[j]) === d) {
-      ts.push(c.ts[j]);
-      close.push(c.close[j] * factor);
-      prevClose = close[close.length - 1];
-      j++;
-    }
-    ptr[active] = j;
-  }
-  const n = ts.length;
-  return { n, ts: Float64Array.from(ts), open: Float64Array.from(close), close: Float64Array.from(close), value: new Float64Array(n) };
-}
-
-// Выровненная по времени «матрица рынка»: N акций × T свечей по 10 минут (только будни),
-// цены с переносом последнего значения, обороты, доходности, рынок (IMOEX).
-// Цены акций скорректированы на дивиденды (полная доходность; useDividends=false — без этого), макро — только при useMacro.
-export async function loadDataset({ interval = BAR_INTERVAL, fromTs, tillTs, useMacro = false, useDividends = true, localOnly = false, onProgress = () => {}, signal }) {
-  const key = cacheKey(interval, fromTs, tillTs, useMacro, useDividends);
-  const hit = datasetCache.get(key);
-  if (hit && Date.now() - hit.at < 30 * 60000) return hit.ds;
-  const vocab = await ensureVocab();
-  const symbols = vocab.map((v) => v.symbol);
-  const raw = {};
-  let done = 0;
-  const divStat = { applied: 0, skipped: 0 };
-  const macroIds = useMacro ? MACRO.filter((m) => m.id !== 'BR').map((m) => m.id) : [];
-  const all = [...symbols, 'IMOEX', ...macroIds];
-  // акция дольше 2 минут — пропускаем и останавливаем её загрузку (скачанное останется в кэше)
-  const WITHIN = 120000;
-  await pool(all, 4, async (s) => {
-    if (done % 8 === 0) await new Promise((r) => setTimeout(r, 1));
-    if (signal?.aborted) throw new Error('Отменено');
-    const symCtrl = new AbortController();
-    const effSignal = signal ? AbortSignal.any([signal, symCtrl.signal]) : symCtrl.signal;
-    const killer = setTimeout(() => symCtrl.abort(), WITHIN);
-    try {
-      // акциям подгружаем дивиденды и сразу корректируем цены на полную доходность
-      const divs = useDividends && symbols.includes(s) ? await ensureDividends(s, { signal: effSignal, localOnly }) : null;
-      const rows = await ensureCandles(s, interval, fromTs, tillTs, { signal: effSignal, localOnly });
-      // объекты свечей отпускаются сразу, а не копятся до конца загрузки всех акций
-      raw[s] = compact(rows);
-      if (divs?.length) {
-        // DIVIDENDS_MODE=raw — прежняя корректировка без сверки с ценой (только для сравнения результатов)
-        const st = adjustDividends(raw[s], divs, { verify: process.env.DIVIDENDS_MODE !== 'raw' });
-        divStat.applied += st.applied;
-        divStat.skipped += st.skipped;
-      }
-    } catch (e) {
-      if (signal?.aborted) throw new Error('Отменено');
-      raw[s] = EMPTY();
-      console.warn(`[dataset] ${s}: ${e.message} — акция пропущена`);
-    } finally {
-      clearTimeout(killer);
-      onProgress({ symbol: s, done: ++done, total: all.length });
-    }
-  });
-  if (useDividends) console.log(`[dataset] дивиденды: учтено ${divStat.applied}, пропущено (нет подтверждающего падения цены) ${divStat.skipped}`);
-  // нефть Brent: склейка фьючерсов (много контрактов — отдельно от общего пула)
-  if (useMacro) {
-    try {
-      onProgress({ symbol: 'BR', done: done, total: all.length });
-      raw.BR = await loadBrent(fromTs, tillTs, signal);
-    } catch (e) {
-      if (signal?.aborted) throw new Error('Отменено');
-      raw.BR = EMPTY();
-      console.warn(`[dataset] BR: ${e.message} — нефть пропущена`);
-    }
-  }
-  if (!raw.IMOEX?.n) throw new Error('Нет данных индекса МосБиржи');
-
-  // временная шкала: будни, где торговалось хотя бы 40% акций
-  const count = new Map();
-  for (const s of symbols) {
-    const c = raw[s];
-    for (let i = 0; i < c.n; i++) if (dow(c.ts[i]) % 6 !== 0) count.set(c.ts[i], (count.get(c.ts[i]) || 0) + 1);
-  }
-  const timeline = [...count.entries()].filter(([, n]) => n >= symbols.length * 0.4).map(([t]) => t).sort((a, b) => a - b);
-  const T = timeline.length;
-  const index = new Map(timeline.map((t, i) => [t, i]));
-
-  // open — цена первой сделки свечи (по ней реально можно войти после решения на закрытии предыдущей)
-  const build = (c) => {
-    const close = new Float64Array(T).fill(NaN), open = new Float64Array(T).fill(NaN), high = new Float64Array(T).fill(NaN), low = new Float64Array(T).fill(NaN), value = new Float64Array(T), has = new Uint8Array(T);
-    let j = 0, last = NaN;
-    for (let i = 0; i < T; i++) {
-      const t = timeline[i];
-      let o = NaN, h = NaN, l = NaN;
-      while (j < c.n && c.ts[j] <= t) {
-        if (c.ts[j] === t) { value[i] = c.value[j]; has[i] = 1; o = c.open[j]; h = c.high?.[j]; l = c.low?.[j]; }
-        last = c.close[j];
-        j++;
-      }
-      close[i] = last;
-      open[i] = Number.isFinite(o) ? o : last;
-      high[i] = Number.isFinite(h) && h > 0 ? h : last;
-      low[i] = Number.isFinite(l) && l > 0 ? l : last;
-    }
-    return { close, open, high, low, value, has };
-  };
-
-  const tokens = [];
-  for (let vi = 0; vi < vocab.length; vi++) {
-    if (vi % 15 === 0) {
-      if (signal?.aborted) throw new Error('Отменено');
-      await new Promise((r) => setTimeout(r, 0));
-    }
-    const v = vocab[vi];
-    const c = raw[v.symbol];
-    if (!c?.n) continue;
-    const s = build(c);
-    let cov = 0;
-    for (let i = 0; i < T; i++) cov += s.has[i];
-    if (cov < T * 0.6) continue; // слишком мало торгов (новые или неликвидные бумаги)
-    tokens.push({ symbol: v.symbol, name: v.name, weight: v.weight, ...s });
-  }
-  const mk = build(raw.IMOEX);
-  // макро-ряды: выровненные цены с переносом (доходности посчитаем после lret)
-  const macroRaw = [];
-  if (useMacro) {
-    for (const m of MACRO) {
-      const c = raw[m.id];
-      if (!c?.n) continue;
-      const s = build(c);
-      macroRaw.push({ id: m.id, label: m.label, s });
-    }
-  }
-  for (const k of Object.keys(raw)) delete raw[k]; // сырые компакт-массивы больше не нужны
-
-  // логарифмические доходности (0, если цены ещё нет)
-  const lret = (close) => {
-    const r = new Float64Array(T);
-    for (let i = 1; i < T; i++) r[i] = close[i] > 0 && close[i - 1] > 0 ? Math.log(close[i] / close[i - 1]) : 0;
-    return r;
-  };
-  for (const tk of tokens) {
-    tk.ret = lret(tk.close);
-    // необычность оборота: оборот свечи / средний оборот за предыдущие 50 ЧАСОВ (только по прошлому)
-    const VR_WINDOW = 50 * (60 / BAR_INTERVAL);
-    tk.valRatio = new Float64Array(T).fill(1);
-    let sum = 0;
-    for (let i = 0; i < T; i++) {
-      if (i >= VR_WINDOW) {
-        const avg = sum / VR_WINDOW;
-        tk.valRatio[i] = avg > 0 ? tk.value[i] / avg : 1;
-        sum -= tk.value[i - VR_WINDOW];
-      }
-      sum += tk.value[i];
-    }
-  }
-  const mret = lret(mk.close);
-  // макро-ряды: лог-доходности с переносом цены (вне торгов — 0)
-  const macro = macroRaw.map((m) => ({ id: m.id, label: m.label, ret: lret(m.s.close), has: m.s.has }));
-  const days = new Set(timeline.map(dayKey)).size;
-  // ликвидность: в скольких из последних 20 свечей были сделки
-  for (const tk of tokens) {
-    tk.liq = new Uint8Array(T);
-    let n = 0;
-    for (let i = 0; i < T; i++) {
-      n += tk.has[i];
-      if (i >= 20) n -= tk.has[i - 20];
-      tk.liq[i] = n;
-    }
-  }
-  const ds = { tokens, symbols: tokens.map((t) => t.symbol), timeline, T, index, mret, mclose: mk.close, mopen: mk.open, macro, barsPerDay: days ? Math.round(T / days) : 54 };
-  datasetCache.set(key, { ds, at: Date.now() });
-  if (datasetCache.size > 2) datasetCache.delete(datasetCache.keys().next().value);
-  return ds;
-}
+// Copyright (c) 2026 Roman A. Perepelkin. Licensed under the MIT License.
+import { ensureCandles, ensureDividends, exDate, mskToTs, tsToDate } from '../data/moex.js';
+import { ensureVocab } from './vocab.js';
+import { kvGet, kvSet } from '../db.js';
+
+const MSK = 3 * 3600000;
+const DAY = 86400000;
+const dow = (ts) => (Math.floor((ts + MSK) / DAY) + 4) % 7;
+const dayKey = (ts) => Math.floor((ts + MSK) / DAY);
+const dayKeyToStr = (dk) => new Date(dk * DAY).toISOString().slice(0, 10);
+
+// Кэш последних датасетов в памяти (не больше двух: исследование + живая проверка/прогноз).
+// Вызывающий код датасет не мутирует — кэширование безопасно.
+const datasetCache = new Map();
+
+// Свечи, на которых работает модель: 10 минут (горизонт прогноза задаётся с точностью до 10 минут)
+export const BAR_INTERVAL = 10;
+export const BAR_MS = BAR_INTERVAL * 60000;
+// горизонт в часах → число свечей (минимум одна свеча)
+export const barsFromHours = (h) => Math.max(1, Math.round(Number(h) * (60 / BAR_INTERVAL)));
+
+function cacheKey(interval, fromTs, tillTs, useMacro, useDividends) {
+  const day = Math.floor(fromTs / DAY);
+  const hour = Math.floor(tillTs / 3600000);
+  return JSON.stringify([interval, day, hour, useMacro ? 1 : 0, useDividends ? (process.env.DIVIDENDS_MODE || 1) : 0]);
+}
+
+async function pool(items, limit, fn) {
+  let i = 0;
+  await Promise.all(Array.from({ length: Math.min(limit, items.length) }, async () => {
+    while (i < items.length) { const k = i++; await fn(items[k], k); }
+  }));
+}
+
+// Компактное хранение свечей: типизированные массивы вместо миллионов объектов (в ~15 раз меньше памяти)
+function compact(rows) {
+  const n = rows.length;
+  const ts = new Float64Array(n), open = new Float64Array(n), high = new Float64Array(n), low = new Float64Array(n), close = new Float64Array(n), value = new Float64Array(n);
+  for (let i = 0; i < n; i++) {
+    const r = rows[i];
+    ts[i] = r.ts;
+    open[i] = r.open;
+    high[i] = r.high || r.close;
+    low[i] = r.low || r.close;
+    close[i] = r.close;
+    value[i] = r.value || 0;
+  }
+  return { n, ts, open, high, low, close, value };
+}
+const EMPTY = () => ({ n: 0, ts: new Float64Array(0), open: new Float64Array(0), high: new Float64Array(0), low: new Float64Array(0), close: new Float64Array(0), value: new Float64Array(0) });
+
+// ---------- дивиденды: обратная корректировка цен (in-place по типизированным массивам) ----------
+// Цены до экс-даты умножаем на (1 − дивиденд/закрытие предыдущей свечи), идя от поздних дивидендов к ранним.
+// Тогда доходности, z-движения и результат сделок через отношение цен автоматически учитывают дивиденд.
+// Источник дивидендов (сайт) бывает неточным: дубли, прогнозные строки, сдвиг даты. Поэтому дату отсечки сверяем с ценой:
+// ночной разрыв (открытие дня к закрытию предыдущего) должен быть примерно равен дивиденду; ищем такой день рядом
+// с расчётной датой (±2 дня), а если разрыва нет нигде — дивиденд не учитываем (иначе в ценах появился бы ложный скачок).
+// verify=false — прежнее поведение (всегда по расчётной дате), только для сравнения.
+const DIV_MIN = 0.005; // дивиденд меньше 0,5% от цены неотличим от шума — не корректируем
+export function adjustDividends(c, divs, { verify = true } = {}) {
+  const stat = { applied: 0, skipped: 0 };
+  if (!c.n || !divs?.length) return stat;
+  const days = [], first = [];
+  let lastDk = -1;
+  for (let i = 0; i < c.n; i++) {
+    const dk = dayKey(c.ts[i]);
+    if (dk !== lastDk) { lastDk = dk; days.push(dayKeyToStr(dk)); first.push(i); }
+  }
+  const prevClose = (k) => { for (let j = first[k] - 1; j >= 0; j--) if (c.close[j] > 0) return c.close[j]; return NaN; };
+  const seen = new Set();
+  const sorted = divs
+    .filter((d) => { const key = `${d.registry}|${d.value}`; if (seen.has(key)) return false; seen.add(key); return true; }) // дубли источника
+    .sort((a, b) => (a.registry < b.registry ? 1 : -1)); // от поздних к ранним
+  for (const div of sorted) {
+    const ex = exDate(div.registry, days);
+    const di = ex ? days.indexOf(ex) : -1;
+    if (di < 1) continue;
+    const pc = prevClose(di);
+    const y = div.value / pc;
+    if (!(y >= DIV_MIN && y < 0.5)) { if (y >= 0.5) stat.skipped++; continue; } // у y≥50% — мусор (валюта и т.п.)
+    let k = di;
+    if (verify) {
+      const expected = Math.log(1 - y), tol = Math.max(0.5 * y, 0.003);
+      // крупный дивиденд ищем в ±2 днях, мелкий — только в расчётный день
+      const cand = y >= 0.01 ? [0, -1, 1, -2, 2] : [0];
+      let best = null;
+      for (const s of cand) {
+        const kk = di + s;
+        if (kk < 1 || kk >= days.length) continue;
+        const p0 = prevClose(kk), o = c.open[first[kk]];
+        if (!(p0 > 0 && o > 0)) continue;
+        const err = Math.abs(Math.log(o / p0) - expected);
+        if (err <= tol && (!best || err < best.err - 1e-9)) best = { kk, err };
+      }
+      if (!best) { stat.skipped++; continue; }
+      k = best.kk;
+    }
+    const i0 = first[k];
+    const base = prevClose(k);
+    const f = 1 - div.value / base;
+    if (!(f > 0.5 && f < 1.2)) { stat.skipped++; continue; }
+    const hasHL = c.high?.length === c.n && c.low?.length === c.n;
+    for (let j = 0; j < i0; j++) {
+      c.open[j] *= f;
+      c.close[j] *= f;
+      if (hasHL) { c.high[j] *= f; c.low[j] *= f; }
+    }
+    stat.applied++;
+  }
+  return stat;
+}
+
+// ---------- макро-инструменты («рыночные токены») ----------
+const MACRO = [
+  { id: 'RGBI', label: 'облигации (RGBI)' },
+  { id: 'CNYRUB_TOM', label: 'юань' },
+  { id: 'USD000UTSTOM', label: 'доллар' },
+  { id: 'GLDRUBF', label: 'золото' },
+  { id: 'BR', label: 'нефть Brent' }, // склейка фьючерсов, см. loadBrent
+];
+
+const MCODES = ['F', 'G', 'H', 'J', 'K', 'M', 'N', 'Q', 'U', 'V', 'X', 'Z']; // месяцы в кодах фьючерсов
+
+// Список существующих контрактов BR с их периодами (кэш на сутки, чтобы не пробовать все коды каждый раз)
+async function brentContracts(fromTs, tillTs, signal) {
+  const cached = kvGet('brContracts');
+  let list = cached?.list;
+  if (!cached || Date.now() - cached.at > DAY) {
+    list = [];
+    const codes = [];
+    const y0 = new Date(fromTs - 40 * DAY).getUTCFullYear(), y1 = new Date(tillTs + 100 * DAY).getUTCFullYear();
+    for (let y = y0; y <= y1; y++) for (const m of MCODES) codes.push(`BR${m}${y % 10}`);
+    await pool(codes, 6, async (code) => {
+      try {
+        const rows = await ensureCandles(code, 24, fromTs - 35 * DAY, tillTs + 35 * DAY, { signal });
+        if (rows.length) list.push({ code, first: rows[0].ts, last: rows[rows.length - 1].ts });
+      } catch { /* контракта нет */ }
+    });
+    list.sort((a, b) => a.first - b.first);
+    kvSet('brContracts', { at: Date.now(), list });
+  }
+  return list.filter((c) => c.last >= fromTs && c.first <= tillTs);
+}
+
+// Непрерывный ряд цены нефти: в каждый день — контракт с наибольшим оборотом дня,
+// на стыке контрактов цена продолжается без скачка (доходность стыка = 0)
+async function loadBrent(fromTs, tillTs, signal) {
+  const list = await brentContracts(fromTs, tillTs, signal);
+  const raw = [];
+  await pool(list, 4, async (c) => {
+    try {
+      const rows = await ensureCandles(c.code, BAR_INTERVAL, fromTs, tillTs, { signal });
+      if (rows.length) raw.push(compact(rows));
+    } catch { /* пропускаем */ }
+  });
+  // оборот каждого контракта по дням
+  const dayVol = new Map(); // day -> Map(idx -> vol)
+  raw.forEach((c, ci) => {
+    for (let i = 0; i < c.n; i++) {
+      const d = dayKey(c.ts[i]);
+      let m = dayVol.get(d);
+      if (!m) dayVol.set(d, (m = new Map()));
+      m.set(ci, (m.get(ci) || 0) + (c.value[i] || 0));
+    }
+  });
+  const days = [...dayVol.keys()].sort((a, b) => a - b);
+  // бары контракта по дням: ci -> Map(day -> [индексы]) — идём по возрастанию, так что просто указатели
+  const ptr = raw.map(() => 0);
+  const ts = [], close = [];
+  let factor = 1, prevClose = NaN, active = -1;
+  for (const d of days) {
+    const m = dayVol.get(d);
+    let best = -1, bv = -1;
+    for (const [ci, v] of m) if (v > bv) { bv = v; best = ci; }
+    if (best < 0) continue;
+    if (best !== active) {
+      // смена контракта: масштабируем так, чтобы первая свеча нового дня продолжила предыдущую цену
+      const c = raw[best];
+      let j = ptr[best];
+      while (j < c.n && dayKey(c.ts[j]) < d) j++;
+      if (j < c.n && dayKey(c.ts[j]) === d && Number.isFinite(prevClose) && c.close[j] > 0) factor = prevClose / c.close[j];
+      active = best;
+    }
+    const c = raw[active];
+    let j = ptr[active];
+    while (j < c.n && dayKey(c.ts[j]) < d) j++;
+    while (j < c.n && dayKey(c.ts[j]) === d) {
+      ts.push(c.ts[j]);
+      close.push(c.close[j] * factor);
+      prevClose = close[close.length - 1];
+      j++;
+    }
+    ptr[active] = j;
+  }
+  const n = ts.length;
+  return { n, ts: Float64Array.from(ts), open: Float64Array.from(close), close: Float64Array.from(close), value: new Float64Array(n) };
+}
+
+// Выровненная по времени «матрица рынка»: N акций × T свечей по 10 минут (только будни),
+// цены с переносом последнего значения, обороты, доходности, рынок (IMOEX).
+// Цены акций скорректированы на дивиденды (полная доходность; useDividends=false — без этого), макро — только при useMacro.
+export async function loadDataset({ interval = BAR_INTERVAL, fromTs, tillTs, useMacro = false, useDividends = true, localOnly = false, onProgress = () => {}, signal }) {
+  const key = cacheKey(interval, fromTs, tillTs, useMacro, useDividends);
+  const hit = datasetCache.get(key);
+  if (hit && Date.now() - hit.at < 30 * 60000) return hit.ds;
+  const vocab = await ensureVocab();
+  const symbols = vocab.map((v) => v.symbol);
+  const raw = {};
+  let done = 0;
+  const divStat = { applied: 0, skipped: 0 };
+  const macroIds = useMacro ? MACRO.filter((m) => m.id !== 'BR').map((m) => m.id) : [];
+  const all = [...symbols, 'IMOEX', ...macroIds];
+  // акция дольше 2 минут — пропускаем и останавливаем её загрузку (скачанное останется в кэше)
+  const WITHIN = 120000;
+  await pool(all, 4, async (s) => {
+    if (done % 8 === 0) await new Promise((r) => setTimeout(r, 1));
+    if (signal?.aborted) throw new Error('Отменено');
+    const symCtrl = new AbortController();
+    const effSignal = signal ? AbortSignal.any([signal, symCtrl.signal]) : symCtrl.signal;
+    const killer = setTimeout(() => symCtrl.abort(), WITHIN);
+    try {
+      // акциям подгружаем дивиденды и сразу корректируем цены на полную доходность
+      const divs = useDividends && symbols.includes(s) ? await ensureDividends(s, { signal: effSignal, localOnly }) : null;
+      const rows = await ensureCandles(s, interval, fromTs, tillTs, { signal: effSignal, localOnly });
+      // объекты свечей отпускаются сразу, а не копятся до конца загрузки всех акций
+      raw[s] = compact(rows);
+      if (divs?.length) {
+        // DIVIDENDS_MODE=raw — прежняя корректировка без сверки с ценой (только для сравнения результатов)
+        const st = adjustDividends(raw[s], divs, { verify: process.env.DIVIDENDS_MODE !== 'raw' });
+        divStat.applied += st.applied;
+        divStat.skipped += st.skipped;
+      }
+    } catch (e) {
+      if (signal?.aborted) throw new Error('Отменено');
+      raw[s] = EMPTY();
+      console.warn(`[dataset] ${s}: ${e.message} — акция пропущена`);
+    } finally {
+      clearTimeout(killer);
+      onProgress({ symbol: s, done: ++done, total: all.length });
+    }
+  });
+  if (useDividends) console.log(`[dataset] дивиденды: учтено ${divStat.applied}, пропущено (нет подтверждающего падения цены) ${divStat.skipped}`);
+  // нефть Brent: склейка фьючерсов (много контрактов — отдельно от общего пула)
+  if (useMacro) {
+    try {
+      onProgress({ symbol: 'BR', done: done, total: all.length });
+      raw.BR = await loadBrent(fromTs, tillTs, signal);
+    } catch (e) {
+      if (signal?.aborted) throw new Error('Отменено');
+      raw.BR = EMPTY();
+      console.warn(`[dataset] BR: ${e.message} — нефть пропущена`);
+    }
+  }
+  if (!raw.IMOEX?.n) throw new Error('Нет данных индекса МосБиржи');
+
+  // временная шкала: будни, где торговалось хотя бы 40% акций
+  const count = new Map();
+  for (const s of symbols) {
+    const c = raw[s];
+    for (let i = 0; i < c.n; i++) if (dow(c.ts[i]) % 6 !== 0) count.set(c.ts[i], (count.get(c.ts[i]) || 0) + 1);
+  }
+  const timeline = [...count.entries()].filter(([, n]) => n >= symbols.length * 0.4).map(([t]) => t).sort((a, b) => a - b);
+  const T = timeline.length;
+  const index = new Map(timeline.map((t, i) => [t, i]));
+
+  // open — цена первой сделки свечи (по ней реально можно войти после решения на закрытии предыдущей)
+  const build = (c) => {
+    const close = new Float64Array(T).fill(NaN), open = new Float64Array(T).fill(NaN), high = new Float64Array(T).fill(NaN), low = new Float64Array(T).fill(NaN), value = new Float64Array(T), has = new Uint8Array(T);
+    let j = 0, last = NaN;
+    for (let i = 0; i < T; i++) {
+      const t = timeline[i];
+      let o = NaN, h = NaN, l = NaN;
+      while (j < c.n && c.ts[j] <= t) {
+        if (c.ts[j] === t) { value[i] = c.value[j]; has[i] = 1; o = c.open[j]; h = c.high?.[j]; l = c.low?.[j]; }
+        last = c.close[j];
+        j++;
+      }
+      close[i] = last;
+      open[i] = Number.isFinite(o) ? o : last;
+      high[i] = Number.isFinite(h) && h > 0 ? h : last;
+      low[i] = Number.isFinite(l) && l > 0 ? l : last;
+    }
+    return { close, open, high, low, value, has };
+  };
+
+  const tokens = [];
+  for (let vi = 0; vi < vocab.length; vi++) {
+    if (vi % 15 === 0) {
+      if (signal?.aborted) throw new Error('Отменено');
+      await new Promise((r) => setTimeout(r, 0));
+    }
+    const v = vocab[vi];
+    const c = raw[v.symbol];
+    if (!c?.n) continue;
+    const s = build(c);
+    let cov = 0;
+    for (let i = 0; i < T; i++) cov += s.has[i];
+    if (cov < T * 0.6) continue; // слишком мало торгов (новые или неликвидные бумаги)
+    tokens.push({ symbol: v.symbol, name: v.name, weight: v.weight, ...s });
+  }
+  const mk = build(raw.IMOEX);
+  // макро-ряды: выровненные цены с переносом (доходности посчитаем после lret)
+  const macroRaw = [];
+  if (useMacro) {
+    for (const m of MACRO) {
+      const c = raw[m.id];
+      if (!c?.n) continue;
+      const s = build(c);
+      macroRaw.push({ id: m.id, label: m.label, s });
+    }
+  }
+  for (const k of Object.keys(raw)) delete raw[k]; // сырые компакт-массивы больше не нужны
+
+  // логарифмические доходности (0, если цены ещё нет) и временны́е циклы (час суток и день недели по МСК)
+  const lret = (close) => {
+    const r = new Float64Array(T);
+    for (let i = 1; i < T; i++) r[i] = close[i] > 0 && close[i - 1] > 0 ? Math.log(close[i] / close[i - 1]) : 0;
+    return r;
+  };
+  const hourMsk = new Uint8Array(T), dowMsk = new Uint8Array(T);
+  for (let i = 0; i < T; i++) {
+    const msk = timeline[i] + MSK;
+    hourMsk[i] = Math.floor((msk % DAY) / 3600000);
+    dowMsk[i] = (Math.floor(msk / DAY) + 4) % 7;
+  }
+  for (const tk of tokens) {
+    tk.ret = lret(tk.close);
+    // необычность оборота с учётом суточного цикла: оборот свечи сравнивается со средним оборотом
+    // этой же акции в ЭТОТ ЖЕ ЧАС СУТОК за прошлые торговые дни (с экспоненциальным затуханием, строго по прошлому)
+    const hSum = new Float64Array(24), hCnt = new Uint32Array(24);
+    tk.valRatio = new Float64Array(T).fill(1);
+    for (let i = 0; i < T; i++) {
+      const hs = hourMsk[i];
+      if (hCnt[hs] >= 12) {
+        const avg = hSum[hs] / hCnt[hs];
+        tk.valRatio[i] = avg > 0 ? tk.value[i] / avg : 1;
+        hSum[hs] *= 0.99;
+        hCnt[hs] = Math.round(hCnt[hs] * 0.99);
+      }
+      hSum[hs] += tk.value[i];
+      hCnt[hs]++;
+    }
+  }
+  const mret = lret(mk.close);
+  // макро-ряды: лог-доходности с переносом цены (вне торгов — 0)
+  const macro = macroRaw.map((m) => ({ id: m.id, label: m.label, ret: lret(m.s.close), has: m.s.has }));
+  const days = new Set(timeline.map(dayKey)).size;
+  // ликвидность: в скольких из последних 20 свечей были сделки
+  for (const tk of tokens) {
+    tk.liq = new Uint8Array(T);
+    let n = 0;
+    for (let i = 0; i < T; i++) {
+      n += tk.has[i];
+      if (i >= 20) n -= tk.has[i - 20];
+      tk.liq[i] = n;
+    }
+  }
+  const ds = { tokens, symbols: tokens.map((t) => t.symbol), timeline, hourMsk, dowMsk, T, index, mret, mclose: mk.close, mopen: mk.open, macro, barsPerDay: days ? Math.round(T / days) : 54 };
+  datasetCache.set(key, { ds, at: Date.now() });
+  if (datasetCache.size > 2) datasetCache.delete(datasetCache.keys().next().value);
+  return ds;
+}