memex-mvp 0.9.1 → 0.10.1

package/HELP.md

@@ -12,7 +12,7 @@
 - **Claude Cowork** (включая субагентов) — сессии из `~/Library/Application Support/Claude/local-agent-mode-sessions/`
 - **Cursor** — composer history из `state.vscdb`
 - **Obsidian** — заметки из настроенных vault'ов
-- **Telegram** — экспорты которые ты сам положишь в `~/.memex/inbox/`
+- **Telegram** — v0.10+: daemon сам ловит экспорты из `~/Downloads/Telegram Desktop/` → пакует в pending → ты per-chat подтверждаешь импорт (`memex telegram pending` + `memex telegram import 1 3 5`). Никакого ручного копирования
 
 Всё это лежит в **одном файле** `~/.memex/data/memex.db` и доступно через MCP-tools любому AI на твоём компьютере.
 
@@ -290,6 +290,11 @@ Memex по дефолту сортирует по **релевантности**
 | `memex_list_sources` | Что и сколько импортировано |
 | `memex_status` | Здоровье memex-sync daemon'a |
 | `memex_sources_status` | Какие источники включены/отключены |
+| `memex_telegram_check` *(v0.10+)* | Состояние Telegram-pipeline: Desktop установлен? login age? сколько pending? Возвращает `next_step` для агента |
+| `memex_telegram_pending` *(v0.10+)* | Список экспортов в `~/.memex/pending/` с chat name + msg count + дата range |
+| `memex_telegram_import` *(v0.10+)* | Импорт выбранных экспортов в memex.db (по индексу или title). Auto-allowlist |
+| `memex_telegram_skip` *(v0.10+)* | Пометить чаты как «не индексировать» — применяется к будущим re-export'ам |
+| `memex_telegram_mode` *(v0.10+)* | Get/set режим: `pick` (default), `auto`, `manual` |
 
 ---
 
@@ -316,6 +321,19 @@ memex get web-1582ab51a7b7                         # полный контент
 
 memex overview                                     # snapshot корпуса (+ capture streak v0.8.1+)
 memex projects                                     # уникальные project_paths
+
+# Telegram pipeline (v0.10+):
+memex telegram check                               # Desktop? 24h? watcher? pending?
+memex telegram pending                             # список pending экспортов
+memex telegram import 1 3 5                        # импорт по индексам или title'у
+memex telegram skip 4                              # не индексировать; запомнить
+memex telegram allow "Family"                      # auto-import на следующих re-export'ах
+memex telegram block "*bank*"                      # никогда не индексировать (glob)
+memex telegram mode auto                           # pick (default) / auto / manual
+memex telegram notifications on --show-titles      # macOS notif когда детектится новый export
+memex telegram scan                                # one-shot ре-скан Downloads
+memex telegram status                              # all decisions
+
 memex help                                         # эта инструкция в терминале
 memex --help                                       # справка по командам
 memex --version
@@ -395,12 +413,23 @@ npx memex-sync scan
 **memex поддерживает оба формата экспорта (v0.9+):**
 
 - **«Machine-readable JSON»** ← рекомендуется. Один файл `result.json`, чисто ингестится.
-- **«HTML»** ← тоже работает (с v0.9+). Получишь директорию `ChatExport_<chat>_<date>/` — кинь её **целиком** в inbox, memex авто-парсит.
+- **«HTML»** ← тоже работает (с v0.9+). Получишь директорию `ChatExport_<chat>_<date>/`.
+
+**v0.10+ flow — privacy-first, без ручного копирования:**
+
+1. Сохрани экспорт куда обычно (по умолчанию `~/Downloads/Telegram Desktop/ChatExport_*`).
+2. Daemon **сам** детектит и переносит в `~/.memex/pending/`.
+3. Получишь уведомление (через 4 канала: tip в CLI, в auto-context хуке Claude, в response любого MCP-tool, optionally macOS native notification). Подробнее: `memex telegram notifications status`.
+4. Запусти `memex telegram pending` → увидишь список с превью.
+5. Импорт: `memex telegram import 1 3 5` (по индексу) или просто скажи AI агенту «импортируй family и work».
+6. Sensitive чаты можно пропустить: `memex telegram skip 4 7` — memex запомнит и не будет предлагать снова.
+
+**Старый flow тоже работает** (для совместимости): кинь `result.json` или `ChatExport_*/` прямо в `~/.memex/inbox/` — попадёт сразу в `memex.db` без pending review.
 
-Шаги:
-1. Выбери формат (JSON — короче путь, HTML — если уже экспортировано).
-2. Сохрани в **`~/.memex/inbox/`** — для JSON это `result.json`, для HTML — вся директория `ChatExport_…`.
-3. Memex подхватит автоматически за ~1.5 секунды. Файл/директория уедет в `~/.memex/data/conversations/telegram/` (или `…/telegram-html/`) после ingest'a.
+**Modes** (`memex telegram mode <pick|auto|manual>`):
+- `pick` (default): всё через pending, ты явно подтверждаешь
+- `auto`: чаты из allow-list импортятся сами, новые — в pending
+- `manual`: watcher выключен, только ручной inbox
 
 Если ингест не произошёл — проверь `~/.memex/data/memex.log`. Для HTML-export'а парсер пишет actionable error если что-то не так (формат изменился у Telegram, директория повреждена, и т.д.).
 

package/README.md

@@ -180,6 +180,37 @@ Perplexity threads need to be made **Public** in the Share dialog first — meme
 
 ---
 
+## Telegram chats (v0.10+) — agent walks you through it
+
+Telegram-export setup used to be 8 steps. v0.10+ collapses it to 2 (you click in Telegram; you pick which chats to keep). The rest is automatic.
+
+**How it works:**
+1. The daemon watches `~/Downloads/Telegram Desktop/` in the background. **No setup needed** — already on after install.
+2. You export a chat from Telegram Desktop (chat → ⋮ → Export chat history → HTML or JSON).
+3. memex detects the export, **moves it to `~/.memex/pending/`** (NOT into your DB yet).
+4. Your AI agent (or you in terminal) calls `memex_telegram_pending` — sees a numbered list with chat name, msg count, date range.
+5. You pick which to import. Sensitive ones (Bank, Therapist, Tinder) — skip. memex remembers and won't ask again.
+6. Future re-exports of allowed chats auto-merge. Skipped ones stay out.
+
+**The agent leads.** Just say *"set up Telegram for memex"* (or **install memex** in a fresh session — the install-memex skill v1.2+ proactively offers it). The agent will:
+- Check if Telegram Desktop is installed (give you the right download link if not)
+- Check the 24h post-login export-block window (tell you when you can export)
+- Show the click-path in Telegram
+- Wait for your export, then present the picker
+
+**Three modes:** `pick` (default — review each export), `auto` (allowed chats auto-import; new ones go to pending), `manual` (watcher off — drop files yourself).
+
+Terminal equivalents: `memex telegram check / pending / import 1 3 5 / skip 2 / mode auto`. Full reference: `memex telegram --help`.
+
+**v0.10.1: 4-channel proactive notification.** You'll find out about pending exports from whichever channel reaches you first:
+
+1. **In the AI agent (active session)** — `memex_search` / `memex_recent` / `memex_overview` tool responses include a `telegram_pending` field with chat names. Agent surfaces it as a natural aside.
+2. **In the terminal** — any `memex` CLI command appends a 💡 tip line when pending > 0. Throttled to once per 6h.
+3. **macOS native notification** (opt-in) — daemon fires a banner when a new export is staged. `memex telegram notifications on` to enable. Default OFF for lock-screen privacy; add `--show-titles` if you want chat names in the banner.
+4. **Brian Chesky hook (next Claude Code session)** — `memex context` injection includes a "🆕 N exports awaiting review" block with chat names. Claude leads with the question before you type anything.
+
+---
+
 ## What it captures
 
 | Source                | How it gets in                                                 |
@@ -189,7 +220,7 @@ Perplexity threads need to be made **Public** in the Share dialog first — meme
 | Cursor IDE chats      | Auto: reads Cursor's local SQLite session store                |
 | Continue / Zed        | Auto: filesystem watchers per platform                         |
 | Obsidian notes        | Auto: per-vault markdown watcher                               |
-| Telegram exports      | Manual: drop `result.json` (Telegram Desktop → Export → JSON) into `~/.memex/inbox/`. v0.9+: also accepts the **HTML** export directory (`ChatExport_*/`) — drop the whole folder, memex parses it. |
+| Telegram exports      | **v0.10+: auto.** Daemon watches `~/Downloads/Telegram Desktop/`. Each new ChatExport appears in `memex telegram pending` — review chat-by-chat, import the ones you want. Privacy-first: nothing lands in the DB without your `memex telegram import <indices>`. Allow-list remembers your decisions so future re-exports auto-merge. JSON + HTML both supported. (Legacy path still works: drop into `~/.memex/inbox/`.) |
 | Telegram (live)       | Run [`memex-bot`](bot/README.md) — captures messages you send/forward to your private bot |
 | **Web pages, AI chat shares, pasted text** | From any MCP agent: *"save https://... to memex"*. Agent fetches; memex stores verbatim. Cloudflare-protected pages (Perplexity, npm.com, Twitter, Medium, …) handled via the agent's r.jina.ai fallback. See [HELP.md §8](HELP.md) |
 
@@ -214,6 +245,11 @@ All sources land in the same FTS5 corpus, searchable by one `memex_search` call.
 | `memex_status`                | Daemon health: PID, last capture, watched files                          |
 | `memex_sources_status`        | Which sources are captured + the exact CLI to opt out                    |
 | `memex_help`                  | Returns the full user guide with concrete use cases                      |
+| `memex_telegram_check`        | v0.10+: Detect Telegram Desktop, login age (24h block), pending count, suggested next step |
+| `memex_telegram_pending`      | v0.10+: List exports staged for review with chat name + msg count + dates |
+| `memex_telegram_import`       | v0.10+: Import selected exports into memex.db (by index or title) — auto-allowlists |
+| `memex_telegram_skip`         | v0.10+: Mark chats as "never index" — applies to future re-exports too  |
+| `memex_telegram_mode`         | v0.10+: Get/set capture mode: pick (default) · auto · manual            |
 
 Detailed search parameters (filters, sort, format) live in [HELP.md](HELP.md).
 

package/README.ru.md

@@ -241,8 +241,7 @@ which node  # → путь до бинарника node (например /Users
 | **Claude Cowork** | `cowork-*.jsonl` (через filename prefix), включая subagents | ✅ работает |
 | **Cursor IDE** (Composer + Chat) | SQLite `state.vscdb` в `~/Library/Application Support/Cursor/` | ✅ работает (poll каждые 5 мин) |
 | **Obsidian** vault notes | `.md` файлы + YAML frontmatter | ✅ работает (FSEvents, hash-based dedupe) |
-| **Telegram (JSON export)** | `result.json` из Desktop export | ✅ работает |
-| **Telegram (HTML export)** | директория `ChatExport_*` из Desktop (v0.9+) | ✅ работает — кидай всю папку в inbox |
+| **Telegram (JSON / HTML export)** | `result.json` или `ChatExport_*/` из Telegram Desktop | ✅ работает — **v0.10+: авто-детект.** Daemon следит за `~/Downloads/Telegram Desktop/`, экспорты сами попадают в pending, юзер per-chat подтверждает |
 | **Telegram (live)** | бот `memex-bot` ловит твои сообщения / форварды | ✅ работает |
 | **Web-страницы, AI-share'ы, paste'ы** | `memex_store_document` — агент fetch'ит, memex хранит verbatim (v0.6+) | ✅ работает |
 | Claude.ai web export | будет в v0.7 | — |

package/ingest.js

@@ -1332,6 +1332,92 @@ if (!ANY_ONESHOT_MODE && OBSIDIAN_ENABLED) {
   }
 }
 
+// -------------------- Telegram Downloads watcher (v0.10+) --------------------
+// Watches ~/Downloads/Telegram Desktop/ for new ChatExport_* folders or
+// result.json files. On detection, moves them to ~/.memex/pending/ so the
+// user can review with `memex telegram pending` before any data lands in
+// memex.db. Privacy-first — nothing is auto-imported here.
+const TG_DOWNLOADS_ENABLED = isSourceEnabled('telegram-downloads', CONFIG);
+// Default Telegram Desktop export location is identical across platforms:
+// ~/Downloads/Telegram Desktop/. Config can override via sources.telegram-downloads.paths.
+const TG_DOWNLOADS_PATHS = (() => {
+  if (!TG_DOWNLOADS_ENABLED) return [];
+  const configured = (CONFIG.sources?.['telegram-downloads']?.paths) || [];
+  const defaults = [join(homedir(), 'Downloads', 'Telegram Desktop')];
+  const all = (configured.length ? configured : defaults).map((p) =>
+    p.startsWith('~') ? join(homedir(), p.slice(1)) : p
+  );
+  return all.filter((p) => existsSync(p));
+})();
+
+if (!ANY_ONESHOT_MODE && TG_DOWNLOADS_ENABLED && TG_DOWNLOADS_PATHS.length) {
+  for (const dlPath of TG_DOWNLOADS_PATHS) {
+    log(`watching telegram-downloads: ${dlPath}`);
+    const w = chokidar
+      .watch(dlPath, {
+        ignoreInitial: false,
+        awaitWriteFinish: { stabilityThreshold: 2000, pollInterval: 400 },
+        depth: 0,
+      })
+      .on('addDir', (p) => {
+        if (p === dlPath) return; // root itself
+        if (!basename(p).toLowerCase().startsWith('chatexport_')) return;
+        scheduleTelegramStaging(p);
+      })
+      .on('add', (p) => {
+        if (basename(p).toLowerCase() === 'result.json') {
+          scheduleTelegramStaging(p);
+        }
+      })
+      .on('error', (e) => log(`watcher error (telegram-downloads): ${e.message}`));
+    watchers.push(w);
+  }
+}
+
+const tgStagingPending = new Map();
+function scheduleTelegramStaging(srcPath) {
+  if (tgStagingPending.has(srcPath)) clearTimeout(tgStagingPending.get(srcPath));
+  // Use a longer debounce — exports can take several seconds to finish writing
+  tgStagingPending.set(srcPath, setTimeout(async () => {
+    tgStagingPending.delete(srcPath);
+    if (!existsSync(srcPath)) return;
+    try {
+      const { stageExport, listPending } = await import('./lib/telegram-pending.js');
+      const dest = stageExport(srcPath, { moveOrCopy: 'move' });
+      log(`+ telegram-export staged → pending/: ${basename(dest)}`);
+
+      // Channel C: macOS native notification. Default OFF, opt-in via
+      //   `memex telegram notifications on [--show-titles]`. Dedup by path
+      //   hash so re-stages of the same export don't re-notify.
+      try {
+        const notify = await import('./lib/telegram-notify.js');
+        const state = notify.loadNotifyState();
+        if (state.notifications.enabled && !notify.notifShownFor(state, dest)) {
+          // Look up preview to know the chat name (only if user opted in)
+          const list = listPending();
+          const justStaged = list.find((e) => e.path === dest) || {};
+          const totalPending = list.length;
+          const showTitles = !!state.notifications.show_titles;
+          const title = `memex · ${totalPending} new Telegram chat${totalPending === 1 ? '' : 's'}`;
+          const body = showTitles && justStaged.chat_title
+            ? `"${justStaged.chat_title}" — ${justStaged.message_count?.toLocaleString?.() || '?'} msgs. Review with: memex telegram pending`
+            : `Review with: memex telegram pending`;
+          const fired = notify.fireMacosNotification(title, body, { subtitle: 'Ready to review' });
+          if (fired) {
+            notify.markNotifShown(state, [dest]);
+            notify.saveNotifyState(state);
+            log(`  notif fired (macOS, ${showTitles ? 'with' : 'no'} title)`);
+          }
+        }
+      } catch (e) {
+        log(`  notif skipped: ${e.message}`);
+      }
+    } catch (e) {
+      log(`! telegram-export stage failed (${basename(srcPath)}): ${e.message}`);
+    }
+  }, 5000));
+}
+
 // Synchronous one-shot walk for scan-obsidian / scan modes.
 function scanObsidian() {
   if (OBSIDIAN_VAULTS.length === 0) {