igrep2 0.1.139__cp314-none-any.whl

igrep/__init__.py

@@ -0,0 +1,23 @@
+"""igrep — agent-first semantic grep / RAG grep CLI."""
+
+from __future__ import annotations
+
+from pathlib import Path
+
+
+def _read_version() -> str:
+    # SSoT: <repo-root>/VERSION (plain text). Two read paths:
+    #   1) source tree / editable install → read the live file (no install needed)
+    #   2) installed wheel → fall back to package metadata baked in by hatchling
+    repo_file = Path(__file__).resolve().parents[2] / "VERSION"
+    if repo_file.is_file():
+        return repo_file.read_text().strip()
+    from importlib.metadata import PackageNotFoundError, version
+
+    try:
+        return version("igrep2")
+    except PackageNotFoundError:
+        return "0.0.0+unknown"
+
+
+__version__ = _read_version()

igrep/bm25_index/__init__.py

@@ -0,0 +1,19 @@
+"""Optional BM25 lexical index that replaces the ripgrep scan step.
+
+SPEC: Nothing in this package runs unless `IGREP_BM25_INDEX_BACKEND` names a
+      backend. `igrep search` without that setting is byte-identical to the
+      filesystem-native pipeline it has always been.
+INTENT: Centralized deployments cannot afford O(corpus) per query. An inverted
+        index makes candidate generation O(hits); everything after candidate
+        generation is untouched, so retrieval quality does not move.
+
+See `docs/BM25_INDEX_DESIGN.md` for the semantics proof and the pinned
+divergences.
+"""
+
+from __future__ import annotations
+
+from igrep.bm25_index.resolve import IndexConfig, load_config
+from igrep.bm25_index.types import IndexStats, IndexUnavailable
+
+__all__ = ["IndexConfig", "IndexStats", "IndexUnavailable", "load_config"]

igrep/chat_transports/__init__.py

@@ -0,0 +1,14 @@
+"""Transport adapters that serialise ChatEvent to SSE or NDJSON.
+
+The two adapters MUST produce byte-identical event payloads; only the framing
+differs. Re-exported for convenient imports:
+
+    from igrep.chat_transports import sse_encode, ndjson_encode
+"""
+
+from __future__ import annotations
+
+from igrep.chat_transports.ndjson import ndjson_encode
+from igrep.chat_transports.sse import sse_encode
+
+__all__ = ["sse_encode", "ndjson_encode"]

igrep/chrome_site_agent/__init__.py

@@ -0,0 +1,20 @@
+"""HAR authoring of Chrome Site sources.
+
+The user supplies a DevTools HAR export containing two searches; igrep
+discovers the site's
+direct URL-request search API, compiles a deterministic `request_replay`
+profile, verifies it by replaying a fresh query, and persists it as a queryable
+`igrep isearch --site` source.
+
+Design SSoT: docs/CHROME_SITE_DESIGN.md. This builds on the
+existing deterministic compiler (`igrep.chrome_site_compiler`) and profile
+store (`igrep.chrome_site`); it only adds the discovery + verification loop.
+
+Public API is intentionally tiny and import-light.
+"""
+
+from __future__ import annotations
+
+from .orchestrate import AuthorReport, AuthorSpec, author_site, run_self_test
+
+__all__ = ["AuthorReport", "AuthorSpec", "author_site", "run_self_test"]

igrep/chunker/__init__.py

@@ -0,0 +1,16 @@
+"""Chunking strategies for igrep document indexing."""
+
+from __future__ import annotations
+
+from igrep.chunker.base import chunk_fallback
+from igrep.chunker.code import chunk_code, tokenize_symbol_name
+from igrep.chunker.text import (
+    chunk_file,
+    chunk_markdown,
+    chunk_text,
+)
+
+__all__ = [
+    "chunk_code", "chunk_fallback", "chunk_file", "chunk_markdown",
+    "chunk_text", "tokenize_symbol_name",
+]

igrep/cli/__init__.py

@@ -0,0 +1,67 @@
+# ruff: noqa: F401,F403
+"""Compatibility facade for the split igrep CLI package."""
+
+import sys as _sys
+from types import ModuleType as _ModuleType
+
+from . import _common as _common_module
+from . import _main as _main_module
+from . import agent as _agent_module
+from . import chat as _chat_module
+from . import command_source as _command_source_module
+from . import context as _context_module
+from . import ops as _ops_module
+from . import page_search as _page_search_module
+from . import parser as _parser_module
+from . import routing as _routing_module
+from . import search as _search_module
+from . import setup as _setup_module
+from . import source_map as _source_map_module
+from ._common import *
+from ._main import *
+from .agent import *
+from .chat import *
+from .command_source import *
+from .context import *
+from .ops import *
+from .page_search import *
+from .parser import *
+from .routing import *
+from .search import *
+from .setup import *
+from .source_map import *
+
+_COMPAT_MODULES = (
+    _common_module,
+    _main_module,
+    _agent_module,
+    _chat_module,
+    _command_source_module,
+    _context_module,
+    _ops_module,
+    _page_search_module,
+    _parser_module,
+    _routing_module,
+    _search_module,
+    _setup_module,
+    _source_map_module,
+)
+_COMPAT_TARGETS: dict[str, list[_ModuleType]] = {}
+_facade_names = set(globals())
+for _module in _COMPAT_MODULES:
+    for _name in _facade_names.intersection(vars(_module)):
+        if _name.startswith("__"):
+            continue
+        _COMPAT_TARGETS.setdefault(_name, []).append(_module)
+
+
+class _CliFacadeModule(_ModuleType):
+    """Keep old single-module monkeypatch semantics after the CLI split."""
+
+    def __setattr__(self, name: str, value: object) -> None:
+        super().__setattr__(name, value)
+        for module in _COMPAT_TARGETS.get(name, ()):
+            setattr(module, name, value)
+
+
+_sys.modules[__name__].__class__ = _CliFacadeModule

igrep/data/deepseek-harness/igrep-dsh/README.md

@@ -0,0 +1,165 @@
+# igrep plugin for DeepSeek Harness
+
+一个原生 cordis 插件（`name` / `inject` / `apply` 命名导出，和第一方
+`@deepseek-ai/dsh-web-search-*` 同形），把 igrep 的检索与 Agent Memory 注册进
+DSH 的既有 seam。它不拥有任何 ctx key：
+
+| Seam | 注册内容 |
+|---|---|
+| `ctx.tools` | `igrep_search`、`memory_search`、`memory_record`，可选 `igrep_web_search` |
+| `ctx.skills` | 可选注册 `igrep` routing skill；只有带 skill loader 的 preset 可用 |
+| `ctx.web` | id 为 `igrep` 的 `WebSearchProvider` |
+| `ctx.systemPrompt` | 工具引导 + 常驻用户 profile；完整 persona 可拒绝后续拼装 |
+| `tools/post-execute` | grep/bash 失败时刻每 turn 至多注入一次 routing reminder |
+
+插件是公开 `igrep` CLI 的薄客户端：不重实现检索、不读 igrep 配置、不解析
+igrep 的磁盘产物——与 OpenClaw / Hermes adapter 同一契约。
+
+本地检索只暴露一个模型入口 `igrep_search`，不同时挂载同义 MCP search 工具。
+**工具名、description 与参数 schema 是唯一跨 preset 的主动路由契约。** 它覆盖
+概念/意图/陌生代码，也覆盖不知道精确字面量或文件时的仓库短事实，例如 URL、
+地址、route、path 和配置值。精确 literal、regex、已知文件和穷举扫描仍走 grep。
+本地工具刻意把必填参数命名为 `user_question` 而不是 `query`：字段名本身要求复制
+用户完整问句，避免搜索引擎式 keyword-soup 先验压过 description。
+
+`standard` 等 preset 还会叠加 system prompt 与 skill catalog；`minimal` 的 persona 是
+complete，且没有 skill loader，因此看不到这两层。这不是插件加载失败，插件必须仅靠
+`igrep_search` schema 仍可正确路由。失败提醒负责恢复，结果页尾部负责成功后的跟读与
+多跳续搜，二者都不是首次选择的替代品。
+
+后置提醒只在**失败时刻**触发——`grep` 工具的 pattern 是自然语言、或结果 thin
+（少于 2 条匹配）；`bash` 里的 rg/grep **前台命令**从结构化 `stdout` 判定结果 thin，
+后台命令等待真实输出，不从渲染出的 `(no output)` / exit-code 文本猜结果数。自然语言
+判定也覆盖保守的无空格 CJK 问句，同时继续排除 regex。提醒从 DSH session log 读取
+本 turn 最近一条真实用户消息，原样起草 `igrep_search(user_question=…)`；绝不从 shell
+regex、grep pattern 或答案形态反推问题。若日志里没有真实用户问句，只给通用提示，
+不生成可执行的伪参数。每 turn 至多一条，避免在同一个失败循环里重复收费。决策矩阵
+在 `search-routing.mjs`，真实 URL regex、前后台结果形态与空历史回归由测试锁定。
+
+## 安装
+
+```bash
+igrep setup deepseek-harness                  # 默认 web profile
+igrep setup deepseek-harness --profile headless
+```
+
+安装命令以 `file:` 实体包把随 igrep 发布的本地 bundle 交给
+`dsh plugin --profile <name> add`。DSH 负责把 `@igrep/dsh-plugin` 写进 profile
+依赖、挂载本包的 `cordis.patch.yml`，因此 `dsh plugin list`、更新和删除共用同一
+生命周期。不能使用 `link:`：插件内部的 Node import 必须从 profile 安装树向上
+解析 DSH 自带的包。`@deepseek-ai/dsh-tools` 与 `@deepseek-ai/dsh-llm` 是必需
+peer，由 DSH profile 的 `node_modules` fallback 提供，不由插件安装第二份。
+
+确认与卸载：
+
+```bash
+dsh plugin --profile web list --depth 0
+igrep setup deepseek-harness --profile web --uninstall
+```
+
+## 配置
+
+| 键 | 默认 | 含义 |
+|---|---|---|
+| `command` | `igrep` | igrep CLI 命令或路径（支持 `~`） |
+| `timeoutMs` | `60000` | 单次工具调用的 igrep 子进程预算 |
+| `searchMode` | `normal` | 本地与 web 检索档位：`fast` / `normal` / `ultra` |
+| `maxResults` | `8` | 本地与 web 检索硬上限（最高 20；模型只能下调） |
+| `search` | `true` | 注册 `igrep_search` |
+| `webProvider` | `true` | 把 igrep 注册为 `ctx.web` 的 search provider |
+| `webTool` | `false` | 额外注册独立的 `igrep_web_search` 工具 |
+| `memory` | `true` | 注册 `memory_search` + `memory_record` + wake + ingest |
+| `memorySearchMode` | `ultra` | `mem search` 档位（产品默认即 ultra） |
+| `memoryMaxResults` | `10` | 记忆检索硬上限（最高 50；模型只能下调） |
+| `ingest` | `true` | 提交每轮对话（关掉则记忆库只读） |
+| `wake` | `true` | 把常驻 profile 注入 system prompt |
+| `ingestTimeoutMs` | `30000` | `mem ingest` 预算 |
+| `maintainTimeoutMs` | `300000` | `mem maintain` 预算 |
+| `wakeTimeoutMs` | `10000` | `mem wake` 预算 |
+| `wakeMaxContextChars` | `12000` | 常驻 profile 字符预算 |
+
+## Web 检索：一个模型可见面
+
+默认走 `ctx.web` provider，因为 DSH 的 `web_search`（`dsh-tool-web`）已经是
+模型可见的 web 入口——再注册一个 `igrep_web_search` 只会让模型面对两个语义
+重叠的工具。
+
+若 composition 里还注册了 exa / perplexity 等 provider，seam 会以
+`WEB_PROVIDER_AMBIGUOUS` 拒绝自动选择。显式选定：
+
+```yaml
+- id: web
+  name: '@deepseek-ai/dsh-web'
+  config:
+    searchProvider: igrep
+```
+
+没有 `dsh-tool-web` 的 composition 用 `webTool: true` 拿独立工具。
+
+provider 注册走 `ctx.inject(['web'], …)` 而不是 `inject` 声明或 apply 期的
+`if (ctx.web)`：cordis 的 `Inject` 只有"名字数组"和"名字→intercept 映射"两种
+形式，**没有 optional**——把 `web` 写进 `inject` 会让没有 web 能力的
+composition 连本地检索和记忆一起丢掉；而 apply 期的裸判断在 `dsh-web` 后于本
+插件加载时会静默不注册。运行期 inject 形式两个问题都不存在。
+
+`available()` 恒为 `true`：provider 解析的 SSoT 是 igrep 的
+`config.resolve_web_search_provider`，在插件里复刻一份凭证判断就是第二个
+真相源。因此没配 provider 时是执行期带着 igrep 原文的响亮失败，而不是从
+选择里静默消失——"没配 provider" 绝不能被读成"没有证据"。
+
+## Memory 生命周期
+
+```text
+session/event         -> 投影可见轮次到 .igrep/dsh-transcripts/<session>.jsonl
+agent/turn-stopping   -> igrep mem ingest   （awaited，轮次关闭前提交）
+session/disposed      -> 最终 drain + igrep mem maintain
+agent/session-start   -> igrep mem wake 刷新常驻 profile
+```
+
+DSH 自己的 session log 是 `.jsonl.zstd`，行是 `SessionEvent`（`assistant/chunk`、
+`turn/end` …）。`igrep mem ingest` 读的是通用 role/content JSONL，直接指向
+harness transcript 会投影出**零行**——记忆最贵的失败。所以插件在进程内把可见
+轮次投影成 igrep 的 canonical 行形状，再 ingest 那个文件。
+
+可见证据只有两类：用户亲自写的 `user/message`（`source.kind === 'user'`）和模型
+的 `assistant/message` 文本。plugin 注入的上下文、tool result、`assistant/chunk`
+增量、`reasoning` 块都不是"用户说过/被告知"的内容，一律不进记忆。
+
+同一 transcript 的 append 与 ingest 走**一条串行链**：`session/event` 是 emit 点，
+host 不 await listener，并发 `appendFile` 会乱序落盘——答案排到问题前面。
+
+profile 字节只经 `mem wake` 输出到达 host，插件从不直接读 `profile.md`。
+
+`memory_record` 是 Agent 自写笔记（`add` / `replace` / `remove`）的唯一写面，走与
+`memory_search` 同一条 `mem-api` JSON 通道（`memory-record`），字段逐一透传；harness 的
+value-schema DSL 没有 minLength/maxLength，长度上限只由产品校验。产品侧
+`InvalidArgumentsError` 原文作为 tool error 回给模型（写满时错误里带当前全部笔记），
+成功时产品 envelope 原样返回。`MEMORY.md` 经 `mem wake` 随 profile 注入
+`{{igrep_memory_profile}}`。
+
+wake 缓存按 workspace（session cwd）键。尚未 refresh 的 workspace 读到空，**不**
+回退到别的 workspace 的 profile——多用户宿主（每个用户一个 cwd，如 ibot）靠这条
+不串 profile；profile 晚一轮是良性的，别人的 profile 不是。
+
+## 测试
+
+```bash
+cd integrations/deepseek-harness/igrep-dsh && bun test tests/*.test.js
+```
+
+契约测试：stub 掉 `@deepseek-ai/dsh-tools` 与假 igrep CLI，断言插件交给 harness
+的工具定义、argv、以及记忆生命周期的调用顺序。
+
+真实加载门（opt-in，需要目标 checkout 已 `pnpm install && pnpm run build:lib`）：
+
+```bash
+./scripts/verify-deepseek-harness-live [path-to-deepseek-harness]
+```
+
+它先用**真实** DSH profile manager 验证 add/list/remove，再用**真实**的
+`defineTool` 编译工具 spec、用**真实** cordis 挂载插件，并通过完整 persona 的真实
+system-prompt/tool request 组装锁定跨 preset 的 `igrep_search` schema；同时锁定结构化
+前后台 bash 结果、原问题提醒和结果硬上限。stub 的
+`defineTool` 是 identity，抓不到会在加载期 `authorError` 的 schema 错误，也证明
+不了 cordis 认不认这个插件形状——`inject` 的对象形式就是这样被抓到的。它只向
+DSH checkout 做符号链接，不写入上游仓库。

igrep/data/deepseek-harness/igrep-dsh/cordis.patch.yml

@@ -0,0 +1,8 @@
+# DSH owns this profile layer after `dsh plugin --profile <name> add`.
+- insert:
+    - id: igrep
+      name: '@igrep/dsh-plugin'
+      config:
+        command: igrep
+        searchMode: normal
+        memorySearchMode: ultra