@hybridlabor-api/aos 4.4.0 → 4.4.2-beta.0

package/mcps/vectorworks-mcp/Dockerfile

@@ -1,28 +0,0 @@
-FROM python:3.11-slim
-
-ENV PYTHONDONTWRITEBYTECODE=1 \
-    PYTHONUNBUFFERED=1
-
-WORKDIR /app
-
-# System deps for faiss/numpy
-RUN apt-get update && apt-get install -y --no-install-recommends \
-    build-essential \
-    g++ \
-    libopenblas-dev \
-    git \
-    curl \
-    ca-certificates \
- && rm -rf /var/lib/apt/lists/*
-
-COPY requirements.txt ./
-RUN pip install --no-cache-dir -r requirements.txt
-
-COPY . .
-
-# Default directories
-RUN mkdir -p /app/data /app/index
-
-EXPOSE 8000 8765
-
-CMD ["python", "-m", "app.main"]

package/mcps/vectorworks-mcp/README.md

@@ -1,156 +0,0 @@
-# Vectorworks RAG + MCP
-
-- Vectorworks の Python / VectorScript ドキュメントをローカルに取り込み、FAISS で横断検索します。
-- FastAPI で `/search` `/answer` `/get` を提供し、簡易 Web UI から検索・出典確認できます。
-- WebSocket(JSON-RPC 2.0) の MCP サーバーを同時起動し、`vw.search` / `vw.answer` / `vw.get` ツールを提供します。
-- docker compose で `app`（API/MCP）と `db`（Postgres 16）を同時起動します
-
----
-
-## 必要要件
-
-- Docker / Docker Compose（v2）
-
-## クイックスタート
-
-1. ビルド
-
-- `docker compose build`
-
-2. 文書取得
-
-- `docker compose run --rm app bash scripts/fetch_docs_minimal.sh`
-- `docker compose run --rm -e GITHUB_TOKEN="$GITHUB_TOKEN" app bash scripts/fetch_github_vectorworks.sh`
-
-3. ベクター生成（埋め込み + FAISS）
-
-- `docker compose run --rm app python -m app.indexer`
-  - 既にインデックスがある状態でドキュメントを追加した場合は再作成してください:
-    - `docker compose run --rm app python -m app.indexer --rebuild`
-
-4. 起動（UI + MCP + Postgres）
-
-- `docker compose up`
-
-5. アクセス
-
-- UI: `http://localhost:8000`
-- MCP: `ws://localhost:8765`
-
-補足
-
-- 2. と 3) は次のワンライナーでも可:
-  - `docker compose run --rm app bash -lc 'scripts/fetch_docs_minimal.sh && python -m app.indexer'`
-
-## ドキュメントの取得
-
-以下のコマンドで、必要最小限のドキュメント（md/html のみ）を `data/` に取得します。
-
-- 依存: `git`, `curl`
-- 実行（コンテナ内）:
-  - `docker compose run --rm app bash scripts/fetch_docs_minimal.sh`
-  - ネットワーク事情で 403 が発生する場合、スクリプトは該当ページをスキップして続行します。
-  - 必要なら UA を上書き可能: `docker compose run --rm -e UA="Mozilla/5.0 ..." app bash scripts/fetch_docs_minimal.sh`
-
-取得対象（要点のみ）
-
-- GitHub: Vectorworks/developer-scripting（入門/導線の Markdown）
-- App Help: Scripting の基本導線（2022/2023/2024 の要点ページ）
-- 日本語サイト: VectorScript 関数索引ページ + 例示ページ
-- Developer Wiki: VS Function Reference カテゴリインデックス（HTML）
-
-注意
-
-- インデクサは `.md` `.markdown` `.html` `.htm` `.txt` のみ対応です。PDF 等は対象外です。
-
-## GitHub（Vectorworks 指定リポのみ取得）
-
-- 目的: 次の3つのリポジトリのみを `data/github/vectorworks/` にクローン（または更新）します。
-  - `Vectorworks/developer-scripting`
-  - `Vectorworks/developer-sdk`
-  - `Vectorworks/developer-worksheets`
-- 実行（コンテナ内）:
-  - `docker compose run --rm app bash scripts/fetch_github_vectorworks.sh`
-- 取得先: `data/github/vectorworks/<repo>`
-- 追加/変更したい場合は環境変数 `REPOS` で指定できます（スペースまたはカンマ区切り）。
-  - 例: `docker compose run --rm -e REPOS="Vectorworks/developer-scripting,Vectorworks/developer-sdk" app bash scripts/fetch_github_vectorworks.sh`
-  - 更新方式の指定（任意）: `UPDATE_MODE=pull`（既定）または `UPDATE_MODE=reset`
-    - `pull`: `git pull --ff-only --depth=1 --prune` による高速更新（ローカル変更がある場合は失敗→フェールセーフで fetch+reset）
-    - `reset`: `fetch --depth=1` 後に `reset --hard` で完全同期（ローカル変更を破棄）
-
-注意
-
-- インデクサはテキスト系拡張子（.md/.html/.txt 等）のみ対象とします。
-
-## ベクター生成（埋め込み + FAISS インデックス）
-
-- 実行（コンテナ内）:
-  - `docker compose run --rm app python -m app.indexer`
-
-実行後、`index/` に `vw.faiss` と `meta.jsonl` が作成されます。
-（先に `bash scripts/fetch_docs_minimal.sh` などで `data/` に文書がある状態にしてください）
-
-## 起動（UI + MCP + Postgres）
-
-- `docker compose up --build`
-- UI: `http://localhost:8000`
-- MCP: `ws://localhost:8765`
-- Postgres はコンテナ内部ネットワークで起動（ホストへ未公開）
-
-## API 例
-
-- 検索: `GET /search?q=PushAttrs&k=6`
-  - 例: `curl -s "http://localhost:8000/search?q=VectorScript&k=6" | jq .`
-- 回答（ドラフト）: `GET /answer?q=...&k=6`
-  - 例: `curl -s "http://localhost:8000/answer?q=record+format" | jq .`
-- チャンク取得: `GET /get?doc_id=...&chunk_id=...`
-
-UI は `GET /` にあり、検索フォームから同等の結果を確認できます。
-
-## MCP（Model Context Protocol）
-
-- VS Code から接続: 次のコマンドで MCP を追加
-  - `code --add-mcp '{"name":"vw_docs_local","url":"ws://localhost:8765"}'`
-- サポートするツール
-  - `vw.search({ query, k? })`
-  - `vw.answer({ query, k? })`
-  - `vw.get({ doc_id, chunk_id })`
-
-実装は JSON-RPC 2.0 ベースの WebSocket サーバーです（`app/mcp_server.py`）。
-
-## ディレクトリ構成
-
-- `app/` アプリ本体
-  - `api.py` FastAPI アプリ
-  - `mcp_server.py` MCP(WebSocket) サーバー
-  - `indexer.py` 取込・ベクター化（埋め込み + FAISS 作成）
-  - `search.py` 検索/回答のコアロジック
-  - `chunking.py` チャンク分割（約 700 トークン相当の文字長を目安）
-- `templates/` Web UI テンプレート
-- `data/` 原文の md/html（相対パスが `doc_id`）
-- `index/` FAISS とメタデータ（`vw.faiss`, `meta.jsonl`）
-
-## 環境変数（任意）
-
-- `DATA_DIR` データ配置ディレクトリ（既定: `data`）
-- `INDEX_DIR` インデックス出力ディレクトリ（既定: `index`）
-- `EMBED_MODEL` 埋め込みモデル（既定: `sentence-transformers/all-MiniLM-L6-v2`）
-- `CHUNK_CHARS` チャンク文字長の目安（既定: `2800` ≒ 700 トークン）
-- `CHUNK_OVERLAP` チャンクの文字オーバーラップ（既定: `480`）
-- `API_HOST` / `API_PORT` FastAPI バインド（既定: `0.0.0.0:8000`）
-- `MCP_HOST` / `MCP_PORT` MCP バインド（既定: `0.0.0.0:8765`）
-
-Postgres（将来用）
-
-- `PGHOST` / `PGPORT` / `PGDATABASE` / `PGUSER` / `PGPASSWORD`
-
-## 運用メモ
-
-- ドキュメントを更新したら、再度ベクター生成: `python -m app.indexer`
-- 初回は埋め込みモデルのダウンロードで時間がかかる場合があります。
-- CPU で実行する前提のため、FAISS は `IndexFlatIP` + 正規化ベクター（cosine 相当）を使用しています。
-
-## ライセンス / 注意
-
-- このリポジトリはドキュメントを含みません。各自の利用規約・著作権に従って `data/` に配置してください。
-- `answer` は抜粋ベースの簡易ドラフトです。最終判断は原文を確認してください。

package/mcps/vectorworks-mcp/app/__init__.py

@@ -1,2 +0,0 @@
-__all__ = []
-

package/mcps/vectorworks-mcp/app/api.py

@@ -1,52 +0,0 @@
-from __future__ import annotations
-
-from pathlib import Path
-from typing import Optional
-
-from fastapi import FastAPI, HTTPException, Query, Request
-from fastapi.responses import HTMLResponse
-from fastapi.templating import Jinja2Templates
-
-from .config import settings
-from .embeddings import Embedder
-from .indexer import IndexPaths, ensure_index
-from .search import Searcher
-
-
-def create_app() -> FastAPI:
-    app = FastAPI(title="Vectorworks Docs RAG")
-
-    templates = Jinja2Templates(directory=str(Path("templates")))
-
-    embedder = Embedder()
-    index, meta = ensure_index(embedder)
-    searcher = Searcher(index=index, meta=meta, embedder=embedder)
-
-    @app.get("/", response_class=HTMLResponse)
-    async def home(request: Request, q: Optional[str] = None, k: int = 6):
-        results = searcher.search(q, k=k) if q else []
-        return templates.TemplateResponse(
-            "index.html",
-            {"request": request, "q": q or "", "results": results},
-        )
-
-    @app.get("/search")
-    async def api_search(q: str = Query(...), k: int = 6):
-        return {"query": q, "results": searcher.search(q, k=k)}
-
-    @app.get("/answer")
-    async def api_answer(q: str = Query(...), k: int = 6):
-        return searcher.answer(q, k=k)
-
-    @app.get("/get")
-    async def api_get(doc_id: str, chunk_id: int):
-        try:
-            return searcher.get(doc_id, chunk_id)
-        except KeyError as e:
-            raise HTTPException(status_code=404, detail=str(e))
-
-    return app
-
-
-app = create_app()
-

package/mcps/vectorworks-mcp/app/chunking.py

@@ -1,56 +0,0 @@
-from __future__ import annotations
-
-import re
-from typing import Iterable, List
-
-
-def split_paragraphs(text: str) -> List[str]:
-    # Normalize line endings and split on blank lines
-    parts = re.split(r"\n\s*\n+", text.strip())
-    return [p.strip() for p in parts if p.strip()]
-
-
-def merge_to_chunks(paragraphs: Iterable[str], max_chars: int, overlap: int) -> List[str]:
-    chunks: List[str] = []
-    buf: List[str] = []
-    buf_len = 0
-
-    for p in paragraphs:
-        # If a single paragraph is larger than max, hard-split by sentences
-        if len(p) > max_chars:
-            sentences = re.split(r"(?<=[。．.!?])\s+", p)
-            p_parts: List[str] = []
-            cur = ""
-            for s in sentences:
-                if not s:
-                    continue
-                if len(cur) + len(s) + 1 > max_chars and cur:
-                    p_parts.append(cur)
-                    cur = s
-                else:
-                    cur = (cur + " " + s).strip()
-            if cur:
-                p_parts.append(cur)
-        else:
-            p_parts = [p]
-
-        for part in p_parts:
-            if buf_len + len(part) + 2 > max_chars and buf:
-                chunks.append("\n\n".join(buf))
-                # overlap by characters from the end of the previous chunk
-                if overlap > 0:
-                    tail = chunks[-1][-overlap:]
-                    buf = [tail, part]
-                    buf_len = len(tail) + len(part) + 2
-                else:
-                    buf = [part]
-                    buf_len = len(part)
-            else:
-                buf.append(part)
-                buf_len += len(part) + 2
-
-    if buf:
-        chunks.append("\n\n".join(buf))
-
-    return chunks
-

package/mcps/vectorworks-mcp/app/config.py

@@ -1,29 +0,0 @@
-import os
-from dataclasses import dataclass
-
-
-@dataclass
-class Settings:
-    # Paths
-    data_dir: str = os.getenv("DATA_DIR", "data")
-    index_dir: str = os.getenv("INDEX_DIR", "index")
-    index_file: str = os.getenv("INDEX_FILE", "vw.faiss")
-    meta_file: str = os.getenv("META_FILE", "meta.jsonl")
-
-    # Embeddings
-    model_name: str = os.getenv("EMBED_MODEL", "sentence-transformers/all-MiniLM-L6-v2")
-    batch_size: int = int(os.getenv("EMBED_BATCH", "32"))
-
-    # Chunking
-    chunk_chars: int = int(os.getenv("CHUNK_CHARS", "2800"))
-    chunk_overlap: int = int(os.getenv("CHUNK_OVERLAP", "480"))
-
-    # API / MCP
-    api_host: str = os.getenv("API_HOST", "0.0.0.0")
-    api_port: int = int(os.getenv("API_PORT", "8000"))
-    mcp_host: str = os.getenv("MCP_HOST", "0.0.0.0")
-    mcp_port: int = int(os.getenv("MCP_PORT", "8765"))
-
-
-settings = Settings()
-

package/mcps/vectorworks-mcp/app/embeddings.py

@@ -1,28 +0,0 @@
-from __future__ import annotations
-
-from dataclasses import dataclass
-from typing import List
-
-import numpy as np
-from sentence_transformers import SentenceTransformer
-
-from .config import settings
-
-
-@dataclass
-class Embedder:
-    model_name: str = settings.model_name
-    batch_size: int = settings.batch_size
-
-    def __post_init__(self):
-        self.model = SentenceTransformer(self.model_name, device="cpu")
-
-    def encode(self, texts: List[str]) -> np.ndarray:
-        vectors = self.model.encode(
-            texts,
-            batch_size=self.batch_size,
-            show_progress_bar=False,
-            normalize_embeddings=True,  # cosine via dot product
-        )
-        return np.asarray(vectors, dtype=np.float32)
-

package/mcps/vectorworks-mcp/app/indexer.py

@@ -1,106 +0,0 @@
-from __future__ import annotations
-
-import argparse
-import json
-from dataclasses import dataclass
-from pathlib import Path
-from typing import List, Tuple
-
-import faiss  # type: ignore
-import numpy as np
-
-from .chunking import merge_to_chunks, split_paragraphs
-from .config import settings
-from .embeddings import Embedder
-from .utils import iter_text_files
-
-
-@dataclass
-class IndexPaths:
-    base: Path
-    index_file: Path
-    meta_file: Path
-
-    @staticmethod
-    def from_settings() -> "IndexPaths":
-        base = Path(settings.index_dir)
-        return IndexPaths(
-            base=base,
-            index_file=base / settings.index_file,
-            meta_file=base / settings.meta_file,
-        )
-
-
-def build_index(data_dir: Path, index_paths: IndexPaths, embedder: Embedder) -> Tuple[faiss.Index, List[dict]]:
-    index_paths.base.mkdir(parents=True, exist_ok=True)
-
-    texts: List[str] = []
-    meta: List[dict] = []
-
-    for src in iter_text_files(data_dir):
-        rel = src.relative_to(data_dir).as_posix()
-        content = src.read_text(encoding="utf-8", errors="ignore")
-        paragraphs = split_paragraphs(content)
-        chunks = merge_to_chunks(paragraphs, settings.chunk_chars, settings.chunk_overlap)
-        for i, chunk in enumerate(chunks):
-            texts.append(chunk)
-            meta.append({"doc_id": rel, "chunk_id": i, "text": chunk})
-
-    if not texts:
-        raise RuntimeError(f"No ingestable files found under {data_dir}")
-
-    vectors = embedder.encode(texts)
-    dim = vectors.shape[1]
-    index = faiss.IndexFlatIP(dim)
-    index.add(vectors)
-
-    # persist
-    faiss.write_index(index, str(index_paths.index_file))
-    with index_paths.meta_file.open("w", encoding="utf-8") as f:
-        for m in meta:
-            f.write(json.dumps(m, ensure_ascii=False) + "\n")
-
-    return index, meta
-
-
-def load_index(index_paths: IndexPaths) -> Tuple[faiss.Index, List[dict]]:
-    index = faiss.read_index(str(index_paths.index_file))
-    meta: List[dict] = []
-    with index_paths.meta_file.open("r", encoding="utf-8") as f:
-        for line in f:
-            meta.append(json.loads(line))
-    return index, meta
-
-
-def ensure_index(embedder: Embedder) -> Tuple[faiss.Index, List[dict]]:
-    data_dir = Path(settings.data_dir)
-    index_paths = IndexPaths.from_settings()
-    if not index_paths.index_file.exists() or not index_paths.meta_file.exists():
-        return build_index(data_dir, index_paths, embedder)
-    return load_index(index_paths)
-
-
-def main():
-    parser = argparse.ArgumentParser(description="Build or rebuild FAISS index from data/")
-    parser.add_argument(
-        "--rebuild",
-        action="store_true",
-        help="Force rebuild index from scratch (ignores existing index files)",
-    )
-    args = parser.parse_args()
-
-    emb = Embedder()
-    data_dir = Path(settings.data_dir)
-    index_paths = IndexPaths.from_settings()
-
-    if args.rebuild:
-        index_paths.base.mkdir(parents=True, exist_ok=True)
-        idx, meta = build_index(data_dir, index_paths, emb)
-    else:
-        idx, meta = ensure_index(emb)
-
-    print(f"Indexed {len(meta)} chunks → {settings.index_dir}/{settings.index_file}")
-
-
-if __name__ == "__main__":
-    main()

package/mcps/vectorworks-mcp/app/main.py

@@ -1,33 +0,0 @@
-from __future__ import annotations
-
-import asyncio
-import contextlib
-
-import uvicorn
-
-from .api import app as fastapi_app
-from .config import settings
-from .mcp_server import run_server as run_mcp
-
-
-async def main_async():
-    config = uvicorn.Config(fastapi_app, host=settings.api_host, port=settings.api_port, log_level="info")
-    server = uvicorn.Server(config)
-
-    async def run_api():
-        await server.serve()
-
-    async def run_ws():
-        await run_mcp()
-
-    await asyncio.gather(run_api(), run_ws())
-
-
-def main():
-    with contextlib.suppress(KeyboardInterrupt):
-        asyncio.run(main_async())
-
-
-if __name__ == "__main__":
-    main()
-

package/mcps/vectorworks-mcp/app/mcp_server.py

@@ -1,71 +0,0 @@
-from __future__ import annotations
-
-import asyncio
-import json
-from dataclasses import dataclass
-from typing import Any, Awaitable, Callable, Dict
-
-import websockets
-
-from .config import settings
-from .embeddings import Embedder
-from .indexer import ensure_index
-from .search import Searcher
-
-
-Json = Dict[str, Any]
-
-
-@dataclass
-class McpServer:
-    host: str = settings.mcp_host
-    port: int = settings.mcp_port
-
-    def __post_init__(self):
-        emb = Embedder()
-        index, meta = ensure_index(emb)
-        self.searcher = Searcher(index=index, meta=meta, embedder=emb)
-
-    async def handler(self, websocket):
-        async for message in websocket:
-            try:
-                req = json.loads(message)
-                if not isinstance(req, dict):
-                    raise ValueError("Invalid JSON-RPC request")
-                method = req.get("method")
-                req_id = req.get("id")
-                params = req.get("params", {})
-
-                if method == "vw.search":
-                    q = params.get("query")
-                    k = int(params.get("k", 6))
-                    result = self.searcher.search(q, k=k)
-                elif method == "vw.answer":
-                    q = params.get("query")
-                    k = int(params.get("k", 6))
-                    result = self.searcher.answer(q, k=k)
-                elif method == "vw.get":
-                    doc_id = params.get("doc_id")
-                    chunk_id = int(params.get("chunk_id"))
-                    result = self.searcher.get(doc_id, chunk_id)
-                else:
-                    raise ValueError(f"Unknown method: {method}")
-
-                resp: Json = {"jsonrpc": "2.0", "id": req_id, "result": result}
-            except Exception as e:  # pragma: no cover - basic error surface
-                resp = {
-                    "jsonrpc": "2.0",
-                    "id": req.get("id") if isinstance(req, dict) else None,
-                    "error": {"code": -32000, "message": str(e)},
-                }
-            await websocket.send(json.dumps(resp, ensure_ascii=False))
-
-    async def run(self):
-        async with websockets.serve(self.handler, self.host, self.port):
-            await asyncio.Future()  # run forever
-
-
-async def run_server():
-    server = McpServer()
-    await server.run()
-

package/mcps/vectorworks-mcp/app/search.py

@@ -1,54 +0,0 @@
-from __future__ import annotations
-
-from dataclasses import dataclass
-from typing import List, Tuple
-
-import faiss  # type: ignore
-import numpy as np
-
-from .embeddings import Embedder
-
-
-@dataclass
-class Searcher:
-    index: faiss.Index
-    meta: List[dict]
-    embedder: Embedder
-
-    def search(self, query: str, k: int = 6) -> List[dict]:
-        vec = self.embedder.encode([query])  # normalized
-        scores, idxs = self.index.search(vec, k)
-        out: List[dict] = []
-        for score, idx in zip(scores[0].tolist(), idxs[0].tolist()):
-            if idx == -1:
-                continue
-            m = self.meta[idx]
-            out.append({
-                "score": float(score),
-                "doc_id": m["doc_id"],
-                "chunk_id": m["chunk_id"],
-                "text": m["text"],
-            })
-        return out
-
-    def get(self, doc_id: str, chunk_id: int) -> dict:
-        # naive lookup by scanning meta (meta is same order as index)
-        for m in self.meta:
-            if m["doc_id"] == doc_id and m["chunk_id"] == chunk_id:
-                return m
-        raise KeyError(f"Chunk not found: {doc_id}#{chunk_id}")
-
-    def answer(self, query: str, k: int = 6) -> dict:
-        # Simple extractive draft: stitch top-k snippets
-        hits = self.search(query, k=k)
-        summary_lines: List[str] = []
-        for i, h in enumerate(hits, start=1):
-            text = h["text"].strip().splitlines()
-            lead = " ".join(text[:2])[:400]
-            summary_lines.append(f"[{i}] {lead}")
-        draft = (
-            "以下は関連する資料からの抜粋です。詳細は出典を参照してください。\n\n"
-            + "\n".join(summary_lines)
-        )
-        return {"draft": draft, "sources": hits}
-

package/mcps/vectorworks-mcp/app/utils.py

@@ -1,14 +0,0 @@
-import hashlib
-from pathlib import Path
-
-
-def iter_text_files(root: Path):
-    exts = {".md", ".markdown", ".html", ".htm", ".txt"}
-    for p in sorted(root.rglob("*")):
-        if p.is_file() and p.suffix.lower() in exts:
-            yield p
-
-
-def stable_uid(text: str) -> str:
-    return hashlib.md5(text.encode("utf-8")).hexdigest()  # nosec - non-crypto id
-

package/mcps/vectorworks-mcp/data/.gitkeep

@@ -1 +0,0 @@
-