savetest-cli 0.3.0rc1__tar.gz → 0.3.0rc3__tar.gz

{savetest_cli-0.3.0rc1/savetest_cli.egg-info → savetest_cli-0.3.0rc3}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.4
 Name: savetest-cli
-Version: 0.3.0rc1
+Version: 0.3.0rc3
 Summary: CLI for SaveTest: upload Allure results as a ZIP, as raw files, or by watching a directory
 License-Expression: MIT
 Requires-Python: >=3.8
@@ -220,7 +220,7 @@ savetest watch ./allure-results \
 - Если тесты и загрузка — разные джобы, отдайте каталог `allure-results` артефактом тоже с `when: always`.
 - `--wait` оставляйте включённым: джоба должна завершиться только когда импорт дошёл до конца.
 - Вложения включайте только если они реально нужны. По умолчанию CLI их не шлёт.
-- `0.3.0rc1` — предварительная версия для SaveTest 1.5.0: `pip install savetest-cli==0.3.0rc1`. Обычный `pip install savetest-cli` остаётся на последней стабильной версии.
+- `0.3.0rc3` — предварительная версия для SaveTest 1.5.0: `pip install savetest-cli==0.3.0rc3`. Обычный `pip install savetest-cli` остаётся на последней стабильной версии.
 
 ### Результаты по мере прогона
 

{savetest_cli-0.3.0rc1 → savetest_cli-0.3.0rc3}/README.md

@@ -210,7 +210,7 @@ savetest watch ./allure-results \
 - Если тесты и загрузка — разные джобы, отдайте каталог `allure-results` артефактом тоже с `when: always`.
 - `--wait` оставляйте включённым: джоба должна завершиться только когда импорт дошёл до конца.
 - Вложения включайте только если они реально нужны. По умолчанию CLI их не шлёт.
-- `0.3.0rc1` — предварительная версия для SaveTest 1.5.0: `pip install savetest-cli==0.3.0rc1`. Обычный `pip install savetest-cli` остаётся на последней стабильной версии.
+- `0.3.0rc3` — предварительная версия для SaveTest 1.5.0: `pip install savetest-cli==0.3.0rc3`. Обычный `pip install savetest-cli` остаётся на последней стабильной версии.
 
 ### Результаты по мере прогона
 

{savetest_cli-0.3.0rc1 → savetest_cli-0.3.0rc3}/pyproject.toml

@@ -4,7 +4,7 @@ build-backend = "setuptools.build_meta"
 
 [project]
 name = "savetest-cli"
-version = "0.3.0rc1"
+version = "0.3.0rc3"
 description = "CLI for SaveTest: upload Allure results as a ZIP, as raw files, or by watching a directory"
 readme = "README.md"
 requires-python = ">=3.8"

savetest_cli-0.3.0rc3/savetest_cli/__init__.py

@@ -0,0 +1 @@
+__version__ = "0.3.0rc3"

{savetest_cli-0.3.0rc1 → savetest_cli-0.3.0rc3}/savetest_cli/cli.py

@@ -22,11 +22,13 @@ DEFAULT_POLL_INTERVAL_SEC = 1.5
 DEFAULT_WAIT_TIMEOUT_SEC = 3600
 DEFAULT_FILE_BATCH_COUNT = 20
 DEFAULT_FILE_BATCH_BYTES = 32 * 1024 * 1024
+DEFAULT_WATCH_BATCH_COUNT = 200
 DEFAULT_WATCH_INTERVAL_SEC = 0.5
 DEFAULT_SETTLE_SEC = 1.0
 DEFAULT_ATTACHMENT_WAIT_SEC = 5.0
 DEFAULT_WATCH_BATCH_WINDOW_SEC = 1.0
 DEFAULT_WATCH_BATCH_MAX_WAIT_SEC = 5.0
+DEFAULT_WATCH_HEARTBEAT_SEC = 15
 TERMINAL_STATUSES = frozenset({"completed", "partial", "failed", "cancelled"})
 _JUNK_NAMES = {".ds_store", "thumbs.db", ".project_id", ".gitkeep"}
 
@@ -825,26 +827,6 @@ def upload_files(
 # watch — каталог в реальном времени
 # ---------------------------------------------------------------------------
 
-def _attachment_sources(data: Any) -> List[str]:
-    names: List[str] = []
-
-    def walk(node: Any) -> None:
-        if isinstance(node, dict):
-            source = node.get("source")
-            if isinstance(source, str) and source:
-                names.append(Path(source).name)
-            for value in node.values():
-                walk(value)
-        elif isinstance(node, list):
-            for value in node:
-                walk(value)
-
-    if isinstance(data, dict):
-        walk(data.get("attachments"))
-        walk(data.get("steps"))
-    return names
-
-
 def _load_json_if_complete(path: Path) -> Optional[Any]:
     try:
         with open(path, "r", encoding="utf-8") as handle:
@@ -868,22 +850,6 @@ def _snapshot_raw_files(root: Path, include_attachments: bool) -> Dict[str, Tupl
     return found
 
 
-def _resolve_named_file(
-    snapshot: Dict[str, Tuple[Path, int, int]],
-    result_rel: str,
-    source_name: str,
-) -> Optional[str]:
-    name = Path(source_name).name
-    result_dir = str(Path(result_rel).parent)
-    matches = [rel for rel in snapshot if Path(rel).name == name]
-    if not matches:
-        return None
-    for rel in matches:
-        if str(Path(rel).parent) == result_dir:
-            return rel
-    return matches[0]
-
-
 def _pick_watch_batch(
     snapshot: Dict[str, Tuple[Path, int, int]],
     stable_since: Dict[str, Tuple[int, int, float]],
@@ -895,11 +861,8 @@ def _pick_watch_batch(
     *,
     flushing: bool,
 ) -> List[Tuple[str, Path]]:
-    """Файлы, которые уже дописаны и их можно отправить одной пачкой.
-
-    Результат ждёт свои вложения не дольше attachment_wait_sec, чтобы не уехать
-    раньше скриншота. Пачка без *-result.json не отправляется: сервер её не примет.
-    """
+    """Файлы, которые уже дописаны. Результат и вложение уходят по отдельности."""
+    del include_attachments, attachment_wait_sec
     ready: Dict[str, Path] = {}
     for rel in list(stable_since):
         if rel not in snapshot:
@@ -921,49 +884,7 @@ def _pick_watch_batch(
             continue
         ready[rel] = path
 
-    held = set()
-    if include_attachments:
-        for rel, path in list(ready.items()):
-            if not _is_result_file(path):
-                continue
-            document = _load_json_if_complete(path) or {}
-            missing = False
-            for source in _attachment_sources(document):
-                attachment_rel = _resolve_named_file(snapshot, rel, source)
-                if attachment_rel is None or attachment_rel not in ready:
-                    missing = True
-                    break
-            if not missing:
-                continue
-            ready_since = stable_since.get(rel, (0, 0, now))[2]
-            if not flushing and (now - ready_since) < settle_sec + attachment_wait_sec:
-                held.add(rel)
-            else:
-                click.echo(f"Результат {rel} отправляю без части вложений: они так и не появились.")
-
-    send_results = [
-        (rel, path) for rel, path in ready.items()
-        if _is_result_file(path) and rel not in held
-    ]
-    if not send_results:
-        return []
-
-    needed = set()
-    for rel, path in send_results:
-        document = _load_json_if_complete(path) or {}
-        for source in _attachment_sources(document):
-            attachment_rel = _resolve_named_file(snapshot, rel, source)
-            if attachment_rel and attachment_rel in ready:
-                needed.add(attachment_rel)
-
-    selected = list(send_results)
-    for rel, path in ready.items():
-        if _is_result_file(path):
-            continue
-        if include_attachments and _is_attachment(path.name) and rel not in needed:
-            continue
-        selected.append((rel, path))
-    return selected
+    return [(rel, path) for rel, path in ready.items()]
 
 
 def _watch_batch_due(
@@ -1002,25 +923,7 @@ def _chunk_watch_selection(
     max_count: int = DEFAULT_FILE_BATCH_COUNT,
     max_bytes: int = DEFAULT_FILE_BATCH_BYTES,
 ) -> List[List[Tuple[str, Path]]]:
-    """Режет готовые файлы на пачки. Результат не отрывается от своих вложений."""
-    results = [(rel, path) for rel, path in selected if _is_result_file(path)]
-    extras = {rel: (rel, path) for rel, path in selected if not _is_result_file(path)}
-    used = set()
-    groups: List[List[Tuple[str, Path]]] = []
-    for rel, path in results:
-        group = [(rel, path)]
-        document = _load_json_if_complete(path) or {}
-        for source in _attachment_sources(document):
-            name = Path(source).name
-            for extra_rel, extra in extras.items():
-                if extra_rel in used or Path(extra_rel).name != name:
-                    continue
-                group.append(extra)
-                used.add(extra_rel)
-                break
-        groups.append(group)
-
-    loose = [extra for rel, extra in extras.items() if rel not in used]
+    """Режет готовые файлы на пачки по числу и размеру, без разбора содержимого."""
     chunks: List[List[Tuple[str, Path]]] = []
     current: List[Tuple[str, Path]] = []
     current_bytes = 0
@@ -1032,19 +935,16 @@ def _chunk_watch_selection(
             current = []
             current_bytes = 0
 
-    for group in groups:
-        group_bytes = _selection_bytes(group)
-        if current and (
-            len(current) + len(group) > max_count
-            or current_bytes + group_bytes > max_bytes
-        ):
+    for item in selected:
+        _rel, path = item
+        try:
+            size = path.stat().st_size
+        except OSError:
+            size = 0
+        if current and (len(current) >= max_count or current_bytes + size > max_bytes):
             flush()
-        if loose and not current:
-            current.extend(loose)
-            current_bytes += _selection_bytes(loose)
-            loose = []
-        current.extend(group)
-        current_bytes += group_bytes
+        current.append(item)
+        current_bytes += size
         if len(current) >= max_count or current_bytes >= max_bytes:
             flush()
     flush()
@@ -1135,6 +1035,64 @@ def _fetch_task(host: str, project_id: str, task_id: str, token: str) -> Dict[st
     return resp.json()
 
 
+def _watch_session_url(host: str, project_id: str, session_id: Optional[str] = None, action: str = "") -> str:
+    url = f"{host}/api/v1/projects/{project_id}/allure-results/watch/sessions"
+    if session_id:
+        url = f"{url}/{session_id}"
+    if action:
+        url = f"{url}/{action}"
+    return url
+
+
+def _post_watch_session(
+    host: str,
+    project_id: str,
+    token: str,
+    payload: Dict[str, Any],
+    session_id: Optional[str] = None,
+    action: str = "",
+) -> Optional[Dict[str, Any]]:
+    """Сигнал платформе. Ошибка здесь не останавливает тесты."""
+    try:
+        resp = requests.post(
+            _watch_session_url(host, project_id, session_id, action),
+            headers={"Authorization": f"Bearer {token}"},
+            json=payload,
+            timeout=20,
+        )
+    except requests.RequestException:
+        return None
+    if resp.status_code >= 400:
+        return None
+    try:
+        body = resp.json()
+    except ValueError:
+        return None
+    return body if isinstance(body, dict) else None
+
+
+def _watch_session_payload(
+    *,
+    test_run_id: Optional[str],
+    test_run_name: Optional[str],
+    stats: Dict[str, int],
+    status: Optional[str] = None,
+) -> Dict[str, Any]:
+    payload: Dict[str, Any] = {
+        "results_processed": stats["processed"],
+        "results_created": stats["created"],
+        "test_cases_matched": stats["matched"],
+        "skipped": stats["skipped"],
+    }
+    if test_run_name:
+        payload["test_run_name"] = test_run_name
+    if test_run_id and str(test_run_id).isdigit():
+        payload["test_run_id"] = int(test_run_id)
+    if status:
+        payload["status"] = status
+    return payload
+
+
 @cli.command(
     "watch",
     context_settings={"ignore_unknown_options": True, "allow_extra_args": True},
@@ -1147,7 +1105,7 @@ def _fetch_task(host: str, project_id: str, task_id: str, token: str) -> Dict[st
 )
 @click.option("--interval", default=DEFAULT_WATCH_INTERVAL_SEC, show_default=True, type=float, help="Как часто смотреть каталог (сек).")
 @click.option("--settle", default=DEFAULT_SETTLE_SEC, show_default=True, type=float, help="Сколько секунд размер файла не должен меняться, прежде чем его забрать.")
-@click.option("--attachment-wait", default=DEFAULT_ATTACHMENT_WAIT_SEC, show_default=True, type=float, help="Сколько ждать вложение, на которое ссылается свежий *-result.json.")
+@click.option("--attachment-wait", default=DEFAULT_ATTACHMENT_WAIT_SEC, show_default=True, type=float, help="Не используется: файл уходит, как только перестал меняться.")
 @click.option("--batch-window", default=DEFAULT_WATCH_BATCH_WINDOW_SEC, show_default=True, type=float, help="Сколько секунд копить готовые файлы после последнего нового, прежде чем отправить пачку.")
 @click.option("--batch-max-wait", default=DEFAULT_WATCH_BATCH_MAX_WAIT_SEC, show_default=True, type=float, help="Дольше этого готовые файлы не держатся, даже если новые всё ещё появляются. 0 — ждать только тишины.")
 @click.option("--idle-timeout", default=0, show_default=True, type=int, help="Выйти, если столько секунд нет новых файлов и загрузок. 0 — не выходить по тишине.")
@@ -1193,8 +1151,8 @@ def watch(
 
     Готовые файлы не уходят по одному. Если они появляются подряд, watch держит их
     --batch-window секунд после последнего нового и отправляет вместе. Дольше
-    --batch-max-wait секунд пачка не копится. Предел одной отправки — 20 файлов
-    или 32 МБ, как у upload_results.
+    --batch-max-wait секунд пачка не копится. Предел одной отправки — 200 файлов
+    или 32 МБ.
     """
     command = [arg for arg in ctx.args if arg != "--"]
     host = host.rstrip("/")
@@ -1209,6 +1167,7 @@ def watch(
     run_create_failed = False
     sent_batches = 0
     drain_until = 0.0
+    announced_flush = False
     hold_opened = 0.0
     hold_quiet = 0.0
     hold_key: Optional[Tuple[str, ...]] = None
@@ -1250,6 +1209,21 @@ def watch(
         click.echo(f"Также выйду после {idle_timeout} с тишины.")
 
     watch_code = 0
+    session_id = None
+    session_stats = {"processed": 0, "created": 0, "matched": 0, "skipped": 0}
+    last_heartbeat = 0.0
+    session_dirty = False
+    open_payload: Dict[str, Any] = {}
+    if test_run_name:
+        open_payload["test_run_name"] = test_run_name
+    if test_run_id and str(test_run_id).isdigit():
+        open_payload["test_run_id"] = int(test_run_id)
+    opened = _post_watch_session(host, project_id, token, open_payload)
+    if opened and opened.get("task_id"):
+        session_id = str(opened["task_id"])
+        click.echo(f"Платформа показывает загрузку: {session_id}")
+    else:
+        click.echo("Карточка загрузки на платформе не открылась. Файлы всё равно будут отправлены.", err=True)
     try:
         if command:
             child["proc"] = subprocess.Popen(
@@ -1267,6 +1241,10 @@ def watch(
             flushing = stop["requested"] or timed_out
 
             snapshot = _snapshot_raw_files(root, include_attachments) if root.is_dir() else {}
+            if flushing and not announced_flush:
+                pending = sum(1 for rel in snapshot if rel not in uploaded)
+                click.echo(f"После остановки осталось файлов: {pending}.")
+                announced_flush = True
             if any(rel not in uploaded for rel in snapshot):
                 last_activity = now
 
@@ -1300,7 +1278,7 @@ def watch(
                     hold_key = ready_key
 
             batch_full = bool(batch) and (
-                len(batch) >= DEFAULT_FILE_BATCH_COUNT
+                len(batch) >= DEFAULT_WATCH_BATCH_COUNT
                 or _selection_bytes(batch) >= DEFAULT_FILE_BATCH_BYTES
             )
             send_now = bool(batch) and _watch_batch_due(
@@ -1313,7 +1291,10 @@ def watch(
                 flushing=flushing,
             )
             if send_now and not run_create_failed and (known_run_id or not inflight):
-                chunks = _chunk_watch_selection(batch)
+                chunks = _chunk_watch_selection(
+                    batch,
+                    max_count=DEFAULT_WATCH_BATCH_COUNT,
+                )
                 if not known_run_id:
                     chunks = chunks[:1]
                 for chunk in chunks:
@@ -1366,6 +1347,11 @@ def watch(
                     f"создано {status.get('results_created', 0)}, "
                     f"обработано {status.get('results_processed', 0)}"
                 )
+                session_stats["processed"] += int(status.get("results_processed") or 0)
+                session_stats["created"] += int(status.get("results_created") or 0)
+                session_stats["matched"] += int(status.get("test_cases_matched") or 0)
+                session_stats["skipped"] += int(status.get("skipped") or 0)
+                session_dirty = True
                 if state != "completed":
                     had_failure = True
                     for err in (status.get("errors") or [])[:3]:
@@ -1375,6 +1361,26 @@ def watch(
                         click.echo("Тест-ран не создан, новые пачки не отправляю.", err=True)
             inflight = still_running
 
+            if session_id and (
+                now - last_heartbeat >= DEFAULT_WATCH_HEARTBEAT_SEC
+                or (session_dirty and now - last_heartbeat >= 2)
+            ):
+                sent = _post_watch_session(
+                    host,
+                    project_id,
+                    token,
+                    _watch_session_payload(
+                        test_run_id=known_run_id,
+                        test_run_name=test_run_name,
+                        stats=session_stats,
+                    ),
+                    session_id=session_id,
+                    action="heartbeat",
+                )
+                last_heartbeat = now
+                if sent is not None:
+                    session_dirty = False
+
             if run_create_failed and not inflight:
                 click.echo("watch остановлен: первая загрузка не создала тест-ран.", err=True)
                 watch_code = 1
@@ -1399,6 +1405,25 @@ def watch(
             time.sleep(interval)
     finally:
         _stop_child()
+        if session_id:
+            finish_status = "failed" if had_failure or run_create_failed else "completed"
+            closed = _post_watch_session(
+                host,
+                project_id,
+                token,
+                _watch_session_payload(
+                    test_run_id=known_run_id,
+                    test_run_name=test_run_name,
+                    stats=session_stats,
+                    status=finish_status,
+                ),
+                session_id=session_id,
+                action="complete",
+            )
+            if closed is not None:
+                click.echo("Платформа закрыла карточку загрузки.")
+            else:
+                click.echo("Не удалось закрыть карточку загрузки на платформе.", err=True)
 
     test_status = 0
     if child["proc"] is not None:

{savetest_cli-0.3.0rc1 → savetest_cli-0.3.0rc3/savetest_cli.egg-info}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.4
 Name: savetest-cli
-Version: 0.3.0rc1
+Version: 0.3.0rc3
 Summary: CLI for SaveTest: upload Allure results as a ZIP, as raw files, or by watching a directory
 License-Expression: MIT
 Requires-Python: >=3.8
@@ -220,7 +220,7 @@ savetest watch ./allure-results \
 - Если тесты и загрузка — разные джобы, отдайте каталог `allure-results` артефактом тоже с `when: always`.
 - `--wait` оставляйте включённым: джоба должна завершиться только когда импорт дошёл до конца.
 - Вложения включайте только если они реально нужны. По умолчанию CLI их не шлёт.
-- `0.3.0rc1` — предварительная версия для SaveTest 1.5.0: `pip install savetest-cli==0.3.0rc1`. Обычный `pip install savetest-cli` остаётся на последней стабильной версии.
+- `0.3.0rc3` — предварительная версия для SaveTest 1.5.0: `pip install savetest-cli==0.3.0rc3`. Обычный `pip install savetest-cli` остаётся на последней стабильной версии.
 
 ### Результаты по мере прогона
 

savetest_cli-0.3.0rc1/savetest_cli/__init__.py

@@ -1 +0,0 @@
-__version__ = "0.3.0rc1"