pentool 1.0.0__py3-none-any.whl

pentool/core/crash_reporter.py

@@ -0,0 +1,75 @@
+"""Crash reporter — collects and sends anonymous crash reports."""
+
+from __future__ import annotations
+
+import asyncio
+import os
+import platform
+import sys
+import traceback
+from typing import Any
+
+
+def _get_metadata() -> dict[str, Any]:
+    """Collect anonymous metadata for crash report."""
+    try:
+        from pentool import __version__ as version
+    except Exception:
+        version = "unknown"
+    return {
+        "version": version,
+        "python": sys.version.split()[0],
+        "os": platform.system(),
+        "os_version": platform.release(),
+        "arch": platform.machine(),
+    }
+
+
+def _anonymize(text: str) -> str:
+    """Remove paths and potential tokens from traceback text."""
+    import re
+    # Remove absolute paths — keep only filename
+    text = re.sub(r'  File "([^"]+)"', lambda m: f'  File "{os.path.basename(m.group(1))}"', text)
+    # Remove anything that looks like a token/key (long hex strings)
+    text = re.sub(r'\b[A-Fa-f0-9]{32,}\b', '<TOKEN>', text)
+    return text
+
+
+async def send_crash_async(exc: BaseException, endpoint: str = "https://pentool.dev/api/crash") -> None:
+    """Send crash report asynchronously. Silently ignores any errors."""
+    try:
+        import aiohttp  # type: ignore[import]
+    except ImportError:
+        return  # aiohttp not available — skip silently
+
+    try:
+        tb_lines = traceback.format_exception(type(exc), exc, exc.__traceback__)
+        tb_text = _anonymize("".join(tb_lines))
+        payload = {
+            "traceback": tb_text,
+            "exception": type(exc).__name__,
+            **_get_metadata(),
+        }
+        timeout = aiohttp.ClientTimeout(total=8)
+        async with aiohttp.ClientSession(timeout=timeout) as session:
+            await session.post(endpoint, json=payload, ssl=False)
+    except Exception:
+        pass  # never propagate errors from crash reporter
+
+
+def send_crash(exc: BaseException) -> None:
+    """Fire-and-forget crash report from sync context."""
+    try:
+        from pentool.core.config import get_config
+        cfg = get_config()
+        if not getattr(cfg, "send_crash_reports", True):
+            return
+    except Exception:
+        pass
+
+    try:
+        loop = asyncio.new_event_loop()
+        loop.run_until_complete(send_crash_async(exc))
+        loop.close()
+    except Exception:
+        pass

pentool/core/database.py

@@ -0,0 +1,139 @@
+"""Работа с базой данных SQLite через aiosqlite."""
+
+from __future__ import annotations
+
+import asyncio
+from contextlib import asynccontextmanager
+from pathlib import Path
+from typing import AsyncIterator
+
+import aiosqlite
+
+
+# DDL для создания таблиц
+_SCHEMA = """
+CREATE TABLE IF NOT EXISTS projects (
+    id          INTEGER PRIMARY KEY AUTOINCREMENT,
+    name        TEXT    NOT NULL,
+    path        TEXT    NOT NULL,
+    created_at  TEXT    NOT NULL DEFAULT (datetime('now')),
+    settings_json TEXT  DEFAULT '{}'
+);
+
+CREATE TABLE IF NOT EXISTS repeater_entries (
+    id                  INTEGER PRIMARY KEY AUTOINCREMENT,
+    project_id          INTEGER REFERENCES projects(id) ON DELETE CASCADE,
+    tab_name            TEXT    NOT NULL DEFAULT 'Tab',
+    method              TEXT    NOT NULL,
+    url                 TEXT    NOT NULL,
+    request_headers     TEXT    DEFAULT '',
+    request_body        TEXT    DEFAULT '',
+    response_status     INTEGER DEFAULT NULL,
+    response_headers    TEXT    DEFAULT '',
+    response_body       TEXT    DEFAULT '',
+    timestamp           TEXT    NOT NULL DEFAULT (datetime('now'))
+);
+
+CREATE TABLE IF NOT EXISTS intruder_results (
+    id                  INTEGER PRIMARY KEY AUTOINCREMENT,
+    project_id          INTEGER REFERENCES projects(id) ON DELETE CASCADE,
+    attack_id           TEXT    NOT NULL,
+    payload_values      TEXT    DEFAULT '[]',
+    request_raw         TEXT    DEFAULT '',
+    response_status     INTEGER DEFAULT NULL,
+    response_length     INTEGER DEFAULT NULL,
+    response_time_ms    INTEGER DEFAULT NULL,
+    error               TEXT    DEFAULT NULL,
+    timestamp           TEXT    NOT NULL DEFAULT (datetime('now'))
+);
+
+CREATE TABLE IF NOT EXISTS vulnerabilities (
+    id              INTEGER PRIMARY KEY AUTOINCREMENT,
+    project_id      INTEGER REFERENCES projects(id) ON DELETE CASCADE,
+    type            TEXT    NOT NULL,
+    name            TEXT    NOT NULL DEFAULT '',
+    severity        TEXT    NOT NULL DEFAULT 'info',
+    host            TEXT    NOT NULL,
+    url             TEXT    NOT NULL,
+    parameter       TEXT    DEFAULT '',
+    payload         TEXT    DEFAULT '',
+    evidence        TEXT    DEFAULT '',
+    description     TEXT    DEFAULT '',
+    cwe             TEXT    DEFAULT '',
+    remediation     TEXT    DEFAULT '',
+    mitre_attack    TEXT    DEFAULT '',
+    request_raw     TEXT    DEFAULT '',
+    response_raw    TEXT    DEFAULT '',
+    false_positive  INTEGER NOT NULL DEFAULT 0,
+    timestamp       TEXT    NOT NULL DEFAULT (datetime('now'))
+);
+
+CREATE TABLE IF NOT EXISTS site_map (
+    id              TEXT    PRIMARY KEY,
+    host            TEXT    NOT NULL,
+    path            TEXT    NOT NULL,
+    methods         TEXT    NOT NULL DEFAULT '[]',
+    request_count   INTEGER NOT NULL DEFAULT 0,
+    last_seen       TEXT    NOT NULL,
+    in_scope        INTEGER NOT NULL DEFAULT 0
+);
+
+CREATE UNIQUE INDEX IF NOT EXISTS idx_site_map_host_path ON site_map (host, path);
+"""
+
+
+async def init_db(db_path: str) -> None:
+    """Создать таблицы БД, если они не существуют.
+
+    Args:
+        db_path: Путь к файлу SQLite.
+    """
+    path = Path(db_path)
+    path.parent.mkdir(parents=True, exist_ok=True)
+    async with aiosqlite.connect(db_path) as db:
+        await db.executescript(_SCHEMA)
+        await db.commit()
+        # Миграция: добавляем новые колонки в vulnerabilities (для старых БД)
+        _new_vuln_cols = [
+            ("name",         "TEXT NOT NULL DEFAULT ''"),
+            ("payload",      "TEXT DEFAULT ''"),
+            ("description",  "TEXT DEFAULT ''"),
+            ("cwe",          "TEXT DEFAULT ''"),
+            ("remediation",  "TEXT DEFAULT ''"),
+            ("mitre_attack", "TEXT DEFAULT ''"),
+            ("request_raw",  "TEXT DEFAULT ''"),
+            ("response_raw", "TEXT DEFAULT ''"),
+        ]
+        for col_name, col_def in _new_vuln_cols:
+            try:
+                await db.execute(
+                    f"ALTER TABLE vulnerabilities ADD COLUMN {col_name} {col_def}"
+                )
+            except Exception:
+                pass  # Колонка уже существует — ожидаемо
+        await db.commit()
+
+
+@asynccontextmanager
+async def get_db(db_path: str) -> AsyncIterator[aiosqlite.Connection]:
+    """Контекстный менеджер для получения соединения с БД.
+
+    Args:
+        db_path: Путь к файлу SQLite.
+
+    Yields:
+        Объект соединения aiosqlite.Connection.
+    """
+    async with aiosqlite.connect(db_path) as db:
+        db.row_factory = aiosqlite.Row
+        await db.execute("PRAGMA foreign_keys = ON")
+        yield db
+
+
+def init_db_sync(db_path: str) -> None:
+    """Синхронная обёртка над init_db для использования в CLI.
+
+    Args:
+        db_path: Путь к файлу SQLite.
+    """
+    asyncio.run(init_db(db_path))

pentool/core/event_bus.py

@@ -0,0 +1,232 @@
+"""Event Bus — внутренняя шина событий приложения.
+
+Thread-safe pub/sub с персистентной историей событий.
+Поддерживает подписку, отписку, replay истории и thread-safe emit
+из worker-потоков (для @work(thread=True) в Textual).
+
+Использование:
+    from pentool.core.event_bus import get_event_bus
+    from pentool.core.events import FindingDiscovered
+
+    bus = get_event_bus()
+    bus.subscribe(FindingDiscovered, my_handler)
+    bus.emit(FindingDiscovered(finding=f, source="scanner"))
+    bus.emit_threadsafe(FindingDiscovered(finding=f), loop)
+"""
+
+from __future__ import annotations
+
+import asyncio
+import threading
+from collections import defaultdict, deque
+from typing import Callable, TypeVar
+
+from pentool.core.events import AppEvent
+from pentool.core.logging import get_logger
+
+logger = get_logger(__name__)
+
+T = TypeVar("T", bound=AppEvent)
+
+
+class EventBus:
+    """Thread-safe шина событий с историей.
+
+    Attributes:
+        _subscribers:  Словарь type → список обработчиков.
+        _history:      Кольцевой буфер всех эмиченных событий.
+        _lock:         RLock для thread-safe операций.
+    """
+
+    def __init__(self, max_history: int = 10_000) -> None:
+        self._subscribers: dict[type, list[Callable]] = defaultdict(list)
+        self._history: deque[AppEvent] = deque(maxlen=max_history)
+        self._lock = threading.RLock()
+
+    # ── subscribe / unsubscribe ────────────────────────────────────────────────
+
+    def subscribe(self, event_type: type[T], handler: Callable[[T], None]) -> None:
+        """Подписаться на события заданного типа.
+
+        Args:
+            event_type: Класс события (подкласс AppEvent).
+            handler:    Функция-обработчик, принимающая экземпляр события.
+        """
+        with self._lock:
+            if handler not in self._subscribers[event_type]:
+                self._subscribers[event_type].append(handler)
+
+    def unsubscribe(self, event_type: type, handler: Callable) -> None:
+        """Отписаться от событий.
+
+        Безопасен при повторном вызове — не бросает исключение если
+        обработчик не был подписан.
+        """
+        with self._lock:
+            try:
+                self._subscribers[event_type].remove(handler)
+            except ValueError:
+                pass
+
+    def unsubscribe_all(self, handler: Callable) -> None:
+        """Отписать обработчик от всех типов событий сразу."""
+        with self._lock:
+            for handlers in self._subscribers.values():
+                try:
+                    handlers.remove(handler)
+                except ValueError:
+                    pass
+
+    # ── emit ──────────────────────────────────────────────────────────────────
+
+    def emit(self, event: AppEvent) -> None:
+        """Синхронный emit из основного потока.
+
+        Вызывает всех подписчиков немедленно (в том же потоке).
+        Сохраняет событие в историю.
+
+        Args:
+            event: Экземпляр события (подкласс AppEvent).
+        """
+        with self._lock:
+            self._history.append(event)
+            handlers = list(self._subscribers.get(type(event), []))
+
+        for handler in handlers:
+            try:
+                handler(event)
+            except Exception as exc:
+                logger.warning(
+                    "EventBus: handler %s raised %s for event %s",
+                    handler, exc, type(event).__name__,
+                )
+
+    def emit_threadsafe(
+        self,
+        event: AppEvent,
+        loop: asyncio.AbstractEventLoop,
+    ) -> None:
+        """Thread-safe emit из worker-потока.
+
+        Сохраняет событие в историю немедленно (под локом),
+        затем планирует вызов обработчиков в event loop через
+        call_soon_threadsafe.
+
+        Args:
+            event: Экземпляр события.
+            loop:  Event loop основного потока (app._loop).
+        """
+        with self._lock:
+            self._history.append(event)
+            handlers = list(self._subscribers.get(type(event), []))
+
+        if not handlers:
+            return
+
+        def _dispatch() -> None:
+            for handler in handlers:
+                try:
+                    handler(event)
+                except Exception as exc:
+                    logger.warning(
+                        "EventBus: threadsafe handler %s raised %s for %s",
+                        handler, exc, type(event).__name__,
+                    )
+
+        try:
+            loop.call_soon_threadsafe(_dispatch)
+        except RuntimeError:
+            # loop закрыт — приложение завершается
+            pass
+
+    # ── history / replay ──────────────────────────────────────────────────────
+
+    def get_history(
+        self,
+        event_type: type | None = None,
+        limit: int = 0,
+    ) -> list[AppEvent]:
+        """Получить историю событий.
+
+        Args:
+            event_type: Фильтр по типу (None = все типы).
+            limit:      Максимум записей (0 = без ограничения).
+
+        Returns:
+            Список событий в хронологическом порядке.
+        """
+        with self._lock:
+            events = list(self._history)
+
+        if event_type is not None:
+            events = [e for e in events if isinstance(e, event_type)]
+
+        if limit > 0:
+            events = events[-limit:]
+
+        return events
+
+    def replay(
+        self,
+        handler: Callable,
+        event_type: type,
+        limit: int = 0,
+    ) -> None:
+        """Воспроизвести историю событий для нового подписчика.
+
+        Вызывает handler для каждого сохранённого события заданного типа.
+        Полезно при инициализации экрана, который подключился позже
+        (например, Dashboard после запуска сканирования).
+
+        Args:
+            handler:    Функция-обработчик.
+            event_type: Тип событий для replay.
+            limit:      Максимум событий (0 = все).
+        """
+        events = self.get_history(event_type=event_type, limit=limit)
+        for event in events:
+            try:
+                handler(event)
+            except Exception as exc:
+                logger.warning(
+                    "EventBus.replay: handler %s raised %s", handler, exc
+                )
+
+    def clear_history(self) -> None:
+        """Очистить историю событий (например, при открытии нового проекта)."""
+        with self._lock:
+            self._history.clear()
+
+    # ── stats ─────────────────────────────────────────────────────────────────
+
+    def stats(self) -> dict[str, int]:
+        """Статистика для отладки."""
+        with self._lock:
+            return {
+                "history_size":    len(self._history),
+                "subscriber_types": len(self._subscribers),
+                "total_handlers":  sum(len(v) for v in self._subscribers.values()),
+            }
+
+
+# ── Глобальный синглтон ────────────────────────────────────────────────────────
+
+_bus: EventBus | None = None
+_bus_lock = threading.Lock()
+
+
+def get_event_bus() -> EventBus:
+    """Получить глобальный экземпляр EventBus (ленивая инициализация)."""
+    global _bus
+    if _bus is None:
+        with _bus_lock:
+            if _bus is None:
+                _bus = EventBus()
+    return _bus
+
+
+def reset_event_bus() -> None:
+    """Сбросить глобальный синглтон (только для тестов)."""
+    global _bus
+    with _bus_lock:
+        _bus = None

pentool/core/events.py

@@ -0,0 +1,164 @@
+"""Типизированные события приложения для Event Bus.
+
+Все события наследуются от AppEvent. Используются для межмодульной
+коммуникации без прямых зависимостей между TUI-экранами.
+"""
+
+from __future__ import annotations
+
+import time
+from dataclasses import dataclass, field
+from typing import Any
+
+
+@dataclass
+class AppEvent:
+    """Базовый класс для всех событий."""
+    timestamp: float = field(default_factory=time.time)
+    source: str = ""  # имя модуля-источника, для отладки
+
+
+# ── Scanner events ─────────────────────────────────────────────────────────────
+
+@dataclass
+class ScanStarted(AppEvent):
+    """Сканирование запущено."""
+    targets: list[str] = field(default_factory=list)
+    checks: list[str] = field(default_factory=list)
+
+
+@dataclass
+class ScanFinished(AppEvent):
+    """Сканирование завершено (нормально или по стопу)."""
+    total_findings: int = 0
+    stopped_early: bool = False
+
+
+@dataclass
+class ScanProgressEvent(AppEvent):
+    """Прогресс сканирования."""
+    done: int = 0
+    total: int = 0
+    scanning: bool = True
+
+
+@dataclass
+class FindingDiscovered(AppEvent):
+    """Обнаружена уязвимость (активный или пассивный скан)."""
+    finding: Any = None
+    scan_source: str = "active"  # "active" | "passive"
+
+
+# ── Spider events ──────────────────────────────────────────────────────────────
+
+@dataclass
+class UrlCrawled(AppEvent):
+    """Spider нашёл новый URL."""
+    url: str = ""
+    base_target: str = ""
+
+
+@dataclass
+class SpiderFinished(AppEvent):
+    """Краулинг завершён."""
+    base_url: str = ""
+    pages_count: int = 0
+    forms_count: int = 0
+    endpoints_count: int = 0
+
+
+# ── Intruder events ────────────────────────────────────────────────────────────
+
+@dataclass
+class IntruderResultAdded(AppEvent):
+    """Получен результат одного запроса атаки."""
+    result: Any = None   # IntruderResult
+
+
+@dataclass
+class IntruderFinished(AppEvent):
+    """Атака завершена."""
+    total_results: int = 0
+    stopped_early: bool = False
+
+
+# ── Proxy events ───────────────────────────────────────────────────────────────
+
+@dataclass
+class ProxyRequestCaptured(AppEvent):
+    """Прокси перехватил новый запрос.
+
+    request: полный объект InterceptedRequest (Any чтобы не создавать
+    циклических импортов modules → core).
+    """
+    request_id: str = ""
+    method: str = ""
+    url: str = ""
+    host: str = ""
+    request: Any = None  # InterceptedRequest
+
+
+@dataclass
+class ProxyRequestCompleted(AppEvent):
+    """Запрос через прокси завершён (получен ответ).
+
+    request: полный объект InterceptedRequest (Any чтобы не создавать
+    циклических импортов modules → core).
+    """
+    request_id: str = ""
+    status_code: int = 0
+    request: Any = None  # InterceptedRequest
+
+
+# Алиас для обратной совместимости: Sequencer подписывается на это событие
+ProxyRequestDoneEvent = ProxyRequestCompleted
+
+
+# ── Target / SiteMap events ────────────────────────────────────────────────────
+
+@dataclass
+class TargetUrlAdded(AppEvent):
+    """URL добавлен в SiteMap/Target."""
+    url: str = ""
+    host: str = ""
+
+
+# ── Project events ─────────────────────────────────────────────────────────────
+
+@dataclass
+class ProjectSaved(AppEvent):
+    """Проект сохранён."""
+    path: str = ""
+
+
+@dataclass
+class ProjectLoaded(AppEvent):
+    """Проект загружен."""
+    path: str = ""
+    findings_count: int = 0
+    history_count: int = 0
+
+
+# ── Scanner passive events ──────────────────���───────────────────────────────────
+
+@dataclass
+class PassiveScanToggled(AppEvent):
+    """Пассивный скан включён/выключен."""
+    enabled: bool = False
+
+
+# ── WebSocket events ───────────────────────────────────────────────────────────
+
+@dataclass
+class WebSocketFrameEvent(AppEvent):
+    """Перехвачен WebSocket-фрейм (отдельное сообщение).
+
+    direction: "client→server" или "server→client"
+    opcode:    0x1=text, 0x2=binary, 0x8=close, 0x9=ping, 0xA=pong
+    payload:   тело фрейма (уже без маски)
+    """
+    request_id: str = ""   # ID родительского WS-соединения (upgrade-запрос)
+    direction: str = ""    # "client→server" | "server→client"
+    opcode: int = 0x1      # 1=text, 2=binary, 8=close, 9=ping, 10=pong
+    payload: bytes = field(default_factory=bytes)
+    payload_text: str = "" # UTF-8 декодированный payload (для text-фреймов)