soc-mre 1.0.0__tar.gz

soc_mre-1.0.0/PKG-INFO

@@ -0,0 +1,119 @@
+Metadata-Version: 2.4
+Name: soc-mre
+Version: 1.0.0
+Summary: Credential Intelligence Tool for SOC
+Requires-Python: >=3.10
+Description-Content-Type: text/markdown
+Requires-Dist: rich>=13.0
+Requires-Dist: tqdm>=4.0
+Requires-Dist: psutil>=5.9
+Requires-Dist: python-magic>=0.4
+Requires-Dist: py7zr<1,>=0.20
+Requires-Dist: rarfile>=4.0
+Requires-Dist: pdfplumber>=0.10
+Requires-Dist: openpyxl>=3.1
+
+# SOC MRE
+
+Ferramenta defensiva de análise de credenciais vazadas para equipes de SOC. Lê ficheiros na pasta de leaks, cruza com domínios monitorados (pastas sob **CTI**) e grava resultados em SQLite e ficheiros de blacklist por domínio.
+
+## Dependências de sistema (Linux)
+
+O pacote Python inclui bibliotecas para vários formatos; no sistema é recomendado:
+
+```bash
+sudo apt install libmagic1 unrar
+```
+
+- **libmagic1** — deteção MIME (`python-magic`).
+- **unrar** — leitura de alguns ficheiros `.rar` via `rarfile` (sem extrair para disco).
+
+No Windows, instale o binário **UnRAR** se precisar de `.rar`, e as DLLs necessárias para `python-magic`.
+
+## Instalação
+
+```bash
+cd soc-mre
+pip install .
+```
+
+## Instalação a partir de um repositório Git
+
+Substitua o URL pelo do seu fork ou organização:
+
+```bash
+pip install git+https://github.com/SEU-USUARIO/soc-mre.git
+```
+
+## Configuração
+
+Gere um ficheiro JSON de exemplo e edite os caminhos (`leaks`, `cti`, `database_dir`):
+
+```bash
+soc-mre --init-config
+```
+
+Ficheiro padrão: `soc_mre.json` no diretório atual (alterável com `--config`).
+
+## Uso interativo
+
+```bash
+soc-mre --leaks /caminho/leaks --cti /caminho/CTI --database-dir /caminho/database
+```
+
+Ou preencha os mesmos caminhos no `soc_mre.json` e execute:
+
+```bash
+soc-mre
+```
+
+## Linha de comando e modo stdin
+
+```bash
+soc-mre --help
+python -m soc_mre --help
+```
+
+Modo pipe (exige CTI válido para localizar a pasta do domínio e exportar blacklist):
+
+```bash
+rg -i "@exemplo.com" /caminho/leaks | soc-mre --stdin --domain @exemplo.com -c /caminho/CTI -d /caminho/database
+```
+
+## Persistência (SQLite)
+
+- **`database.db`** — criado/atualizado dentro do diretório passado em `--database-dir` / `database_dir`. Tabela `credentials` com chave `(email, password)`, modo WAL.
+- **Migração** — se existir `masterList.txt` nesse diretório na primeira execução, o conteúdo é importado para o SQLite e o ficheiro legado é renomeado para `masterList.txt.bak` (mensagem na consola).
+
+## Blacklists por domínio
+
+- Ficheiros exportados seguem o padrão lógico **`blackList-<dominio-sanitizado>.txt`**, mas **cada exportação com dados** gera um **novo ficheiro** com timestamp e microssegundos no nome, por exemplo:
+
+  `blackList-exemplo.com.br_2026-05-03_14-30-00-123456.txt`
+
+- **Não** se sobrescrevem exportações anteriores; o histórico acumula-se no disco.
+- Se **não** houver credenciais para aquele domínio na base, a exportação **não** cria ficheiro novo (retorno `0`).
+- O menu continua a carregar credenciais já guardadas a partir do caminho “canónico” da pasta do domínio (`blackList-*.txt` existentes); novas execuções acrescentam ficheiros com timestamp.
+
+## Formatos de leak suportados
+
+| Formato | Comportamento |
+|---------|-----------------|
+| `.txt`, `.csv` | Leitura em fluxo (linhas em bytes). |
+| `.gz` | Descompressão em fluxo. |
+| `.zip` | Leitura com `zipfile` **sem** extrair para disco; vários membros e subpastas internas. |
+| `.7z`, `.rar`, `.pdf`, `.xlsx` | Tratados como **formatos lentos**: é pedida confirmação no terminal antes de processar; leitura em memória/streaming conforme o tipo (**sem** `extractall` para disco nos arquivos compactados). |
+
+Extensões reconhecidas na pasta de leaks estão alinhadas com o que o motor de deteção e o `rg` (quando instalado) consideram.
+
+## Outras dependências Python
+
+Instaladas automaticamente com `pip install .` (ver `pyproject.toml`): Rich, tqdm, psutil, python-magic, py7zr, rarfile, pdfplumber, openpyxl.
+
+## Avisos de memória
+
+Durante análise de ficheiros muito grandes, pode ser mostrado um aviso se a RAM do sistema ultrapassar um limiar (percentagem configurada no código); o processo **não** termina so por isso.
+
+## Repositório
+
+O código-fonte vive no pacote **`soc_mre/`** (nome com underscore). A pasta **`soc-mre/`** (hífen) é a raiz do projeto instalável.

soc_mre-1.0.0/README.md

@@ -0,0 +1,104 @@
+# SOC MRE
+
+Ferramenta defensiva de análise de credenciais vazadas para equipes de SOC. Lê ficheiros na pasta de leaks, cruza com domínios monitorados (pastas sob **CTI**) e grava resultados em SQLite e ficheiros de blacklist por domínio.
+
+## Dependências de sistema (Linux)
+
+O pacote Python inclui bibliotecas para vários formatos; no sistema é recomendado:
+
+```bash
+sudo apt install libmagic1 unrar
+```
+
+- **libmagic1** — deteção MIME (`python-magic`).
+- **unrar** — leitura de alguns ficheiros `.rar` via `rarfile` (sem extrair para disco).
+
+No Windows, instale o binário **UnRAR** se precisar de `.rar`, e as DLLs necessárias para `python-magic`.
+
+## Instalação
+
+```bash
+cd soc-mre
+pip install .
+```
+
+## Instalação a partir de um repositório Git
+
+Substitua o URL pelo do seu fork ou organização:
+
+```bash
+pip install git+https://github.com/SEU-USUARIO/soc-mre.git
+```
+
+## Configuração
+
+Gere um ficheiro JSON de exemplo e edite os caminhos (`leaks`, `cti`, `database_dir`):
+
+```bash
+soc-mre --init-config
+```
+
+Ficheiro padrão: `soc_mre.json` no diretório atual (alterável com `--config`).
+
+## Uso interativo
+
+```bash
+soc-mre --leaks /caminho/leaks --cti /caminho/CTI --database-dir /caminho/database
+```
+
+Ou preencha os mesmos caminhos no `soc_mre.json` e execute:
+
+```bash
+soc-mre
+```
+
+## Linha de comando e modo stdin
+
+```bash
+soc-mre --help
+python -m soc_mre --help
+```
+
+Modo pipe (exige CTI válido para localizar a pasta do domínio e exportar blacklist):
+
+```bash
+rg -i "@exemplo.com" /caminho/leaks | soc-mre --stdin --domain @exemplo.com -c /caminho/CTI -d /caminho/database
+```
+
+## Persistência (SQLite)
+
+- **`database.db`** — criado/atualizado dentro do diretório passado em `--database-dir` / `database_dir`. Tabela `credentials` com chave `(email, password)`, modo WAL.
+- **Migração** — se existir `masterList.txt` nesse diretório na primeira execução, o conteúdo é importado para o SQLite e o ficheiro legado é renomeado para `masterList.txt.bak` (mensagem na consola).
+
+## Blacklists por domínio
+
+- Ficheiros exportados seguem o padrão lógico **`blackList-<dominio-sanitizado>.txt`**, mas **cada exportação com dados** gera um **novo ficheiro** com timestamp e microssegundos no nome, por exemplo:
+
+  `blackList-exemplo.com.br_2026-05-03_14-30-00-123456.txt`
+
+- **Não** se sobrescrevem exportações anteriores; o histórico acumula-se no disco.
+- Se **não** houver credenciais para aquele domínio na base, a exportação **não** cria ficheiro novo (retorno `0`).
+- O menu continua a carregar credenciais já guardadas a partir do caminho “canónico” da pasta do domínio (`blackList-*.txt` existentes); novas execuções acrescentam ficheiros com timestamp.
+
+## Formatos de leak suportados
+
+| Formato | Comportamento |
+|---------|-----------------|
+| `.txt`, `.csv` | Leitura em fluxo (linhas em bytes). |
+| `.gz` | Descompressão em fluxo. |
+| `.zip` | Leitura com `zipfile` **sem** extrair para disco; vários membros e subpastas internas. |
+| `.7z`, `.rar`, `.pdf`, `.xlsx` | Tratados como **formatos lentos**: é pedida confirmação no terminal antes de processar; leitura em memória/streaming conforme o tipo (**sem** `extractall` para disco nos arquivos compactados). |
+
+Extensões reconhecidas na pasta de leaks estão alinhadas com o que o motor de deteção e o `rg` (quando instalado) consideram.
+
+## Outras dependências Python
+
+Instaladas automaticamente com `pip install .` (ver `pyproject.toml`): Rich, tqdm, psutil, python-magic, py7zr, rarfile, pdfplumber, openpyxl.
+
+## Avisos de memória
+
+Durante análise de ficheiros muito grandes, pode ser mostrado um aviso se a RAM do sistema ultrapassar um limiar (percentagem configurada no código); o processo **não** termina so por isso.
+
+## Repositório
+
+O código-fonte vive no pacote **`soc_mre/`** (nome com underscore). A pasta **`soc-mre/`** (hífen) é a raiz do projeto instalável.

soc_mre-1.0.0/pyproject.toml

@@ -0,0 +1,26 @@
+[build-system]
+requires = ["setuptools>=68", "wheel"]
+build-backend = "setuptools.build_meta"
+
+[project]
+name = "soc-mre"
+version = "1.0.0"
+description = "Credential Intelligence Tool for SOC"
+readme = "README.md"
+requires-python = ">=3.10"
+dependencies = [
+    "rich>=13.0",
+    "tqdm>=4.0",
+    "psutil>=5.9",
+    "python-magic>=0.4",
+    "py7zr>=0.20,<1",
+    "rarfile>=4.0",
+    "pdfplumber>=0.10",
+    "openpyxl>=3.1",
+]
+
+[project.scripts]
+soc-mre = "soc_mre.main:main"
+
+[tool.setuptools]
+packages = ["soc_mre"]

soc_mre-1.0.0/setup.cfg

@@ -0,0 +1,4 @@
+[egg_info]
+tag_build = 
+tag_date = 0
+

soc_mre-1.0.0/soc_mre/__init__.py

@@ -0,0 +1 @@
+"""SOC MRE — pacote de análise de credenciais para SOC."""

soc_mre-1.0.0/soc_mre/__main__.py

@@ -0,0 +1,6 @@
+"""Permite: python -m soc_mre [args]"""
+
+from .main import main
+
+if __name__ == "__main__":
+    raise SystemExit(main())

soc_mre-1.0.0/soc_mre/config.py

@@ -0,0 +1,37 @@
+from __future__ import annotations
+
+import json
+from pathlib import Path
+from typing import Any, Dict
+
+
+DEFAULT_CONFIG_FILE = "soc_mre.json"
+
+MASTERLIST_FILENAME = "masterList.txt"
+
+
+def load_config(config_path: Path) -> Dict[str, Any]:
+    if not config_path.exists():
+        return {}
+    try:
+        raw = json.loads(config_path.read_text(encoding="utf-8"))
+    except (json.JSONDecodeError, OSError):
+        return {}
+    if not isinstance(raw, dict):
+        return {}
+    return raw
+
+
+def save_default_config(config_path: Path) -> None:
+    template = {
+        "leaks": "/home/kali/Area de trabalho/leaks_23-04-2026",
+        "cti": "/home/kali/Area de trabalho/CTI",
+        "database_dir": "/home/kali/Area de trabalho/database",
+        "blacklist_pattern": "blackList-<dominio>.txt",
+        "recent_hours": 24,
+        "state_file": ".processed_state.json",
+    }
+    config_path.write_text(
+        json.dumps(template, ensure_ascii=True, indent=2),
+        encoding="utf-8",
+    )

soc_mre-1.0.0/soc_mre/database.py

@@ -0,0 +1,58 @@
+from __future__ import annotations
+
+from pathlib import Path
+from typing import Dict, Set
+
+
+CredentialDB = Dict[str, Set[str]]
+
+
+def load_database(db_path: Path) -> CredentialDB:
+    db: CredentialDB = {}
+    if not db_path.exists():
+        return db
+
+    with db_path.open("r", encoding="utf-8", errors="replace") as f:
+        for raw in f:
+            line = raw.strip()
+            if not line or ":" not in line:
+                continue
+            email, passwords_raw = line.split(":", 1)
+            email = email.strip().lower()
+            if not email:
+                continue
+            password_set = {
+                p.strip()
+                for p in passwords_raw.split(",")
+                if p.strip()
+            }
+            if not password_set:
+                continue
+            db.setdefault(email, set()).update(password_set)
+    return db
+
+
+def add_credential(db: CredentialDB, email: str, password: str) -> bool:
+    """Retorna True se foi novidade na base."""
+    email = email.lower().strip()
+    password = password.strip()
+    if not email or not password:
+        return False
+
+    known = db.setdefault(email, set())
+    if password in known:
+        return False
+
+    known.add(password)
+    return True
+
+
+def save_database(db_path: Path, db: CredentialDB) -> None:
+    tmp = db_path.with_suffix(".tmp")
+    with tmp.open("w", encoding="utf-8") as f:
+        for email in sorted(db.keys()):
+            values = sorted(db[email])
+            if not values:
+                continue
+            f.write(f"{email}:{','.join(values)}\n")
+    tmp.replace(db_path)

soc_mre-1.0.0/soc_mre/database_sql.py

@@ -0,0 +1,140 @@
+from __future__ import annotations
+
+import sqlite3
+from datetime import datetime
+from pathlib import Path
+from typing import TYPE_CHECKING, Optional
+
+if TYPE_CHECKING:
+    from .database import CredentialDB
+
+
+def init_db(db_path: Path) -> sqlite3.Connection:
+    conn = sqlite3.connect(db_path)
+    conn.execute("PRAGMA journal_mode=WAL")
+    conn.execute("PRAGMA synchronous=NORMAL")
+    conn.execute("""
+        CREATE TABLE IF NOT EXISTS credentials (
+            email    TEXT NOT NULL,
+            password TEXT NOT NULL,
+            domain   TEXT NOT NULL,
+            source   TEXT,
+            found_at TEXT DEFAULT (datetime('now')),
+            PRIMARY KEY (email, password)
+        )
+    """)
+    conn.commit()
+    return conn
+
+
+def add_credential_sql(
+    conn: sqlite3.Connection,
+    email: str,
+    password: str,
+    domain: str,
+    source: Optional[str] = None,
+    insert_count: Optional[list] = None,
+) -> bool:
+    cursor = conn.execute(
+        "INSERT OR IGNORE INTO credentials "
+        "(email, password, domain, source) VALUES (?,?,?,?)",
+        (email.lower(), password, domain, source),
+    )
+    inserted = cursor.rowcount > 0
+    if inserted and insert_count is not None:
+        insert_count[0] += 1
+        if insert_count[0] % 100_000 == 0:
+            conn.commit()
+    return inserted
+
+
+def _get_timestamped_path(output_path: Path) -> Path:
+    """
+    Gera um nome de arquivo único usando timestamp com microssegundos.
+    Evita colisão mesmo em execuções simultâneas.
+    """
+    timestamp = datetime.now().strftime("%Y-%m-%d_%H-%M-%S-%f")
+
+    base = output_path.stem
+    suffix = output_path.suffix
+    parent = output_path.parent
+
+    return parent / f"{base}_{timestamp}{suffix}"
+
+
+def export_domain_txt(
+    conn: sqlite3.Connection,
+    domain: str,
+    output_path: Path,
+) -> int:
+    rows = conn.execute(
+        "SELECT email, GROUP_CONCAT(password, ',' ORDER BY password) "
+        "FROM credentials WHERE domain=? "
+        "GROUP BY email ORDER BY email",
+        (domain,),
+    ).fetchall()
+    if not rows:
+        return 0
+    target_path = _get_timestamped_path(output_path)
+    tmp = target_path.with_suffix(".tmp")
+    with tmp.open("w", encoding="utf-8") as f:
+        for email, passwords in rows:
+            f.write(f"{email}:{passwords}\n")
+    tmp.replace(target_path)
+    return len(rows)
+
+
+def close_db(conn: sqlite3.Connection) -> None:
+    conn.commit()
+    conn.close()
+
+
+# Linhas migradas de masterList.txt sem dominio por linha.
+_MASTERLIST_DOMAIN = "__masterlist__"
+
+
+def import_masterlist_txt_to_sql(
+    conn: sqlite3.Connection,
+    masterlist_path: Path,
+    insert_count: Optional[list] = None,
+) -> int:
+    """Importa conteudo de masterList.txt (formato database.load_database) para o SQLite."""
+    from .database import load_database
+
+    if not masterlist_path.exists():
+        return 0
+    legacy: CredentialDB = load_database(masterlist_path)
+    n = 0
+    for email, passwords in legacy.items():
+        for password in passwords:
+            if add_credential_sql(
+                conn,
+                email,
+                password,
+                _MASTERLIST_DOMAIN,
+                "migration:masterList.txt",
+                insert_count,
+            ):
+                n += 1
+    conn.commit()
+    return n
+
+
+def sync_credential_dict_to_sql(
+    conn: sqlite3.Connection,
+    domain: str,
+    cred_db: "CredentialDB",
+    insert_count: Optional[list] = None,
+) -> None:
+    """Garante no SQLite as credenciais ja carregadas do blackList-<dominio>.txt em RAM."""
+    for email, passwords in cred_db.items():
+        for password in passwords:
+            add_credential_sql(
+                conn,
+                email,
+                password,
+                domain,
+                "import:blackList",
+                insert_count,
+            )
+    conn.commit()