moriarty-project 0.1.24__tar.gz → 0.1.25__tar.gz

{moriarty_project-0.1.24 → moriarty_project-0.1.25}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.4
 Name: moriarty-project
-Version: 0.1.24
+Version: 0.1.25
 Summary: Client-side OSINT toolkit with forensic-grade evidence handling.
 Project-URL: Homepage, https://github.com/DonatoReis/moriarty
 Project-URL: Documentation, https://github.com/DonatoReis/moriarty#readme
@@ -98,7 +98,7 @@ Description-Content-Type: text/markdown
 <!-- Badges -->
 <p align="center">
   <a href="https://pypi.org/project/moriarty-project/">
-    <img src="https://img.shields.io/badge/version-0.1.24-blue" alt="Version 0.1.24">
+    <img src="https://img.shields.io/badge/version-0.1.23-blue" alt="Version 0.1.23">
   </a>
   <a href="https://www.python.org/downloads/">
     <img src="https://img.shields.io/pypi/pyversions/moriarty-project?color=blue" alt="Python Versions">
@@ -152,7 +152,7 @@ Description-Content-Type: text/markdown
 pipx install moriarty-project
 
 # OU para instalar uma versão específica
-# pipx install moriarty-project==0.1.24
+# pipx install moriarty-project==0.1.23
 
 # Verificar a instalação
 moriarty --help

{moriarty_project-0.1.24 → moriarty_project-0.1.25}/README.md

@@ -19,7 +19,7 @@
 <!-- Badges -->
 <p align="center">
   <a href="https://pypi.org/project/moriarty-project/">
-    <img src="https://img.shields.io/badge/version-0.1.24-blue" alt="Version 0.1.24">
+    <img src="https://img.shields.io/badge/version-0.1.23-blue" alt="Version 0.1.23">
   </a>
   <a href="https://www.python.org/downloads/">
     <img src="https://img.shields.io/pypi/pyversions/moriarty-project?color=blue" alt="Python Versions">
@@ -73,7 +73,7 @@
 pipx install moriarty-project
 
 # OU para instalar uma versão específica
-# pipx install moriarty-project==0.1.24
+# pipx install moriarty-project==0.1.23
 
 # Verificar a instalação
 moriarty --help

{moriarty_project-0.1.24 → moriarty_project-0.1.25}/moriarty/__init__.py

@@ -1,4 +1,4 @@
 from __future__ import annotations
 
 __all__ = ["__version__"]
-__version__ = "0.1.24"
+__version__ = "0.1.25"

{moriarty_project-0.1.24 → moriarty_project-0.1.25}/moriarty/modules/port_scanner.py

@@ -8,8 +8,14 @@ import re
 import socket
 import ssl
 from dataclasses import dataclass, field
-from datetime import datetime
-from typing import Dict, List, Optional, Tuple, Any
+from datetime import datetime, timedelta
+from pathlib import Path
+from typing import Dict, List, Optional, Tuple, Any, Set, Union
+from urllib.parse import urlparse
+import aiofiles
+import yaml
+import requests
+from packaging import version
 
 # Importa a classe ServiceInfo para uso no código
 
@@ -37,6 +43,34 @@ PROFILES = {
     "all": list(range(1, 65536)),
 }
 
+# URL base para atualizações de serviços e vulnerabilidades
+SERVICES_DB_URL = "https://raw.githubusercontent.com/nmap/nmap/master/nmap-services"
+VULN_DB_URL = "https://cve.mitre.org/data/downloads/allitems.csv"
+
+# Diretório para armazenar dados locais
+DATA_DIR = Path.home() / ".moriarty" / "data"
+SERVICES_DB = DATA_DIR / "services.yml"
+VULN_DB = DATA_DIR / "vulnerabilities.yml"
+
+# Garante que o diretório de dados existe
+DATA_DIR.mkdir(parents=True, exist_ok=True)
+
+# Estrutura para armazenar assinaturas de serviços
+@dataclass
+class ServiceSignature:
+    name: str
+    port: int
+    protocol: str = "tcp"
+    banner_patterns: List[str] = field(default_factory=list)
+    ssl_ports: Set[int] = field(default_factory=set)
+    version_pattern: Optional[str] = None
+    cpe: Optional[str] = None
+    vulns: List[Dict[str, str]] = field(default_factory=list)
+    last_updated: Optional[datetime] = None
+
+# Dicionário para armazenar assinaturas de serviços
+SERVICE_SIGNATURES: Dict[str, ServiceSignature] = {}
+
 # Mapeamento de portas para serviços comuns
 SERVICE_MAP = {
     21: "FTP",
@@ -117,9 +151,10 @@ SERVICE_MAP = {
     27018: "MongoDB",
     27019: "MongoDB",
     28017: "MongoDB",
-    32608: "Kubernetes",
+    32608: "Kubernetes"
 }
 
+
 # Vulnerabilidades comuns por serviço
 VULNERABILITIES = {
     "SSH": ["CVE-2016-0777", "CVE-2016-0778", "CVE-2018-15473"],
@@ -147,9 +182,25 @@ class ServiceInfo:
     ssl: bool = False
     ssl_info: Optional[Dict[str, Any]] = None
     banner: Optional[str] = None
-    vulns: List[str] = field(default_factory=list)
+    vulns: List[Dict[str, str]] = field(default_factory=list)
     cpe: Optional[str] = None
     extra: Dict[str, Any] = field(default_factory=dict)
+    confidence: float = 0.0  # Nível de confiança na identificação (0.0 a 1.0)
+    last_checked: Optional[datetime] = None
+    
+    def to_dict(self) -> Dict[str, Any]:
+        """Converte o objeto para dicionário."""
+        return {
+            "name": self.name,
+            "version": self.version,
+            "ssl": self.ssl,
+            "ssl_info": self.ssl_info,
+            "banner": self.banner,
+            "vulns": self.vulns,
+            "cpe": self.cpe,
+            "confidence": self.confidence,
+            "last_checked": self.last_checked.isoformat() if self.last_checked else None
+        }
 
 @dataclass
 class PortScanResult:
@@ -299,14 +350,32 @@ class PortScanner:
             # Tenta obter o banner do serviço
             try:
                 # Configura timeout para leitura
-                read_timeout = max(0.5, self.timeout - 0.5)
+                read_timeout = max(1.0, self.timeout - 1.0)
+                
+                # Envia uma requisição específica baseada no serviço comum da porta
+                banner_bytes = b""
+                if port in [80, 8080, 8000, 8008, 8081, 8443, 443]:
+                    # HTTP/HTTPS - envia um HEAD / HTTP/1.0
+                    writer.write(b"HEAD / HTTP/1.0\r\nHost: " + self.target.encode() + b"\r\n\r\n")
+                elif port == 21:
+                    # FTP - envia um comando USER anonymous
+                    writer.write(b"USER anonymous\r\n")
+                elif port == 22:
+                    # SSH - apenas lê a versão do servidor
+                    pass
+                elif port == 25 or port == 587 or port == 465:
+                    # SMTP - envia EHLO
+                    writer.write(b"EHLO moriarty-scanner\r\n")
+                elif port == 53:
+                    # DNS - envia uma query DNS padrão
+                    query = b'\x00\x01\x01\x00\x00\x01\x00\x00\x00\x00\x00\x01\x07version\x04bind\x00\x00\x10\x00\x03'
+                    writer.write(query)
                 
-                # Lê o banner (se houver)
-                writer.write(b"\r\n\r\n")
                 await writer.drain()
                 
                 # Lê até 1024 bytes
                 banner_bytes = await asyncio.wait_for(reader.read(1024), timeout=read_timeout)
+                
                 if banner_bytes:
                     # Tenta decodificar como texto
                     try:
@@ -320,6 +389,14 @@ class PortScanner:
                     except UnicodeDecodeError:
                         # Se não for texto, mostra como hexdump
                         result.banner = banner_bytes.hex(' ', 1)
+                else:
+                    # Se não recebeu banner, verifica se a porta é conhecida
+                    if port in SERVICE_MAP:
+                        result.service = ServiceInfo(name=SERVICE_MAP[port])
+                    else:
+                        # Se não recebeu resposta, marca como filtrada
+                        result.status = "filtered"
+                        return result
             except (asyncio.TimeoutError, ConnectionResetError, OSError):
                 # Ignora erros de leitura do banner
                 pass
@@ -341,10 +418,15 @@ class PortScanner:
             # Se não identificou o serviço, tenta pelo número da porta
             if not result.service and port in SERVICE_MAP:
                 result.service = ServiceInfo(name=SERVICE_MAP[port])
+            
+            # Se ainda não identificou o serviço e não recebeu banner, marca como filtrada
+            if not result.service and not result.banner:
+                result.status = "filtered"
+                return result
                 
-                # Verifica vulnerabilidades conhecidas
-                if self.check_vulns:
-                    result.service.vulns = self._check_known_vulns(port, result.service.name)
+            # Verifica vulnerabilidades conhecidas para portas abertas
+            if result.status == "open" and self.check_vulns and result.service:
+                result.service.vulns = self._check_known_vulns(port, result.service.name)
             
             return result
             

{moriarty_project-0.1.24 → moriarty_project-0.1.25}/pyproject.toml

@@ -4,7 +4,7 @@ build-backend = "hatchling.build"
 
 [project]
 name = "moriarty-project"
-version = "0.1.24"
+version = "0.1.25"
 description = "Client-side OSINT toolkit with forensic-grade evidence handling."
 readme = "README.md"
 requires-python = ">=3.11"

moriarty_project-0.1.24/test_crawl.py

@@ -1,105 +0,0 @@
-import asyncio
-import httpx
-import ssl
-import certifi
-from selectolax.parser import HTMLParser
-
-async def test_crawl(url):
-    # Configurar SSL para verificar certificados
-    ssl_context = ssl.create_default_context(cafile=certifi.where())
-    
-    # Configurar o cliente HTTP com mais opções
-    transport = httpx.AsyncHTTPTransport(retries=3, verify=ssl_context)
-    
-    # Configurar headers para parecer um navegador real
-    headers = {
-        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36",
-        "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8",
-        "Accept-Language": "pt-BR,pt;q=0.8,en-US;q=0.5,en;q=0.3",
-        "Connection": "keep-alive",
-        "Upgrade-Insecure-Requests": "1",
-    }
-    
-    async with httpx.AsyncClient(
-        timeout=30.0, 
-        follow_redirects=True,
-        transport=transport,
-        headers=headers
-    ) as client:
-        headers = {
-            "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36"
-        }
-        
-        try:
-            # Primeiro, vamos verificar se conseguimos acessar a URL
-            print(f"Acessando {url}...")
-            
-            # Primeiro, tente com HTTPS
-            try:
-                response = await client.get(url, headers=headers)
-                print(f"Conexão HTTPS bem-sucedida!")
-            except Exception as https_error:
-                print(f"Erro ao acessar via HTTPS: {https_error}")
-                # Se falhar, tente com HTTP
-                http_url = url.replace('https://', 'http://')
-                print(f"Tentando acessar via HTTP: {http_url}")
-                response = await client.get(http_url, headers=headers)
-                print(f"Conexão HTTP bem-sucedida!")
-            
-            print(f"Status code: {response.status_code}")
-            print(f"Headers da resposta: {dict(response.headers)}")
-            print(f"Status code: {response.status_code}")
-            print(f"Content-Type: {response.headers.get('content-type')}")
-            
-            # Verificar se é HTML
-            if 'text/html' in response.headers.get('content-type', ''):
-                # Tentar analisar o HTML
-                try:
-                    parser = HTMLParser(response.text)
-                    title = parser.css_first('title')
-                    print(f"Título da página: {title.text(strip=True) if title else 'Não encontrado'}")
-                    
-                    # Contar links
-                    links = parser.css('a')
-                    print(f"Número de links encontrados: {len(links)}")
-                    
-                    # Mostrar alguns links (apenas os 5 primeiros para não poluir a saída)
-                    print("\nAlguns links encontrados:")
-                    for i, link in enumerate(links[:5]):
-                        href = link.attributes.get('href', '')
-                        text = link.text(strip=True)[:50] + '...' if link.text(strip=True) else ''
-                        print(f"  {i+1}. {href} - {text}")
-                    
-                    # Verificar se há algum formulário
-                    forms = parser.css('form')
-                    print(f"\nNúmero de formulários encontrados: {len(forms)}")
-                    
-                    for i, form in enumerate(forms, 1):
-                        action = form.attributes.get('action', 'N/A')
-                        method = form.attributes.get('method', 'GET')
-                        print(f"  Formulário {i}: method={method}, action={action}")
-                        
-                except Exception as e:
-                    print(f"Erro ao analisar HTML: {e}")
-            else:
-                print("A resposta não é HTML. Conteúdo:")
-                print(response.text[:500])  # Mostrar apenas os primeiros 500 caracteres
-                
-        except httpx.HTTPStatusError as e:
-            print(f"Erro de status HTTP: {e}")
-            print(f"Resposta: {e.response.text[:500]}..." if e.response else "Sem resposta")
-        except httpx.RequestError as e:
-            print(f"Erro na requisição: {e}")
-            print(f"Tipo de erro: {type(e).__name__}")
-        except ssl.SSLError as e:
-            print(f"Erro de SSL: {e}")
-        except Exception as e:
-            print(f"Erro inesperado: {e}")
-            import traceback
-            traceback.print_exc()
-
-# Executar o teste
-if __name__ == "__main__":
-    # Tentando com www. para ver se resolve o problema de redirecionamento
-    url = "http://www.rosasdoparto.com.br"
-    asyncio.run(test_crawl(url))