mtcli 3.8.0.dev7__tar.gz → 3.8.0.dev9__tar.gz

{mtcli-3.8.0.dev7 → mtcli-3.8.0.dev9}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.4
 Name: mtcli
-Version: 3.8.0.dev7
+Version: 3.8.0.dev9
 Summary: Aplicativo CLI para exibir gráficos do MetaTrader 5 screen reader friendly
 License-Expression: MIT
 License-File: LICENSE

mtcli-3.8.0.dev9/mtcli/__main__.py

@@ -0,0 +1,3 @@
+from .cli import mt
+
+mt()

{mtcli-3.8.0.dev7 → mtcli-3.8.0.dev9}/mtcli/cli.py

@@ -27,7 +27,6 @@ from mtcli.marketdata.tick_engine import TickEngine
 
 from .commands.bars import bars
 from .commands.doctor import doctor
-from .commands.migrate import migrate
 from .commands.ticks import ticks
 
 
@@ -89,7 +88,6 @@ def mt(ctx):
 mt.add_command(doctor, name="doctor")
 mt.add_command(bars, name="bars")
 mt.add_command(doctor, name="dr")
-mt.add_command(migrate)
 mt.add_command(ticks)
 
 loaded_plugins = load_plugins(mt)

mtcli-3.8.0.dev9/mtcli/cli_dev.py

@@ -0,0 +1,8 @@
+import click
+from .commands_dev.migrate import migrate
+
+@click.group()
+def cli():
+    pass
+
+cli.add_command(migrate)

mtcli-3.8.0.dev9/mtcli/commands_dev/migrate.py

@@ -0,0 +1,48 @@
+"""
+Comando CLI para execução das migrations do banco de dados.
+
+Este comando aplica todas as migrations pendentes no banco
+utilizado pelo mtcli.
+
+Fluxo de execução:
+
+1. Abre conexão com o banco SQLite
+2. Executa o migration runner
+3. Aplica migrations ainda não executadas
+
+Uso:
+
+    mtcli migrate
+
+Este comando é implementado utilizando o framework
+:contentReference[oaicite:1]{index=1} para construção de aplicações CLI.
+"""
+
+import click
+
+from mtcli.database import get_connection
+from mtcli.migrations.runner import run_migrations
+
+
+@click.command()
+def migrate():
+    """
+    Executa as migrations pendentes do banco de dados.
+
+    O comando conecta ao banco configurado no mtcli
+    e executa o migration runner responsável por:
+
+    - detectar migrations disponíveis
+    - identificar a versão atual do schema
+    - aplicar migrations pendentes
+    - registrar migrations aplicadas
+
+    Este comando é normalmente executado:
+
+    - na primeira inicialização do sistema
+    - após atualização de versão do mtcli
+    """
+
+    conn = get_connection()
+
+    run_migrations(conn)

{mtcli-3.8.0.dev7 → mtcli-3.8.0.dev9}/mtcli/database.py

@@ -41,7 +41,7 @@ def get_connection():
     conn.execute("PRAGMA journal_mode=WAL")
     conn.execute("PRAGMA synchronous=NORMAL")
     conn.execute("PRAGMA temp_store=MEMORY")
-    conn.execute("PRAGMA mmap_size=268435456")
+    conn.execute("PRAGMA mmap_size=30000000000")
     conn.execute("PRAGMA cache_size=-200000")
     conn.execute("PRAGMA journal_size_limit=67108864")
     conn.execute("PRAGMA read_uncommitted = TRUE")

{mtcli-3.8.0.dev7 → mtcli-3.8.0.dev9}/mtcli/marketdata/tick_repository.py

@@ -114,7 +114,7 @@ class TickRepository:
 
         cursor.executemany(
             """
-            INSERT INTO ticks(
+            INSERT OR IGNORE INTO ticks(
                 symbol,
                 time_msc,
                 bid,
@@ -124,12 +124,11 @@ class TickRepository:
                 flags
             )
             VALUES (?,?,?,?,?,?,?)
-            ON CONFLICT(symbol,time_msc) DO NOTHING
             """,
             data,
         )
 
-        return len(data)
+        return cursor.rowcount
 
     # ==========================================================
     # CONSULTAS

mtcli-3.8.0.dev9/mtcli/migrations/001_initial_schema.py

@@ -0,0 +1,51 @@
+"""
+Migration 001
+
+Cria o schema inicial do banco de dados do mtcli.
+
+Esta migration cria a tabela principal `ticks`, responsável por
+armazenar os ticks de mercado capturados do MetaTrader.
+
+Estrutura inicial:
+
+- symbol : símbolo do ativo
+- time   : timestamp em segundos
+- bid    : preço bid
+- ask    : preço ask
+- last   : último preço negociado
+- volume : volume do tick
+- flags  : flags fornecidas pela API MT5
+
+Também cria o índice `idx_ticks_symbol_time` para acelerar
+consultas por símbolo e tempo.
+"""
+
+
+def upgrade(conn):
+    """
+    Executa a migration inicial criando a tabela `ticks`
+    e o índice principal utilizado nas consultas.
+
+    A operação é idempotente graças ao uso de
+    `CREATE TABLE IF NOT EXISTS`.
+    """
+
+    conn.execute("""
+    CREATE TABLE IF NOT EXISTS ticks(
+        symbol TEXT NOT NULL,
+        time INTEGER NOT NULL,
+        bid REAL,
+        ask REAL,
+        last REAL,
+        volume REAL,
+        flags INTEGER,
+        PRIMARY KEY(symbol, time)
+    )
+    """)
+
+    conn.execute("""
+    CREATE INDEX IF NOT EXISTS idx_ticks_symbol_time
+    ON ticks(symbol, time)
+    """)
+
+    conn.commit()

mtcli-3.8.0.dev9/mtcli/migrations/002_ticks_time_msc.py

@@ -0,0 +1,53 @@
+"""
+Migration 002
+
+Adiciona a coluna `time_msc` à tabela `ticks`.
+
+A API do MetaTrader fornece timestamps com resolução em
+milissegundos (`time_msc`). Esta migration adiciona suporte
+a esse campo sem quebrar compatibilidade com bancos antigos.
+"""
+
+
+def column_exists(conn, table, column):
+    """
+    Verifica se uma coluna existe em uma tabela SQLite.
+
+    Parameters
+    ----------
+    conn : sqlite3.Connection
+        Conexão com o banco de dados.
+    table : str
+        Nome da tabela.
+    column : str
+        Nome da coluna.
+
+    Returns
+    -------
+    bool
+        True se a coluna existir.
+    """
+
+    cursor = conn.execute(f"PRAGMA table_info({table})")
+
+    for row in cursor.fetchall():
+        if row[1] == column:
+            return True
+
+    return False
+
+
+def upgrade(conn):
+    """
+    Adiciona a coluna `time_msc` à tabela `ticks`
+    caso ela ainda não exista.
+    """
+
+    if not column_exists(conn, "ticks", "time_msc"):
+
+        conn.execute("""
+        ALTER TABLE ticks
+        ADD COLUMN time_msc INTEGER
+        """)
+
+    conn.commit()

{mtcli-3.8.0.dev7 → mtcli-3.8.0.dev9}/mtcli/migrations/003_optimize_ticks_without_rowid.py

@@ -1,4 +1,27 @@
+"""
+Migration 003
+
+Otimiza a tabela `ticks` convertendo-a para `WITHOUT ROWID`.
+
+Tabelas SQLite com chave primária composta podem ter melhor
+performance e menor uso de disco utilizando `WITHOUT ROWID`.
+
+Para aplicar esta otimização é necessário reconstruir a tabela.
+"""
+
+
 def upgrade(conn):
+    """
+    Reconstrói a tabela `ticks` utilizando `WITHOUT ROWID`.
+
+    Processo executado:
+
+    1. Cria nova tabela otimizada
+    2. Copia os dados da tabela antiga
+    3. Remove tabela antiga
+    4. Renomeia nova tabela
+    5. Recria índices necessários
+    """
 
     cursor = conn.execute("""
         SELECT sql

{mtcli-3.8.0.dev7 → mtcli-3.8.0.dev9}/mtcli/migrations/004_ticks_pk_time_msc.py

@@ -1,4 +1,26 @@
+"""
+Migration 004
+
+Reconstrói a tabela `ticks` utilizando `time_msc` como parte
+da chave primária.
+
+Motivação:
+
+- `time` possui resolução em segundos
+- `time_msc` possui resolução em milissegundos
+- múltiplos ticks podem ocorrer dentro do mesmo segundo
+
+Nova chave primária:
+
+    PRIMARY KEY(symbol, time_msc)
+"""
+
+
 def upgrade(conn):
+    """
+    Reconstrói a tabela `ticks` alterando a chave primária
+    para `(symbol, time_msc)`.
+    """
 
     cursor = conn.execute("""
         SELECT sql

{mtcli-3.8.0.dev7 → mtcli-3.8.0.dev9}/mtcli/migrations/005_tick_price_compression.py

@@ -1,4 +1,31 @@
+"""
+Migration 005
+
+Aplica compressão de preços nos ticks.
+
+Preços e volume passam a ser armazenados como inteiros
+para reduzir uso de espaço em disco.
+
+Transformações aplicadas:
+
+    bid   -> INTEGER (bid * 100)
+    ask   -> INTEGER (ask * 100)
+    last  -> INTEGER (last * 100)
+    volume -> INTEGER
+
+A tabela precisa ser reconstruída para alterar os tipos
+das colunas.
+"""
+
+
 def upgrade(conn):
+    """
+    Reconstrói a tabela `ticks` aplicando compressão
+    de preços e volumes.
+
+    Isso reduz significativamente o tamanho do banco
+    e melhora performance de leitura.
+    """
 
     cursor = conn.execute("""
         SELECT sql

mtcli-3.8.0.dev9/mtcli/migrations/006_add_index_ticks_symbol_time.py

@@ -0,0 +1,32 @@
+"""
+Migration 006
+
+Cria índice para acelerar consultas por símbolo e tempo
+utilizando a coluna `time_msc`.
+
+Este índice é importante para consultas comuns como:
+
+    SELECT * FROM ticks
+    WHERE symbol = ?
+    ORDER BY time_msc
+"""
+
+SQL = """
+CREATE INDEX IF NOT EXISTS idx_ticks_symbol_time
+ON ticks(symbol, time_msc);
+"""
+
+
+def upgrade(conn):
+    """
+    Executa a criação do índice `idx_ticks_symbol_time`.
+
+    A operação é idempotente graças ao uso de
+    `CREATE INDEX IF NOT EXISTS`.
+    """
+
+    cursor = conn.cursor()
+
+    cursor.execute(SQL)
+
+    conn.commit()

mtcli-3.8.0.dev9/mtcli/migrations/007_deduplicate_ticks_and_add_unique_index.py

@@ -0,0 +1,91 @@
+"""
+Migration 007
+
+Objetivo
+--------
+
+1. Remover registros duplicados da tabela `ticks`
+2. Criar índice UNIQUE para evitar duplicação futura
+
+Critério de unicidade adotado:
+
+    (symbol, time_msc)
+
+Estratégia
+----------
+
+1. Criar tabela temporária com SELECT DISTINCT
+2. Copiar dados únicos
+3. Substituir tabela original
+4. Criar índice UNIQUE
+
+Essa estratégia é muito mais rápida do que DELETE em tabelas grandes.
+"""
+
+from sqlite3 import Connection
+
+
+def upgrade(conn: Connection) -> None:
+    cursor = conn.cursor()
+
+    # ---------------------------------------------------------
+    # 1 - criar nova tabela sem duplicados
+    # ---------------------------------------------------------
+
+    cursor.execute(
+        """
+        CREATE TABLE IF NOT EXISTS ticks_new AS
+        SELECT DISTINCT *
+        FROM ticks
+        """
+    )
+
+    # ---------------------------------------------------------
+    # 2 - remover tabela antiga
+    # ---------------------------------------------------------
+
+    cursor.execute("DROP TABLE ticks")
+
+    # ---------------------------------------------------------
+    # 3 - renomear tabela nova
+    # ---------------------------------------------------------
+
+    cursor.execute("ALTER TABLE ticks_new RENAME TO ticks")
+
+    # ---------------------------------------------------------
+    # 4 - recriar índice de performance existente
+    # ---------------------------------------------------------
+
+    cursor.execute(
+        """
+        CREATE INDEX IF NOT EXISTS idx_ticks_symbol_time
+        ON ticks(symbol, time_msc)
+        """
+    )
+
+    # ---------------------------------------------------------
+    # 5 - criar índice UNIQUE
+    # ---------------------------------------------------------
+
+    cursor.execute(
+        """
+        CREATE UNIQUE INDEX IF NOT EXISTS idx_ticks_unique
+        ON ticks(symbol, time_msc)
+        """
+    )
+
+    conn.commit()
+
+
+def downgrade(conn: Connection) -> None:
+    cursor = conn.cursor()
+
+    # Remove índice UNIQUE caso exista rollback
+
+    cursor.execute(
+        """
+        DROP INDEX IF EXISTS idx_ticks_unique
+        """
+    )
+
+    conn.commit()

mtcli-3.8.0.dev9/mtcli/migrations/__main__.py

@@ -0,0 +1,7 @@
+from mtcli.database import get_connection
+from .runner import run_migrations
+
+
+conn = get_connection()
+run_migrations(conn)
+

mtcli-3.8.0.dev9/mtcli/migrations/runner.py

@@ -0,0 +1,245 @@
+"""
+Migration Runner do mtcli.
+
+Responsabilidades:
+
+1. Descobrir migrations disponíveis no diretório `mtcli/migrations`
+2. Determinar a versão atual do schema no banco
+3. Executar migrations pendentes em ordem
+4. Registrar migrations aplicadas na tabela `schema_migrations`
+
+Formato obrigatório das migrations:
+
+    NNN_nome_da_migration.py
+
+Exemplo:
+
+    001_initial_schema.py
+    002_ticks_time_msc.py
+    003_optimize_ticks_without_rowid.py
+
+Cada migration deve implementar:
+
+    def upgrade(conn)
+"""
+
+import importlib
+from pathlib import Path
+
+
+MIGRATIONS_DIR = Path(__file__).parent
+PACKAGE = "mtcli.migrations"
+
+
+# ---------------------------------------------------------
+# Infraestrutura
+# ---------------------------------------------------------
+
+def ensure_migrations_table(conn):
+    """
+    Garante que a tabela `schema_migrations` exista.
+
+    Esta tabela armazena quais migrations já foram
+    aplicadas no banco.
+    """
+
+    conn.execute("""
+    CREATE TABLE IF NOT EXISTS schema_migrations(
+        version INTEGER PRIMARY KEY,
+        applied_at TEXT NOT NULL
+    )
+    """)
+
+    conn.commit()
+
+
+# ---------------------------------------------------------
+# Estado do banco
+# ---------------------------------------------------------
+
+def get_current_version(conn):
+    """
+    Retorna a versão atual do schema.
+
+    Returns
+    -------
+    int
+        Maior versão registrada em `schema_migrations`.
+        Retorna 0 se nenhuma migration foi aplicada.
+    """
+
+    cursor = conn.execute(
+        "SELECT MAX(version) FROM schema_migrations"
+    )
+
+    row = cursor.fetchone()
+
+    return row[0] if row and row[0] else 0
+
+
+def mark_version(conn, version):
+    """
+    Marca uma migration como aplicada.
+    """
+
+    conn.execute(
+        """
+        INSERT INTO schema_migrations(version, applied_at)
+        VALUES (?, datetime('now'))
+        """,
+        (version,),
+    )
+
+    conn.commit()
+
+
+# ---------------------------------------------------------
+# Descoberta de migrations
+# ---------------------------------------------------------
+
+def discover_migrations():
+    """
+    Descobre migrations válidas no diretório.
+
+    Apenas arquivos no formato:
+
+        NNN_nome.py
+
+    serão considerados migrations.
+
+    Returns
+    -------
+    list[(int,str)]
+    """
+
+    migrations = []
+
+    for file in MIGRATIONS_DIR.glob("*.py"):
+
+        if file.name in ("__init__.py", "runner.py"):
+            continue
+
+        prefix = file.stem.split("_")[0]
+
+        # ignora arquivos inválidos
+        if not prefix.isdigit():
+            continue
+
+        version = int(prefix)
+
+        module_name = file.stem
+
+        migrations.append((version, module_name))
+
+    migrations.sort(key=lambda x: x[0])
+
+    validate_migrations(migrations)
+
+    return migrations
+
+
+def validate_migrations(migrations):
+    """
+    Valida integridade das migrations.
+
+    Verifica:
+
+    - versões duplicadas
+    - gaps na sequência
+    """
+
+    versions = [v for v, _ in migrations]
+
+    if len(versions) != len(set(versions)):
+        raise RuntimeError("Duplicate migration versions detected.")
+
+    if not versions:
+        return
+
+    expected = list(range(min(versions), max(versions) + 1))
+
+    if versions != expected:
+        raise RuntimeError(
+            f"Migration sequence gap detected: {versions}"
+        )
+
+
+# ---------------------------------------------------------
+# Compatibilidade com bancos antigos
+# ---------------------------------------------------------
+
+def legacy_database_detected(conn):
+    """
+    Detecta bancos antigos sem controle de migrations.
+    """
+
+    cursor = conn.execute("""
+        SELECT name
+        FROM sqlite_master
+        WHERE type='table'
+        AND name='ticks'
+    """)
+
+    return cursor.fetchone() is not None
+
+
+def bootstrap_legacy(conn):
+    """
+    Inicializa migrations em banco legado.
+    """
+
+    if legacy_database_detected(conn):
+
+        conn.execute("""
+            INSERT OR IGNORE INTO schema_migrations(version, applied_at)
+            VALUES (1, datetime('now'))
+        """)
+
+        conn.commit()
+
+
+# ---------------------------------------------------------
+# Runner principal
+# ---------------------------------------------------------
+
+def run_migrations(conn):
+    """
+    Executa migrations pendentes.
+
+    Fluxo:
+
+    1. Garante tabela `schema_migrations`
+    2. Detecta bancos legados
+    3. Descobre migrations
+    4. Executa migrations pendentes
+    """
+
+    ensure_migrations_table(conn)
+
+    bootstrap_legacy(conn)
+
+    current = get_current_version(conn)
+
+    migrations = discover_migrations()
+
+    for version, module_name in migrations:
+
+        if version <= current:
+            continue
+
+        module_path = f"{PACKAGE}.{module_name}"
+
+        module = importlib.import_module(module_path)
+
+        if not hasattr(module, "upgrade"):
+            raise RuntimeError(
+                f"Migration {module_name} does not define upgrade()"
+            )
+
+        print(f"Applying migration {version}: {module_name}")
+
+        module.upgrade(conn)
+
+        mark_version(conn, version)
+
+    print("Migrations concluídas.")

{mtcli-3.8.0.dev7 → mtcli-3.8.0.dev9}/pyproject.toml

@@ -1,6 +1,6 @@
 [project]
 name = "mtcli"
-version = "3.8.0.dev7"
+version = "3.8.0.dev9"
 description = "Aplicativo CLI para exibir gráficos do MetaTrader 5 screen reader friendly"
 authors = [
     {name = "Valmir França",email = "vfranca3@gmail.com"}
@@ -45,6 +45,7 @@ issues = "https://github.com/vfranca/mtcli/issues"
 [project.scripts]
 mtcli = "mtcli.cli:mt"
 mt = "mtcli.cli:mt"
+mtdev = "mtcli.cli_dev:cli"
 
 [project.entry-points."mtcli.plugins"]
 internals = "mtcli.plugin:register"

mtcli-3.8.0.dev7/mtcli/commands/migrate.py

@@ -1,12 +0,0 @@
-import click
-
-from mtcli.database import get_connection
-from mtcli.migrations.runner import run_migrations
-
-
-@click.command()
-def migrate():
-
-    conn = get_connection()
-
-    run_migrations(conn)

mtcli-3.8.0.dev7/mtcli/migrations/001_initial_schema.py

@@ -1,21 +0,0 @@
-def upgrade(conn):
-
-    conn.execute("""
-    CREATE TABLE IF NOT EXISTS ticks(
-        symbol TEXT NOT NULL,
-        time INTEGER NOT NULL,
-        bid REAL,
-        ask REAL,
-        last REAL,
-        volume REAL,
-        flags INTEGER,
-        PRIMARY KEY(symbol, time)
-    )
-    """)
-
-    conn.execute("""
-    CREATE INDEX IF NOT EXISTS idx_ticks_symbol_time
-    ON ticks(symbol, time)
-    """)
-
-    conn.commit()

mtcli-3.8.0.dev7/mtcli/migrations/002_ticks_time_msc.py

@@ -1,21 +0,0 @@
-def column_exists(conn, table, column):
-
-    cursor = conn.execute(f"PRAGMA table_info({table})")
-
-    for row in cursor.fetchall():
-        if row[1] == column:
-            return True
-
-    return False
-
-
-def upgrade(conn):
-
-    if not column_exists(conn, "ticks", "time_msc"):
-
-        conn.execute("""
-        ALTER TABLE ticks
-        ADD COLUMN time_msc INTEGER
-        """)
-
-    conn.commit()

mtcli-3.8.0.dev7/mtcli/migrations/runner.py

@@ -1,104 +0,0 @@
-import importlib
-from pathlib import Path
-
-
-MIGRATIONS_DIR = Path(__file__).parent
-PACKAGE = "mtcli.migrations"
-
-
-def get_current_version(conn):
-
-    cursor = conn.execute(
-        "SELECT MAX(version) FROM schema_migrations"
-    )
-
-    row = cursor.fetchone()
-
-    return row[0] if row and row[0] else 0
-
-
-def mark_version(conn, version):
-
-    conn.execute(
-        """
-        INSERT INTO schema_migrations(version, applied_at)
-        VALUES (?, datetime('now'))
-        """,
-        (version,),
-    )
-
-    conn.commit()
-
-
-def discover_migrations():
-
-    migrations = []
-
-    for file in MIGRATIONS_DIR.glob("*.py"):
-
-        if file.name in ("__init__.py", "runner.py"):
-            continue
-
-        version = int(file.name.split("_")[0])
-
-        module_name = file.stem
-
-        migrations.append((version, module_name))
-
-    migrations.sort(key=lambda x: x[0])
-
-    return migrations
-
-
-def legacy_database_detected(conn):
-
-    cursor = conn.execute("""
-        SELECT name
-        FROM sqlite_master
-        WHERE type='table'
-        AND name='ticks'
-    """)
-
-    return cursor.fetchone() is not None
-
-
-def bootstrap_legacy(conn):
-
-    """
-    Marca migration 1 como aplicada se banco já tinha schema.
-    """
-
-    if legacy_database_detected(conn):
-
-        conn.execute("""
-            INSERT OR IGNORE INTO schema_migrations(version, applied_at)
-            VALUES (1, datetime('now'))
-        """)
-
-        conn.commit()
-
-
-def run_migrations(conn):
-
-    bootstrap_legacy(conn)
-
-    current = get_current_version(conn)
-
-    migrations = discover_migrations()
-
-    for version, module_name in migrations:
-
-        if version <= current:
-            continue
-
-        module_path = f"{PACKAGE}.{module_name}"
-
-        module = importlib.import_module(module_path)
-
-        print(f"Applying migration {version}: {module_name}")
-
-        module.upgrade(conn)
-
-        mark_version(conn, version)
-
-    print("Migrations concluídas.")