tgparser-cli 0.1.0__tar.gz

tgparser_cli-0.1.0/LICENSE

@@ -0,0 +1,21 @@
+MIT License
+
+Copyright (c) 2026 borodatych
+
+Permission is hereby granted, free of charge, to any person obtaining a copy
+of this software and associated documentation files (the "Software"), to deal
+in the Software without restriction, including without limitation the rights
+to use, copy, modify, merge, publish, distribute, sublicense, and/or sell
+copies of the Software, and to permit persons to whom the Software is
+furnished to do so, subject to the following conditions:
+
+The above copyright notice and this permission notice shall be included in all
+copies or substantial portions of the Software.
+
+THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
+IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
+FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE
+AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
+LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM,
+OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE
+SOFTWARE.

tgparser_cli-0.1.0/PKG-INFO

@@ -0,0 +1,278 @@
+Metadata-Version: 2.4
+Name: tgparser-cli
+Version: 0.1.0
+Summary: Telegram channel parser — extract messages from open (MTProto) and closed (web) channels
+Author: borodatych
+License-Expression: MIT
+Project-URL: Homepage, https://github.com/borodatych/tgparser
+Project-URL: Repository, https://github.com/borodatych/tgparser
+Project-URL: Bug Tracker, https://github.com/borodatych/tgparser/issues
+Classifier: Development Status :: 3 - Alpha
+Classifier: Programming Language :: Python :: 3.11
+Classifier: Programming Language :: Python :: 3.12
+Classifier: Operating System :: OS Independent
+Classifier: Topic :: Communications :: Chat
+Classifier: Topic :: Internet :: WWW/HTTP :: Indexing/Search
+Requires-Python: >=3.11
+Description-Content-Type: text/markdown
+License-File: LICENSE
+Requires-Dist: telethon>=1.35
+Requires-Dist: playwright>=1.45
+Requires-Dist: beautifulsoup4>=4.12
+Requires-Dist: lxml>=5.2
+Requires-Dist: click>=8.1
+Requires-Dist: python-dotenv>=1.0
+Requires-Dist: pyyaml>=6.0
+Provides-Extra: dev
+Requires-Dist: pytest>=8.2; extra == "dev"
+Requires-Dist: pytest-asyncio>=0.23; extra == "dev"
+Requires-Dist: ruff>=0.4; extra == "dev"
+Dynamic: license-file
+
+# TgParser
+
+**Telegram-канал парсер** — утилита для извлечения сообщений из открытых (MTProto API) и закрытых (Web HTML) Telegram-каналов.
+
+[![Python Version](https://img.shields.io/badge/python-3.11%2B-blue.svg)](https://www.python.org/)
+[![License: MIT](https://img.shields.io/badge/license-MIT-green.svg)](LICENSE)
+[![Code style: ruff](https://img.shields.io/badge/code%20style-ruff-000000.svg)](https://github.com/astral-sh/ruff)
+
+---
+
+## Возможности
+
+- **Авторизация** через QR-код (Web) или MTProto (Telethon) с сохранением сессии
+- **Парсинг открытых каналов** — прямое чтение через MTProto API (Telethon)
+- **Парсинг закрытых каналов** — чтение через web-версию Telegram (Playwright + BeautifulSoup)
+- **Обход защиты от копирования** — автоматическое снятие CSS `user-select: none`, блокировки контекстного меню
+- **Вывод данных** в JSON, CSV, plain-text или SQLite
+- **Инкрементальный парсинг** — сохранение только новых сообщений
+- **CLI-интерфейс** на базе Click
+
+---
+
+## Установка
+
+### Из исходного кода
+
+```bash
+# Клонировать репозиторий
+git clone https://github.com/borodatych/tgparser.git
+cd tgparser
+
+# Создать виртуальное окружение
+python -m venv .venv
+source .venv/bin/activate  # Linux/macOS
+.venv\Scripts\activate     # Windows
+
+# Установить пакет с dev-зависимостями
+pip install -e ".[dev]"
+
+# Установить Playwright браузеры (требуется для web-парсера)
+playwright install chromium
+```
+
+### Через pip (после релиза)
+
+```bash
+pip install tgparser-cli
+playwright install chromium
+```
+
+---
+
+## Настройка
+
+### 1. Переменные окружения
+
+Скопируйте `.env.example` в `.env` и заполните:
+
+```bash
+cp .env.example .env
+```
+
+Обязательные переменные:
+
+| Переменная | Описание |
+|-----------|----------|
+| `API_ID` | API ID из [my.telegram.org](https://my.telegram.org/apps) |
+| `API_HASH` | API Hash оттуда же |
+| `PHONE_NUMBER` | Номер телефона для MTProto-авторизации (в международном формате) |
+
+### 2. Конфигурационный файл (опционально)
+
+Создайте `config.yaml` в корне проекта:
+
+```yaml
+parsing:
+  scroll_delay_ms: 1500    # задержка между скроллами (web-парсер)
+  max_messages: 1000       # лимит сообщений за один запуск
+  rate_limit_sleep: 30     # пауза при FloodWait (сек)
+
+storage:
+  output_dir: data/output
+  session_dir: data/sessions
+```
+
+---
+
+## Использование
+
+### Авторизация
+
+```bash
+# Web-авторизация (QR-код) — для закрытых каналов
+tgparser auth
+
+# Принудительная переавторизация
+tgparser auth --force
+
+# MTProto-авторизация — для открытых каналов
+tgparser auth --type mtproto
+```
+
+### Парсинг открытого канала (MTProto)
+
+```bash
+tgparser parse open @channel_username
+```
+
+Опции:
+- `--limit N` — максимум сообщений (по умолчанию 100)
+- `--since YYYY-MM-DD` — фильтр по дате (сообщения не старше указанной)
+- `--until YYYY-MM-DD` — фильтр по дате (сообщения не новее указанной)
+- `--offset N` — смещение от последнего сообщения
+
+### Парсинг закрытого канала (Web)
+
+```bash
+tgparser parse closed https://t.me/channel_username
+```
+
+Опции:
+- `--limit N` — максимум сообщений
+- `--since YYYY-MM-DD` — фильтр по дате
+- `--until YYYY-MM-DD` — фильтр по дате
+
+> **Примечание:** Для закрытых каналов требуется предварительная web-авторизация (`tgparser auth`).
+
+### Экспорт
+
+```bash
+# Вывод в консоль (plain-text)
+tgparser export --input data/output/messages.json
+
+# Сохранение в JSON
+tgparser export --input data/output/messages.json --format json --output data/output/export.json
+
+# Сохранение в CSV
+tgparser export --input data/output/messages.json --format csv --output data/output/export.csv
+
+# Сохранение в SQLite
+tgparser export --input data/output/messages.json --format sqlite --output data/output/export.db
+
+# Инкрементальный экспорт (только новые сообщения)
+tgparser export --input data/output/messages.json --incremental
+```
+
+---
+
+## Примеры
+
+### Сохранить 50 последних сообщений из открытого канала в JSON
+
+```bash
+tgparser parse open @python_news --limit 50 --format json --output data/output/python_news.json
+```
+
+### Сохранить сообщения из закрытого канала за последнюю неделю
+
+```bash
+tgparser parse closed https://t.me/private_channel --since 2025-01-01
+```
+
+### Экспортировать в CSV с инкрементальным режимом
+
+```bash
+tgparser parse open @tech_news --format csv --output data/output/tech_news.csv
+tgparser export --input data/output/tech_news.csv --incremental
+```
+
+---
+
+## Структура проекта
+
+```
+tgparser/
+├── src/
+│   └── tgparser/
+│       ├── auth/          # Модули авторизации (web, mtproto)
+│       ├── parsers/       # Парсеры (mtproto_parser, web_parser)
+│       ├── storage/       # Вывод и хранение (JSON, CSV, TXT, SQLite)
+│       ├── models/        # Модели данных (Message)
+│       ├── cli.py         # CLI-интерфейс (Click)
+│       ├── config.py      # Загрузка конфигурации
+│       └── utils.py       # Вспомогательные функции
+├── tests/                 # Тесты (pytest)
+├── data/
+│   ├── output/            # Результаты парсинга
+│   └── sessions/          # Сохранённые сессии
+├── docs/                  # Документация
+├── config.yaml            # Конфигурация (опционально)
+├── .env                   # Секреты (не в git)
+├── pyproject.toml         # Настройки проекта
+└── README.md              # Этот файл
+```
+
+---
+
+## Разработка
+
+### Запуск тестов
+
+```bash
+pytest tests/ -v
+```
+
+### Линтинг и форматирование
+
+```bash
+ruff check src/ tests/
+ruff format src/ tests/
+```
+
+### Сборка пакета
+
+```bash
+python -m build
+```
+
+---
+
+## Совместимость
+
+- **Python**: 3.11, 3.12
+- **ОС**: Windows, Linux, macOS
+- **Браузер**: Chromium (устанавливается через `playwright install chromium`)
+
+---
+
+## Планы
+
+- [x] Авторизация (Web + MTProto)
+- [x] Парсинг открытых каналов (MTProto)
+- [x] Парсинг закрытых каналов (Web)
+- [x] Обход защиты от копирования
+- [x] Вывод (JSON, CSV, TXT, SQLite)
+- [x] Инкрементальный парсинг
+- [ ] Поддержка Telegram Premium (MTProto)
+- [ ] Парсинг комментариев
+- [ ] GUI-интерфейс
+
+Полный roadmap: [docs/roadmap.md](docs/roadmap.md)
+
+---
+
+## Лицензия
+
+Проект распространяется под лицензией MIT. Подробнее — в файле [LICENSE](LICENSE).

tgparser_cli-0.1.0/README.md

@@ -0,0 +1,247 @@
+# TgParser
+
+**Telegram-канал парсер** — утилита для извлечения сообщений из открытых (MTProto API) и закрытых (Web HTML) Telegram-каналов.
+
+[![Python Version](https://img.shields.io/badge/python-3.11%2B-blue.svg)](https://www.python.org/)
+[![License: MIT](https://img.shields.io/badge/license-MIT-green.svg)](LICENSE)
+[![Code style: ruff](https://img.shields.io/badge/code%20style-ruff-000000.svg)](https://github.com/astral-sh/ruff)
+
+---
+
+## Возможности
+
+- **Авторизация** через QR-код (Web) или MTProto (Telethon) с сохранением сессии
+- **Парсинг открытых каналов** — прямое чтение через MTProto API (Telethon)
+- **Парсинг закрытых каналов** — чтение через web-версию Telegram (Playwright + BeautifulSoup)
+- **Обход защиты от копирования** — автоматическое снятие CSS `user-select: none`, блокировки контекстного меню
+- **Вывод данных** в JSON, CSV, plain-text или SQLite
+- **Инкрементальный парсинг** — сохранение только новых сообщений
+- **CLI-интерфейс** на базе Click
+
+---
+
+## Установка
+
+### Из исходного кода
+
+```bash
+# Клонировать репозиторий
+git clone https://github.com/borodatych/tgparser.git
+cd tgparser
+
+# Создать виртуальное окружение
+python -m venv .venv
+source .venv/bin/activate  # Linux/macOS
+.venv\Scripts\activate     # Windows
+
+# Установить пакет с dev-зависимостями
+pip install -e ".[dev]"
+
+# Установить Playwright браузеры (требуется для web-парсера)
+playwright install chromium
+```
+
+### Через pip (после релиза)
+
+```bash
+pip install tgparser-cli
+playwright install chromium
+```
+
+---
+
+## Настройка
+
+### 1. Переменные окружения
+
+Скопируйте `.env.example` в `.env` и заполните:
+
+```bash
+cp .env.example .env
+```
+
+Обязательные переменные:
+
+| Переменная | Описание |
+|-----------|----------|
+| `API_ID` | API ID из [my.telegram.org](https://my.telegram.org/apps) |
+| `API_HASH` | API Hash оттуда же |
+| `PHONE_NUMBER` | Номер телефона для MTProto-авторизации (в международном формате) |
+
+### 2. Конфигурационный файл (опционально)
+
+Создайте `config.yaml` в корне проекта:
+
+```yaml
+parsing:
+  scroll_delay_ms: 1500    # задержка между скроллами (web-парсер)
+  max_messages: 1000       # лимит сообщений за один запуск
+  rate_limit_sleep: 30     # пауза при FloodWait (сек)
+
+storage:
+  output_dir: data/output
+  session_dir: data/sessions
+```
+
+---
+
+## Использование
+
+### Авторизация
+
+```bash
+# Web-авторизация (QR-код) — для закрытых каналов
+tgparser auth
+
+# Принудительная переавторизация
+tgparser auth --force
+
+# MTProto-авторизация — для открытых каналов
+tgparser auth --type mtproto
+```
+
+### Парсинг открытого канала (MTProto)
+
+```bash
+tgparser parse open @channel_username
+```
+
+Опции:
+- `--limit N` — максимум сообщений (по умолчанию 100)
+- `--since YYYY-MM-DD` — фильтр по дате (сообщения не старше указанной)
+- `--until YYYY-MM-DD` — фильтр по дате (сообщения не новее указанной)
+- `--offset N` — смещение от последнего сообщения
+
+### Парсинг закрытого канала (Web)
+
+```bash
+tgparser parse closed https://t.me/channel_username
+```
+
+Опции:
+- `--limit N` — максимум сообщений
+- `--since YYYY-MM-DD` — фильтр по дате
+- `--until YYYY-MM-DD` — фильтр по дате
+
+> **Примечание:** Для закрытых каналов требуется предварительная web-авторизация (`tgparser auth`).
+
+### Экспорт
+
+```bash
+# Вывод в консоль (plain-text)
+tgparser export --input data/output/messages.json
+
+# Сохранение в JSON
+tgparser export --input data/output/messages.json --format json --output data/output/export.json
+
+# Сохранение в CSV
+tgparser export --input data/output/messages.json --format csv --output data/output/export.csv
+
+# Сохранение в SQLite
+tgparser export --input data/output/messages.json --format sqlite --output data/output/export.db
+
+# Инкрементальный экспорт (только новые сообщения)
+tgparser export --input data/output/messages.json --incremental
+```
+
+---
+
+## Примеры
+
+### Сохранить 50 последних сообщений из открытого канала в JSON
+
+```bash
+tgparser parse open @python_news --limit 50 --format json --output data/output/python_news.json
+```
+
+### Сохранить сообщения из закрытого канала за последнюю неделю
+
+```bash
+tgparser parse closed https://t.me/private_channel --since 2025-01-01
+```
+
+### Экспортировать в CSV с инкрементальным режимом
+
+```bash
+tgparser parse open @tech_news --format csv --output data/output/tech_news.csv
+tgparser export --input data/output/tech_news.csv --incremental
+```
+
+---
+
+## Структура проекта
+
+```
+tgparser/
+├── src/
+│   └── tgparser/
+│       ├── auth/          # Модули авторизации (web, mtproto)
+│       ├── parsers/       # Парсеры (mtproto_parser, web_parser)
+│       ├── storage/       # Вывод и хранение (JSON, CSV, TXT, SQLite)
+│       ├── models/        # Модели данных (Message)
+│       ├── cli.py         # CLI-интерфейс (Click)
+│       ├── config.py      # Загрузка конфигурации
+│       └── utils.py       # Вспомогательные функции
+├── tests/                 # Тесты (pytest)
+├── data/
+│   ├── output/            # Результаты парсинга
+│   └── sessions/          # Сохранённые сессии
+├── docs/                  # Документация
+├── config.yaml            # Конфигурация (опционально)
+├── .env                   # Секреты (не в git)
+├── pyproject.toml         # Настройки проекта
+└── README.md              # Этот файл
+```
+
+---
+
+## Разработка
+
+### Запуск тестов
+
+```bash
+pytest tests/ -v
+```
+
+### Линтинг и форматирование
+
+```bash
+ruff check src/ tests/
+ruff format src/ tests/
+```
+
+### Сборка пакета
+
+```bash
+python -m build
+```
+
+---
+
+## Совместимость
+
+- **Python**: 3.11, 3.12
+- **ОС**: Windows, Linux, macOS
+- **Браузер**: Chromium (устанавливается через `playwright install chromium`)
+
+---
+
+## Планы
+
+- [x] Авторизация (Web + MTProto)
+- [x] Парсинг открытых каналов (MTProto)
+- [x] Парсинг закрытых каналов (Web)
+- [x] Обход защиты от копирования
+- [x] Вывод (JSON, CSV, TXT, SQLite)
+- [x] Инкрементальный парсинг
+- [ ] Поддержка Telegram Premium (MTProto)
+- [ ] Парсинг комментариев
+- [ ] GUI-интерфейс
+
+Полный roadmap: [docs/roadmap.md](docs/roadmap.md)
+
+---
+
+## Лицензия
+
+Проект распространяется под лицензией MIT. Подробнее — в файле [LICENSE](LICENSE).

tgparser_cli-0.1.0/pyproject.toml

@@ -0,0 +1,60 @@
+[build-system]
+requires = ["setuptools>=68.0", "wheel"]
+build-backend = "setuptools.build_meta"
+
+[project]
+name = "tgparser-cli"
+version = "0.1.0"
+description = "Telegram channel parser — extract messages from open (MTProto) and closed (web) channels"
+readme = "README.md"
+license = "MIT"
+license-files = ["LICENSE"]
+requires-python = ">=3.11"
+authors = [{name = "borodatych"}]
+classifiers = [
+    "Development Status :: 3 - Alpha",
+    "Programming Language :: Python :: 3.11",
+    "Programming Language :: Python :: 3.12",
+    "Operating System :: OS Independent",
+    "Topic :: Communications :: Chat",
+    "Topic :: Internet :: WWW/HTTP :: Indexing/Search",
+]
+dependencies = [
+    "telethon>=1.35",
+    "playwright>=1.45",
+    "beautifulsoup4>=4.12",
+    "lxml>=5.2",
+    "click>=8.1",
+    "python-dotenv>=1.0",
+    "pyyaml>=6.0",
+]
+
+[project.optional-dependencies]
+dev = [
+    "pytest>=8.2",
+    "pytest-asyncio>=0.23",
+    "ruff>=0.4",
+]
+
+[project.scripts]
+tgparser = "tgparser.cli:main"
+
+[project.urls]
+Homepage = "https://github.com/borodatych/tgparser"
+Repository = "https://github.com/borodatych/tgparser"
+"Bug Tracker" = "https://github.com/borodatych/tgparser/issues"
+
+[tool.setuptools.packages.find]
+where = ["src"]
+
+[tool.ruff]
+target-version = "py311"
+line-length = 100
+src = ["src"]
+
+[tool.ruff.lint]
+select = ["E", "F", "I", "N", "W", "UP", "B", "C4", "SIM"]
+
+[tool.ruff.format]
+quote-style = "double"
+indent-style = "space"

tgparser_cli-0.1.0/setup.cfg

@@ -0,0 +1,4 @@
+[egg_info]
+tag_build = 
+tag_date = 0
+

tgparser_cli-0.1.0/src/tgparser/__init__.py

@@ -0,0 +1,3 @@
+"""TgParser — Telegram channel parser."""
+
+__version__ = "0.1.0"

tgparser_cli-0.1.0/src/tgparser/auth/__init__.py

@@ -0,0 +1,6 @@
+"""Authentication modules — web QR and MTProto."""
+
+from tgparser.auth.mtproto_auth import MTProtoAuth
+from tgparser.auth.web_auth import WebAuth
+
+__all__ = ["MTProtoAuth", "WebAuth"]