gdz-parser 1.0.0__tar.gz

This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
@@ -0,0 +1,67 @@
1
+ Metadata-Version: 2.4
2
+ Name: gdz-parser
3
+ Version: 1.0.0
4
+ Summary: Search for open GDZ pages and create local previews of selected solutions.
5
+ Project-URL: Homepage, https://github.com/zmlsaggg/gdz-parser
6
+ Project-URL: Repository, https://github.com/zmlsaggg/gdz-parser
7
+ Project-URL: Issues, https://github.com/zmlsaggg/gdz-parser/issues
8
+ Classifier: Environment :: Console
9
+ Classifier: Operating System :: OS Independent
10
+ Classifier: Programming Language :: Python :: 3
11
+ Classifier: Programming Language :: Python :: 3.9
12
+ Classifier: Programming Language :: Python :: 3.10
13
+ Classifier: Programming Language :: Python :: 3.11
14
+ Classifier: Programming Language :: Python :: 3.12
15
+ Classifier: Programming Language :: Python :: 3.13
16
+ Classifier: Topic :: Internet :: WWW/HTTP :: Browsers
17
+ Classifier: Topic :: Education
18
+ Classifier: Topic :: Utilities
19
+ Requires-Python: >=3.9
20
+ Description-Content-Type: text/markdown
21
+ Requires-Dist: playwright<2,>=1.51
22
+
23
+ # ГДЗ-парсер
24
+
25
+ ## Установка через PyPI
26
+
27
+ ```powershell
28
+ py -m pip install gdz-parser
29
+ py -m playwright install chromium
30
+ gdz-parser "Математика 10 класс Максимов 215 страница"
31
+ ```
32
+
33
+ После установки браузера Chromium можно использовать команду `gdz-parser` из любого каталога. Флаг `--upload-kappa` остаётся необязательным и по умолчанию ничего не публикует.
34
+
35
+
36
+ Скачайте репозиторий и откройте терминал в его папке. Нужен Python 3.9+.
37
+
38
+ ```sh
39
+ python -m pip install -r requirements.txt
40
+ python -m playwright install chromium
41
+ python gdz.py
42
+ ```
43
+
44
+ Если команда `python` недоступна, используйте `python3` или `py` в Windows. На Linux при ошибке о недостающих системных библиотеках используйте `python -m playwright install --with-deps chromium`.
45
+
46
+ После запуска введите, например, `Математика 10 класс Максимов 215 страница`. Программа проверит до 20 результатов Google параллельно (до четырёх одновременно) и выберет наиболее подходящую открытую страницу по заголовку, тексту, номеру страницы и наличию крупных изображений. Блокировка известных рекламных доменов работает на уровне запросов Chromium; она не убирает всю рекламу.
47
+
48
+ ```sh
49
+ python gdz.py "Математика 10 класс Максимов 215 страница" --limit 40 --mode image
50
+ python gdz.py --mode text
51
+ python gdz.py --url "https://example.org/solution" --no-open
52
+ ```
53
+
54
+ - `html` (по умолчанию): локальная HTML-карточка с текстом, снимком видимой области и ссылкой на оригинал. Это не полная копия сайта; храните `index.html` и `preview.png` рядом.
55
+ - `image`: локальный PNG. `text`: печать извлечённого текста в терминал.
56
+ - Файлы сохраняются в `results/` и открываются в браузере по умолчанию. `--no-open` отключает открытие.
57
+ - `--url` можно повторять, чтобы проверить несколько ссылок без Google. При CAPTCHA, запросе согласия или пустой выдаче найдите ссылки в обычном браузере и передайте их этим параметром.
58
+
59
+ Лимит — верхняя граница, а не обещание, что Google выдаст столько ссылок. Проверка эвристическая: совпадение номера и наличие картинки не гарантируют нужное решение. Снимок не охватывает всю страницу; изображения, которые ещё не загрузились, могут не попасть в него. Программа не обходит платный доступ и CAPTCHA.
60
+
61
+ ### Публикация скриншота на kappa.lol
62
+
63
+ ```sh
64
+ python gdz.py --mode image --upload-kappa
65
+ ```
66
+
67
+ По умолчанию ничего не публикуется. Флаг отправляет только PNG и выводит ссылку. Используйте его только если вам есть 18 лет, вы согласны с [условиями сервиса](https://kappa.lol/terms) и вправе публично делиться снимком. Локальный файл сохраняется до отправки; при ошибке загрузки программа возвращает код 3. Используется multipart API [из документации Chatterino](https://wiki.chatterino.com/Image%20Uploader/). Живая загрузка из среды разработки не проверена.
@@ -0,0 +1,45 @@
1
+ # ГДЗ-парсер
2
+
3
+ ## Установка через PyPI
4
+
5
+ ```powershell
6
+ py -m pip install gdz-parser
7
+ py -m playwright install chromium
8
+ gdz-parser "Математика 10 класс Максимов 215 страница"
9
+ ```
10
+
11
+ После установки браузера Chromium можно использовать команду `gdz-parser` из любого каталога. Флаг `--upload-kappa` остаётся необязательным и по умолчанию ничего не публикует.
12
+
13
+
14
+ Скачайте репозиторий и откройте терминал в его папке. Нужен Python 3.9+.
15
+
16
+ ```sh
17
+ python -m pip install -r requirements.txt
18
+ python -m playwright install chromium
19
+ python gdz.py
20
+ ```
21
+
22
+ Если команда `python` недоступна, используйте `python3` или `py` в Windows. На Linux при ошибке о недостающих системных библиотеках используйте `python -m playwright install --with-deps chromium`.
23
+
24
+ После запуска введите, например, `Математика 10 класс Максимов 215 страница`. Программа проверит до 20 результатов Google параллельно (до четырёх одновременно) и выберет наиболее подходящую открытую страницу по заголовку, тексту, номеру страницы и наличию крупных изображений. Блокировка известных рекламных доменов работает на уровне запросов Chromium; она не убирает всю рекламу.
25
+
26
+ ```sh
27
+ python gdz.py "Математика 10 класс Максимов 215 страница" --limit 40 --mode image
28
+ python gdz.py --mode text
29
+ python gdz.py --url "https://example.org/solution" --no-open
30
+ ```
31
+
32
+ - `html` (по умолчанию): локальная HTML-карточка с текстом, снимком видимой области и ссылкой на оригинал. Это не полная копия сайта; храните `index.html` и `preview.png` рядом.
33
+ - `image`: локальный PNG. `text`: печать извлечённого текста в терминал.
34
+ - Файлы сохраняются в `results/` и открываются в браузере по умолчанию. `--no-open` отключает открытие.
35
+ - `--url` можно повторять, чтобы проверить несколько ссылок без Google. При CAPTCHA, запросе согласия или пустой выдаче найдите ссылки в обычном браузере и передайте их этим параметром.
36
+
37
+ Лимит — верхняя граница, а не обещание, что Google выдаст столько ссылок. Проверка эвристическая: совпадение номера и наличие картинки не гарантируют нужное решение. Снимок не охватывает всю страницу; изображения, которые ещё не загрузились, могут не попасть в него. Программа не обходит платный доступ и CAPTCHA.
38
+
39
+ ### Публикация скриншота на kappa.lol
40
+
41
+ ```sh
42
+ python gdz.py --mode image --upload-kappa
43
+ ```
44
+
45
+ По умолчанию ничего не публикуется. Флаг отправляет только PNG и выводит ссылку. Используйте его только если вам есть 18 лет, вы согласны с [условиями сервиса](https://kappa.lol/terms) и вправе публично делиться снимком. Локальный файл сохраняется до отправки; при ошибке загрузки программа возвращает код 3. Используется multipart API [из документации Chatterino](https://wiki.chatterino.com/Image%20Uploader/). Живая загрузка из среды разработки не проверена.
@@ -0,0 +1,204 @@
1
+ """Interactive Google search and local GDZ preview."""
2
+ import argparse
3
+ import asyncio
4
+ import html
5
+ import re
6
+ import sys
7
+ from pathlib import Path
8
+ from tempfile import mkdtemp
9
+ from urllib.parse import parse_qs, urlencode, urlsplit
10
+ import webbrowser
11
+
12
+ ADS = ('doubleclick.net', 'googlesyndication.com', 'googleadservices.com',
13
+ 'adnxs.com', 'adfox.ru', 'an.yandex.ru')
14
+ STOP = {'гдз', 'страница', 'страницу', 'стр', 'класс', 'решение', 'решения'}
15
+
16
+
17
+ def tokens(text):
18
+ return set(re.findall(r'[а-яёa-z]+|\d+', text.lower().replace('ё', 'е')))
19
+
20
+
21
+ def search_links(hrefs):
22
+ seen = set()
23
+ for href in hrefs:
24
+ if href.startswith(('/url?', 'https://www.google.com/url?')):
25
+ args = parse_qs(urlsplit(href).query)
26
+ href = (args.get('q') or args.get('url') or [''])[0]
27
+ try:
28
+ link = urlsplit(href)
29
+ host = link.hostname or ''
30
+ except ValueError:
31
+ continue
32
+ if (link.scheme not in ('http', 'https') or not host or link.username
33
+ or re.search(r'(^|\.)(google\.[a-z.]+|youtube\.com|gstatic\.com)$', host)):
34
+ continue
35
+ url = link._replace(fragment='').geturl()
36
+ if url not in seen:
37
+ seen.add(url)
38
+ yield url
39
+
40
+
41
+ def rank(query, title, text, images):
42
+ words = tokens(query) - STOP
43
+ headline = tokens(title)
44
+ body = tokens(text)
45
+ page = re.search(r'(?:страниц[ауые]?|стр\.?)\s*(\d+)|(\d+)\s*(?:страниц[ауые]?|стр\.?)(?!\w)', query.lower())
46
+ if page:
47
+ number = next(n for n in page.groups() if n)
48
+ if number not in headline | body:
49
+ return 0
50
+ if not words or not (words & (headline | body)) or not (images or len(text) > 100):
51
+ return 0
52
+ if re.search(r'оплатите.{0,40}(?:доступ|подписку)|войдите.{0,40}чтобы.{0,30}просмотр', text.lower()):
53
+ return 0
54
+ return 3 * len(words & headline) + len(words & body) + min(images, 3)
55
+
56
+
57
+ KAPPA_UPLOAD = 'https://kappa.lol/api/upload'
58
+
59
+
60
+ async def upload_kappa(request, image):
61
+ response = await request.post(KAPPA_UPLOAD, multipart={
62
+ 'file': {'name': 'preview.png', 'mimeType': 'image/png', 'buffer': image},
63
+ }, timeout=15000, max_redirects=0, max_retries=0)
64
+ try:
65
+ if not response.ok:
66
+ raise ValueError(f'HTTP {response.status}')
67
+ data = await response.json()
68
+ link = data.get('link') if isinstance(data, dict) else None
69
+ if not isinstance(link, str) or not re.fullmatch(r'https://kappa\.lol/[A-Za-z0-9_-]+(?:\.png)?', link):
70
+ raise ValueError('неожиданный формат ссылки в ответе сервиса')
71
+ if not link.endswith('.png') and data.get('ext') == '.png':
72
+ link += '.png'
73
+ return link
74
+ finally:
75
+ await response.dispose()
76
+
77
+
78
+ async def run(args, query):
79
+ from playwright.async_api import async_playwright, Error
80
+
81
+ async def filter_ads(route):
82
+ host = urlsplit(route.request.url).hostname or ''
83
+ if any(host == d or host.endswith('.' + d) for d in ADS):
84
+ await route.abort()
85
+ else:
86
+ await route.continue_()
87
+
88
+ async with async_playwright() as pw:
89
+ browser = await pw.chromium.launch()
90
+ context = await browser.new_context(locale='ru-RU', viewport={'width': 1280, 'height': 900}, accept_downloads=False, service_workers='block')
91
+ await context.route('**/*', filter_ads)
92
+ urls = []
93
+ if args.url:
94
+ urls = list(search_links(args.url))
95
+ else:
96
+ search = await context.new_page()
97
+ for start in range(0, args.limit * 2, 10):
98
+ await search.goto('https://www.google.com/search?' + urlencode({'q': 'ГДЗ ' + query, 'start': start, 'hl': 'ru'}), wait_until='domcontentloaded', timeout=15000)
99
+ if '/sorry/' in search.url or 'consent.google.' in search.url:
100
+ print('Google запросил проверку или согласие. Используйте --url со ссылками из браузера.', file=sys.stderr)
101
+ break
102
+ links = await search.locator('#search a:has(h3)').evaluate_all('(a) => a.map(x => x.href)')
103
+ new = [u for u in search_links(links) if u not in urls]
104
+ urls.extend(new)
105
+ if not new or len(urls) >= args.limit:
106
+ break
107
+ await search.close()
108
+ best = None
109
+ semaphore = asyncio.Semaphore(4)
110
+
111
+ async def inspect(url):
112
+ nonlocal best, folder
113
+ async with semaphore:
114
+ page = await context.new_page()
115
+ try:
116
+ response = await page.goto(url, wait_until='domcontentloaded', timeout=12000)
117
+ if not response or not response.ok or 'text/html' not in response.headers.get('content-type', ''):
118
+ return
119
+ try:
120
+ await page.wait_for_load_state('load', timeout=2500)
121
+ except Error:
122
+ pass
123
+ title = await page.title()
124
+ main = page.locator('main:visible, article:visible, [role=main]:visible').first
125
+ if not await main.count():
126
+ main = page.locator('body')
127
+ headings = await page.locator('h1').all_text_contents()
128
+ text = (await main.inner_text(timeout=2500)).strip()
129
+ images = await main.locator('img').evaluate_all('xs => xs.filter(x => x.naturalWidth >= 230 && x.naturalHeight >= 120 && x.getClientRects().length).length')
130
+ score = rank(query, ' '.join([title, *headings]), text, images)
131
+ if score and (best is None or score > best[0]):
132
+ if args.mode in ('html', 'image') and images:
133
+ await main.locator('img:visible').evaluate_all('''xs => {
134
+ const image = xs.find(x => x.naturalWidth >= 230 && x.naturalHeight >= 120);
135
+ image?.scrollIntoView({block: 'start'});
136
+ }''')
137
+ shot = await page.screenshot(timeout=5000, animations='disabled', clip={'x': 0, 'y': 0, 'width': 1280, 'height': 900}) if args.mode in ('html', 'image') else None
138
+ if best is None or score > best[0]:
139
+ best = score, page.url, title, text, shot
140
+ except Error:
141
+ pass
142
+ finally:
143
+ await page.close()
144
+
145
+ print(f'Проверяю страниц: {min(len(urls), args.limit)}')
146
+ await asyncio.gather(*(inspect(u) for u in urls[:args.limit]))
147
+ if best is None:
148
+ print('Подходящая открытая страница не найдена. Уточните запрос или передайте ссылки через --url.')
149
+ return 1
150
+ _, url, title, text, shot = best
151
+ print(f'{title}\nИсточник: {url}')
152
+ if args.mode == 'text':
153
+ print(text[:5000])
154
+ return 0
155
+ Path('results').mkdir(exist_ok=True)
156
+ folder = Path(mkdtemp(prefix='gdz-', dir='results')).resolve()
157
+ image = folder / 'preview.png'
158
+ image.write_bytes(shot)
159
+ output = image
160
+ if args.mode == 'html':
161
+ output = folder / 'index.html'
162
+ output.write_text(f'''<!doctype html><html lang="ru"><meta charset="utf-8"><meta name="viewport" content="width=device-width"><title>{html.escape(title)}</title>
163
+ <style>body{{font:1rem system-ui;max-width:75rem;margin:2rem auto;padding:0 1rem}}img{{max-width:100%}}pre{{white-space:pre-wrap}}</style>
164
+ <h1>{html.escape(title)}</h1><p><a href="{html.escape(url, quote=True)}">Открыть источник</a></p><img src="preview.png" alt="Снимок видимой области"><pre>{html.escape(text[:20000])}</pre></html>''', encoding='utf-8')
165
+ print(f'Сохранено: {output}')
166
+ if args.upload_kappa:
167
+ request = await pw.request.new_context()
168
+ try:
169
+ print(f'Ссылка kappa.lol: {await upload_kappa(request, shot)}')
170
+ except (Error, ValueError) as exc:
171
+ print(f'Не удалось загрузить на kappa.lol: {exc}. Локальные файлы сохранены.', file=sys.stderr)
172
+ return 3
173
+ finally:
174
+ await request.dispose()
175
+ if not args.no_open:
176
+ webbrowser.open(output.as_uri())
177
+ return 0
178
+
179
+
180
+ def main():
181
+ parser = argparse.ArgumentParser(description='Поиск открытых страниц ГДЗ')
182
+ parser.add_argument('query', nargs='?', help='Запрос; если не задан, будет запрошен')
183
+ parser.add_argument('--url', action='append', help='Проверить ссылку вместо поиска Google (можно повторять)')
184
+ parser.add_argument('--limit', type=int, default=20, choices=range(1, 101), metavar='1–100')
185
+ parser.add_argument('--mode', choices=('html', 'image', 'text'), default='html')
186
+ parser.add_argument('--no-open', action='store_true')
187
+ parser.add_argument('--upload-kappa', action='store_true', help='Опубликовать PNG на kappa.lol (18+; только если у вас есть право делиться снимком)')
188
+ args = parser.parse_args()
189
+ if args.upload_kappa and args.mode == 'text':
190
+ parser.error('--upload-kappa требует --mode image или --mode html.')
191
+ try:
192
+ query = (args.query or input('Введите запрос ГДЗ: ')).strip()
193
+ if not query:
194
+ parser.error('Введите непустой запрос.')
195
+ return asyncio.run(run(args, query))
196
+ except (KeyboardInterrupt, EOFError):
197
+ return 130
198
+ except Exception as exc:
199
+ print(f'Ошибка: {exc}', file=sys.stderr)
200
+ return 2
201
+
202
+
203
+ if __name__ == '__main__':
204
+ sys.exit(main())
@@ -0,0 +1,67 @@
1
+ Metadata-Version: 2.4
2
+ Name: gdz-parser
3
+ Version: 1.0.0
4
+ Summary: Search for open GDZ pages and create local previews of selected solutions.
5
+ Project-URL: Homepage, https://github.com/zmlsaggg/gdz-parser
6
+ Project-URL: Repository, https://github.com/zmlsaggg/gdz-parser
7
+ Project-URL: Issues, https://github.com/zmlsaggg/gdz-parser/issues
8
+ Classifier: Environment :: Console
9
+ Classifier: Operating System :: OS Independent
10
+ Classifier: Programming Language :: Python :: 3
11
+ Classifier: Programming Language :: Python :: 3.9
12
+ Classifier: Programming Language :: Python :: 3.10
13
+ Classifier: Programming Language :: Python :: 3.11
14
+ Classifier: Programming Language :: Python :: 3.12
15
+ Classifier: Programming Language :: Python :: 3.13
16
+ Classifier: Topic :: Internet :: WWW/HTTP :: Browsers
17
+ Classifier: Topic :: Education
18
+ Classifier: Topic :: Utilities
19
+ Requires-Python: >=3.9
20
+ Description-Content-Type: text/markdown
21
+ Requires-Dist: playwright<2,>=1.51
22
+
23
+ # ГДЗ-парсер
24
+
25
+ ## Установка через PyPI
26
+
27
+ ```powershell
28
+ py -m pip install gdz-parser
29
+ py -m playwright install chromium
30
+ gdz-parser "Математика 10 класс Максимов 215 страница"
31
+ ```
32
+
33
+ После установки браузера Chromium можно использовать команду `gdz-parser` из любого каталога. Флаг `--upload-kappa` остаётся необязательным и по умолчанию ничего не публикует.
34
+
35
+
36
+ Скачайте репозиторий и откройте терминал в его папке. Нужен Python 3.9+.
37
+
38
+ ```sh
39
+ python -m pip install -r requirements.txt
40
+ python -m playwright install chromium
41
+ python gdz.py
42
+ ```
43
+
44
+ Если команда `python` недоступна, используйте `python3` или `py` в Windows. На Linux при ошибке о недостающих системных библиотеках используйте `python -m playwright install --with-deps chromium`.
45
+
46
+ После запуска введите, например, `Математика 10 класс Максимов 215 страница`. Программа проверит до 20 результатов Google параллельно (до четырёх одновременно) и выберет наиболее подходящую открытую страницу по заголовку, тексту, номеру страницы и наличию крупных изображений. Блокировка известных рекламных доменов работает на уровне запросов Chromium; она не убирает всю рекламу.
47
+
48
+ ```sh
49
+ python gdz.py "Математика 10 класс Максимов 215 страница" --limit 40 --mode image
50
+ python gdz.py --mode text
51
+ python gdz.py --url "https://example.org/solution" --no-open
52
+ ```
53
+
54
+ - `html` (по умолчанию): локальная HTML-карточка с текстом, снимком видимой области и ссылкой на оригинал. Это не полная копия сайта; храните `index.html` и `preview.png` рядом.
55
+ - `image`: локальный PNG. `text`: печать извлечённого текста в терминал.
56
+ - Файлы сохраняются в `results/` и открываются в браузере по умолчанию. `--no-open` отключает открытие.
57
+ - `--url` можно повторять, чтобы проверить несколько ссылок без Google. При CAPTCHA, запросе согласия или пустой выдаче найдите ссылки в обычном браузере и передайте их этим параметром.
58
+
59
+ Лимит — верхняя граница, а не обещание, что Google выдаст столько ссылок. Проверка эвристическая: совпадение номера и наличие картинки не гарантируют нужное решение. Снимок не охватывает всю страницу; изображения, которые ещё не загрузились, могут не попасть в него. Программа не обходит платный доступ и CAPTCHA.
60
+
61
+ ### Публикация скриншота на kappa.lol
62
+
63
+ ```sh
64
+ python gdz.py --mode image --upload-kappa
65
+ ```
66
+
67
+ По умолчанию ничего не публикуется. Флаг отправляет только PNG и выводит ссылку. Используйте его только если вам есть 18 лет, вы согласны с [условиями сервиса](https://kappa.lol/terms) и вправе публично делиться снимком. Локальный файл сохраняется до отправки; при ошибке загрузки программа возвращает код 3. Используется multipart API [из документации Chatterino](https://wiki.chatterino.com/Image%20Uploader/). Живая загрузка из среды разработки не проверена.
@@ -0,0 +1,9 @@
1
+ README.md
2
+ gdz.py
3
+ pyproject.toml
4
+ gdz_parser.egg-info/PKG-INFO
5
+ gdz_parser.egg-info/SOURCES.txt
6
+ gdz_parser.egg-info/dependency_links.txt
7
+ gdz_parser.egg-info/entry_points.txt
8
+ gdz_parser.egg-info/requires.txt
9
+ gdz_parser.egg-info/top_level.txt
@@ -0,0 +1,2 @@
1
+ [console_scripts]
2
+ gdz-parser = gdz:main
@@ -0,0 +1 @@
1
+ playwright<2,>=1.51
@@ -0,0 +1,37 @@
1
+ [build-system]
2
+ requires = ["setuptools>=69", "wheel"]
3
+ build-backend = "setuptools.build_meta"
4
+
5
+ [project]
6
+ name = "gdz-parser"
7
+ version = "1.0.0"
8
+ description = "Search for open GDZ pages and create local previews of selected solutions."
9
+ readme = "README.md"
10
+ requires-python = ">=3.9"
11
+ dependencies = [
12
+ "playwright>=1.51,<2",
13
+ ]
14
+ classifiers = [
15
+ "Environment :: Console",
16
+ "Operating System :: OS Independent",
17
+ "Programming Language :: Python :: 3",
18
+ "Programming Language :: Python :: 3.9",
19
+ "Programming Language :: Python :: 3.10",
20
+ "Programming Language :: Python :: 3.11",
21
+ "Programming Language :: Python :: 3.12",
22
+ "Programming Language :: Python :: 3.13",
23
+ "Topic :: Internet :: WWW/HTTP :: Browsers",
24
+ "Topic :: Education",
25
+ "Topic :: Utilities",
26
+ ]
27
+
28
+ [project.scripts]
29
+ gdz-parser = "gdz:main"
30
+
31
+ [project.urls]
32
+ Homepage = "https://github.com/zmlsaggg/gdz-parser"
33
+ Repository = "https://github.com/zmlsaggg/gdz-parser"
34
+ Issues = "https://github.com/zmlsaggg/gdz-parser/issues"
35
+
36
+ [tool.setuptools]
37
+ py-modules = ["gdz"]
@@ -0,0 +1,4 @@
1
+ [egg_info]
2
+ tag_build =
3
+ tag_date = 0
4
+