pyaterochka-api 0.1.3__tar.gz → 0.1.6__tar.gz

pyaterochka_api-0.1.6/PKG-INFO

@@ -0,0 +1,141 @@
+Metadata-Version: 2.4
+Name: pyaterochka_api
+Version: 0.1.6
+Summary: A Python API client for Pyaterochka store catalog
+Home-page: https://github.com/Open-Inflation/pyaterochka_api
+Author: Miskler
+Classifier: Programming Language :: Python :: 3
+Classifier: Programming Language :: Python :: 3.10
+Classifier: Programming Language :: Python :: 3.11
+Classifier: Programming Language :: Python :: 3.12
+Classifier: Programming Language :: Python :: 3.13
+Classifier: License :: OSI Approved :: MIT License
+Classifier: Operating System :: Microsoft :: Windows
+Classifier: Operating System :: POSIX :: Linux
+Classifier: Intended Audience :: Developers
+Classifier: Intended Audience :: Information Technology
+Classifier: Topic :: Software Development :: Libraries :: Python Modules
+Classifier: Topic :: Internet
+Classifier: Topic :: Utilities
+Requires-Python: >=3.10
+Description-Content-Type: text/markdown
+License-File: LICENSE
+Requires-Dist: aiohttp
+Requires-Dist: camoufox[geoip]
+Requires-Dist: fake-useragent
+Requires-Dist: tqdm
+Provides-Extra: tests
+Requires-Dist: pytest; extra == "tests"
+Requires-Dist: pytest-asyncio; extra == "tests"
+Requires-Dist: snapshottest~=1.0.0a1; extra == "tests"
+Dynamic: author
+Dynamic: classifier
+Dynamic: description
+Dynamic: description-content-type
+Dynamic: home-page
+Dynamic: license-file
+Dynamic: provides-extra
+Dynamic: requires-dist
+Dynamic: requires-python
+Dynamic: summary
+
+# Pyaterochka API *(not official / не официальный)*
+
+Pyaterochka (Пятёрочка) - https://5ka.ru/
+
+![PyPI - Python Version](https://img.shields.io/pypi/pyversions/pyaterochka_api)
+![PyPI - Package Version](https://img.shields.io/pypi/v/pyaterochka_api?color=blue)
+[![PyPI - Downloads](https://img.shields.io/pypi/dm/pyaterochka_api?label=PyPi%20downloads)](https://pypi.org/project/pyaterochka-api/)
+[![Discord](https://img.shields.io/discord/792572437292253224?label=Discord&labelColor=%232c2f33&color=%237289da)](https://discord.gg/UnJnGHNbBp)
+[![Telegram](https://img.shields.io/badge/Telegram-24A1DE)](https://t.me/miskler_dev)
+
+
+
+## Installation / Установка:
+1. Install package / Установка пакета:
+```bash
+pip install pyaterochka_api
+```
+2. ***Debian/Ubuntu Linux***: Install dependencies / Установка зависимостей:
+```bash
+sudo apt update && sudo apt install -y libgtk-3-0 libx11-xcb1
+```
+3. Install browser / Установка браузера:
+```bash
+camoufox fetch
+```
+
+### Usage / Использование:
+```py
+from pyaterochka_api import Pyaterochka
+import asyncio
+
+
+async def main():
+    async with Pyaterochka(proxy="user:password@host:port", debug=False, autoclose_browser=False) as API:
+        # RUS: Вводим геоточку (самого магазина или рядом с ним) и получаем инфу о магазине
+        # ENG: Enter a geolocation (of the store or near it) and get info about the store
+        find_store = await API.find_store(longitude=37.63156, latitude=55.73768)
+        print(f"Store info output: {find_store!s:.100s}...\n")
+
+        # RUS: Выводит список всех категорий на сайте
+        # ENG: Outputs a list of all categories on the site
+        catalog = await API.categories_list(subcategories=True, mode=API.PurchaseMode.DELIVERY)
+        print(f"Categories list output: {catalog!s:.100s}...\n")
+
+        # RUS: Выводит список всех товаров выбранной категории (ограничение 100 элементов, если превышает - запрашивайте через дополнительные страницы)
+        # ENG: Outputs a list of all items in the selected category (limiting to 100 elements, if exceeds - request through additional pages)
+        # Страниц не сущетвует, использовать желаемый лимит (до 499) / Pages do not exist, use the desired limit (up to 499)
+        items = await API.products_list(catalog[0]['id'], limit=5)
+        print(f"Items list output: {items!s:.100s}...\n")
+
+        # RUS: Выводит информацию о товаре (по его plu - id товара).
+        # Функция в первый раз достаточно долгая, порядка 5-9 секунды, последующие запросы около 2 секунд (если браузер не был закрыт)
+        # ENG: Outputs information about the product (by its plu - product id).
+        # The function is quite long the first time, about 5-9 seconds, subsequent requests take about 2 seconds (if the browser was not closed)
+        info = await API.product_info(43347)
+        print(f"Product output: {info["props"]["pageProps"]["props"]['productStore']!s:.100s}...\n")
+
+        # RUS: Влияет исключительно на функцию выше (product_info), если включено, то после отработки запроса браузер закроется и кеши очищаются.
+        # Не рекомендую включать, если вам все же нужно освободить память, лучше использовать API.close(session=False, browser=True)
+        # ENG: Affects only the function above (product_info), if enabled, the browser will close after the request is processed and caches are cleared.
+        # I do not recommend enabling it, if you still need to free up memory, it is better to use API.close(session=False, browser=True)
+        API.autoclose_browser = True
+
+        # RUS: Выводит список последних промо-акций/новостей (можно поставить ограничитель по количеству, опционально)
+        # ENG: Outputs a list of the latest promotions/news (you can set a limit on the number, optionally)
+        news = await API.get_news(limit=5)
+        print(f"News output: {news!s:.100s}...\n")
+
+        # RUS: Выводит основной конфиг сайта (очень долгая функция, рекомендую сохранять в файл и переиспользовать)
+        # ENG: Outputs the main config of the site (large function, recommend to save in a file and re-use it)
+        print(f"Main config: {await API.get_config()!s:.100s}...\n")
+
+        # RUS: Если требуется, можно настроить вывод логов в консоль
+        # ENG: If required, you can configure the output of logs in the console
+        API.debug = True
+
+        # RUS: Скачивает картинку товара (возвращает BytesIO или None)
+        # ENG: Downloads the product image (returns BytesIO or None)
+        image = await API.download_image(url=items['products'][0]['image_links']['normal'][0])
+        with open(image.name, 'wb') as f:
+            f.write(image.getbuffer())
+
+        # RUS: Так же как и debug, в рантайме можно переназначить прокси
+        # ENG: As with debug, you can reassign the proxy in runtime
+        API.proxy = "user:password@host:port"
+        # RUS: Чтобы применить изменения, нужно пересоздать подключение (session - aiohttp отвечающее за все, кроме product_info, за него browser)
+        # ENG: To apply changes, you need rebuild connection (session - aiohttp responsible for everything except product_info, for it browser)
+        await API.rebuild_connection()
+        await API.categories_list()
+
+
+if __name__ == '__main__':
+    asyncio.run(main())
+```
+
+### Report / Обратная связь
+
+If you have any problems using it /suggestions, do not hesitate to write to the [project's GitHub](https://github.com/Open-Inflation/pyaterochka_api/issues)!
+
+Если у вас возникнут проблемы в использовании / пожелания, не стесняйтесь писать на [GitHub проекта](https://github.com/Open-Inflation/pyaterochka_api/issues)!

pyaterochka_api-0.1.6/README.md

@@ -0,0 +1,100 @@
+# Pyaterochka API *(not official / не официальный)*
+
+Pyaterochka (Пятёрочка) - https://5ka.ru/
+
+![PyPI - Python Version](https://img.shields.io/pypi/pyversions/pyaterochka_api)
+![PyPI - Package Version](https://img.shields.io/pypi/v/pyaterochka_api?color=blue)
+[![PyPI - Downloads](https://img.shields.io/pypi/dm/pyaterochka_api?label=PyPi%20downloads)](https://pypi.org/project/pyaterochka-api/)
+[![Discord](https://img.shields.io/discord/792572437292253224?label=Discord&labelColor=%232c2f33&color=%237289da)](https://discord.gg/UnJnGHNbBp)
+[![Telegram](https://img.shields.io/badge/Telegram-24A1DE)](https://t.me/miskler_dev)
+
+
+
+## Installation / Установка:
+1. Install package / Установка пакета:
+```bash
+pip install pyaterochka_api
+```
+2. ***Debian/Ubuntu Linux***: Install dependencies / Установка зависимостей:
+```bash
+sudo apt update && sudo apt install -y libgtk-3-0 libx11-xcb1
+```
+3. Install browser / Установка браузера:
+```bash
+camoufox fetch
+```
+
+### Usage / Использование:
+```py
+from pyaterochka_api import Pyaterochka
+import asyncio
+
+
+async def main():
+    async with Pyaterochka(proxy="user:password@host:port", debug=False, autoclose_browser=False) as API:
+        # RUS: Вводим геоточку (самого магазина или рядом с ним) и получаем инфу о магазине
+        # ENG: Enter a geolocation (of the store or near it) and get info about the store
+        find_store = await API.find_store(longitude=37.63156, latitude=55.73768)
+        print(f"Store info output: {find_store!s:.100s}...\n")
+
+        # RUS: Выводит список всех категорий на сайте
+        # ENG: Outputs a list of all categories on the site
+        catalog = await API.categories_list(subcategories=True, mode=API.PurchaseMode.DELIVERY)
+        print(f"Categories list output: {catalog!s:.100s}...\n")
+
+        # RUS: Выводит список всех товаров выбранной категории (ограничение 100 элементов, если превышает - запрашивайте через дополнительные страницы)
+        # ENG: Outputs a list of all items in the selected category (limiting to 100 elements, if exceeds - request through additional pages)
+        # Страниц не сущетвует, использовать желаемый лимит (до 499) / Pages do not exist, use the desired limit (up to 499)
+        items = await API.products_list(catalog[0]['id'], limit=5)
+        print(f"Items list output: {items!s:.100s}...\n")
+
+        # RUS: Выводит информацию о товаре (по его plu - id товара).
+        # Функция в первый раз достаточно долгая, порядка 5-9 секунды, последующие запросы около 2 секунд (если браузер не был закрыт)
+        # ENG: Outputs information about the product (by its plu - product id).
+        # The function is quite long the first time, about 5-9 seconds, subsequent requests take about 2 seconds (if the browser was not closed)
+        info = await API.product_info(43347)
+        print(f"Product output: {info["props"]["pageProps"]["props"]['productStore']!s:.100s}...\n")
+
+        # RUS: Влияет исключительно на функцию выше (product_info), если включено, то после отработки запроса браузер закроется и кеши очищаются.
+        # Не рекомендую включать, если вам все же нужно освободить память, лучше использовать API.close(session=False, browser=True)
+        # ENG: Affects only the function above (product_info), if enabled, the browser will close after the request is processed and caches are cleared.
+        # I do not recommend enabling it, if you still need to free up memory, it is better to use API.close(session=False, browser=True)
+        API.autoclose_browser = True
+
+        # RUS: Выводит список последних промо-акций/новостей (можно поставить ограничитель по количеству, опционально)
+        # ENG: Outputs a list of the latest promotions/news (you can set a limit on the number, optionally)
+        news = await API.get_news(limit=5)
+        print(f"News output: {news!s:.100s}...\n")
+
+        # RUS: Выводит основной конфиг сайта (очень долгая функция, рекомендую сохранять в файл и переиспользовать)
+        # ENG: Outputs the main config of the site (large function, recommend to save in a file and re-use it)
+        print(f"Main config: {await API.get_config()!s:.100s}...\n")
+
+        # RUS: Если требуется, можно настроить вывод логов в консоль
+        # ENG: If required, you can configure the output of logs in the console
+        API.debug = True
+
+        # RUS: Скачивает картинку товара (возвращает BytesIO или None)
+        # ENG: Downloads the product image (returns BytesIO or None)
+        image = await API.download_image(url=items['products'][0]['image_links']['normal'][0])
+        with open(image.name, 'wb') as f:
+            f.write(image.getbuffer())
+
+        # RUS: Так же как и debug, в рантайме можно переназначить прокси
+        # ENG: As with debug, you can reassign the proxy in runtime
+        API.proxy = "user:password@host:port"
+        # RUS: Чтобы применить изменения, нужно пересоздать подключение (session - aiohttp отвечающее за все, кроме product_info, за него browser)
+        # ENG: To apply changes, you need rebuild connection (session - aiohttp responsible for everything except product_info, for it browser)
+        await API.rebuild_connection()
+        await API.categories_list()
+
+
+if __name__ == '__main__':
+    asyncio.run(main())
+```
+
+### Report / Обратная связь
+
+If you have any problems using it /suggestions, do not hesitate to write to the [project's GitHub](https://github.com/Open-Inflation/pyaterochka_api/issues)!
+
+Если у вас возникнут проблемы в использовании / пожелания, не стесняйтесь писать на [GitHub проекта](https://github.com/Open-Inflation/pyaterochka_api/issues)!

pyaterochka_api-0.1.6/pyaterochka_api/__init__.py

@@ -0,0 +1,3 @@
+from .manager import Pyaterochka
+
+__all__ = ['Pyaterochka']

pyaterochka_api-0.1.6/pyaterochka_api/api.py

@@ -0,0 +1,251 @@
+import aiohttp
+from fake_useragent import UserAgent
+from enum import Enum
+import re
+from tqdm.asyncio import tqdm
+from camoufox import AsyncCamoufox
+
+
+class PyaterochkaAPI:
+    """
+    Класс для загрузки JSON/image и парсинга JavaScript-конфигураций из удаленного источника.
+    """
+
+    class Patterns(Enum):
+        JS = r'\s*let\s+n\s*=\s*({.*});\s*'              # let n = {...};
+        STR = r'(\w+)\s*:\s*"([^"\\]*(?:\\.[^"\\]*)*)"'  # key: "value"
+        DICT = r'(\w+)\s*:\s*{(.*?)}'                    # key: {...}
+        LIST = r'(\w+)\s*:\s*\[([^\[\]]*(?:\[.*?\])*)\]' # key: [value]
+        FIND = r'\{.*?\}|\[.*?\]'                        # {} or []
+
+    def __init__(self, debug: bool = False, proxy: str = None, autoclose_browser: bool = False):
+        self._debug = debug
+        self._proxy = proxy
+        self._session = None
+        self._autoclose_browser = autoclose_browser
+        self._browser = None
+        self._bcontext = None
+
+    @property
+    def proxy(self) -> str | None:
+        return self._proxy if hasattr(self, '_proxy') else None
+
+    @proxy.setter
+    def proxy(self, value: str | None) -> None:
+        self._proxy = value
+    
+    async def fetch(self, url: str) -> tuple[bool, dict | None | str, str]:
+        """
+        Выполняет HTTP-запрос к указанному URL и возвращает результат.
+
+        :return: Кортеж (успех, данные или None).
+        """
+        if self._debug:
+            print(f"Requesting \"{url}\"...", flush=True)
+
+        async with self._session.get(url=url) as response:
+            if self._debug:
+                print(f"Response status: {response.status}", flush=True)
+
+            if response.status == 200:
+                if response.headers['content-type'] == 'application/json':
+                    output_response = response.json()
+                elif response.headers['content-type'] == 'image/jpeg':
+                    output_response = response.read()
+                else:
+                    output_response = response.text()
+
+                return True, await output_response, response.headers['content-type']
+            elif response.status == 403:
+                if self._debug:
+                    print("Anti-bot protection. Use Russia IP address and try again.", flush=True)
+                return False, None, ''
+            else:
+                if self._debug:
+                    print(f"Unexpected error: {response.status}", flush=True)
+                raise Exception(f"Response status: {response.status} (unknown error/status code)")
+
+    async def _parse_js(self, js_code: str) -> dict | None:
+        """
+        Парсит JavaScript-код и извлекает данные из переменной "n".
+
+        :param js_code: JS-код в виде строки.
+        :return: Распарсенные данные в виде словаря или None.
+        """
+        matches = re.finditer(self.Patterns.JS.value, js_code)
+        match_list = list(matches)
+
+        if self._debug:
+            print(f"Found matches {len(match_list)}")
+            progress_bar = tqdm(total=33, desc="Parsing JS", position=0)
+
+        async def parse_match(match: str) -> dict:
+            result = {}
+
+            if self._debug:
+                progress_bar.set_description("Parsing strings")
+
+            # Парсинг строк
+            string_matches = re.finditer(self.Patterns.STR.value, match)
+            for m in string_matches:
+                key, value = m.group(1), m.group(2)
+                result[key] = value.replace('\"', '"').replace('\\', '\\')
+
+            if self._debug:
+                progress_bar.update(1)
+                progress_bar.set_description("Parsing dictionaries")
+
+            # Парсинг словарей
+            dict_matches = re.finditer(self.Patterns.DICT.value, match)
+            for m in dict_matches:
+                key, value = m.group(1), m.group(2)
+                if not re.search(self.Patterns.STR.value, value):
+                    result[key] = await parse_match(value)
+
+            if self._debug:
+                progress_bar.update(1)
+                progress_bar.set_description("Parsing lists")
+
+            # Парсинг списков
+            list_matches = re.finditer(self.Patterns.LIST.value, match)
+            for m in list_matches:
+                key, value = m.group(1), m.group(2)
+                if not re.search(self.Patterns.STR.value, value):
+                    result[key] = [await parse_match(item.group(0)) for item in re.finditer(self.Patterns.FIND.value, value)]
+
+            if self._debug:
+                progress_bar.update(1)
+
+            return result
+
+        if match_list and len(match_list) >= 1:
+            if self._debug:
+                print("Starting to parse match")
+            result = await parse_match(match_list[1].group(0))
+            if self._debug:
+                progress_bar.close()
+            return result
+        else:
+            if self._debug:
+                progress_bar.close()
+            raise Exception("N variable in JS code not found")
+
+    async def download_config(self, config_url: str) -> dict | None:
+        """
+        Загружает и парсит JavaScript-конфигурацию с указанного URL.
+
+        :param config_url: URL для загрузки конфигурации.
+        :return: Распарсенные данные в виде словаря или None.
+        """
+        is_success, js_code, _response_type = await self.fetch(url=config_url)
+
+        if not is_success:
+            if self._debug:
+                print("Failed to fetch JS code")
+            return None
+        elif self._debug:
+            print("JS code fetched successfully")
+
+        return await self._parse_js(js_code=js_code)
+
+
+    async def _browser_fetch(self, url: str, selector: str, state: str = 'attached') -> dict:
+        if self._browser is None or self._bcontext is None:
+            await self._new_session(include_aiohttp=False, include_browser=True)
+
+        page = await self._bcontext.new_page()
+        await page.goto(url, wait_until='commit')
+        # Wait until the selector script tag appears
+        await page.wait_for_selector(selector=selector, state=state)
+        content = await page.content()
+        await page.close()
+
+        if self._autoclose_browser:
+            await self.close(include_aiohttp=False, include_browser=True)
+        return content
+
+    def _parse_proxy(self, proxy_str: str | None) -> dict | None:
+        if not proxy_str:
+            return None
+
+        # Example: user:pass@host:port or just host:port
+        match = re.match(
+            r'^(?:(?P<scheme>https?:\/\/))?(?:(?P<username>[^:@]+):(?P<password>[^@]+)@)?(?P<host>[^:]+):(?P<port>\d+)$',
+            proxy_str,
+        )
+
+        proxy_dict = {}
+        if not match:
+            proxy_dict['server'] = proxy_str
+            
+            if not proxy_str.startswith('http://') and not proxy_str.startswith('https://'):
+                proxy_dict['server'] = f"http://{proxy_str}"
+            
+            return proxy_dict
+        else:
+            match_dict = match.groupdict()
+            proxy_dict['server'] = f"{match_dict['scheme'] or 'http://'}{match_dict['host']}:{match_dict['port']}"
+            
+            for key in ['username', 'password']:
+                if match_dict[key]:
+                    proxy_dict[key] = match_dict[key]
+            
+            return proxy_dict
+
+    async def _new_session(self, include_aiohttp: bool = True, include_browser: bool = False) -> None:
+        await self.close(include_aiohttp=include_aiohttp, include_browser=include_browser)
+
+        if include_aiohttp:
+            args = {"headers": {"User-Agent": UserAgent().random}}
+            if self._proxy: args["proxy"] = self._proxy
+            self._session = aiohttp.ClientSession(**args)
+        
+            if self._debug: print(f"A new connection aiohttp has been opened. Proxy used: {args.get('proxy')}")
+
+        if include_browser:
+            self._browser = await AsyncCamoufox(headless=not self._debug, proxy=self._parse_proxy(self.proxy), geoip=True).__aenter__()
+            self._bcontext = await self._browser.new_context()
+            
+            if self._debug: print(f"A new connection browser has been opened. Proxy used: {self.proxy}")
+
+    async def close(
+        self,
+        include_aiohttp: bool = True,
+        include_browser: bool = False
+    ) -> None:
+        """
+        Close the aiohttp session and/or Camoufox browser if they are open.
+        :param include_aiohttp: close aiohttp session if True
+        :param include_browser: close browser if True
+        """
+        to_close = []
+        if include_aiohttp:
+            to_close.append("session")
+        if include_browser:
+            to_close.append("bcontext")
+            to_close.append("browser")
+
+        if not to_close:
+            raise ValueError("No connections to close")
+
+        checks = {
+            "session": lambda a: a is not None and not a.closed,
+            "browser": lambda a: a is not None,
+            "bcontext": lambda a: a is not None
+        }
+
+        for name in to_close:
+            attr = getattr(self, f"_{name}", None)
+            if checks[name](attr):
+                if "browser" in name:
+                    await attr.__aexit__(None, None, None)
+                else:
+                    await attr.close()
+                setattr(self, f"_{name}", None)
+                if self._debug:
+                    print(f"The {name} connection was closed")
+            else:
+                if self._debug:
+                    print(f"The {name} connection was not open")
+
+