pyaterochka-api 0.1.2__tar.gz → 0.1.3__tar.gz

{pyaterochka_api-0.1.2 → pyaterochka_api-0.1.3}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: pyaterochka_api
-Version: 0.1.2
+Version: 0.1.3
 Summary: A Python API client for Pyaterochka store catalog
 Home-page: https://github.com/Open-Inflation/pyaterochka_api
 Author: Miskler
@@ -32,13 +32,22 @@ async def main():
     # RUS: Выводит список всех товаров выбранной категории (ограничение 100 элементов, если превышает - запрашивайте через дополнительные страницы)
     # ENG: Outputs a list of all items in the selected category (limiting to 100 elements, if exceeds - request through additional pages)
     # Страниц не сущетвует, использовать желаемый лимит (до 499) / Pages do not exist, use the desired limit (up to 499)
-    print(f"Items list output: {await pyaterochka_api.products_list(catalog[0]['id'], limit=5)!s:.100s}...\n")
+    items = await pyaterochka_api.products_list(catalog[0]['id'], limit=5)
+    print(f"Items list output: {items!s:.100s}...\n")
 
     # RUS: Выводит основной конфиг сайта (очень долгая функция, рекомендую сохранять в файл и переиспользовать)
     # ENG: Outputs the main config of the site (large function, recommend to save in a file and re-use it)
+    print(f"Main config: {await pyaterochka_api.get_config()!s:.100s}...\n")
+
     # RUS: Если требуется, можно настроить вывод логов в консоль
     # ENG: If required, you can configure the output of logs in the console
-    print(f"Main config: {await pyaterochka_api.get_config(debug=True)!s:.100s}...\n")
+    pyaterochka_api.set_debug(True)
+
+    # RUS: Скачивает картинку товара (возвращает BytesIO или None)
+    # ENG: Downloads the product image (returns BytesIO or None)
+    image = await pyaterochka_api.download_image(url=items['products'][0]['image_links']['normal'][0])
+    with open(image.name, 'wb') as f:
+        f.write(image.getbuffer())
 
 
 if __name__ == '__main__':

{pyaterochka_api-0.1.2 → pyaterochka_api-0.1.3}/README.md

@@ -17,13 +17,22 @@ async def main():
     # RUS: Выводит список всех товаров выбранной категории (ограничение 100 элементов, если превышает - запрашивайте через дополнительные страницы)
     # ENG: Outputs a list of all items in the selected category (limiting to 100 elements, if exceeds - request through additional pages)
     # Страниц не сущетвует, использовать желаемый лимит (до 499) / Pages do not exist, use the desired limit (up to 499)
-    print(f"Items list output: {await pyaterochka_api.products_list(catalog[0]['id'], limit=5)!s:.100s}...\n")
+    items = await pyaterochka_api.products_list(catalog[0]['id'], limit=5)
+    print(f"Items list output: {items!s:.100s}...\n")
 
     # RUS: Выводит основной конфиг сайта (очень долгая функция, рекомендую сохранять в файл и переиспользовать)
     # ENG: Outputs the main config of the site (large function, recommend to save in a file and re-use it)
+    print(f"Main config: {await pyaterochka_api.get_config()!s:.100s}...\n")
+
     # RUS: Если требуется, можно настроить вывод логов в консоль
     # ENG: If required, you can configure the output of logs in the console
-    print(f"Main config: {await pyaterochka_api.get_config(debug=True)!s:.100s}...\n")
+    pyaterochka_api.set_debug(True)
+
+    # RUS: Скачивает картинку товара (возвращает BytesIO или None)
+    # ENG: Downloads the product image (returns BytesIO or None)
+    image = await pyaterochka_api.download_image(url=items['products'][0]['image_links']['normal'][0])
+    with open(image.name, 'wb') as f:
+        f.write(image.getbuffer())
 
 
 if __name__ == '__main__':

{pyaterochka_api-0.1.2 → pyaterochka_api-0.1.3}/pyaterochka_api/__init__.py

@@ -1,3 +1,3 @@
-from .manager import PurchaseMode, categories_list, products_list, get_config
+from .manager import PurchaseMode, categories_list, products_list, get_config, download_image, PyaterochkaAPI, set_debug
 
-__all__ = ['PurchaseMode', 'categories_list', 'products_list', 'get_config']
+__all__ = ['PurchaseMode', 'categories_list', 'products_list', 'get_config', 'download_image', 'PyaterochkaAPI', 'set_debug']

pyaterochka_api-0.1.3/pyaterochka_api/api.py

@@ -0,0 +1,146 @@
+import aiohttp
+from fake_useragent import UserAgent
+from enum import Enum
+import re
+from tqdm.asyncio import tqdm
+
+
+class PyaterochkaAPI:
+    """
+    Класс для загрузки JSON/image и парсинга JavaScript-конфигураций из удаленного источника.
+    """
+
+    class Patterns(Enum):
+        JS = r'\s*let\s+n\s*=\s*({.*});\s*'              # let n = {...};
+        STR = r'(\w+)\s*:\s*"([^"\\]*(?:\\.[^"\\]*)*)"'  # key: "value"
+        DICT = r'(\w+)\s*:\s*{(.*?)}'                    # key: {...}
+        LIST = r'(\w+)\s*:\s*\[([^\[\]]*(?:\[.*?\])*)\]' # key: [value]
+        FIND = r'\{.*?\}|\[.*?\]'                        # {} or []
+
+    def __init__(self, debug: bool = False):
+        self._debug = False
+
+    def set_debug(self, debug: bool):
+        """Устанавливает режим дебага для экземпляра класса."""
+        self._debug = debug
+
+    async def fetch(self, url: str) -> tuple[bool, dict | None | str, str]:
+        """
+        Выполняет HTTP-запрос к указанному URL и возвращает результат.
+
+        :param url: URL для запроса.
+        :param is_json: Ожидать ли JSON в ответе.
+        :return: Кортеж (успех, данные или None).
+        """
+        async with aiohttp.ClientSession() as session:
+
+            if self._debug:
+                print(f"Requesting \"{url}\"...", flush=True)
+
+            async with session.get(
+                url=url,
+                headers={"User-Agent": UserAgent().random},
+            ) as response:
+                if self._debug:
+                    print(f"Response status: {response.status}", flush=True)
+
+                if response.status == 200:
+                    if response.headers['content-type'] == 'application/json':
+                        output_response = response.json()
+                    elif response.headers['content-type'] == 'image/jpeg':
+                        output_response = response.read()
+                    else:
+                        output_response = response.text()
+
+                    return True, await output_response, response.headers['content-type']
+                elif response.status == 403:
+                    if self._debug:
+                        print("Anti-bot protection. Use Russia IP address and try again.", flush=True)
+                    return False, None, ''
+                else:
+                    if self._debug:
+                        print(f"Unexpected error: {response.status}", flush=True)
+                    raise Exception(f"Response status: {response.status} (unknown error/status code)")
+
+    async def _parse_js(self, js_code: str) -> dict | None:
+        """
+        Парсит JavaScript-код и извлекает данные из переменной "n".
+
+        :param js_code: JS-код в виде строки.
+        :return: Распарсенные данные в виде словаря или None.
+        """
+        matches = re.finditer(self.Patterns.JS.value, js_code)
+        match_list = list(matches)
+
+        if self._debug:
+            print(f"Found matches {len(match_list)}")
+            progress_bar = tqdm(total=33, desc="Parsing JS", position=0)
+
+        async def parse_match(match: str) -> dict:
+            result = {}
+
+            if self._debug:
+                progress_bar.set_description("Parsing strings")
+
+            # Парсинг строк
+            string_matches = re.finditer(self.Patterns.STR.value, match)
+            for m in string_matches:
+                key, value = m.group(1), m.group(2)
+                result[key] = value.replace('\"', '"').replace('\\', '\\')
+
+            if self._debug:
+                progress_bar.update(1)
+                progress_bar.set_description("Parsing dictionaries")
+
+            # Парсинг словарей
+            dict_matches = re.finditer(self.Patterns.DICT.value, match)
+            for m in dict_matches:
+                key, value = m.group(1), m.group(2)
+                if not re.search(self.Patterns.STR.value, value):
+                    result[key] = await parse_match(value)
+
+            if self._debug:
+                progress_bar.update(1)
+                progress_bar.set_description("Parsing lists")
+
+            # Парсинг списков
+            list_matches = re.finditer(self.Patterns.LIST.value, match)
+            for m in list_matches:
+                key, value = m.group(1), m.group(2)
+                if not re.search(self.Patterns.STR.value, value):
+                    result[key] = [await parse_match(item.group(0)) for item in re.finditer(self.Patterns.FIND.value, value)]
+
+            if self._debug:
+                progress_bar.update(1)
+
+            return result
+
+        if match_list and len(match_list) >= 1:
+            if self._debug:
+                print("Starting to parse match")
+            result = await parse_match(match_list[1].group(0))
+            if self._debug:
+                progress_bar.close()
+            return result
+        else:
+            if self._debug:
+                progress_bar.close()
+            raise Exception("N variable in JS code not found")
+
+    async def download_config(self, config_url: str) -> dict | None:
+        """
+        Загружает и парсит JavaScript-конфигурацию с указанного URL.
+
+        :param config_url: URL для загрузки конфигурации.
+        :return: Распарсенные данные в виде словаря или None.
+        """
+        is_success, js_code, _response_type = await self.fetch(url=config_url)
+
+        if not is_success:
+            if self._debug:
+                print("Failed to fetch JS code")
+            return None
+        elif self._debug:
+            print("JS code fetched successfully")
+
+        return await self._parse_js(js_code=js_code)

{pyaterochka_api-0.1.2 → pyaterochka_api-0.1.3}/pyaterochka_api/manager.py

@@ -1,5 +1,7 @@
-from .api import main_fetch, download_hardcode_config
+from .api import PyaterochkaAPI as ClassPyaterochkaAPI
 from enum import Enum
+from io import BytesIO
+
 
 CATALOG_URL = "https://5d.5ka.ru/api/catalog/v2/stores"
 HARDCODE_JS_CONFIG = "https://prod-cdn.5ka.ru/scripts/main.a0c039ea81eb8cf69492.js" # TODO сделать не хардкодным имя файла
@@ -9,11 +11,13 @@ class PurchaseMode(Enum):
     DELIVERY = "delivery"
 
 
+PyaterochkaAPI = ClassPyaterochkaAPI(debug=False)
+
+
 async def categories_list(
         subcategories: bool = False,
         mode: PurchaseMode = PurchaseMode.STORE,
-        sap_code_store_id: str = "Y232",
-        debug: bool = False
+        sap_code_store_id: str = "Y232"
 ) -> dict | None:
     """
     Asynchronously retrieves a list of categories from the Pyaterochka API.
@@ -32,16 +36,14 @@ async def categories_list(
     """
 
     request_url = f"{CATALOG_URL}/{sap_code_store_id}/categories?mode={mode.value}&include_subcategories={1 if subcategories else 0}"
-    is_success, response = await main_fetch(url=request_url, debug=debug)
+    _is_success, response, _response_type = await PyaterochkaAPI.fetch(url=request_url)
     return response
 
-
 async def products_list(
         category_id: int,
         mode: PurchaseMode = PurchaseMode.STORE,
         sap_code_store_id: str = "Y232",
-        limit: int = 30,
-        debug: bool = False
+        limit: int = 30
 ) -> dict | None:
     """
     Asynchronously retrieves a list of products from the Pyaterochka API for a given category.
@@ -64,11 +66,25 @@ async def products_list(
         raise ValueError("Limit must be between 1 and 499")
 
     request_url = f"{CATALOG_URL}/{sap_code_store_id}/categories/{category_id}/products?mode={mode.value}&limit={limit}"
-    is_success, response = await main_fetch(url=request_url, debug=debug)
+    _is_success, response, _response_type = await PyaterochkaAPI.fetch(url=request_url)
     return response
 
+async def download_image(url: str) -> BytesIO | None:
+    is_success, image_data, response_type = await PyaterochkaAPI.fetch(url=url)
+
+    if not is_success:
+        if PyaterochkaAPI._debug:
+            print("Failed to fetch image")
+        return None
+    elif PyaterochkaAPI._debug:
+        print("Image fetched successfully")
 
-async def get_config(debug: bool = False) -> list | None:
+    image = BytesIO(image_data)
+    image.name = f'{url.split("/")[-1]}.{response_type.split("/")[-1]}'
+
+    return image
+
+async def get_config() -> list | None:
     """
     Asynchronously retrieves the configuration from the hardcoded JavaScript file.
 
@@ -79,4 +95,9 @@ async def get_config(debug: bool = False) -> list | None:
         list | None: A list representing the configuration if the request is successful, None otherwise.
     """
 
-    return await download_hardcode_config(config_url=HARDCODE_JS_CONFIG, debug=debug)
+    return await PyaterochkaAPI.download_config(config_url=HARDCODE_JS_CONFIG)
+
+
+def set_debug(debug: bool) -> None:
+    PyaterochkaAPI.set_debug(debug=debug)
+

{pyaterochka_api-0.1.2 → pyaterochka_api-0.1.3}/pyaterochka_api.egg-info/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: pyaterochka-api
-Version: 0.1.2
+Version: 0.1.3
 Summary: A Python API client for Pyaterochka store catalog
 Home-page: https://github.com/Open-Inflation/pyaterochka_api
 Author: Miskler
@@ -32,13 +32,22 @@ async def main():
     # RUS: Выводит список всех товаров выбранной категории (ограничение 100 элементов, если превышает - запрашивайте через дополнительные страницы)
     # ENG: Outputs a list of all items in the selected category (limiting to 100 elements, if exceeds - request through additional pages)
     # Страниц не сущетвует, использовать желаемый лимит (до 499) / Pages do not exist, use the desired limit (up to 499)
-    print(f"Items list output: {await pyaterochka_api.products_list(catalog[0]['id'], limit=5)!s:.100s}...\n")
+    items = await pyaterochka_api.products_list(catalog[0]['id'], limit=5)
+    print(f"Items list output: {items!s:.100s}...\n")
 
     # RUS: Выводит основной конфиг сайта (очень долгая функция, рекомендую сохранять в файл и переиспользовать)
     # ENG: Outputs the main config of the site (large function, recommend to save in a file and re-use it)
+    print(f"Main config: {await pyaterochka_api.get_config()!s:.100s}...\n")
+
     # RUS: Если требуется, можно настроить вывод логов в консоль
     # ENG: If required, you can configure the output of logs in the console
-    print(f"Main config: {await pyaterochka_api.get_config(debug=True)!s:.100s}...\n")
+    pyaterochka_api.set_debug(True)
+
+    # RUS: Скачивает картинку товара (возвращает BytesIO или None)
+    # ENG: Downloads the product image (returns BytesIO or None)
+    image = await pyaterochka_api.download_image(url=items['products'][0]['image_links']['normal'][0])
+    with open(image.name, 'wb') as f:
+        f.write(image.getbuffer())
 
 
 if __name__ == '__main__':

{pyaterochka_api-0.1.2 → pyaterochka_api-0.1.3}/setup.py

@@ -2,7 +2,7 @@ from setuptools import setup, find_packages
 
 setup(
     name='pyaterochka_api',
-    version='0.1.2',
+    version='0.1.3',
     packages=find_packages(),
     install_requires=[
         'aiohttp',

pyaterochka_api-0.1.2/pyaterochka_api/api.py

@@ -1,116 +0,0 @@
-import aiohttp
-from fake_useragent import UserAgent
-from enum import Enum
-import re
-from tqdm.asyncio import tqdm
-
-
-class Patterns(Enum):
-    JS = r'\s*let\s+n\s*=\s*({.*});\s*'
-    STR = r'(\w+)\s*:\s*"([^"\\]*(?:\\.[^"\\]*)*)"'
-    DICT = r'(\w+)\s*:\s*{(.*?)}'
-    LIST = r'(\w+)\s*:\s*\[([^\[\]]*(?:\[.*?\])*)\]'
-    FIND = r'\{.*?\}|\[.*?\]'
-
-
-
-async def main_fetch(url: str, debug: bool = False, is_json: bool = True) -> tuple[bool, dict | None]:
-    async with aiohttp.ClientSession() as session:
-        if debug:
-            print(f"Requesting \"{url}\"...", flush=True)
-
-        async with session.get(
-                url=url,
-                headers={"User-Agent": UserAgent().random},
-        ) as response:
-            if debug:
-                print(f"Response status: {response.status}", flush=True)
-
-            if response.status == 200: # 200 OK
-                if debug:
-                    print("Correct response", flush=True)
-                return True, await response.json() if is_json else await response.text()
-            elif response.status == 403: # 403 Forbidden (сервер воспринял как бота)
-                if debug:
-                    print("Anti-bot protection. Use Russia IP address and try again.", flush=True)
-                return False, None
-            else:
-                if debug:
-                    print(f"Please, create issue on GitHub", flush=True)
-                raise Exception(f"Response status: {response.status} (unknown error/status code)")
-
-async def download_hardcode_config(config_url: str, debug: bool = False) -> dict | None:
-    is_success, js_code = await main_fetch(url=config_url, debug=debug, is_json=False)
-
-    if not is_success:
-        if debug:
-            print("Failed to fetch JS code")
-        return None
-    elif debug:
-        print("JS code fetched successfully")
-
-    # Регулярное выражение для извлечения определения переменной n
-    matches = re.finditer(Patterns.JS.value, js_code)
-
-    match_list = list(matches)
-    if debug:
-        print(f"Found matches {len(match_list)}")
-
-    if debug:
-        progress_bar = tqdm(total=33, desc="Parsing JS", position=0) # примерно 33 операции
-
-    async def parse_match(match: str) -> dict:
-        result = {}
-
-        if debug:
-            # Обновление описания прогресса
-            progress_bar.set_description("Parsing strings")
-
-        # Парсинг строк
-        string_matches = re.finditer(Patterns.STR.value, match)
-        for m in string_matches:
-            key, value = m.group(1), m.group(2)
-            result[key] = value.replace('\"', '"').replace('\\\\', '\\')
-
-        if debug:
-            progress_bar.update(1)
-            # Обновление описания прогресса
-            progress_bar.set_description("Parsing dictionaries")
-
-        # Парсинг словарей
-        dict_matches = re.finditer(Patterns.DICT.value, match)
-        for m in dict_matches:
-            key, value = m.group(1), m.group(2)
-            if not re.search(Patterns.STR.value, value):
-                result[key] = await parse_match(value)
-
-        if debug:
-            progress_bar.update(1)
-            # Обновление описания прогресса
-            progress_bar.set_description("Parsing lists")
-
-        # Парсинг списков
-        list_matches = re.finditer(Patterns.LIST.value, match)
-        for m in list_matches:
-            key, value = m.group(1), m.group(2)
-            if not re.search(Patterns.STR.value, value):
-                result[key] = [await parse_match(item.group(0)) for item in re.finditer(Patterns.FIND.value, value)]
-
-        if debug:
-            # Обновление прогресса
-            progress_bar.update(1)
-
-        return result
-
-    if match_list and len(match_list) >= 1:  # нужная переменная идет второй из трех
-        if debug:
-            print("Starting to parse match")
-        result = await parse_match(match_list[1].group(0))
-        if debug:
-            progress_bar.close()
-        return result
-    else:
-        if debug:
-            progress_bar.close()
-        raise Exception("N variable in JS code not found")
-