educommon 3.13.0__py3-none-any.whl → 3.13.2__py3-none-any.whl

educommon/importer/__init__.py

@@ -1,5 +1,87 @@
-from educommon.importer.proxy import *
-from educommon.importer.proxy_import import (
-    ProxyLoader,
+from educommon.importer.proxy import (
+    SafeDict,
+    ProxySaveError,
+    ProxyCriticalError,
+    ProxyWarning,
+    _ImportProxy,
+    ModelProxy,
+    CacheProxy,
+    ContextAdapterProxy,
+    LayoutModelProxy,
+    MultiProxyLoader,
+    LayoutProxyLoader,
+    fabricate_proxies,
 )
-from educommon.importer.XLSReader import *
+from educommon.importer.proxy_import import ProxyLoader
+from educommon.importer.XLSReader import (
+    SUBTREE_CAN_BE_EMPTY,
+    START_ROW,
+    HEADER_PARSER,
+    END_ROW,
+    MATCH_IF_EXACT,
+    MATCH_IF_STARTS_WITH,
+    MATCH_IF_CONTAINS,
+    CellValueError,
+    EmptyObligatoryCellError,
+    BaseCell,
+    StringCell,
+    MaybeStringCell,
+    RawCell,
+    MaybeRawCell,
+    IntCell,
+    MaybeIntCell,
+    MaybeNonNegativeIntCell,
+    BooleanCell,
+    MaybeTrueCell,
+    MaybeFalseCell,
+    EnumCell,
+    DateCell,
+    MaybeDateCell,
+    SimpleColumnMatcher,
+    RegexColumnMatcher,
+    DynamicStartRow,
+    XLSLoader,
+)
+
+__all__ = [
+    'SafeDict',
+    'ProxySaveError',
+    'ProxyCriticalError',
+    'ProxyWarning',
+    '_ImportProxy',
+    'ModelProxy',
+    'CacheProxy',
+    'ContextAdapterProxy',
+    'LayoutModelProxy',
+    'MultiProxyLoader',
+    'LayoutProxyLoader',
+    'fabricate_proxies',
+    'ProxyLoader',
+    'SUBTREE_CAN_BE_EMPTY',
+    'START_ROW',
+    'HEADER_PARSER',
+    'END_ROW',
+    'MATCH_IF_EXACT',
+    'MATCH_IF_STARTS_WITH',
+    'MATCH_IF_CONTAINS',
+    'CellValueError',
+    'EmptyObligatoryCellError',
+    'BaseCell',
+    'StringCell',
+    'MaybeStringCell',
+    'RawCell',
+    'MaybeRawCell',
+    'IntCell',
+    'MaybeIntCell',
+    'MaybeNonNegativeIntCell',
+    'BooleanCell',
+    'MaybeTrueCell',
+    'MaybeFalseCell',
+    'EnumCell',
+    'DateCell',
+    'MaybeDateCell',
+    'SimpleColumnMatcher',
+    'RegexColumnMatcher',
+    'DynamicStartRow',
+    'XLSLoader',
+]

educommon/importer/api.py

@@ -69,45 +69,43 @@ class BaseImportPack(BasePack):
     """Вызов окна подтверждения импорта при наличии ошибок."""
 
     def __init__(self):
-        super(BaseImportPack, self).__init__()
+        super().__init__()
+
         self.import_window_action = BaseImportWindowAction()
         self.import_action = BaseImportAction()
         self.import_with_confirm_action = ImportWithConfirmAction()
-        self.actions.extend([
-            self.import_window_action,
-            self.import_action,
-            self.import_with_confirm_action,
-        ])
+        self.actions.extend(
+            [
+                self.import_window_action,
+                self.import_action,
+                self.import_with_confirm_action,
+            ]
+        )
 
     def declare_context(self, action):
         """Объявлен параметр для пропуска записей с ошибками."""
-        params = super(BaseImportPack, self).declare_context(action)
+        params = super().declare_context(action)
 
         if action in (self.import_action, self.import_with_confirm_action):
-            params.update({
-                'ignore_bad_rows': dict(type='boolean', default=False),
-                # ID компоненты окна импорта
-                'import_window_id': dict(type='str'),
-            })
+            params.update(
+                {
+                    'ignore_bad_rows': dict(type='boolean', default=False),
+                    # ID компоненты окна импорта
+                    'import_window_id': dict(type='str'),
+                }
+            )
 
         return params
 
-    def _make_proxies_config(
-            self, memory_file, file_name, initial_context, loaders=None
-    ):
+    def _make_proxies_config(self, memory_file, file_name, initial_context, loaders=None):
         """Автогенерация прокси у загрузчиков для областей ячеек"""
         xls_loader = XLSLoader(memory_file)
         loaders = loaders or self.get_loaders()
         # только страницы, для которых определены загрузчики
         loaders = dict(  # имена сделаю большими и без пробелов
-            (str(name).strip().upper(), loader_cls)
-            for name, loader_cls in loaders.items()
-        )
-        sheets = (
-            sheet
-            for sheet in xls_loader._book.sheets()
-            if sheet.name.strip().upper() in loaders
+            (str(name).strip().upper(), loader_cls) for name, loader_cls in loaders.items()
         )
+        sheets = (sheet for sheet in xls_loader._book.sheets() if sheet.name.strip().upper() in loaders)
         for sheet in sheets:
             loader_cls = loaders.get(sheet.name.strip().upper())
             # только если загрузчик имеет прокси, определяющие некую область
@@ -121,43 +119,31 @@ class BaseImportPack(BasePack):
             # Сейчас для загрузки динамически генерируется наследник загрузчика
             # со своим атрибутом proxies, и в нем не должно быть
             # сгенерированных классов прокси.
-            assert all((
-                not getattr(proxy[1], 'was_fabricated', False)
-                for proxy in loader_cls.proxies
-            ))
+            assert all((not getattr(proxy[1], 'was_fabricated', False) for proxy in loader_cls.proxies))
             # разбор шапок колонок, начиная со строки заголовков START_ROW
             start_row = loader_cls.xlsreader_extra.get(START_ROW, 0)
             head_data = [cell_val for cell_val in sheet.row_values(start_row)]
-            for layout_str, ancestor_cls in getattr(
-                    loader_cls, 'layout_proxies_template', []
-            ):
+            for layout_str, ancestor_cls in getattr(loader_cls, 'layout_proxies_template', []):
                 # сгенерированные прокси для этой области
-                proxies = fabricate_proxies(
-                    ancestor_cls, layout_str, head_data
-                )
+                proxies = fabricate_proxies(ancestor_cls, layout_str, head_data)
                 # дополнение загрузчика сгенерированными прокси
-                for (key, proxy) in proxies:
+                for key, proxy in proxies:
                     if hasattr(loader_cls, 'add_proxy'):
-                        loader_cls.add_proxy(
-                            key, proxy, add_log, initial_context
-                        )
+                        loader_cls.add_proxy(key, proxy, add_log, initial_context)
         # будет еще одно чтение
         memory_file.seek(0)
 
     def get_loaders(self, request=None, context=None, book=None, **kwargs):
-        """
-        Получение постраничных загрузчиков
-        """
+        """Получение постраничных загрузчиков."""
         assert self.loaders, 'Не определены прокси загрузки!'
         loaders = self.loaders.copy()
+
         return loaders
 
     def set_initial_context(self, request, context):
-        """
-        Метод позволяет изменять начальный контекст
-        прокси загрузчика в зависимости от контекста,
-        """
+        """Метод позволяет изменять начальный контекст прокси загрузчика в зависимости от контекста."""
         initial_context = {}
+
         return initial_context
 
     def get_import_loader(self, request, context):
@@ -180,10 +166,12 @@ class BaseImportPack(BasePack):
         # Создаем копии классов загрузчиков для текущего импорта.
         loaders = {
             name: type(
-                loader_cls.__name__ + 'SafeCopy', (loader_cls,),
-                {'proxies': copy(loader_cls.proxies)}
-                if hasattr(loader_cls, 'proxies') else {}
-            ) if loader_cls else loader_cls
+                loader_cls.__name__ + 'SafeCopy',
+                (loader_cls,),
+                {'proxies': copy(loader_cls.proxies)} if hasattr(loader_cls, 'proxies') else {},
+            )
+            if loader_cls
+            else loader_cls
             for name, loader_cls in loaders.items()
         }
 
@@ -191,12 +179,8 @@ class BaseImportPack(BasePack):
         # которые заранее невозможно задекларировать в описании
         self._make_proxies_config(_file, file_name, initial_context, loaders)
 
-        ignore_bad_rows = (context.ignore_bad_rows
-                           if self.confirm_save_on_errors else True)
-        result_logger_cls = (
-            self.separate_import_logger_cls if self.separate_logs
-            else self.default_import_logger_cls
-        )
+        ignore_bad_rows = context.ignore_bad_rows if self.confirm_save_on_errors else True
+        result_logger_cls = self.separate_import_logger_cls if self.separate_logs else self.default_import_logger_cls
         # Загрузчик
         loader = ProxyLoader(
             loaders=loaders,
@@ -211,34 +195,28 @@ class BaseImportPack(BasePack):
         return loader
 
     def make_import(self, request, context):
-        """Метод осуществляет импорт. Возвращает (лог, True/False)"""
+        """Метод осуществляет импорт. Возвращает (лог, True/False)."""
         loader = self.get_import_loader(request, context)
         res = loader.load()
 
         return loader.message, res
 
     def get_import_window_params(self, params, request, context):
-        """Параметры передаваемые окну импорта"""
+        """Параметры передаваемые окну импорта."""
         params['extensions'] = self.extensions
+
         return params
 
     def get_import_result_window_params(self, params, request, context):
         """Параметры передаваемые окну результата импорта."""
-        params['title'] = (
-            self.result_window_title or
-            self.title + ': проверка шаблона'
-        )
+        params['title'] = self.result_window_title or self.title + ': проверка шаблона'
 
         return params
 
     def extend_menu(self, menu):
-        """Размещение в меню"""
+        """Размещение в меню."""
         return menu.SubMenu(
-            'Администрирование',
-            menu.SubMenu(
-                'Импорт',
-                menu.Item(self.title, self.import_window_action)
-            )
+            'Администрирование', menu.SubMenu('Импорт', menu.Item(self.title, self.import_window_action))
         )
 
 
@@ -251,19 +229,17 @@ class BaseImportWindowAction(BaseWindowAction):
         self.win = self.parent.import_window()
 
     def set_window_params(self):
-        super(BaseImportWindowAction, self).set_window_params()
+        super().set_window_params()
+
         params = self.win_params.copy()
         params['title'] = self.parent.title
 
         if not self.parent.confirm_save_on_errors:
             params['form_url'] = self.parent.import_action.get_absolute_url()
         else:
-            params['form_url'] = (
-                self.parent.import_with_confirm_action.get_absolute_url())
+            params['form_url'] = self.parent.import_with_confirm_action.get_absolute_url()
 
-        self.win_params = self.parent.get_import_window_params(
-            params, self.request, self.context
-        )
+        self.win_params = self.parent.get_import_window_params(params, self.request, self.context)
 
     def configure_window(self):
         pass
@@ -284,8 +260,7 @@ class BaseImportAction(BaseAction):
                 '"Microsoft Excel 97/2003 (.xls)"'
             )
 
-        return multiline_text_window_result(
-            success=success, data=log_msg, title=self.parent.title)
+        return multiline_text_window_result(success=success, data=log_msg, title=self.parent.title)
 
 
 class ImportWithConfirmAction(BaseAction):
@@ -301,21 +276,17 @@ class ImportWithConfirmAction(BaseAction):
     def create_window(self, request, context, **params):
         """Создание окна результата логгера."""
         win = self.result_window()
-        win.set_params(self.parent.get_import_result_window_params(
-            params, request, context))
+        win.set_params(self.parent.get_import_result_window_params(params, request, context))
 
         return win
 
-    def get_window_params_by_import_result(
-            self, import_was_success, import_logger, request, context):
+    def get_window_params_by_import_result(self, import_was_success, import_logger, request, context):
         """Формирует параметры окна результата из данных логгера."""
         return dict(
             result_text=import_logger.get_pretty_log(),
             import_window_id=context.import_window_id,
             hide_confirm_button=(
-                context.ignore_bad_rows or
-                import_was_success or
-                import_logger.have_errors_in_all_rows()
+                context.ignore_bad_rows or import_was_success or import_logger.have_errors_in_all_rows()
             ),
             ignore_bad_rows=context.ignore_bad_rows,
             exit_from_import_on_close=import_was_success,
@@ -334,9 +305,7 @@ class ImportWithConfirmAction(BaseAction):
                 '"Microsoft Excel 97/2003 (.xls)"'
             )
         import_was_success = not loader.result_logger.has_error()
-        params = self.get_window_params_by_import_result(
-            import_was_success, loader.result_logger, request, context)
+        params = self.get_window_params_by_import_result(import_was_success, loader.result_logger, request, context)
         win = self.create_window(request, context, **params)
 
-        return OperationResult(
-            success=import_was_success, code=win.get_script())
+        return OperationResult(success=import_was_success, code=win.get_script())

educommon/importer/constants.py

@@ -1,17 +1,7 @@
-IMPORT_SUCCESS_MSG = (
-    'Проверка шаблона прошла успешно. '
-    'Файл успешно загружен!'
-)
+IMPORT_SUCCESS_MSG = 'Проверка шаблона прошла успешно. Файл успешно загружен!'
 IMPORT_SUCCESS_WITH_ERRORS_MSG = (
-    'Данные из шаблона импорта, по которым не '
-    'выявлено ошибок, успешно загружены в систему!'
-)
-ALL_ROWS_HAVE_ERRORS_MSG = (
-    'Все строки файла содержат ошибки, '
-    'скорректируйте файл и повторите импорт.'
+    'Данные из шаблона импорта, по которым не выявлено ошибок, успешно загружены в систему!'
 )
+ALL_ROWS_HAVE_ERRORS_MSG = 'Все строки файла содержат ошибки, скорректируйте файл и повторите импорт.'
 
-IMPORT_FAIL_WITH_CRITICAL_ERROR = (
-    'При загрузке возникла критическая ошибка, '
-    'скорректируйте файл и повторите импорт.'
-)
+IMPORT_FAIL_WITH_CRITICAL_ERROR = 'При загрузке возникла критическая ошибка, скорректируйте файл и повторите импорт.'

educommon/importer/loggers.py

@@ -20,28 +20,28 @@ class BaseImportLogger:
     """
 
     def on_sheet_errors(self, sheet, errors, *args, **kwargs):
-        raise NotImplemented
+        raise NotImplementedError
 
     def on_header_errors(self, header_info, errors, *args, **kwargs):
-        raise NotImplemented
+        raise NotImplementedError
 
     def on_row_processed(self, row_info, *args, **kwargs):
-        raise NotImplemented
+        raise NotImplementedError
 
     def on_row_errors(self, row_info, errors, warnings=None, *args, **kwargs):
-        raise NotImplemented
+        raise NotImplementedError
 
     def on_critical_error(self, row_info, errors, *args, **kwargs):
-        raise NotImplemented
+        raise NotImplementedError
 
     def on_row_save(self, row_info, *args, **kwargs):
-        raise NotImplemented
+        raise NotImplementedError
 
     def on_row_save_rollback(self, row_info, *args, **kwargs):
-        raise NotImplemented
+        raise NotImplementedError
 
     def on_save_rollback(self, *args, **kwargs):
-        raise NotImplemented
+        raise NotImplementedError
 
 
 class ImportLogger(BaseImportLogger):
@@ -94,10 +94,7 @@ class ImportLogger(BaseImportLogger):
             self.rows_warnings.setdefault(row_info, []).extend(warnings)
 
     def on_critical_error(self, row_info, error, *args, **kwargs):
-        self.critical_error_msg = '{0}\n {1}'.format(
-            self._get_row_label(row_info),
-            error
-        )
+        self.critical_error_msg = '{0}\n {1}'.format(self._get_row_label(row_info), error)
 
     def on_row_save(self, row_info, *args, **kwargs):
         if row_info not in self.saved_rows:
@@ -139,7 +136,9 @@ class ImportLogger(BaseImportLogger):
     @staticmethod
     def _get_row_label(row_info):
         """Возвращает информацию о строке в читаемом виде."""
-        return 'Лист "%s" (%s), строка %s:' % row_info
+        sheet_name, sheet_num, row_num = row_info
+
+        return f'Лист "{sheet_name}" ({sheet_num}), строка {row_num}:'
 
     @staticmethod
     def _sort_rows_info(rows_info, key=lambda x: x[2]):
@@ -178,10 +177,7 @@ class ImportLogger(BaseImportLogger):
             rows_numbers = sorted([x[2] for x in self.saved_rows])
             series = find_series(iter(rows_numbers))
 
-            result = ', '.join(
-                '{}-{}'.format(x, y) if x != y else str(x)
-                for x, y in series
-            )
+            result = ', '.join('{}-{}'.format(x, y) if x != y else str(x) for x, y in series)
             return 'Загружены строки : {0}.'.format(result)
 
         if self.critical_error_msg is not None:
@@ -212,9 +208,7 @@ class ImportLogger(BaseImportLogger):
             if self.load_errors:
                 add_lines(self.load_errors, 0, 1)
             # Список строк с любыми ошибками
-            rows_with_errors = list(
-                set(chain(self.rows_errors, self.rows_warnings))
-            )
+            rows_with_errors = list(set(chain(self.rows_errors, self.rows_warnings)))
 
             for row in self._sort_rows_info(rows_with_errors):
                 row_errors = self.rows_errors.get(row, [])
@@ -239,12 +233,8 @@ class SeparateImportLogger(ImportLogger):
 
     def get_pretty_log(self):
         """При наличии ошибок разделяет их на разные блоки."""
-        if (
-            self.critical_error_msg is not None
-            and not self.rows_errors
-            or self.ignore_bad_rows
-        ):
-            return super(SeparateImportLogger, self).get_pretty_log()
+        if self.critical_error_msg is not None and not self.rows_errors or self.ignore_bad_rows:
+            return super().get_pretty_log()
 
         result_lines = []
         add_lines = partial(self._add_text_lines, result_lines)