edu-rdm-integration 3.19.1__py3-none-any.whl → 3.20.1__py3-none-any.whl

edu_rdm_integration/rdm_models/models.py

@@ -35,15 +35,6 @@ from m3_db_utils.models import (
 class BaseRDMModel(ReprStrPreModelMixin, BaseObjectModel):
     """Базовая модель РВД."""
 
-    collecting_sub_stage = ForeignKey(
-        verbose_name='Подэтап сбора данных',
-        to='edu_rdm_integration_collect_data_stage.RDMCollectingDataSubStage',
-        on_delete=CASCADE,
-    )
-    operation = SmallIntegerField(
-        verbose_name='Действие',
-        choices=EntityLogOperation.get_choices(),
-    )
     created = DateTimeField(
         verbose_name='Дата создания',
         auto_now_add=True,
@@ -68,10 +59,32 @@ class BaseRDMModel(ReprStrPreModelMixin, BaseObjectModel):
         abstract = True
 
 
-class BaseMainRDMModel(BaseRDMModel):
+class BaseAdditionalRDMModel(BaseRDMModel):
+    """Абстрактная вспомогательная модель РВД.
+
+    Является базовым классом для моделей РВД, которые не являются основными для сущностей РВД. Для таких моделей
+    производится сбор данных.
+    """
+
+    collecting_sub_stage = ForeignKey(
+        verbose_name='Подэтап сбора данных',
+        to='edu_rdm_integration_collect_data_stage.RDMCollectingDataSubStage',
+        on_delete=CASCADE,
+    )
+    operation = SmallIntegerField(
+        verbose_name='Действие',
+        choices=EntityLogOperation.get_choices(),
+    )
+
+    class Meta:
+        abstract = True
+
+
+class BaseMainRDMModel(BaseAdditionalRDMModel):
     """Абстрактная основная модель РВД.
 
-    Является базовым классом для моделей РВД, которые являются основными для сущностей РВД.
+    Является базовым классом для моделей РВД, которые являются основными для сущностей РВД. Для таких моделей
+    производится сбор и выгрузка данных.
     """
 
     exporting_sub_stage = ForeignKey(

edu_rdm_integration/stages/service/model_outdated_data/cleaners.py

@@ -1,13 +1,44 @@
+import asyncio
 from abc import (
     ABCMeta,
-    abstractmethod,
 )
 from typing import (
     TYPE_CHECKING,
+    Optional,
+)
+
+import asyncpg
+from django.conf import (
+    settings,
+)
+from django.db import (
+    connection,
+)
+from django.db.models import (
+    ForeignKey,
+)
+
+from educommon import (
+    logger,
+)
+from m3_db_utils.models import (
+    FictiveForeignKeyField,
+)
+
+from edu_rdm_integration.rdm_models.models import (
+    BaseMainRDMModel,
+    RDMModelEnum,
+)
+from edu_rdm_integration.stages.export_data.models import (
+    RDMExportingDataSubStageStatus,
 )
 
 
 if TYPE_CHECKING:
+    from asyncpg import (
+        Pool,
+    )
+
     from m3_db_utils.models import (
         ModelEnumValue,
     )
@@ -16,6 +47,78 @@ if TYPE_CHECKING:
 class BaseModelOutdatedDataCleaner(metaclass=ABCMeta):
     """Базовый класс уборщика устаревших данных моделей РВД."""
 
+    # Запрос для разбиения таблицы на чанки и получения идентификаторов первых и последних записей
+    SELECT_RDM_CHUNK_BOUNDED_SQL = """
+            DO $$
+            DECLARE
+                chunk_size INT := {chunk_size};
+                last_id INT := 0;
+                first_id INT;
+                last_chunk_id INT;
+            BEGIN
+                -- Создаем временную таблицу без ON COMMIT DROP
+                DROP TABLE IF EXISTS rdm_chunk_bounds;
+                CREATE TEMP TABLE rdm_chunk_bounds (
+                    chunk_number INT,
+                    first_id INT,
+                    last_id INT
+                );
+
+                DROP TABLE IF EXISTS tmp_chunk;
+                CREATE TEMP TABLE tmp_chunk (id INT) ON COMMIT DROP;
+
+                WHILE TRUE LOOP
+                    TRUNCATE tmp_chunk;
+
+                    INSERT INTO tmp_chunk (id)
+                    SELECT id
+                    FROM {table_name}
+                    WHERE id > last_id
+                    ORDER BY id
+                    LIMIT chunk_size;
+
+                    IF NOT FOUND THEN
+                        EXIT;
+                    END IF;
+
+                    SELECT MIN(id), MAX(id)
+                    INTO first_id, last_chunk_id
+                    FROM tmp_chunk;
+
+                    INSERT INTO rdm_chunk_bounds (chunk_number, first_id, last_id)
+                    VALUES (
+                        (SELECT COUNT(*) FROM rdm_chunk_bounds) + 1,
+                        first_id,
+                        last_chunk_id
+                    );
+
+                    last_id := last_chunk_id;
+                END LOOP;
+            END $$;
+
+            -- Теперь можно безопасно выбрать данные
+            SELECT * FROM rdm_chunk_bounds ORDER BY chunk_number;
+        """
+
+    REMOVE_OUTDATED_DATA_SQL = """
+        WITH deleted_rows AS (
+            DELETE FROM {table_name}
+            WHERE id IN (
+                WITH tbl AS (
+                    SELECT *
+                    FROM {table_name}
+                    WHERE id >= {first_id}
+                        AND id <= {last_id}
+                )
+                SELECT tbl.id
+                FROM tbl
+                WHERE {conditions}
+            )
+            RETURNING id
+        )
+        SELECT COUNT(*) AS deleted_count FROM deleted_rows;
+    """
+
     def __init__(
         self,
         model_enum_value: 'ModelEnumValue',
@@ -27,9 +130,286 @@ class BaseModelOutdatedDataCleaner(metaclass=ABCMeta):
         self._model_enum_value = model_enum_value
         self._safe = safe
         self._log_sql = log_sql
+        self._deleted_count = 0
 
         super().__init__(*args, **kwargs)
 
-    @abstractmethod
+    def get_remove_empty_related_data_conditions(self) -> Optional[str]:
+        """Формирование условий очистки данных, содержащих связи с моделями с отсутствующими связанными записями."""
+        remove_empty_related_data_conditions = None
+
+        rel_model_condition_template = """
+            NOT EXISTS (
+                SELECT 1 FROM {0} WHERE {0}.id = tbl.{1}
+            )
+        """
+
+        rel_model_null_condition_template = """
+            tbl.{1} IS NOT NULL AND NOT EXISTS (
+                SELECT 1 FROM {0} WHERE {0}.id = tbl.{1}
+            )
+        """
+
+        remove_empty_related_data_conditions_template = """
+            (
+                {}
+            )
+            -- Добавлено условие: удалить только записи старше 30 дней
+            AND tbl.modified <= NOW() - INTERVAL '30 days'
+        """
+
+        model_label_enum_data = RDMModelEnum.get_model_label_enum_data()
+        related_fields = []
+
+        for field in self._model_enum_value.model._meta.concrete_fields:
+            if isinstance(field, FictiveForeignKeyField):
+                model_label = field.to
+            elif isinstance(field, ForeignKey):
+                model_label = field.related_model._meta.label
+            else:
+                continue
+
+            if model_label in model_label_enum_data:
+                table_name = model_label_enum_data[model_label].model._meta.db_table
+                related_fields.append((field.name, table_name, field.null))
+
+        if related_fields:
+            rel_model_conditions_list = []
+
+            for field_name, table_name, is_null in related_fields:
+                if is_null:
+                    rel_model_conditions_list.append(
+                        rel_model_null_condition_template.format(table_name, field_name)
+                    )
+                else:
+                    rel_model_conditions_list.append(rel_model_condition_template.format(table_name, field_name))
+
+            rel_model_conditions = ' OR '.join(rel_model_conditions_list)
+
+            remove_empty_related_data_conditions = remove_empty_related_data_conditions_template.format(
+                rel_model_conditions
+            )
+
+        return remove_empty_related_data_conditions
+
+    def get_remove_closed_periods_data_conditions(self) -> Optional[str]:
+        """Формирование условия очистки данных по закрытым периодам обучения - учебным годам.
+
+        Очистка данных производится в таблицах моделей РВД. Производится обход по всем периодам обучения. Если с даты
+        окончания периода обучения прошло более 30 дней, то данные по модели РВД удаляются.
+        """
+
+    def get_remove_data_by_deleted_records_conditions(self) -> Optional[str]:
+        """Формирование условия очистки данных по удаленным записям в ЭШ.
+
+        Если данные в ЭШ были удалены, то после оповещения "Региональной витрины данных" об удалении того или иного
+        экземпляра сущности, данные могут быть удалены, т.к. больше не будут обновляться.
+        """
+        remove_data_by_deleted_records_conditions_sql = None
+
+        if issubclass(self._model_enum_value.model, BaseMainRDMModel):
+            remove_data_by_deleted_records_conditions_sql = """
+                EXISTS (
+                    SELECT 1 
+                    FROM rdm_exporting_data_sub_stage redss
+                    WHERE redss.id = tbl.exporting_sub_stage_id
+                        AND redss.status_id = 'FINISHED'
+                        AND tbl.operation = 3                
+                )
+            """
+
+        return remove_data_by_deleted_records_conditions_sql
+
+    def get_reverse_relation_conditions(self) -> Optional[str]:
+        """Формирование условий для удаления записей по связанным моделям.
+
+        Записи по связанным моделям удаляются по следующим условиям:
+        - если запись в таблице с обратной связью не найдена или была успешно выгружена в витрину.
+        """
+        processed_model_fields = []
+        not_fished_exporting_data_statuses = ', '.join(
+            [f"'{status.key}'" for status in RDMExportingDataSubStageStatus.get_not_finished_statuses()]
+        )
+        conditions = []
+        main_model_condition_template = """
+            NOT EXISTS (
+                SELECT 1 
+                FROM (SELECT DISTINCT exporting_sub_stage_id, {2} FROM {0}) {1} 
+                LEFT JOIN (SELECT id, status_id FROM rdm_exporting_data_sub_stage) redss 
+                    ON redss.id = {1}.exporting_sub_stage_id
+                WHERE {1}.{2} = tbl.id AND redss.status_id IN ({3})
+            )
+        """
+        enum_data = RDMModelEnum.get_enum_data()
+        for model_key, field_names in self._model_enum_value.reverse_relations.items():
+            model_enum_value = enum_data[model_key]
+
+            if issubclass(model_enum_value.model, BaseMainRDMModel):
+                for field_name in field_names:
+                    if (model_enum_value.model._meta.db_table, field_name) not in processed_model_fields:
+                        table_slug = ''.join(w[0] for w in model_enum_value.model._meta.db_table.split('_'))
+
+                        conditions.append(
+                            main_model_condition_template.format(
+                                model_enum_value.model._meta.db_table,
+                                table_slug,
+                                field_name,
+                                not_fished_exporting_data_statuses,
+                            )
+                        )
+
+                        processed_model_fields.append((model_enum_value.model._meta.db_table, field_name))
+
+        return ' AND '.join(conditions) if conditions else None
+
+    def get_remove_data_by_finished_status_conditions(self) -> Optional[str]:
+        """Формирование условия для удаления записей по выгруженным моделям."""
+        remove_data_by_finished_status_conditions_sql = None
+
+        if issubclass(self._model_enum_value.model, BaseMainRDMModel):
+            remove_data_by_finished_status_conditions_sql = """
+                EXISTS (
+                    SELECT 1 
+                    FROM rdm_exporting_data_sub_stage redss
+                    WHERE redss.id = tbl.exporting_sub_stage_id
+                        AND redss.status_id = 'FINISHED'
+                )
+            """
+
+        return remove_data_by_finished_status_conditions_sql
+
+    def get_merged_conditions(self) -> str:
+        """Формирование общего условия для определения устаревших записей."""
+        remove_empty_related_data_conditions = self.get_remove_empty_related_data_conditions()
+        remove_closed_periods_data_conditions = self.get_remove_closed_periods_data_conditions()
+        remove_data_by_deleted_records_conditions = self.get_remove_data_by_deleted_records_conditions()
+        reverse_relation_conditions = self.get_reverse_relation_conditions()
+        remove_data_by_finished_status_conditions = self.get_remove_data_by_finished_status_conditions()
+
+        conditions = ''
+        main_conditions = []
+        if remove_empty_related_data_conditions:
+            main_conditions.append(f'({remove_empty_related_data_conditions})')
+
+        if remove_closed_periods_data_conditions:
+            main_conditions.append(f'({remove_closed_periods_data_conditions})')
+
+        if remove_data_by_deleted_records_conditions:
+            main_conditions.append(f'({remove_data_by_deleted_records_conditions})')
+
+        if main_conditions:
+            conditions = ' OR '.join(main_conditions)
+
+        if reverse_relation_conditions and remove_data_by_finished_status_conditions:
+            additional_conditions = f'({reverse_relation_conditions}) AND ({remove_data_by_finished_status_conditions})'
+        else:
+            additional_conditions = reverse_relation_conditions or remove_data_by_finished_status_conditions
+
+        if conditions and additional_conditions:
+            conditions = f'({conditions}) AND ({additional_conditions})'
+        else:
+            conditions = additional_conditions or conditions
+
+        return conditions
+
+    def get_chunk_bounded(self) -> list[tuple[int, int, int]]:
+        """Получение идентификаторов-границ чанков для проверки и удаления устаревших данных."""
+        get_chunk_bounded_sql = self.SELECT_RDM_CHUNK_BOUNDED_SQL.format(
+            chunk_size=settings.RDM_CLEANUP_MODELS_OUTDATED_DATA_CHUNK_SIZE,
+            table_name=self._model_enum_value.model._meta.db_table,
+        )
+
+        if self._log_sql:
+            # Проверка на доступность sqlparse для форматирования
+            try:
+                import sqlparse
+            except ImportError:
+                sqlparse = None
+
+            if sqlparse:
+                # Форматирование кода
+                get_chunk_bounded_sql = sqlparse.format(
+                    sql=get_chunk_bounded_sql,
+                    reindent=True,
+                    strip_comments=True,
+                )
+            logger.info(
+                f'Запрос для получения границ чанков модели {self._model_enum_value.key}: \n{get_chunk_bounded_sql}\n'
+            )
+
+        with connection.cursor() as cursor:
+            cursor.execute(get_chunk_bounded_sql)
+            result = cursor.fetchall()
+
+        return result
+
+    def prepare_queries(self, chunk_bounded: list[tuple[int, int, int]]) -> list[str]:
+        """Формирование списка запросов для удаления устаревших данных."""
+        queries = []
+        conditions = self.get_merged_conditions()
+
+        for chunk_number, first_id, last_id in chunk_bounded:
+            remove_outdated_data_sql = self.REMOVE_OUTDATED_DATA_SQL.format(
+                table_name=self._model_enum_value.model._meta.db_table,
+                first_id=first_id,
+                last_id=last_id,
+                conditions=conditions,
+            )
+
+            queries.append(remove_outdated_data_sql)
+
+        return queries
+
+    async def execute_query(self, pool: 'Pool', query: str) -> str:
+        """Асинхронное выполнение запроса."""
+        async with pool.acquire() as conn:
+            try:
+                if self._safe:
+                    logger.info(f'Запрос не будет выполнен, включен безопасный режим!\n')
+
+                    if self._log_sql:
+                        logger.info(f'{query}\n')
+                else:
+                    deleted_count = await conn.fetchval(query)
+
+                    self._deleted_count += deleted_count
+
+                    if self._log_sql:
+                        logger.info(f'При помощи запроса:\n{query}\n')
+
+                    logger.info(f'Было удалено записей: {deleted_count}\n')
+            except Exception as e:
+                logger.error(f'Ошибка при выполнении {query}\n{e}')
+
+    async def execute_queries(self, queries: list[str]) -> None:
+        """Асинхронное выполнение запросов."""
+        DB_SETTINGS = settings.DATABASES['default']
+
+        pool = await asyncpg.create_pool(
+            max_size=settings.RDM_CLEANUP_MODELS_OUTDATED_DATA_POOL_SIZE,
+            min_size=settings.RDM_CLEANUP_MODELS_OUTDATED_DATA_POOL_SIZE,
+            host=DB_SETTINGS['HOST'],
+            port=DB_SETTINGS['PORT'],
+            user=DB_SETTINGS['USER'],
+            password=DB_SETTINGS['PASSWORD'],
+            database=DB_SETTINGS['NAME'],
+        )
+
+        tasks = [self.execute_query(pool, query) for query in queries]
+
+        await asyncio.gather(*tasks)
+
     def run(self):
         """Запуск очистки устаревших данных."""
+        chunk_bounded = self.get_chunk_bounded()
+
+        queries = self.prepare_queries(chunk_bounded=chunk_bounded)
+
+        if queries:
+            even_loop = asyncio.new_event_loop()
+            try:
+                even_loop.run_until_complete(self.execute_queries(queries=queries))
+            finally:
+                even_loop.close()
+
+        logger.info(f'Удалено записей модели {self._model_enum_value.key}: {self._deleted_count}')

{edu_rdm_integration-3.19.1.dist-info → edu_rdm_integration-3.20.1.dist-info}/METADATA

@@ -1,6 +1,6 @@
 Metadata-Version: 2.4
 Name: edu-rdm-integration
-Version: 3.19.1
+Version: 3.20.1
 Summary: Интеграция с Региональной витриной данных
 Author-email: BARS Group <education_dev@bars.group>
 Project-URL: Homepage, https://stash.bars-open.ru/projects/EDUBASE/repos/edu-rdm-integration/browse
@@ -150,6 +150,7 @@ INSTALLED_APPS = (
         # Настройки РВД
         ('rdm_general', 'EXPORT_ENTITY_ID_PREFIX'): '', # Дефолтное значение нужно изменить на специфическое системе
         ('rdm_general', 'COLLECT_CHUNK_SIZE'): 500,
+        ('rdm_general', 'COLLECT_PROGRESS_BATCH_SIZE'): 10000,
         ('rdm_general', 'EXPORT_CHUNK_SIZE'): 500,
         ('rdm_general', 'UPLOAD_QUEUE_MAX_SIZE'): 500_000_000,
         ('rdm_general', 'RDM_MENU_ITEM'): False,
@@ -198,6 +199,8 @@ INSTALLED_APPS = (
         ('uploader_client', 'INSTALLATION_NAME'): '',
         ('uploader_client', 'INSTALLATION_ID'): '',
         ('rdm_cleanup_outdated_data', 'ENABLE_CLEANUP_MODELS_OUTDATED_DATA'): False,
+        ('rdm_cleanup_outdated_data', 'CLEANUP_MODELS_OUTDATED_DATA_CHUNK_SIZE'): 10000,
+        ('rdm_cleanup_outdated_data', 'CLEANUP_MODELS_OUTDATED_DATA_POOL_SIZE'): 10,
     })  
     ```
 - Получение значений настроек из конфигурационного файла в settings.py:
@@ -216,6 +219,9 @@ INSTALLED_APPS = (
     # Количество записей моделей ЭШ обрабатываемых за одну итерацию сбора данных
     RDM_COLLECT_CHUNK_SIZE = conf.get_int('rdm_general', 'COLLECT_CHUNK_SIZE')
     
+    # Размер батча для bulk_create операций при сборе данных РВД
+    COLLECT_PROGRESS_BATCH_SIZE = conf.get_int('rdm_general', 'COLLECT_PROGRESS_BATCH_SIZE')
+    
     # Количество записей моделей обрабатываемых за одну итерацию экспорта данных
     RDM_EXPORT_CHUNK_SIZE = conf.get_int('rdm_general', 'EXPORT_CHUNK_SIZE')
   
@@ -313,6 +319,10 @@ INSTALLED_APPS = (
   
     # Включить зачистку устаревших данных моделей РВД
     RDM_ENABLE_CLEANUP_MODELS_OUTDATED_DATA = conf.get_bool('rdm_cleanup_outdated_data', 'ENABLE_CLEANUP_MODELS_OUTDATED_DATA')
+    # Размер чанка записей зачистки устаревших данных моделей РВД
+    RDM_CLEANUP_MODELS_OUTDATED_DATA_CHUNK_SIZE = conf.get_int('rdm_cleanup_outdated_data', 'CLEANUP_MODELS_OUTDATED_DATA_CHUNK_SIZE')
+    # Количество подключений к БД для зачистки устаревших данных моделей РВД
+    RDM_CLEANUP_MODELS_OUTDATED_DATA_POOL_SIZE = conf.get_int('rdm_cleanup_outdated_data', 'CLEANUP_MODELS_OUTDATED_DATA_POOL_SIZE')
     ```
 
 Перечень настроек в settings.py указан в таблице ниже.
@@ -322,6 +332,7 @@ INSTALLED_APPS = (
 | UPLOADS                                      | Основная директория в MEDIA, в которой будет создана директория edu_rdm_integration  для сохранения файлов для дальнейшей выгрузки | 500                     |
 | RDM_EXPORT_ENTITY_ID_PREFIX                  | Префикс идентификаторов записей сущностей специфический для продукта                                                               |                         |
 | RDM_COLLECT_CHUNK_SIZE                       | Количество записей моделей обрабатываемых за одну итерацию сбора данных                                                            | 500                     |
+| COLLECT_PROGRESS_BATCH_SIZE                  | Размер батча для bulk_create операций при сборе данных РВД                                                                        | 10000                   |
 | RDM_EXPORT_CHUNK_SIZE                        | Количество записей моделей обрабатываемых за одну итерацию экспорта                                                                | 500                     |
 | RDM_UPDATE_NON_EXPORTED_CHUNK_SIZE           | # Количество не экспортированных записей моделей обрабатываемых за одну итерацию обновления поля modified                          | 5000                    |
 | RDM_UPLOAD_QUEUE_MAX_SIZE                    | Объем очереди файлов в витрину (в байтах).                                                                                         | 500_000_000             |
@@ -373,6 +384,9 @@ INSTALLED_APPS = (
 | RDM_EXPORT_LOG_DIR                           | Директория логов экспорта данных, доступных для скачивания                                                                         |                         |
 | RDM_UPLOAD_LOG_DIR                           | Директория логов отправки данных в витрину, доступных для скачивания                                                               |                         |
 | RDM_ENABLE_CLEANUP_MODELS_OUTDATED_DATA      | Включение зачистки устаревших данных моделей РВД                                                                                   | False                   |
+| RDM_CLEANUP_MODELS_OUTDATED_DATA_CHUNK_SIZE  | Размер чанка записей зачистки устаревших данных моделей РВД                                                                        | 10000                   |
+| RDM_CLEANUP_MODELS_OUTDATED_DATA_POOL_SIZE   | Количество подключений к БД для зачистки устаревших данных моделей РВД                                                             | 10                      |
+
 
 - В дефолтный конфиг проекта необходимо добавить:
 
@@ -386,6 +400,8 @@ INSTALLED_APPS = (
     EXPORT_CHUNK_SIZE = 500
     # Количество записей моделей ЭШ обрабатываемых за одну итерацию сбора данных
     COLLECT_CHUNK_SIZE = 500
+    # Размер батча для bulk_create операций при сборе данных РВД
+    COLLECT_PROGRESS_BATCH_SIZE = 10000
     # Количество не экспортированных записей моделей обрабатываемых за одну итерацию обновления поля modified
     UPDATE_NON_EXPORTED_CHUNK_SIZE = 5000
     # Объем очереди файлов в витрину (в байтах) - по умолчанию 512 Мбайт.
@@ -473,6 +489,10 @@ INSTALLED_APPS = (
     [rdm_cleanup_outdated_data]
     # Включить зачистку устаревших данных моделей РВД
     ENABLE_CLEANUP_MODELS_OUTDATED_DATA = False
+    # Размер чанка записей проверки устаревших данных моделей РВД
+    CLEANUP_MODELS_OUTDATED_DATA_CHUNK_SIZE = 10000
+    # Количество подключений к БД для проверки устаревших данных моделей РВД
+    CLEANUP_MODELS_OUTDATED_DATA_POOL_SIZE = 10
     ```
 На основе дефолтного конфига произвести конфигурирование приложений.
 

{edu_rdm_integration-3.19.1.dist-info → edu_rdm_integration-3.20.1.dist-info}/RECORD

@@ -73,7 +73,7 @@ edu_rdm_integration/rdm_entities/migrations/__init__.py,sha256=47DEQpj8HBSa-_TIm
 edu_rdm_integration/rdm_models/__init__.py,sha256=47DEQpj8HBSa-_TImW-5JCeuQeRkm5NMpJWZG3hSuFU,0
 edu_rdm_integration/rdm_models/apps.py,sha256=JJwHzCXYVe5cEhvDg61KkrLoRT_ZbJCIAWEM2lOQyHU,288
 edu_rdm_integration/rdm_models/mixins.py,sha256=NuPklb0SppvIfgHK_FCfX7VnD3Wsh48fR85hULoQUNY,2301
-edu_rdm_integration/rdm_models/models.py,sha256=vLJkOGP0opHoWbt-0GfrPz1CkQL9H2BsJbhzuTNHNJg,13235
+edu_rdm_integration/rdm_models/models.py,sha256=iXPAS1opNf091gTg5RwhF_2UYHzyB9H9ZbAL-WxLO-I,13785
 edu_rdm_integration/rdm_models/utils.py,sha256=Xk0HEpFEGAndoAD2TdubK4SI_dW2BvchQ7UeMEfvpfQ,631
 edu_rdm_integration/rdm_models/migrations/0001_initial.py,sha256=qXgObuG2nfOLEnGJBoBqmq30TXetOv21UZU4trMV7mQ,1529
 edu_rdm_integration/rdm_models/migrations/0002_rename_regionaldatamartmodelenum_rdmmodelenum.py,sha256=hNTLriOc9r9WEVKahJURA3yXhZ3ivbwJJ_HaMC46PpI,451
@@ -220,7 +220,7 @@ edu_rdm_integration/stages/service/__init__.py,sha256=47DEQpj8HBSa-_TImW-5JCeuQe
 edu_rdm_integration/stages/service/apps.py,sha256=lgCG4_kpwgfDWh6y-GNuUwz5SOjkP7oS8kkUyVUcNRg,648
 edu_rdm_integration/stages/service/tasks.py,sha256=PPCtT6EpLkAKRczY0KIT6GeE9eBkv60fl2W6KFvCRqc,2302
 edu_rdm_integration/stages/service/model_outdated_data/__init__.py,sha256=47DEQpj8HBSa-_TImW-5JCeuQeRkm5NMpJWZG3hSuFU,0
-edu_rdm_integration/stages/service/model_outdated_data/cleaners.py,sha256=D4NX5BryzlOORfFRHUElRAsHVLObppPUq4DPGCKTmtw,793
+edu_rdm_integration/stages/service/model_outdated_data/cleaners.py,sha256=enlEPTj5_elo-vQTXfq0ar8i1aiN4BzfZQLXNGBsZ68,16795
 edu_rdm_integration/stages/service/model_outdated_data/managers.py,sha256=0LNjvycTtSMGsN37U-otlPL_vlYJKZXtNXxwkseK1wA,2353
 edu_rdm_integration/stages/service/service_outdated_data/__init__.py,sha256=47DEQpj8HBSa-_TImW-5JCeuQeRkm5NMpJWZG3hSuFU,0
 edu_rdm_integration/stages/upload_data/__init__.py,sha256=47DEQpj8HBSa-_TImW-5JCeuQeRkm5NMpJWZG3hSuFU,0
@@ -254,8 +254,8 @@ edu_rdm_integration/stages/upload_data/uploader_log/ui.py,sha256=mU3XA9zVKHGqzNk
 edu_rdm_integration/stages/upload_data/uploader_log/migrations/0001_initial.py,sha256=r5oOB7DBK9-mfuqPAgjXUJY5-hEcmMdILCwDTpaLnBc,753
 edu_rdm_integration/stages/upload_data/uploader_log/migrations/__init__.py,sha256=47DEQpj8HBSa-_TImW-5JCeuQeRkm5NMpJWZG3hSuFU,0
 edu_rdm_integration/stages/upload_data/uploader_log/templates/ui-js/object-grid-buttons.js,sha256=2xyGe0wdVokM0RhpzRzcRvJPBkBmPe3SlZry4oP4Nzs,6201
-edu_rdm_integration-3.19.1.dist-info/licenses/LICENSE,sha256=uw43Gjjj-1vXWCItfSrNDpbejnOwZMrNerUh8oWbq8Q,3458
-edu_rdm_integration-3.19.1.dist-info/METADATA,sha256=c6Hj9QAy8brgS5ZFigK9yb93ocTcFTRBhzKlKCGbOdM,40693
-edu_rdm_integration-3.19.1.dist-info/WHEEL,sha256=1tXe9gY0PYatrMPMDd6jXqjfpz_B-Wqm32CPfRC58XU,91
-edu_rdm_integration-3.19.1.dist-info/top_level.txt,sha256=nRJV0O14UtNE-jGIYG03sohgFnZClvf57H5m6VBXe9Y,20
-edu_rdm_integration-3.19.1.dist-info/RECORD,,
+edu_rdm_integration-3.20.1.dist-info/licenses/LICENSE,sha256=uw43Gjjj-1vXWCItfSrNDpbejnOwZMrNerUh8oWbq8Q,3458
+edu_rdm_integration-3.20.1.dist-info/METADATA,sha256=txTOIVOHhShIuT80OS7dquoKoATpWFdIO2nQZjo-iEA,42932
+edu_rdm_integration-3.20.1.dist-info/WHEEL,sha256=1tXe9gY0PYatrMPMDd6jXqjfpz_B-Wqm32CPfRC58XU,91
+edu_rdm_integration-3.20.1.dist-info/top_level.txt,sha256=nRJV0O14UtNE-jGIYG03sohgFnZClvf57H5m6VBXe9Y,20
+edu_rdm_integration-3.20.1.dist-info/RECORD,,