edu-rdm-integration 3.5.7__py3-none-any.whl → 3.5.8__py3-none-any.whl

This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
@@ -1,1641 +0,0 @@
1
- Metadata-Version: 2.1
2
- Name: edu-rdm-integration
3
- Version: 3.5.7
4
- Summary: Интеграция с Региональной витриной данных
5
- Home-page:
6
- Download-URL:
7
- Author: BARS Group
8
- Author-email: bars@bars.group
9
- Platform: Any
10
- Classifier: Development Status :: 3 - Alpha
11
- Classifier: License :: OSI Approved :: Apache Software License
12
- Classifier: Programming Language :: Python
13
- Classifier: Programming Language :: Python :: 3
14
- Classifier: Programming Language :: Python :: 3.9
15
- Classifier: Intended Audience :: Developers
16
- Classifier: Environment :: Console
17
- Classifier: Framework :: Django :: 2.2
18
- Classifier: Framework :: Django :: 3.0
19
- Classifier: Framework :: Django :: 3.1
20
- Description-Content-Type: text/markdown
21
- License-File: LICENSE
22
- Requires-Dist: packaging <24,>=21.3
23
- Requires-Dist: pip <24,>=23.2.1
24
- Requires-Dist: setuptools <70,>=47.3.1
25
- Requires-Dist: wheel <0.42,>=0.37.1
26
- Requires-Dist: transliterate <2
27
- Requires-Dist: Django <3.3,>=3.1
28
- Requires-Dist: celery <5.3,>=4.4.7
29
- Requires-Dist: asyncpg ==0.23.0
30
- Requires-Dist: educommon <4,>=3.11.0
31
- Requires-Dist: function-tools <1,>=0.9.0
32
- Requires-Dist: m3-db-utils <1,>=0.3.10
33
- Requires-Dist: m3-django-compat <2,>=1.10.2
34
- Requires-Dist: uploader-client <1,>=0.2.3
35
-
36
- # Проект "Интеграция с Региональной витриной данных (РВД)"
37
-
38
- Для интеграции с Региональной витриной данных был выделен отдельный пакет для использования его компонентов в различных
39
- продуктах.
40
-
41
- На текущий момент интеграция реализуется в рамках проектов Электронная школа (ЭШ) и Электронный колледж (ЭК).
42
-
43
- ## Описание концепции
44
-
45
- Со стороны Минцифры предоставляется спецификация (ЕФТТ) с требованиями по формату и механизму выгрузки данных.
46
-
47
- Выбрана модель промежуточного хранения данных на стороне продукта, которые подлежат выгрузке. При помощи такого подхода,
48
- можно обеспечить формирование не хранящихся в продукте данных и дальнейшее их обновление и удаление. Упрощается процесс
49
- поиска ошибок в данных, т.к. можно явно определить, в каких записях находятся ошибки и далее анализировать существующие
50
- данные в продуктах или функционал по формированию данных.
51
-
52
- ## Принцип работы
53
-
54
- Весь процесс разделен на сбор и выгрузку данных. Выделяются следующие понятия:
55
-
56
- Модель продукта
57
- : Django-модель находящаяся в самом продукте. При помощи нее производится накапливание пользовательских данных;
58
-
59
- Модель РВД
60
- : Django-модель находящаяся в пакете РВД продукта. Из моделей РВД формируется схема БД, позволяющая хранить данные для
61
- дальнейшей выгрузки в нормализованном виде;
62
-
63
- Сущность РВД
64
- : Описание формата выгрузки данных в РВД в виде dataclass-а. Хранит в себе описание первичных, внешних ключей,
65
- обязательность и порядок полей.
66
-
67
- На этапе сбора данных производится формирование данных моделей РВД на основе данных моделей продуктов. Существуют так
68
- называемые расчетные модели, для которых данные рассчитываются в процессе сбора.
69
-
70
- Стоит обратить внимание, что сущности РВД могут содержать в себе данные из нескольких моделей РВД.
71
-
72
- ## Требования к окружению
73
-
74
- Для работы требуется Python >=3.9. Так же в зависимостях есть внутренние пакеты:
75
-
76
- - educommon;
77
- - function-tools;
78
- - m3-db-utils;
79
- - uploader-client.
80
-
81
- Версии всех пакетов уточнены в файлах с зависимостями.
82
-
83
- ## Разворачивание
84
-
85
- Перед внедрением пакета в проект, необходимо убедиться, что:
86
-
87
- - В проекте используется логирование из educommon;
88
- - В проект внедрен function-tools;
89
- - В проект внедрен m3-db-utils;
90
- - В проект внедрен uploader-client.
91
-
92
- ## Параметры конфигурационного файла
93
-
94
- В разных проектах существуют различные способы добавления настроек, где-то через плагины, где-то напрямую в settings.py.
95
- Будет рассмотрен подход указания настроек в settings.py и указания параметров в конфигурационном файле.
96
-
97
- Для возможности конфигурирования необходимо проделать ряд действий:
98
-
99
- - Определение значений по умолчанию настроек в settings.py:
100
- ```
101
- PROJECT_DEFAULT_CONFIG.update({
102
- # Настройки РВД
103
- ('rdm_general', 'EXPORT_ENTITY_ID_PREFIX'): '', # Дефолтное значение нужно изменить на специфическое системе
104
- ('rdm_general', 'COLLECT_CHUNK_SIZE'): 500,
105
- ('rdm_general', 'EXPORT_CHUNK_SIZE'): 500,
106
- ('rdm_transfer_task', 'MINUTE'): '0',
107
- ('rdm_transfer_task', 'HOUR'): '*/4',
108
- ('rdm_transfer_task', 'DAY_OF_WEEK'): '*',
109
- ('rdm_transfer_task', 'LOCK_EXPIRE_SECONDS'): 21600,
110
- ('rdm_transfer_task', 'TIMEDELTA'): 3600,
111
- ('rdm_transfer_task', 'ENTITIES'): '',
112
- ('rdm_upload_status_task', 'MINUTE'): '*/30',
113
- ('rdm_upload_status_task', 'HOUR'): '*',
114
- ('rdm_upload_status_task', 'DAY_OF_WEEK'): '*',
115
- ('rdm_upload_status_task', 'LOCK_EXPIRE_SECONDS'): 7200,
116
- ('uploader_client', 'URL'): 'http://localhost:8090',
117
- ('uploader_client', 'DATAMART_NAME'): '',
118
- ('uploader_client', 'REQUEST_RETRIES'): 10,
119
- ('uploader_client', 'REQUEST_TIMEOUT'): 10,
120
- ('uploader_client', 'ENABLE_REQUEST_EMULATION'): False,
121
- })
122
- ```
123
- - Получение значений настроек из конфигурационного файла в settings.py:
124
-
125
- ```
126
- # Ссылка на каталог с файлами для загрузки
127
- UPLOADS = 'uploads'
128
-
129
- # =============================================================================
130
- # Интеграция с Региональной витриной данных (РВД)
131
- # =============================================================================
132
-
133
- # Префикс идентификаторов записей сущностей специфический для продукта
134
- RDM_EXPORT_ENTITY_ID_PREFIX = conf.get('rdm_general', 'EXPORT_ENTITY_ID_PREFIX')
135
-
136
- # Количество записей моделей ЭШ обрабатываемых за одну итерацию сбора данных
137
- RDM_COLLECT_CHUNK_SIZE = conf.get_int('rdm_general', 'COLLECT_CHUNK_SIZE')
138
-
139
- # Количество записей моделей обрабатываемых за одну итерацию экспорта данных
140
- RDM_EXPORT_CHUNK_SIZE = conf.get_int('rdm_general', 'EXPORT_CHUNK_SIZE')
141
-
142
- # Количество не экспортированных записей моделей обрабатываемых за одну итерацию обновления поля modified
143
- RDM_UPDATE_NON_EXPORTED_CHUNK_SIZE = conf.get_int('rdm_general', 'UPDATE_NON_EXPORTED_CHUNK_SIZE')
144
-
145
- # Настройка запуска периодической задачи выгрузки данных:
146
- RDM_TRANSFER_TASK_MINUTE = conf.get('rdm_transfer_task', 'MINUTE')
147
- RDM_TRANSFER_TASK_HOUR = conf.get('rdm_transfer_task', 'HOUR')
148
- RDM_TRANSFER_TASK_DAY_OF_WEEK = conf.get('rdm_transfer_task', 'DAY_OF_WEEK')
149
- RDM_TRANSFER_TASK_EXPIRE_SECOND = conf.get('rdm_transfer_task', 'LOCK_EXPIRE_SECONDS')
150
-
151
- # Настройка запуска периодической задачи статуса загрузки данных в витрину:
152
- RDM_UPLOAD_STATUS_TASK_MINUTE = conf.get('rdm_upload_status_task', 'MINUTE')
153
- RDM_UPLOAD_STATUS_TASK_HOUR = conf.get('rdm_upload_status_task', 'HOUR')
154
- RDM_UPLOAD_STATUS_TASK_DAY_OF_WEEK = conf.get('rdm_upload_status_task', 'DAY_OF_WEEK')
155
- RDM_UPLOAD_STATUS_TASK_EXPIRE_SECOND = conf.get('rdm_upload_status_task', 'LOCK_EXPIRE_SECONDS')
156
-
157
- # Настройка запуска периодической задачи поиска зависших этапов экспорта:
158
- RDM_CHECK_SUSPEND_TASK_MINUTE = conf.get('rdm_check_suspend_task', 'MINUTE')
159
- RDM_CHECK_SUSPEND_TASK_HOUR = conf.get('rdm_check_suspend_task', 'HOUR')
160
- RDM_CHECK_SUSPEND_TASK_DAY_OF_WEEK = conf.get('rdm_check_suspend_task', 'DAY_OF_WEEK')
161
- RDM_CHECK_SUSPEND_TASK_EXPIRE_SECOND = conf.get('rdm_check_suspend_task', 'LOCK_EXPIRE_SECONDS')
162
- RDM_CHECK_SUSPEND_TASK_TIMEDELTA = conf.get_int('rdm_check_suspend_task', 'TIMEDELTA')
163
-
164
- # Загрузка данных в Региональную витрину данных (РВД)
165
- # Адрес витрины (schema://host:port)
166
- RDM_UPLOADER_CLIENT_URL = conf.get('uploader_client', 'URL')
167
-
168
- # Мнемоника Витрины
169
- RDM_UPLOADER_CLIENT_DATAMART_NAME = conf.get('uploader_client', 'DATAMART_NAME')
170
-
171
- # Количество повторных попыток запроса
172
- RDM_UPLOADER_CLIENT_REQUEST_RETRIES = conf.get_int('uploader_client', 'REQUEST_RETRIES')
173
-
174
- # Таймаут запроса, сек
175
- RDM_UPLOADER_CLIENT_REQUEST_TIMEOUT = conf.get_int('uploader_client', 'REQUEST_TIMEOUT')
176
-
177
- # Включить эмуляцию отправки запросов
178
- RDM_UPLOADER_CLIENT_ENABLE_REQUEST_EMULATION = conf.get_bool('uploader_client', 'ENABLE_REQUEST_EMULATION')
179
-
180
- ```
181
-
182
- Перечень настроек в settings.py указан в таблице ниже.
183
-
184
- | Название настройки в settings | Описание | Значение по умолчанию |
185
- | -------------------------------------------- | --------------------------------------------------------------------------------------------------------------------------------- | ----------------------- |
186
- | UPLOADS | Основная директория в MEDIA, в которой будет создана директория edu_rdm_integration для сохранения файлов для дальнейшей выгрузки | 500 |
187
- | RDM_COLLECT_CHUNK_SIZE | Количество записей моделей обрабатываемых за одну итерацию сбора данных | 500 |
188
- | RDM_EXPORT_CHUNK_SIZE | Количество записей моделей обрабатываемых за одну итерацию экспорта | 500 |
189
- | RDM_UPDATE_NON_EXPORTED_CHUNK_SIZE | # Количество не экспортированных записей моделей обрабатываемых за одну итерацию обновления поля modified | 5000 |
190
- | RDM_UPLOADER_CLIENT_URL | Адрес витрины (schema://host:port) | 'http://localhost:8090' |
191
- | RDM_UPLOADER_CLIENT_DATAMART_NAME | Мнемоника Витрины | 'test' |
192
- | RDM_UPLOADER_CLIENT_REQUEST_RETRIES | Количество повторных попыток запроса | 10 |
193
- | RDM_UPLOADER_CLIENT_REQUEST_TIMEOUT | Таймаут запроса, сек | 10 |
194
- | RDM_UPLOADER_CLIENT_ENABLE_REQUEST_EMULATION | Включить эмуляцию отправки запросов | True |
195
- | RDM_TRANSFER_TASK_MINUTE | Настройка запуска периодической задачи выгрузки данных. Минута | '0' |
196
- | RDM_TRANSFER_TASK_HOUR | Настройка запуска периодической задачи выгрузки данных. Час | '*/4' |
197
- | RDM_TRANSFER_TASK_DAY_OF_WEEK | Настройка запуска периодической задачи выгрузки данных. День недели | '*' |
198
- | RDM_TRANSFER_TASK_LOCK_EXPIRE_SECONDS | Время по истечении которого, блокировка может быть снята (в секунадх) | 21600 |
199
- | RDM_UPLOAD_STATUS_TASK_MINUTE | Настройка запуска периодической задачи статуса загрузки данных в витрину. Минута | '*/30' |
200
- | RDM_UPLOAD_STATUS_TASK_HOUR | Настройка запуска периодической задачи статуса загрузки данных в витрину. Час | '*' |
201
- | RDM_UPLOAD_STATUS_TASK_DAY_OF_WEEK | Настройка запуска периодической задачи статуса загрузки данных в витрину. День недели | '*' |
202
- | RDM_UPLOAD_STATUS_TASK_LOCK_EXPIRE_SECONDS | Время по истечении которого, блокировка может быть снята (в секунадх) | 3600 |
203
- | RDM_CHECK_SUSPEND_TASK_STAGE_TIMEOUT | Дельта для определения зависшего подэтапа. Минута | 120 |
204
-
205
-
206
-
207
- - В дефолтный конфиг проекта необходимо добавить:
208
-
209
- ```
210
- # Общие настройки интеграции с РВД
211
- [rmd_general]
212
- # Префикс идентификаторов записей сущностей специфический для продукта. Указывается в settings.py и не должен
213
- # изменяться. Возможность изменения через конфигурационный файл оставлена для экстренных случаев.
214
- # EXPORT_ENTITY_ID_PREFIX =
215
- # Количество записей моделей обрабатываемых за одну итерацию экспорта данных
216
- EXPORT_CHUNK_SIZE = 500
217
- # Количество записей моделей ЭШ обрабатываемых за одну итерацию сбора данных
218
- COLLECT_CHUNK_SIZE = 500
219
- # Количество не экспортированных записей моделей обрабатываемых за одну итерацию обновления поля modified
220
- UPDATE_NON_EXPORTED_CHUNK_SIZE = 5_000
221
-
222
- # Настройка запуска периодической задачи выгрузки данных
223
- [rdm_transfer_task]
224
- MINUTE=*/2
225
- HOUR=*
226
- DAY_OF_WEEK=*
227
- LOCK_EXPIRE_SECONDS=21600
228
- # Дельта между прошлым и текущим запуском, сек
229
- TIMEDELTA=120
230
- # Сущности, по которым должен производиться сбор и выгрузка данных. Перечисляются через запятую без пробелов.
231
- ENTITIES =
232
-
233
- # Настройка запуска периодической задачи статуса загрузки данных в витрину
234
- [rdm_upload_status_task]
235
- MINUTE=*/2
236
- HOUR=*
237
- DAY_OF_WEEK=*
238
- LOCK_EXPIRE_SECONDS=7200
239
-
240
- # Настройка запуска периодической задачи поиска зависших этапов экспорта
241
- [rdm_check_suspend_task]
242
- MINUTE=*/10
243
- HOUR=*
244
- DAY_OF_WEEK=*
245
- LOCK_EXPIRE_SECONDS=7200
246
- # Дельта для определения зависшего подэтапа, мин
247
- STAGE_TIMEOUT=120
248
-
249
- [uploader_client]
250
- # Адрес витрины
251
- URL = http://localhost:8090
252
- # Мнемоника Витрины
253
- DATAMART_NAME = test
254
- # Количество повторных попыток запроса
255
- REQUEST_RETRIES = 10
256
- # Таймаут запроса, сек
257
- REQUEST_TIMEOUT = 10
258
- # Включить эмуляцию отправки запросов
259
- ENABLE_REQUEST_EMULATION = True
260
- ```
261
-
262
- На основе дефолтного конфига произвести конфигурирование приложений.
263
-
264
- ## Сборка и распространение
265
-
266
- Сборка пакета производится при помощи [Job-а в Jenkins M3.build_dist](http://jenkins.py.bars.group/view/PY/job/M3.packages/job/M3.build_dist/).
267
-
268
- Пакет выкладывается в глобальный [PYPI](https://pypi.org/project/edu-rdm-integration/) и во внутренний [Nexus](http://nexus.py.bars.group/#browse/browse:pypi-edu-private:edu-rdm-integration)
269
-
270
- ## Документация
271
-
272
- С документацией можно ознакомиться по ссылке http://docs.py.bars.group/edu-rdm-integration/
273
- # История изменений
274
-
275
- Все изменения проекта должны быть отражены в этом файле.
276
-
277
- Формат основан на [Keep a Changelog](http://keepachangelog.com/)
278
- и проект следует [Семантическому версионированию](http://semver.org/).
279
-
280
- ## [x.y.z] - гггг-мм-дд
281
-
282
- Здесь должно быть расширенное описание того, что было сделано, какие есть планы у команды по дальнейшему развитию.
283
- Желательно будущие цели привязывать к конкретным задачам. Т.е. на каждую цель нужно поставить отдельную задачу и
284
- отразить ее номер здесь.
285
-
286
- ### Добавлено
287
-
288
- - [ПРОЕКТ-ZZZZ](https://jira.bars.group/browse/ПРОЕКТ-ZZZZ)
289
- PATCH Название задачи или изменения.
290
-
291
- - [ПРОЕКТ-YYYY](https://jira.bars.group/browse/ПРОЕКТ-YYYY)
292
- MINOR Название задачи или изменения.
293
-
294
- - [ПРОЕКТ-XXXX](https://jira.bars.group/browse/ПРОЕКТ-XXXX)
295
- MAJOR Название задачи или изменения.
296
-
297
- ### Изменено
298
-
299
- ### Исправлено
300
-
301
- ### Удалено
302
-
303
- ## [3.5.7] - 2025-03-03
304
-
305
- Испарвлена ошибка импорта в export_manager.
306
-
307
- ### Исправлено
308
-
309
- - [EDUSCHL-22403](https://jira.bars.group/browse/EDUSCHL-22403)
310
- PATCH Испарвлена ошибка импорта в export_manager.
311
-
312
-
313
- ## [3.5.6] - 2025-02-20
314
-
315
- Доработана отправка файлов в витрину - добавлена проверка статусов файла и новый статус `Ошибка обработки витриной` для
316
- ExportingDataSubStageStatus. Доработана задача проверки статусов UploadStatusHelper.
317
-
318
- ### Исправлено
319
-
320
- - [EDUSCHL-22403](https://jira.bars.group/browse/EDUSCHL-22403)
321
- PATCH Добавлен новый статус Ошибка обработки витриной для ExportingDataSubStageStatus. Добавлена проверка
322
- статусов сразу после отправки файлов WorkerSender. Скорректирован статус UploadStatusHelper - при получении статусов
323
- ошибки обработки витриной подэтап помечается как PROCESS_ERROR
324
-
325
-
326
- ## [3.5.5] - 2025-02-11
327
-
328
- Исправление ошибки в реестре Журнал Логов РВД.
329
-
330
- ### Исправлено
331
-
332
- - [EDUSCHL-23174](https://jira.bars.group/browse/EDUSCHL-23174)
333
- PATCH Для менеджера UploaderClientLogManager с аннотацией поля attachment_file добавлен output_field=CharField().
334
-
335
- - [EDUSCHL-23178](https://jira.bars.group/browse/EDUSCHL-23178)
336
- PATCH Исправлена команда check_upload_status, в части использования UploadStatusHelper.
337
-
338
-
339
- ## [3.5.4] - 2025-02-07
340
-
341
- Внесено исправление в BaseIgnoreLogMixin, в части работы метода _exclude_logs.
342
-
343
- ### Изменено
344
-
345
- - [EDUSCHL-23160](https://jira.bars.group/browse/EDUSCHL-23160)
346
- PATCH Внесено исправление в BaseIgnoreLogMixin, в части работы метода _exclude_logs.
347
-
348
-
349
- ## [3.5.3] - 2025-01-29
350
-
351
- Изменена периодическая задача UploadDataAsyncTask.
352
-
353
- ### Изменено
354
-
355
- - [EDUSCHL-23092](https://jira.bars.group/browse/EDUSCHL-23092)
356
- PATCH Изменена периодическая задача UploadDataAsyncTask - удалено формирование очереди по сущностям. Сейчас в очередь
357
- попадает указанное в настройках количество файлов, готовых к отправке в витрину
358
-
359
-
360
- ## [3.5.2] - 2025-02-04
361
-
362
- Изменён тип поля institute_ids с django.contrib.postgres.fields.JSONField (поддержка до Django 4.0.)
363
- на django.db.models.JSONField (поддержка с Django 3.1.0).
364
-
365
- ### Изменено
366
-
367
- - [EDUKNDG-15190](https://jira.bars.group/browse/EDUKNDG-15190)
368
- Для модели AbstractCollectDataCommandProgress изменён тип поля institute_ids на django.db.models.JSONField.
369
-
370
-
371
- ## [3.5.1] - 2025-02-04
372
-
373
- Изменена очередность обновления моделей при сборе. Обработка связанных моделей производится ранее основной.
374
-
375
- ### Изменено
376
-
377
- - [EDUSCHL-23133](https://jira.bars.group/browse/EDUSCHL-23133)
378
- Изменение в периодической задаче TransferLatestEntitiesDataPeriodicTask: добавление связанных моделей перед
379
- основной моделью для обеспечения целостности данных при сборе и экспорте.
380
-
381
-
382
- ## [3.5.0] - 2024-12-28
383
-
384
- Внесены изменения в CHANGELOG.md для соответствия принятому формату.
385
-
386
- ### Добавлено
387
-
388
- - [EDUCLLG-8818](https://jira.bars.group/browse/EDUCLLG-8818)
389
- В шаблонах добавлена типизация в `functions` для `helper`-а и в `helpers` - для `cache`.
390
-
391
- ### Исправлено
392
-
393
- - [EDUCLLG-8818](https://jira.bars.group/browse/EDUCLLG-8818)
394
- Добавлено использование встроенных типов для типизации вместо импортируемых из `typing`.
395
-
396
- ### Удалено
397
-
398
- - [EDUCLLG-8818](https://jira.bars.group/browse/EDUCLLG-8818)
399
- Убран бесполезный `setUp` в шаблонах `tests.py`.
400
-
401
-
402
- ## [3.4.9] - 2024-12-28
403
-
404
- Повышение версии пакета до 3.4.9.
405
-
406
- ### Исправлено
407
-
408
- - Исправлено отображение таблицы в `README.md`;
409
- - Из шаблонов убраны строки, состоящие из пробелов.
410
-
411
-
412
- ## [3.4.8] - 2024-11-14
413
-
414
- Повышение версии пакета до 3.4.8.
415
-
416
- ### Исправлено
417
-
418
- - [EDUKNDG-14586](https://jira.bars.group/browse/EDUKNDG-14586)
419
- Повышение версии пакета до 3.4.8.
420
-
421
-
422
- ## [3.4.7] - 2024-11-14
423
-
424
- Добавлена настройка отображения пункта меню "Региональная витрина данных"
425
-
426
- ### Добавлено
427
-
428
- - [EDUKNDG-14586](https://jira.bars.group/browse/EDUKNDG-14586)
429
- Добавлена настройка отображения пункта меню "Региональная витрина данных"
430
-
431
-
432
- ## [3.4.6] - 2024-11-12
433
-
434
- Исправлена ошибка формирования SQL-запроса с наименованиями таблиц (например, group),
435
- совпадающими с зарезервированными словами языка SQL.
436
-
437
- ### Исправлено
438
-
439
- - [EDUKNDG-14586](https://jira.bars.group/browse/EDUKNDG-14586)
440
- Наименование таблицы обернуто в двойные кавычки при формировании строки SQL-запроса.
441
-
442
-
443
- ## [3.4.5] - 2024-11-01
444
-
445
- Добавлена обработка ошибок чтения файла при отправке данных в РВД (UploadDataAsyncTask)
446
-
447
- ### Исправлено
448
-
449
- - [EDUSCHL-22734](https://jira.bars.group/browse/EDUSCHL-22734)
450
- Добавлена обработка ошибок чтения файла при отправке данных в РВД (UploadDataAsyncTask)
451
-
452
-
453
- ## [3.4.4] - 2024-10-23
454
-
455
- Добавлена ассинхронная менедж-команда простановки размеров файлов выгрузки в модель ExportingDataSubStageAttachment
456
-
457
- ### Исправлено
458
-
459
- - [EDUSCHL-22651](https://jira.bars.group/browse/EDUSCHL-22651)
460
- Добавлена ассинхронная менедж-команда простановки размеров файлов выгрузки в модель ExportingDataSubStageAttachment
461
-
462
-
463
- ## [3.4.3] - 2024-10-17
464
-
465
- Исправлена миграция простановки размеров файлов выгрузки в модель ExportingDataSubStageAttachment
466
-
467
- ### Исправлено
468
-
469
- - [EDUSCHL-22651](https://jira.bars.group/browse/EDUSCHL-22651)
470
- Исправлена миграция простановки размеров файлов выгрузки в модель ExportingDataSubStageAttachment
471
-
472
-
473
- ## [3.4.2 ]- 2024-10-15
474
-
475
- Добавлены отдельные параметры по управлению временем запуска UploadDataAsyncTask
476
-
477
- ### Добавлено
478
-
479
- - [EDUSCHL-22166](https://jira.bars.group/browse/EDUSCHL-22166)
480
- Добавлены отдельные параметры по управлению временем запуска UploadDataAsyncTask
481
-
482
-
483
- ## [3.4.1 ]- 2024-09-26
484
-
485
- Добавлена документация по сбору/выгрузке сущностей для ЭДС, ЭК
486
-
487
- ### Добавлено
488
-
489
- - [EDUKNDG-14518](https://jira.bars.group/browse/EDUKNDG-14518)
490
- Добавлена документация по сбору/выгрузке сущностей для ЭДС, ЭК
491
-
492
-
493
- ## [3.4.0] - 2024-09-25
494
-
495
- В базовый класс тестирования функций сбора добавлена поддержка формата PhoneNumber для формирования
496
- экземпляра модели AuditLog.
497
- Повышена версия зависимости educommon >= 3.11.0.
498
- Вынесены утилиты и базовый класс для логирования и сбора по модели в рамках сущности
499
-
500
- ### Добавлено
501
-
502
- - [EDUSCHL-22378](https://jira.bars.group/browse/EDUSCHL-22378)
503
- Реализация поля моделей Django содержащего номер телефона
504
-
505
- ### Изменено
506
-
507
- - [EDUKNDG-14516](https://jira.bars.group/browse/EDUKNDG-14516)
508
- PATCH Вынесены утилиты и базовый класс для логирования и сбора по модели в рамках сущности
509
-
510
-
511
- ## [3.3.8] - 2024-10-14
512
-
513
- Задача UploadDataAsyncTask изменена с PeriodicAsyncTask на UploadDataAsyncTask
514
-
515
- ### Изменено
516
-
517
- - [EDUSCHL-22519]https://jira.bars.group/browse/EDUSCHL-22519
518
- PATCH Задача UploadDataAsyncTask изменена с PeriodicAsyncTask на UploadDataAsyncTask
519
-
520
-
521
- ## [3.3.7] - 2024-09-06
522
-
523
- Добавлены команда (UploadEntitiesData) и модель (UploadDataCommand) для логирования и запуска выгрузки данных в витрину
524
-
525
- ### Добавлено
526
-
527
- - [EDUSCHL-22042](https://jira.bars.group/browse/EDUSCHL-22042)
528
- PATCH Добавлены команда (UploadEntitiesData) и модель (UploadDataCommand) для логирования и запуска выгрузки данных
529
- в витрину
530
-
531
-
532
- ## [3.3.6] - 2024-09-02
533
-
534
- Добавлена фильтрация по дате выгрузки при обновлении данных на экспорт в BaseExportLatestEntitiesData
535
-
536
- ### Изменено
537
-
538
- - [EDUSCHL-22335](https://jira.bars.group/browse/EDUSCHL-22335)
539
- PATCH Добавлена фильтрация по дате выгрузки при обновлении данных на экспорт в BaseExportLatestEntitiesData
540
-
541
-
542
- ## [3.3.5] - 2024-08-26
543
-
544
- Классы UniquePeriodicAsyncTask, PeriodicTaskLocker перенесены в educommon.
545
-
546
- ### Удалено
547
-
548
- - [EDUSCHL-22267](https://jira.bars.group/browse/EDUSCHL-22267)
549
- MINOR Классы UniquePeriodicAsyncTask, PeriodicTaskLocker перенесены в educommon.
550
-
551
-
552
- ## [3.3.4] - 2024-08-16
553
-
554
- Поднята максимальная версия Django (<3.3)
555
-
556
- ### Изменено
557
-
558
- - [EDUKNDG-14560](https://jira.bars.group/browse/EDUKNDG-14560)
559
- MINOR Добавлена поддержка Django 3.2
560
-
561
-
562
- ## [3.3.3] - 2024-08-19
563
-
564
- Изменен порядок запуска сбора и экспорта по сущностям в периодической задаче TransferLatestEntitiesDataPeriodicTask
565
- с учетом многопоточности, скорректированы номера миграций
566
-
567
- ### Изменено
568
-
569
- - [EDUSCHL-21965](https://jira.bars.group/browse/EDUSCHL-21965)
570
- PATCH Добавлен параметр export_off в модель TransferredEntity и изменен порядок запуска сбора и экспорта в
571
- TransferLatestEntitiesDataPeriodicTask. Скорректированы номера миграций
572
-
573
-
574
- ## [3.3.2] - 2024-07-16
575
-
576
- Добавлен параметр use_times_limit в BaseCollectLatestModelsData для использования переданных параметров logs_period_started_at и logs_period_ended_at
577
-
578
- ### Изменено
579
-
580
- - [EDUSCHL-22070](https://jira.bars.group/browse/EDUSCHL-22070)
581
- PATCH Добавлен параметр use_times_limit в BaseCollectLatestModelsData для использования переданных параметров logs_period_started_at и logs_period_ended_at
582
-
583
-
584
- ## [3.3.1] - 2024-06-13
585
-
586
- Удалён устаревший параметр logs_sub_period_days у базового класса команды сбора данных BaseCollectModelsDataByGeneratingLogsCommand.
587
- Добавлен таймаут для сохранения информации об объемах файла в кеш.
588
-
589
- ### Изменено
590
-
591
- - [EDUSCHL-20649](https://jira.bars.group/browse/EDUSCHL-20649)
592
- MINOR Удалён устаревший параметр logs_sub_period_days у базового класса команды сбора данных BaseCollectModelsDataByGeneratingLogsCommand
593
-
594
- ### Исправлено
595
-
596
- - [EDUSCHL-21835](https://jira.bars.group/browse/EDUSCHL-21835)
597
- PATCH Реализация многопоточной выгрузки
598
-
599
-
600
- ## [3.3.0] - 2024-06-06
601
-
602
- Отправка файлов в РВД вынесена в отдельную задачу UploadDataAsyncTask, добавлен кеш файлов и очередь подэтапов отправки,
603
- а также расчет объемов отправляемых файлов
604
-
605
- ### Изменено
606
-
607
- - [EDUSCHL-21835](https://jira.bars.group/browse/EDUSCHL-21835)
608
- MINOR Реализация многопоточной выгрузки
609
-
610
-
611
- ## [3.2.8] - 2024-08-02
612
-
613
- Исправлена ошибка задвоения сборки и экспорта в периодической задаче TransferLatestEntitiesDataPeriodicTask.
614
-
615
- ### Изменено
616
-
617
- - [EDUSCHL-21965](https://jira.bars.group/browse/EDUSCHL-21965)
618
- PATCH Исправлена ошибка задвоения сборки и экспорта в периодической задаче TransferLatestEntitiesDataPeriodicTask.
619
-
620
-
621
- ## [3.2.7] - 2024-07-31
622
-
623
- Исправлен файл MANIFEST.in для включения в сборку js-шаблонов.
624
-
625
- ### Изменено
626
-
627
- - [EDUSCHL-21965](https://jira.bars.group/browse/EDUSCHL-21965)
628
- PATCH Добавлено включение js-шаблонов в сборку в файл MANIFEST.in
629
-
630
-
631
- ## [3.2.6] - 2024-07-23
632
-
633
- Добавлен параметр export_off (Отключение экспорта для сущности) в модель TransferredEntity
634
- Изменен порядок запуска сбора и экспорта по сущностям в периодической задаче TransferLatestEntitiesDataPeriodicTask
635
-
636
- ### Изменено
637
-
638
- - [EDUSCHL-21965](https://jira.bars.group/browse/EDUSCHL-21965)
639
- PATCH Добавлен параметр export_off в модель TransferredEntity и изменен порядок запуска сбора и экспорта в
640
- TransferLatestEntitiesDataPeriodicTask.
641
-
642
-
643
- ## [3.2.5] - 2024-07-16
644
-
645
- Добавлен параметр use_times_limit в BaseCollectLatestModelsData для использования переданных параметров logs_period_started_at и logs_period_ended_at
646
-
647
- ### Изменено
648
-
649
- - [EDUSCHL-22070](https://jira.bars.group/browse/EDUSCHL-22070)
650
- PATCH Добавлен параметр use_times_limit в BaseCollectLatestModelsData для использования переданных параметров logs_period_started_at и logs_period_ended_at
651
-
652
-
653
- ## [3.2.4] - 2024-07-16
654
-
655
- Внесены корректировки в запросы используемые в функциях get_collecting_managers_max_period_ended_dates и get_exporting_managers_max_period_ended_dates.
656
-
657
- ### Изменено
658
-
659
- - [EDUSCHL-22217](https://jira.bars.group/browse/EDUSCHL-22217)
660
- PATCH Внесены корректировки в запросы используемые в функциях get_collecting_managers_max_period_ended_dates и get_exporting_managers_max_period_ended_dates.
661
- В подзапросах отсутствовало условие фильтрации по статусу.
662
-
663
-
664
- ## [3.2.3] - 2024-06-06
665
-
666
- Внесены корректировки в запросы используемые в функциях get_collecting_managers_max_period_ended_dates и get_exporting_managers_max_period_ended_dates.
667
-
668
- ### Изменено
669
-
670
- - [EDUSCHL-21804](https://jira.bars.group/browse/EDUSCHL-21804)
671
- PATCH Внесены корректировки в запросы используемые в функциях get_collecting_managers_max_period_ended_dates и get_exporting_managers_max_period_ended_dates.
672
- Дата и время окончания предыдущего сбора/экспорта могла быть не корректно определена.
673
-
674
-
675
- ## [3.2.2] - 2024-05-21
676
-
677
- Изменения в переодической задаче TransferLatestEntitiesDataPeriodicTask,
678
- Изменено определение даты последнего успешного этапа сбора у менеджеров Функций сбора и экспорта.
679
- Изменения получения крайней даты из переданного поля по указанным моделям в BaseCollectLatestModelsData.
680
- Удалён параметр RDM_TRANSFER_TASK_TIMEDELTA.
681
-
682
- ### Изменено
683
-
684
- - [EDUSCHL-21804](https://jira.bars.group/browse/EDUSCHL-21804)
685
- PATCH Изменение определения даты последнего успешного этапа сбора у менеджеров Функций сбора и экспорта
686
- Изменения получения крайней даты из переданного поля по указанным моделям в BaseCollectLatestModelsData.
687
- Реализованы функции get_collecting_managers_max_period_ended_dates и get_exporting_managers_max_period_ended_dates
688
- для получения даты времени успешного этапа сбора/экспорта.
689
-
690
-
691
- ## [3.2.1] - 2024-05-03
692
-
693
- Понижен уровень логирования при возникновении ошибки отправки запросов в РВД с ERROR до WARNING
694
-
695
- ### Изменено
696
-
697
- - [EDUSCHL-21903](https://jira.bars.group/browse/EDUSCHL-21903)
698
- PATCH Понижен уровень логирования при возникновении ошибки отправки запросов в РВД
699
-
700
-
701
- ## [3.2.0] - 2024-05-02
702
-
703
- Периодические задачи RDMCheckUploadStatus, CheckSuspendedExportedStagePeriodicTask,
704
- TransferLatestEntitiesDataPeriodicTask сделаны уникальными.
705
-
706
- ### Изменено
707
-
708
- - [EDUSCHL-21891](https://jira.bars.group/browse/EDUSCHL-21891)
709
- MINOR Периодические задачи RDMCheckUploadStatus, CheckSuspendedExportedStagePeriodicTask,
710
- TransferLatestEntitiesDataPeriodicTask сделаны уникальными. Во время действия блокировки не будет возможности
711
- поставить новую подобную задачу.
712
-
713
-
714
- ## [3.1.1] - 2024-05-03
715
-
716
- Понижен уровень логирования при возникновении ошибки отправки запросов в РВД с ERROR до WARNING
717
-
718
- ### Изменено
719
-
720
- - [EDUSCHL-21903](https://jira.bars.group/browse/EDUSCHL-21903)
721
- PATCH Понижен уровень логирования при возникновении ошибки отправки запросов в РВД
722
-
723
-
724
- ## [3.1.0] - 2024-04-23
725
-
726
- Добавлена поддержка setuptools 69.*.
727
- Поднята минимальная версия пакета pip 23.2.1
728
-
729
- ### Изменено
730
-
731
- - [EDUSCHL-21761](https://jira.bars.group/browse/EDUSCHL-21761)
732
- MINOR Добавлена поддержка setuptools 69.*. Поднять минимальную версию pip до 23.2.1.
733
-
734
-
735
- ## [3.0.4] - 2024-04-17
736
-
737
- Возвращено проставление подэтапа выгрузки всем записям модели.
738
-
739
- ### Изменено
740
-
741
- - [EDUSCHL-21761](https://jira.bars.group/browse/EDUSCHL-21761)
742
- PATCH Возвращено проставление подэтапа выгрузки всем записям модели.
743
-
744
-
745
- ## [3.0.3] - 2024-04-11
746
-
747
- В классах примесей CollectCommandMixin и ExportCommandMixin указана очередь для celery используемая в рамках пакета.
748
- Указано базовое описание и тип задачи для отражения в реестре "Асинхронные задачи".
749
-
750
- ### Изменено
751
-
752
- - [EDUSCHL-21793](https://jira.bars.group/browse/EDUSCHL-21793)
753
- PATCH В классах примесей CollectCommandMixin и ExportCommandMixin указана очередь для celery
754
- используемая в рамках пакета.
755
-
756
-
757
- ## [3.0.2] - 2024-04-11
758
-
759
- Изменены типы полей ОГРН и ОКФС в сущности Organisations на строковые.
760
- Исправлен тип передаваемого параметра institute_ids при выполнении поставленной задачи.
761
- Исправлена ошибка проставления подэтапа выгрузки у неотправленных записей.
762
-
763
- ### Изменено
764
-
765
- - [EDUCLLG-8336](https://jira.bars.group/browse/EDUCLLG-8336)
766
- PATCH Изменены типы полей ОГРН и ОКФС в сущности Organisations на строковые.
767
-
768
- - [EDUSCHL-21743](https://jira.bars.group/browse/EDUSCHL-21743)
769
- PATCH Исправлен тип передаваемого параметра institute_ids при выполнении поставленной задачи.
770
-
771
- - [EDUSCHL-21761](https://jira.bars.group/browse/EDUSCHL-21761)
772
- PATCH Исправлена ошибка проставления подэтапа.
773
-
774
-
775
- ## [3.0.1] - 2024-04-03
776
-
777
- Убрано окружение кавычками пустых необязательных полей.
778
-
779
- ### Изменено
780
-
781
- - [EDUCLLG-8325](https://jira.bars.group/browse/EDUCLLG-8325)
782
- PATCH Убрано окружение кавычками пустых необязательных полей.
783
-
784
-
785
- ## [3.0.0] - 2024-04-02
786
-
787
- Расширены возможности кастомизации поведения метода `BaseExportDataFunctionHelper.prepare_record`.
788
-
789
- ### Добавлено
790
-
791
- - [EDUCLLG-8325](https://jira.bars.group/browse/EDUCLLG-8325)
792
- MAJOR Добавлена возможность отдельно указывать, как формировать строковое
793
- представление полей в зависимости от их типа и обязательности. **Требуется добавить
794
- параметр `required_fields` в метод `prepare_record` helper-а функции**.
795
-
796
-
797
- ## [2.2.1] - 2024-03-28
798
-
799
- Исправление наследования Meta в моделях EduRdmCollectDataCommandProgress и EduRdmExportDataCommandProgress
800
-
801
- ### Исправлено
802
-
803
- - [EDUSCHL-21569](https://jira.bars.group/browse/EDUSCHL-21569)
804
- MINOR Перенести оставшиеся общие асинхронные задачи из ЭШ в пакет edu_rdm_integration
805
-
806
-
807
- ## [2.2.0] - 2024-03-20
808
-
809
- Из ЭШ перенесена периодическая задача по сбору и выгрузке данных в РВД.
810
-
811
- Также из ЭШ перенесены и переименованы модели:
812
- - CollectDataCommandProgress перименована в EduRdmCollectDataCommandProgress
813
- - ExportDataCommandProgress перименована в EduRdmExportDataCommandProgress
814
- - Добавлены миксины CollectCommandMixin и ExportCommandMixin
815
-
816
- ### Добавлено
817
-
818
- - [EDUSCHL-21569](https://jira.bars.group/browse/EDUSCHL-21569)
819
- MINOR Перенести оставшиеся общие асинхронные задачи из ЭШ в пакет edu_rdm_integration
820
-
821
-
822
- ## [2.1.0] - 2024-03-18
823
-
824
- Добавлена поддержка Django 3.1.
825
-
826
- ### Добавлено
827
-
828
- - [EDUSCHL-18052](https://jira.bars.group/browse/EDUSCHL-18052)
829
- MINOR Поднять версию Django до 3.1.14
830
-
831
-
832
- ## [2.0.3] - 2024-03-11
833
-
834
- Добавлено сохранение чанка логов в `list` перед его использованием в запускаемых классах в методе `_get_runnable_objects` класса `BaseCollectingDataRunner`.
835
-
836
- ### Исправлено
837
-
838
- - [EDUSCHL-21581](https://jira.bars.group/browse/EDUSCHL-21581)
839
- PATCH Добавлено сохранение чанка логов в `list` перед его использованием в запускаемых классах в методе `_get_runnable_objects` класса `BaseCollectingDataRunner`.
840
-
841
-
842
- ## [2.0.2] - 2024-03-07
843
-
844
- Откатил изменения сделанные в версии 2.0.1. Данные доработки приводили к невозможности отправить данные.
845
-
846
- ### Исправлено
847
-
848
- - [EDUSCHL-21503](https://jira.bars.group/browse/EDUSCHL-21503)
849
- PATCH Откатил изменения сделанные в версии 2.0.1
850
-
851
-
852
- ## [2.0.1] - 2024-03-01
853
-
854
- Изменена работа метода _calculate_last_finished_entity_export класса BaseExportLatestEntitiesData
855
-
856
- ### Исправлено
857
-
858
- - [EDUSCHL-21503](https://jira.bars.group/browse/EDUSCHL-21503)
859
- PATCH ЭШ. Все модели РВД. Некорректное определение начала периода экспорта командой при сборе
860
- командой collect_latest_models_data
861
-
862
-
863
- ## [2.0.0] - 2024-02-21
864
-
865
- Параметр school_ids переименован в institute_ids.
866
-
867
- ### Изменено
868
-
869
- - [EDUSCHL-20485](https://jira.bars.group/browse/EDUSCHL-20485)
870
- MAJOR Произвести переименование параметра school_ids на institute_ids
871
-
872
-
873
- ## [1.0.2] - 2024-03-06
874
-
875
- Добавлено разбиение на чанки запроса на обновление поля modified у невыгруженных записей,
876
- при запуске команды `export_latest_entities_data`.
877
-
878
- ### Исправлено
879
-
880
- - [EDUSCHL-21572](https://jira.bars.group/browse/EDUSCHL-21572)
881
- PATCH Добавлено разбиение на чанки запроса на обновление в методе `_update_model_modified_field`
882
- класса `BaseExportLatestEntitiesData`.
883
-
884
-
885
- ## [1.0.1] - 2024-02-20
886
-
887
- Исправлено ограничение сбора логов периодом `RDM_TRANSFER_TASK_TIMEDELTA` в `BaseCollectLatestModelsData`
888
-
889
- ### Исправлено
890
-
891
- - [EDUSCHL-21413](https://jira.bars.group/browse/EDUSCHL-21413)
892
- PATCH Исправлено ограничение сбора логов периодом `RDM_TRANSFER_TASK_TIMEDELTA` в `BaseCollectLatestModelsData`
893
-
894
-
895
- ## [1.0.0] - 2024-01-31
896
-
897
- Удален дублирующийся клаcc `LogChange` из `collect_data.non_calculated.base.caches`.
898
-
899
- ### Удалено
900
-
901
- - [EDUSCHL-21308](https://jira.bars.group/browse/EDUSCHL-21308)
902
- MAJOR Удален дублирующийся клаcc `LogChange` из `collect_data.non_calculated.base.caches`.
903
-
904
-
905
- ## [0.10.2] - 2024-02-05
906
-
907
- Рефакторинг принудительного запуска функций без добавления их в очередь на исполнение.
908
-
909
- В класс кеша BaseCollectingExportedDataFunctionCacheStorage расчетных и не расчетных функций добавлен метод _ignore_logs.
910
- Добавлена утилита build_related_model_graph для построения графа связей между моделями.
911
- Добавлен миксин BaseIgnoreLogMixin, для исключения из обработки логов на основании описанных зависимостей.
912
-
913
- ### Добавлено
914
-
915
- - [EDUSCHL-20550](https://jira.bars.group/browse/EDUSCHL-20550)
916
- MINOR В класс кеша BaseCollectingExportedDataFunctionCacheStorage добавлен метод _ignore_logs.
917
- Добавлена утилита build_related_model_graph. Добавлен миксин BaseIgnoreLogMixin.
918
-
919
- ### Изменено
920
-
921
- - [EDUSCHL-20274](https://jira.bars.group/browse/EDUSCHL-20274)
922
- MINOR Рефакторинг принудительного запуска функций без добавления их в очередь на исполнение.
923
-
924
-
925
- ## [0.10.1] - 2024-02-02
926
-
927
- Изменение в формировании LogChange.
928
- Не формируется LogChange с пустым fields.
929
-
930
- ### Изменено
931
-
932
- - [EDUSCHL-21251](https://jira.bars.group/browse/EDUSCHL-21251)
933
- PATCH Изменение в формировании LogChange.
934
-
935
-
936
- ## [0.10.0] - 2024-01-19
937
-
938
- Добавлена поддержка Django 3.0.
939
- В класс кеша BaseCollectingExportedDataFunctionCacheStorage расчетных и не расчетных функций добавлен метод _ignore_logs.
940
- Добавлена утилита build_related_model_graph для построения графа связей между моделями.
941
- Добавлен миксин BaseIgnoreLogMixin, для исключения из обработки логов на основании описанных зависимостей.
942
-
943
- ### Добавлено
944
-
945
- - [EDUSCHL-18051](https://jira.bars.group/browse/EDUSCHL-18051)
946
- MINOR Поднять версию Django до 3.0.14
947
-
948
- - [EDUSCHL-20550](https://jira.bars.group/browse/EDUSCHL-20550)
949
- MINOR В класс кеша BaseCollectingExportedDataFunctionCacheStorage добавлен метод _ignore_logs.
950
- Добавлена утилита build_related_model_graph. Добавлен миксин BaseIgnoreLogMixin.
951
-
952
-
953
- ## [0.9.2] - 2024-01-17
954
-
955
- Добавлена явная регистрация периодических асинхронных задач Celery.
956
- Поднятие версии зависимостей пакета celery.
957
-
958
- ### Изменено
959
-
960
- - [EDUSCHL-14950](https://jira.bars.group/browse/EDUSCHL-14950)
961
- PATCH Добавлена явная регистрация периодических асинхронных задач Celery.
962
-
963
-
964
- ## [0.9.1] - 2024-01-11
965
-
966
- Добавлен реестр выбора сущностей для сбора и выгрузки данных.
967
- Удалена настройка RDM_TRANSFER_TASK_ENTITIES, вместо перечисления сущностей в конфиге используется реестр и модель
968
- TransferredEntity.
969
-
970
- ### Добавлено
971
-
972
- - [EDUSCHL-21112](https://jira.bars.group/browse/EDUSCHL-21112)
973
- MINOR Добавлен реестр выбора сущностей для сбора и выгрузки данных.
974
-
975
- ### Удалено
976
-
977
- - [EDUSCHL-21112](https://jira.bars.group/browse/EDUSCHL-21112)
978
- MINOR Удалена настройка RDM_TRANSFER_TASK_ENTITIES.
979
-
980
-
981
- ## [0.9.0] - 2023-12-29
982
-
983
- Из ЭШ перенесены периодические задачи по сбору статусов загрузки файлов в витрину, а также
984
- по поиску зависших этапов/подэтапов экспорта.
985
-
986
- Также из ЭШ перенесены менедж-команды:
987
- - check_upload_status - проверка состояния отправленных данных в витрину,
988
- - collect_lastest_models_data - сбор на основе логов за период с последней сборки до указанной даты,
989
- - export_latest_entities_data - экспорт данных за период с последней сборки до указанной даты.
990
-
991
- Типы получаемых из log_change.fields полей соответствуют типам полей из логируемых моделей.
992
-
993
- ### Добавлено
994
-
995
- - [EDUSCHL-21013](https://jira.bars.group/browse/EDUSCHL-21013)
996
- MINOR Перенесена часть асинхронных РВД задач из ЭШ, а также часть менедж-команд
997
-
998
- ### Изменено
999
-
1000
- - [EDUSCHL-20793](https://jira.bars.group/browse/EDUSCHL-20793)
1001
- MINOR Типы получаемых из log_change.fields полей должны соответствовать типам полей из логируемых моделей
1002
-
1003
-
1004
- ## [0.8.6] - 2023-12-18
1005
-
1006
- В метод _clean_data класса BaseCollectingFunctionTestCase добавлена возможность обрабатывать поля относящиеся к
1007
- списковому типу (ArrayField).
1008
-
1009
- ### Добавлено
1010
-
1011
- - [EDUSCHL-19606](https://jira.bars.group/browse/EDUSCHL-19606)
1012
- PATCH В метод _clean_data класса BaseCollectingFunctionTestCase добавлена возможность обрабатывать поля относящиеся к
1013
- списковому типу (ArrayField).
1014
-
1015
-
1016
- ## [0.8.5] - 2023-12-14
1017
-
1018
- Формирование логов вынесено на уровень команды, а не менеджера.
1019
- Добавлено формирование логов на этапе экспорта данных.
1020
-
1021
- ### Добавлено
1022
-
1023
- - [EDUSCHL-20073](https://jira.bars.group/browse/EDUSCHL-20073)
1024
- MINOR Логи при экспорте данных
1025
-
1026
- ### Изменено
1027
-
1028
- - [EDUSCHL-20073](https://jira.bars.group/browse/EDUSCHL-20073)
1029
- MINOR Формирование логов вынесено на уровень команды, а не менеджера.
1030
-
1031
-
1032
- ## [0.8.4] - 2023-12-13
1033
-
1034
- Создание базовых хэлперов BaseCollectingDataFunctionHelper, BaseCollectingDataRunnerHelper.
1035
- Создание нового метода get_filtered_operations в BaseCollectingDataFunctionHelper.
1036
-
1037
- ### Добавлено
1038
-
1039
- - [EDUSCHL-21029](https://jira.bars.group/browse/EDUSCHL-21029)
1040
- MINOR Создание базовых хэлперов.
1041
-
1042
-
1043
- ## [0.8.3] - 2023-12-13
1044
-
1045
- Исправление ошибок и несоответствий в журнале логов
1046
-
1047
- ### Изменено
1048
-
1049
- - [EDUCLLG-8103](https://jira.bars.group/browse/EDUCLLG-8103)
1050
- MINOR Исправление ошибок и несоответствий в журнале логов .
1051
-
1052
-
1053
- ## [0.8.2] - 2023-12-11
1054
-
1055
- Поднятие версии m3-db-utils,изменение UploaderClientLogManager
1056
- ### Изменено
1057
-
1058
- - [EDUCLLG-7736](https://jira.bars.group/browse/EDUCLLG-7736)
1059
- MINOR Поднята версии m3-db-utils до 0.3.10, редактирован `UploaderClientLogManager`.
1060
-
1061
-
1062
- ## [0.8.1] - 2023-12-08
1063
-
1064
- Исправлена ошибка внутри EntityEnumRegisterMixin
1065
- ### Изменено
1066
-
1067
- - [EDUCLLG-8098](https://jira.bars.group/browse/EDUCLLG-8098)
1068
- PATCH Добавлена проверка на наличие атрибута main_model_enum.
1069
-
1070
-
1071
- ## [0.8.0] - 2023-12-08
1072
-
1073
- Вынесен функционал просмотра логов РВД из ЭШ.
1074
- Удалено перечисление UploadStatusEnum.
1075
- Удалена модель UploadStatus статусов загрузки в витрину. Вместо неё добавлена модель-перечисление DataMartRequestStatus.
1076
-
1077
- ### Изменено
1078
-
1079
- - [EDUCLLG-7736](https://jira.bars.group/browse/EDUCLLG-7736)
1080
- MINOR Вынесен функционал просмотра логов РВД из ЭШ.
1081
-
1082
- ### Удалено
1083
-
1084
- - [EDUSCHL-20965](https://jira.bars.group/browse/EDUSCHL-20965)
1085
- MINOR - Удалено перечисление UploadStatusEnum. Удалена модель UploadStatus статусов загрузки в витрину.
1086
-
1087
- ### Добавлено
1088
-
1089
- - [EDUSCHL-20965](https://jira.bars.group/browse/EDUSCHL-20965)
1090
- MINOR - Вместо удаленной модели UploadStatus добавлена модель-перечисление DataMartRequestStatus.
1091
-
1092
-
1093
- ## [0.7.3] - 2023-12-07
1094
-
1095
- Исправлена аннотация в шаблоне managers.py-tpl для функции экспорта.
1096
-
1097
- ### Исправлено
1098
-
1099
- - [EDUSCHL-19604](https://jira.bars.group/browse/EDUSCHL-19604)
1100
- PATCH Исправлена аннотация в шаблоне managers.py-tpl для функции экспорта.
1101
-
1102
-
1103
- ## [0.7.2] - 2023-12-05
1104
-
1105
- В метод _clean_data класса BaseCollectingFunctionTestCase добавлена возможность обрабатывать поля относящиеся к
1106
- временному типу.
1107
- Добавление обработки plugins_info при генерации списка данных формирования команд.
1108
-
1109
- ### Добавлено
1110
-
1111
- - [EDUSCHL-19507](https://jira.bars.group/browse/EDUSCHL-19507)
1112
- PATCH В метод _clean_data класса BaseCollectingFunctionTestCase добавлена возможность обрабатывать поля относящиеся к
1113
- временному типу.
1114
-
1115
- - [EDUSCHL-19507](https://jira.bars.group/browse/EDUSCHL-19507)
1116
- PATCH Добавление обработки plugins_info при генерации списка данных формирования команд.
1117
-
1118
-
1119
- ## [0.7.1] - 2023-12-02
1120
-
1121
- Доработано получение множества моделей на основе данных plugins_info при работе метода _get_loggable_models.
1122
-
1123
- ### Изменено
1124
-
1125
- - [EDUSCHL-19576](https://jira.bars.group/browse/EDUSCHL-20954)
1126
- PATCH Доработано получение множества моделей на основе данных plugins_info при работе метода _get_loggable_models.
1127
-
1128
-
1129
- ## [0.7.0] - 2023-12-02
1130
-
1131
- Добавлено формирование логов для последующего скачивания.
1132
- Доработаны шаблоны реализации Функций сбора и выгрузки данных.
1133
- Написана документация для реализации функционала новой Сущности.
1134
- Добавлено получение моделей на основе данных plugins_info при работе метода _get_loggable_models.
1135
-
1136
- ### Добавлено
1137
-
1138
- - [EDUSCHL-20072](https://jira.bars.group/browse/EDUSCHL-20072)
1139
- MINOR - Реестр сбора и выгрузки. Логи
1140
-
1141
- - [EDUSCHL-20954](https://jira.bars.group/browse/EDUSCHL-20954)
1142
- PATCH Добавлена документация для реализации функционала новой Сущности.
1143
-
1144
- ### Изменено
1145
-
1146
- - [EDUSCHL-20954](https://jira.bars.group/browse/EDUSCHL-20954)
1147
- PATCH Произведена доработка шаблонов Функций сбора и выгрузки данных.
1148
-
1149
- - [EDUSCHL-19576](https://jira.bars.group/browse/EDUSCHL-19576)
1150
- PATCH - Добавлено получение моделей на основе данных plugins_info при работе метода _get_loggable_models.
1151
-
1152
-
1153
- ## [0.6.10] - 2023-11-30
1154
-
1155
- При добавлении префикса RDM_EXPORT_ENTITY_ID_PREFIX в классе BaseExportDataFunctionHelper
1156
- учтены поля из get_ignore_prefix_key_fields.
1157
-
1158
- ### Изменено
1159
-
1160
- - [EDUSCHL-20961](https://jira.bars.group/browse/EDUSCHL-20961)
1161
- PATCH - При добавлении префикса RDM_EXPORT_ENTITY_ID_PREFIX в классе BaseExportDataFunctionHelper учтены поля
1162
- - из get_ignore_prefix_key_fields.
1163
-
1164
-
1165
- ## [0.6.9] - 2023-11-30
1166
-
1167
- Доработка обработки ответа при отправке файлов в РВД.
1168
- Добавлены менедж-команды для загрузки данных и запроса статуса загрузки в РВД с использованием uploader-client.
1169
- Добавлена инструкция по реализации тестов РВД.
1170
- В BaseCollectingFunctionTestCase добавлен метод создания подэтапов сбора данных.
1171
-
1172
- ### Добавлено
1173
-
1174
- - [EDUSCHL-20946](https://jira.bars.group/browse/EDUSCHL-20946)
1175
- PATCH - Доработка обработки ответа при отправке файлов в РВД.
1176
-
1177
- - [EDUSCHL-20946](https://jira.bars.group/browse/EDUSCHL-20946)
1178
- MINOR - Добавлены менедж-команды для загрузки данных и запроса статуса загрузки в РВД с использованием uploader-client.
1179
-
1180
- - [EDUSCHL-20951](https://jira.bars.group/browse/EDUSCHL-20951)
1181
- MINOR - Инструкция по реализации тестов РВД
1182
-
1183
- - [EDUSCHL-20951](https://jira.bars.group/browse/EDUSCHL-20951)
1184
- MINOR - Добавлен метод создания подэтапов сбора данных
1185
-
1186
-
1187
- ## [0.6.8] - 2023-11-24
1188
-
1189
- Скорректировано описание сущности РВД TELECOM.
1190
- Рефакторинг обновления полей modified у невыгруженных записей при работе экспорта сущностей.
1191
- Временное решение обеспечения совместимости регистрации моделей и сущностей старого и нового подхода.
1192
- Добавлена возможность отправки запросов в РВД через Proxy API uploader_client.
1193
- Изменено формирование логов для последующей обработки.
1194
-
1195
- ### Добавлено
1196
-
1197
- - [EDUSCHL-20854](https://jira.bars.group/browse/EDUSCHL-20854)
1198
- MINOR - Добавлена возможность отправки запросов через Proxy API.
1199
-
1200
- ### Изменено
1201
-
1202
- - [EDUSCHL-20808](https://jira.bars.group/browse/EDUSCHL-20808)
1203
- MINOR - При сборе модели командой collect_latest_models_data сжигается память
1204
-
1205
- ### Исправлено
1206
-
1207
- - [EDUSCHL-20884](https://jira.bars.group/browse/EDUSCHL-20884)
1208
- PATCH - Изменено название поля rank на rank_contact в сущности РВД TelecomEntity.
1209
-
1210
- - [EDUSCHL-20711](https://jira.bars.group/browse/EDUSCHL-20711)
1211
- PATCH - Доработан метод BaseExportLatestEntitiesData._update_model_modified_field.
1212
-
1213
- - [EDUSCHL-20858](https://jira.bars.group/browse/EDUSCHL-20858)
1214
- PATCH - Временное решение обеспечения совместимости регистрации моделей и сущностей старого и нового подхода.
1215
-
1216
-
1217
- ## [0.6.7] - 2023-11-01
1218
-
1219
- Добавлен миксин EntityEnumRegisterMixin для регистрации сущностей в RegionalDataMartEntityEnum.
1220
- Миксин ModelEnumRegisterMixin для регистрации моделей в RegionalDataMartModelEnum.
1221
- Добавлены методы для запуска регистрации моделей и сущностей.
1222
-
1223
- ### Добавлено
1224
-
1225
- - [EDUCLLG-7632](https://jira.bars.group/browse/EDUCLLG-7632)
1226
- PATCH - Добавлен функционал регистрации моделей и сущностей в моделях-перечислениях.
1227
-
1228
-
1229
- ## [0.6.6] - 2023-10-16
1230
-
1231
- Добавлен базовый класс для тестирования Функций сбора, добавлена явная зависимость Django.
1232
-
1233
- ### Добавлено
1234
-
1235
- - [EDUSCHL-20684](https://jira.bars.group/browse/EDUSCHL-20684)
1236
- PATCH - Базовый класс для тестирования Функций сбора;
1237
-
1238
- - [EDUSCHL-20684](https://jira.bars.group/browse/EDUSCHL-20684)
1239
- PATCH - Добавлена зависимость Django.
1240
-
1241
-
1242
- ## [0.6.5] - 2023-10-11
1243
-
1244
- Получение метода генерации логов вынесено в отдельный метод для избавления от необходимости хранить все методы в одном классе.
1245
-
1246
- ### Исправлено
1247
-
1248
- - [EDUCLLG-7634](https://jira.bars.group/browse/EDUCLLG-7634)
1249
- PATCH - Получение метода генерации логов вынесено в отдельный метод для избавления от необходимости хранить все методы в одном классе;
1250
-
1251
- - [EDUSCHL-20571](https://jira.bars.group/browse/EDUSCHL-20571)
1252
- PATCH - При сборе актуальных данных моделей отслеживаются уже запущенные сборы и новый сбор по модели не запускается.
1253
-
1254
- - [EDUSCHL-20571](https://jira.bars.group/browse/EDUSCHL-20571)
1255
- PATCH - Указание назначения полей модели-перечисления сущностей RegionalDataMartEntityEnum;
1256
-
1257
- - [EDUSCHL-20571](https://jira.bars.group/browse/EDUSCHL-20571)
1258
- PATCH - Добавление возможности получения значений модели-перечисления RegionalDataMartEntityEnum моделей РВД для указанных сущностей.
1259
-
1260
-
1261
- ## [0.6.4] - 2023-10-09
1262
-
1263
- Исправлена ошибка сборки, из-за которой файлы шаблонов *.py-tpl не попадали в пакет.
1264
-
1265
- ### Добавлено
1266
-
1267
- - [EDUCLLG-7634](https://jira.bars.group/browse/EDUCLLG-7634)
1268
- PATCH - Добавлено включение шаблонов *.py-tpl в пакет при сборке.
1269
-
1270
-
1271
- ## [0.6.3] - 2023-10-05
1272
-
1273
- Доработка модели AbstractCollectDataCommandProgress и класса BaseFirstCollectModelsDataCommandsGenerator.
1274
-
1275
- ### Добавлено
1276
-
1277
- - [EDUSCHL-20350](https://jira.bars.group/browse/EDUSCHL-20350)
1278
- PATCH - Добавлено формирование id генерации для команд в классе BaseFirstCollectModelsDataCommandsGenerator.
1279
- - Добавлены поля created, generation_id и institute_ids в модель AbstractCollectDataCommandProgress.
1280
-
1281
-
1282
- ## [0.6.2] - 2023-10-04
1283
-
1284
- ### Изменено
1285
-
1286
- - [EDUCLLG-7942](https://jira.bars.group/browse/EDUCLLG-7942)
1287
- PATCH Доработка сборки документации.
1288
-
1289
-
1290
- ## [0.6.1] - 2023-10-02
1291
-
1292
- Дополнение поведения BaseExportDataFunctionHelper.
1293
-
1294
- ### Изменено
1295
-
1296
- - [EDUSCHL-20535](https://jira.bars.group/browse/EDUSCHL-20535)
1297
- PATCH - В логике BaseExportDataFunctionHelper добавлена очистка строковых полей от управляющих символов.
1298
-
1299
-
1300
- ## [0.6.0] - 2023-09-29
1301
-
1302
- Добавлена функция set_failed_status_suspended_exporting_data_stages для определения и перевода зависших этапов/подэтапов экспорта в статус (FAILED).
1303
- Добавлена функция set_failed_status_suspended_collecting_data_stages для определения и перевода зависших этапов/подэтапов сбора в статус (FAILED).
1304
-
1305
- ### Добавлено
1306
-
1307
- - [EDUSCHL-20487](https://jira.bars.group/browse/EDUSCHL-20487)
1308
- MINOR Добавлена функция ```set_failed_status_suspended_exporting_data_stages```.
1309
-
1310
- - [EDUSCHL-20487](https://jira.bars.group/browse/EDUSCHL-20487)
1311
- MINOR Добавлена функция ```set_failed_status_suspended_collecting_data_stages```.
1312
-
1313
-
1314
- ## [0.5.9] - 2023-09-25
1315
-
1316
- Повышена версия wheel
1317
-
1318
- ### Изменено
1319
-
1320
- - [EDUCLLG-7939](https://jira.bars.group/browse/EDUCLLG-7939)
1321
- PATCH - Повышена версия wheel
1322
-
1323
-
1324
- ## [0.5.8] - 2023-09-13
1325
-
1326
- Исправлена ошибка добавления в описание асинхронной задачи списка выгруженных сущностей
1327
- BaseExportLatestEntitiesData._set_description_to_async_task.
1328
-
1329
- ### Исправлено
1330
-
1331
- - [EDUSCHL-20334](https://jira.bars.group/browse/EDUSCHL-20334)
1332
- PATCH - Баг с обновлением поля description в BaseExportLatestEntitiesData._set_description_to_async_task.
1333
-
1334
-
1335
- ## [0.5.7] - 2023-09-12
1336
-
1337
- Баг фикс и дополнение поведения BaseExportLatestEntitiesData.
1338
-
1339
- ### Изменено
1340
-
1341
- - [EDUSCHL-20435](https://jira.bars.group/browse/EDUSCHL-20435)
1342
- PATCH - BaseExportLatestEntitiesData теперь поддерживает выгрузку ни разу невыгруженных сущностей.
1343
-
1344
- ### Исправлено
1345
-
1346
- - [EDUSCHL-20435](https://jira.bars.group/browse/EDUSCHL-20435)
1347
- PATCH - Баг с условием в фильтре в BaseExportLatestEntitiesData._update_model_modified_field.
1348
-
1349
-
1350
- ## [0.5.6] - 2023-09-06
1351
-
1352
- Доработаны классы BaseExportLatestEntitiesData и BaseExportEntitiesData.
1353
-
1354
- ### Исправлено
1355
-
1356
- - [EDUSCHL-20435](https://jira.bars.group/browse/EDUSCHL-20435)
1357
- PATCH - Исправлено нахождение левой границы в классе ExportLatestEntitiesData;
1358
- - Добавлена проверка на наличие запущенных или готовых к выгрузке сущностей;
1359
- - Добавлен параметр update_modified, который обновляет поле modified у собранных моделей,
1360
- чтобы выгрузить невыгруженные записи.
1361
-
1362
-
1363
- ## [0.5.5] - 2023-09-04
1364
-
1365
- Добавление pip в зависимости сборки пакета.
1366
-
1367
- ### Добавлено
1368
-
1369
- - [EDUSCHL-19919](https://jira.bars.group/browse/EDUSCHL-19919)
1370
- PATCH Добавление pip в зависимости сборки пакета.
1371
-
1372
-
1373
- ## [0.5.4] - 2023-09-04
1374
-
1375
- split_by_days_count переименовал в split_by_quantity.
1376
-
1377
- ### Изменено
1378
-
1379
- - [EDUSCHL-20302](https://jira.bars.group/browse/EDUSCHL-20302)
1380
- PATCH split_by_days_count переименовал в split_by_quantity.
1381
-
1382
-
1383
- ## [0.5.3] - 2023-09-03
1384
-
1385
- Изменены параметры формирования подпериодов в generate_first_collect_models_data_script.
1386
-
1387
- ### Изменено
1388
-
1389
- - [EDUSCHL-20302](https://jira.bars.group/browse/EDUSCHL-20302)
1390
- PATCH Изменены параметры формирования подпериодов в generate_first_collect_models_data_script.
1391
-
1392
-
1393
- ## [0.5.2] - 2023-08-28
1394
-
1395
- Замена базового класса функций.
1396
-
1397
- ### Изменено
1398
-
1399
- - [EDUSCHL-20344](https://jira.bars.group/browse/EDUSCHL-20344)
1400
- PATCH Замена базового класса функций на WebEduLazySavingPredefinedQueueFunction.
1401
-
1402
-
1403
- ## [0.5.1] - 2023-08-22
1404
-
1405
- Для BaseFirstCollectModelsDataCommandsGenerator добавлено условие - если не заполнен creating_trigger_models,
1406
- то словарь с данными для команды не передается.
1407
-
1408
- ### Исправлено
1409
-
1410
- - [EDUSCHL-20227](https://jira.bars.group/browse/EDUSCHL-20227)
1411
- PATCH Если у сущности не заполнен creating_trigger_models, то в генераторе BaseFirstCollectModelsDataCommandsGenerator
1412
- не формируется словарь с параметрами для команды.
1413
-
1414
- - [EDUSCHL-20229](https://jira.bars.group/browse/EDUSCHL-20229)
1415
- PATCH Если у сущности не заполнен creating_trigger_models, то в генераторе BaseFirstCollectModelsDataCommandsGenerator
1416
- не формируется словарь с параметрами для команды.
1417
-
1418
-
1419
- ## [0.5.0] - 2023-08-19
1420
-
1421
- Дополнительная функциональность WebEduEntityValueCache была перенесена в EntityCache в function_tools.
1422
-
1423
- ### Удалено
1424
-
1425
- - [EDUSCHL-20277](https://jira.bars.group/browse/EDUSCHL-20277)
1426
- MINOR Удален WebEduEntityValueCache.
1427
-
1428
- - [EDUSCHL-20277](https://jira.bars.group/browse/EDUSCHL-20277)
1429
- MINOR Удален WebEduEntityCacheExtended.
1430
-
1431
-
1432
- ## [0.4.7] - 2023-08-17
1433
-
1434
- Изменено формирование очередности сбора/экспорта моделей/сущностей. Вместо отдельных перечислений используется существующее поле `order_number` модели-перечисления `TitledModelEnum`. В случае, когда `order_number` не указан, т.е. будет использоваться значение по умолчанию `DEFAULT_ORDER_NUMBER`, модель/сущность будет исключена из сбора/экспорта.
1435
-
1436
- ### Изменено
1437
-
1438
- - [EDUSCHL-19164](https://jira.bars.group/browse/EDUSCHL-19164)
1439
- MINOR Изменено формирование очередности сбора/экспорта моделей/сущностей.
1440
-
1441
-
1442
- ## [0.4.6] - 2023-08-16
1443
-
1444
- Удален лишний вызов метода _prepare_logs
1445
-
1446
- ### Исправлено
1447
-
1448
- - [EDUSCHL-19991](https://jira.bars.group/browse/EDUSCHL-19991)
1449
- PATCH удален лишний вызов метода ```_prepare_logs``` в методе ```__init__``` класса ```BaseCollectingCalculatedExportedDataFunctionCacheStorage```
1450
-
1451
-
1452
- ## [0.4.5] - 2023-08-09
1453
-
1454
- Объединение обрабатываемых логов относящихся к одному объекту
1455
-
1456
- ### Добавлено
1457
-
1458
- - [EDUSCHL-19991](https://jira.bars.group/browse/EDUSCHL-19991)
1459
- PATCH Новый миксин ```ReformatLogsMixin``` , новое поле is_merge_logs и новый метод _merge_logs у класса ```BaseCollectingExportedDataFunctionCacheStorage```
1460
-
1461
-
1462
- ## [0.4.4] - 2023-08-12
1463
-
1464
- Исправлен баг с timedelta
1465
-
1466
- ### Исправлено
1467
-
1468
- - [EDUSCHL-20200](https://jira.bars.group/browse/EDUSCHL-20200)
1469
- PATCH Исправлен баг с timedelta.
1470
-
1471
-
1472
- ## [0.4.3] - 2023-08-12
1473
-
1474
- Исправлен баг с timedelta
1475
-
1476
- ### Исправлено
1477
-
1478
- - [EDUSCHL-20200](https://jira.bars.group/browse/EDUSCHL-20200)
1479
- PATCH Исправлен баг с timedelta.
1480
-
1481
-
1482
- ## [0.4.2] - 2023-08-11
1483
-
1484
- Исправление ошибки учета миллисекунд, при генерации скриптов сбора и выгрузки данных. В текущий момент chunk_size все
1485
- равно работает некорректно. Это связано с тем, что при обнулении миллисекунд за одной записью выборки может скрываться
1486
- большое количество, например, которые были созданы или обновлены скриптами. Проблему необходимо решить в будущем, но
1487
- текущего решения хватает для эксплуатации.
1488
- В выборках моделей и логов не должна входить правая граница периода выборки.
1489
-
1490
- ### Исправлено
1491
-
1492
- - [EDUSCHL-20235](https://jira.bars.group/browse/EDUSCHL-20235)
1493
- PATCH Исправлена ошибка учета миллисекунд в выборках при генерации скриптов с командами для сбора и выгрузки данных.
1494
-
1495
- - [EDUSCHL-20235](https://jira.bars.group/browse/EDUSCHL-20235)
1496
- PATCH В выборках моделей и логов не должна входить правая граница периода выборки.
1497
-
1498
-
1499
- ## [0.4.1] - 2023-08-09
1500
-
1501
- Доработки для реализации принудительного выполнения функций экспорта данных сущностей.
1502
-
1503
- ### Добавлено
1504
-
1505
- - [EDUSCHL-20235](https://jira.bars.group/browse/EDUSCHL-20235)
1506
- PATCH Доработки для реализации принудительного выполнения функций экспорта данных сущностей.
1507
-
1508
-
1509
- ## [0.4.0] - 2023-08-09
1510
-
1511
- Реализованы общие классы для команд сбора/экспорта.
1512
-
1513
- ### Добавлено
1514
-
1515
- - [EDUSCHL-20200](https://jira.bars.group/browse/EDUSCHL-20200)
1516
- MINOR Добавлены общие модели, методы и классы.
1517
-
1518
- ### Изменено
1519
-
1520
- - [EDUSCHL-20200](https://jira.bars.group/browse/EDUSCHL-20200)
1521
- MINOR Реализованы общие классы для команд сбора/экспорта.
1522
-
1523
-
1524
- ## [0.3.3] - 2023-08-08
1525
-
1526
- Добавлено принудительное выполнение функций в ранере для экономии памяти.
1527
-
1528
- ### Исправлено
1529
-
1530
- - [EDUSCHL-20235](https://jira.bars.group/browse/EDUSCHL-20235)
1531
- PATCH Добавлено принудительное выполнение функций в ранере для экономии памяти.
1532
-
1533
-
1534
- ## [0.3.2] - 2023-08-08
1535
-
1536
- Откат к спискам необработанных логов. Исправлена ошибка бесконечного создания чанков логов.
1537
-
1538
- ### Исправлено
1539
-
1540
- - [EDUSCHL-20235](https://jira.bars.group/browse/EDUSCHL-20235)
1541
- PATCH Откат к спискам необработанных логов.
1542
-
1543
-
1544
- ## [0.3.1] - 2023-08-08
1545
-
1546
- Организована передача необработанных логов в виде генератора.
1547
-
1548
- ### Изменено
1549
-
1550
- - [EDUSCHL-20235](https://jira.bars.group/browse/EDUSCHL-20235)
1551
- PATCH Организована передача необработанных логов в виде генератора.
1552
-
1553
-
1554
- ## [0.3.0] - 2023-08-06
1555
-
1556
- Добавление функциональности для отложенного заполнения кешей. Заполнение производится перед началом работы запускаемого
1557
- объекта.
1558
-
1559
- ### Добавлено
1560
-
1561
- - [EDUSCHL-20235](https://jira.bars.group/browse/EDUSCHL-20235)
1562
- PATCH Добавлено отложенное заполнение кешей хелперов функций.
1563
-
1564
- - [EDUSCHL-20235](https://jira.bars.group/browse/EDUSCHL-20235)
1565
- MINOR Добавлено проставление подэтапа выгрузки данных у записей моделей.
1566
-
1567
-
1568
- ## [0.2.2] - 2023-08-06
1569
-
1570
- Для API РВД добавлена поддержка параметра типа операции для загрузки данных.
1571
-
1572
- ### Добавлено
1573
-
1574
- - [EDUSCHL-19920](https://jira.bars.group/browse/EDUSCHL-19920)
1575
- PATCH Для API РВД добавлена поддержка параметра типа операции для загрузки данных.
1576
-
1577
-
1578
- ## [0.2.1] - 2023-08-05
1579
-
1580
- Восстановление сборки пакета после ухода с poetry.
1581
-
1582
- ### Исправлено
1583
-
1584
- - [EDUSCHL-19919](https://jira.bars.group/browse/EDUSCHL-19919)
1585
- PATCH Восстановление сборки пакета после миграции с poetry.
1586
-
1587
-
1588
- ## [0.2.0] - 2023-08-04
1589
-
1590
- Перенос стратегий формирования Функций используемых в генерации исходников.
1591
-
1592
- ### Добавлено
1593
-
1594
- - [EDUSCHL-19919](https://jira.bars.group/browse/EDUSCHL-19919)
1595
- MINOR Перенесены стратегии создания Функций из ЭШ.
1596
-
1597
-
1598
- ## [0.1.4] - 2023-08-03
1599
-
1600
- Возвращение ранее удаленных зависимостей миграции
1601
-
1602
- ### Изменено
1603
-
1604
- - [EDUSCHL-20209](https://jira.bars.group/browse/EDUSCHL-20209)
1605
- PATCH Возвращение зависимостей миграции.
1606
-
1607
- - [EDUSCHL-20209](https://jira.bars.group/browse/EDUSCHL-20209)
1608
- PATCH Доработки по формированию документации.
1609
-
1610
- - [EDUSCHL-20200](https://jira.bars.group/browse/EDUSCHL-20200)
1611
- Закреплены версии зависимостей, добавлена ссылка на uploader-client
1612
-
1613
-
1614
- ## [0.1.3] - 2023-07-24
1615
-
1616
- Для раскатки миграций на ЭШ, пришлось закомментировать зависимости в initial-миграции.
1617
-
1618
- ### Изменено
1619
-
1620
- - [EDUSCHL-19919](https://jira.bars.group/browse/EDUSCHL-19919)
1621
- PATCH Вынести общую часть для работы с РВД из ЭШ для использования в ЭК.
1622
-
1623
-
1624
- ## [0.1.2] - 2023-07-23
1625
-
1626
- Внесены изменения в кодовую базу после переноса механизма логирования из ЭШ в educommon.
1627
-
1628
- ### Изменено
1629
-
1630
- - [EDUSCHL-19919](https://jira.bars.group/browse/EDUSCHL-19919)
1631
- PATCH Вынести общую часть для работы с РВД из ЭШ для использования в ЭК.
1632
-
1633
-
1634
- ## [0.1.0] - 2023-07-18
1635
-
1636
- Внесены изменения в кодовую базу после переноса механизма логирования из ЭШ в educommon.
1637
-
1638
- ### Добавлено
1639
-
1640
- - [EDUSCHL-19919](https://jira.bars.group/browse/EDUSCHL-19919)
1641
- MINOR Перенос базовых компонентов интеграции с РВД из ЭШ.