local-triage 0.0.0-stage → 0.10.0-dev.32
This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
- package/LICENSE +21 -0
- package/README.md +90 -2
- package/THIRD-PARTY-NOTICES.md +48 -0
- package/app/__init__.py +3 -0
- package/app/affiliation.py +137 -0
- package/app/ask.py +300 -0
- package/app/build_info.py +98 -0
- package/app/capec.py +168 -0
- package/app/capec_view.py +27 -0
- package/app/codecmp.py +59 -0
- package/app/config.py +411 -0
- package/app/context.py +1451 -0
- package/app/cvss.py +357 -0
- package/app/db.py +6234 -0
- package/app/defect.py +670 -0
- package/app/defect_check.py +323 -0
- package/app/defect_drafts.py +612 -0
- package/app/defect_dto.py +149 -0
- package/app/defect_fields.py +248 -0
- package/app/defect_form.py +124 -0
- package/app/defect_links.py +107 -0
- package/app/defect_local_text.py +103 -0
- package/app/defect_references.py +164 -0
- package/app/defect_where.py +147 -0
- package/app/ecosystem.py +51 -0
- package/app/executors.py +660 -0
- package/app/feeds.py +1231 -0
- package/app/guard.py +164 -0
- package/app/hub_block_builder.py +200 -0
- package/app/hub_block_version.py +220 -0
- package/app/hub_defects.py +4469 -0
- package/app/hub_effects.py +421 -0
- package/app/hub_entity_versions.py +108 -0
- package/app/hub_import.py +2054 -0
- package/app/hub_onboarding.py +114 -0
- package/app/hub_ops.py +330 -0
- package/app/hub_pull.py +1195 -0
- package/app/hub_state.py +255 -0
- package/app/hub_status.py +237 -0
- package/app/hub_sync.py +619 -0
- package/app/hub_sync_api.py +241 -0
- package/app/hub_sync_compare.py +1054 -0
- package/app/hub_sync_contract.py +75 -0
- package/app/hub_template_model.py +74 -0
- package/app/hub_text_scale.py +159 -0
- package/app/journal.py +250 -0
- package/app/llm.py +850 -0
- package/app/llm_chat.py +596 -0
- package/app/llm_http.py +319 -0
- package/app/llm_messages.py +401 -0
- package/app/llm_net.py +764 -0
- package/app/llm_ollama.py +571 -0
- package/app/lockfile.py +505 -0
- package/app/logsafe.py +54 -0
- package/app/main.py +367 -0
- package/app/mask_display.py +132 -0
- package/app/masking.py +814 -0
- package/app/metrics.py +194 -0
- package/app/model_traffic.py +519 -0
- package/app/models.py +483 -0
- package/app/navigation.py +121 -0
- package/app/osv.py +279 -0
- package/app/package_identity.py +189 -0
- package/app/package_transition.py +824 -0
- package/app/profile_gate.py +71 -0
- package/app/prompts.py +1108 -0
- package/app/provider_keys.py +189 -0
- package/app/providers.py +511 -0
- package/app/routes/__init__.py +10 -0
- package/app/routes/api.py +153 -0
- package/app/routes/capec.py +186 -0
- package/app/routes/common.py +407 -0
- package/app/routes/components.py +1499 -0
- package/app/routes/cwe.py +168 -0
- package/app/routes/decision_selected.py +153 -0
- package/app/routes/defect_add.py +223 -0
- package/app/routes/defect_card_routes.py +363 -0
- package/app/routes/defect_selected.py +342 -0
- package/app/routes/feeds.py +155 -0
- package/app/routes/findings.py +2736 -0
- package/app/routes/hub.py +402 -0
- package/app/routes/hub_bulk.py +288 -0
- package/app/routes/hub_defect_routes.py +1945 -0
- package/app/routes/hub_status_routes.py +1132 -0
- package/app/routes/hub_sync_routes.py +463 -0
- package/app/routes/journal.py +132 -0
- package/app/routes/projects.py +1601 -0
- package/app/routes/providers.py +336 -0
- package/app/routes/references.py +26 -0
- package/app/routes/runs.py +219 -0
- package/app/routes/sca.py +2722 -0
- package/app/routes/settings.py +163 -0
- package/app/run_errors.py +151 -0
- package/app/sca.py +1662 -0
- package/app/sca_contract.py +1289 -0
- package/app/sca_research.py +1089 -0
- package/app/sca_research_net.py +1007 -0
- package/app/sca_text.py +965 -0
- package/app/serve.py +70 -0
- package/app/settings_store.py +262 -0
- package/app/static/app.css +2802 -0
- package/app/static/app.js +3772 -0
- package/app/static/capec-license.txt +9 -0
- package/app/static/favicon.svg +1 -0
- package/app/static/fonts/Golos-Text_DemiBold.woff2 +0 -0
- package/app/static/fonts/Golos-Text_Regular.woff2 +0 -0
- package/app/static/fonts/OFL.txt +90 -0
- package/app/static/navigation.js +234 -0
- package/app/static/observability.js +121 -0
- package/app/static/theme.js +49 -0
- package/app/storage/__init__.py +16 -0
- package/app/storage/local_state.py +246 -0
- package/app/storage/migrate.py +110 -0
- package/app/storage/migrations/postgresql/0001_baseline.sql +896 -0
- package/app/storage/migrations/postgresql/0002_feeds_and_secrets.sql +55 -0
- package/app/storage/migrations/postgresql/0003_project_mask_display.sql +5 -0
- package/app/storage/migrations/postgresql/0004_package_identity.sql +36 -0
- package/app/storage/postgresql.py +573 -0
- package/app/storage/schema.py +619 -0
- package/app/storage/sql.py +57 -0
- package/app/storage/tools.py +254 -0
- package/app/telemetry.py +307 -0
- package/app/templates/base.html +91 -0
- package/app/templates/capec/context.html +3 -0
- package/app/templates/capec/detail.html +27 -0
- package/app/templates/capec/index.html +128 -0
- package/app/templates/components/_archive.html +11 -0
- package/app/templates/components/archived.html +19 -0
- package/app/templates/components/batch.html +35 -0
- package/app/templates/components/detail.html +332 -0
- package/app/templates/components/index.html +338 -0
- package/app/templates/components/research_preview.html +80 -0
- package/app/templates/components/research_run.html +54 -0
- package/app/templates/cwe/bdu.html +56 -0
- package/app/templates/cwe/detail.html +233 -0
- package/app/templates/cwe/index.html +97 -0
- package/app/templates/error.html +8 -0
- package/app/templates/feeds/index.html +65 -0
- package/app/templates/findings/card.html +639 -0
- package/app/templates/findings/decision_selected.html +41 -0
- package/app/templates/findings/defect_add.html +46 -0
- package/app/templates/findings/defect_selected.html +47 -0
- package/app/templates/findings/list.html +153 -0
- package/app/templates/findings/send_selected.html +53 -0
- package/app/templates/findings/trace.html +72 -0
- package/app/templates/journal/detail.html +19 -0
- package/app/templates/journal/index.html +19 -0
- package/app/templates/macros.html +440 -0
- package/app/templates/navigation-fields.html +1 -0
- package/app/templates/navigation.html +11 -0
- package/app/templates/projects/_identity_summary.html +42 -0
- package/app/templates/projects/defect_card.html +153 -0
- package/app/templates/projects/defect_create_preview.html +17 -0
- package/app/templates/projects/defect_fields_diff.html +6 -0
- package/app/templates/projects/defect_fields_form.html +40 -0
- package/app/templates/projects/defect_references.html +17 -0
- package/app/templates/projects/defect_sync_preview.html +28 -0
- package/app/templates/projects/defect_update_actions.html +6 -0
- package/app/templates/projects/defect_update_preview.html +24 -0
- package/app/templates/projects/defects.html +126 -0
- package/app/templates/projects/delete.html +31 -0
- package/app/templates/projects/external.html +61 -0
- package/app/templates/projects/folders.html +64 -0
- package/app/templates/projects/hub_accepted.html +10 -0
- package/app/templates/projects/hub_assignment.html +50 -0
- package/app/templates/projects/hub_pending.html +20 -0
- package/app/templates/projects/hub_pending_list.html +17 -0
- package/app/templates/projects/hub_state_note.html +23 -0
- package/app/templates/projects/hub_step_note.html +5 -0
- package/app/templates/projects/hub_sync.html +105 -0
- package/app/templates/projects/hub_sync_confirm.html +32 -0
- package/app/templates/projects/hub_sync_worker.html +5 -0
- package/app/templates/projects/hub_text_rules.html +64 -0
- package/app/templates/projects/identity_report.html +74 -0
- package/app/templates/projects/list.html +90 -0
- package/app/templates/projects/project.html +433 -0
- package/app/templates/reference-missing.html +14 -0
- package/app/templates/runs/run.html +166 -0
- package/app/templates/sca/card.html +476 -0
- package/app/templates/sca/index.html +321 -0
- package/app/templates/settings/hub_url.html +31 -0
- package/app/templates/settings/index.html +216 -0
- package/app/templates/settings/provider.html +229 -0
- package/app/templates/settings/providers.html +37 -0
- package/app/templates/worklists.html +52 -0
- package/app/textsafe.py +117 -0
- package/app/timing.py +245 -0
- package/app/triage.py +1743 -0
- package/app/view.py +430 -0
- package/app/worklists.py +204 -0
- package/examples/demo/demo-hub-report-v2.xlsx +0 -0
- package/examples/demo/demo-hub-report.xlsx +0 -0
- package/examples/demo/repos/billing-core/pom.xml +30 -0
- package/examples/demo/repos/billing-core/src/main/java/org/example/billing/Invoice.java +9 -0
- package/examples/demo/repos/billing-core/src/main/java/org/example/billing/InvoiceRepository.java +51 -0
- package/examples/demo/repos/billing-core/src/main/java/org/example/billing/InvoiceStatus.java +11 -0
- package/examples/demo/repos/billing-core/src/main/java/org/example/billing/config/DatabaseSettings.java +18 -0
- package/examples/demo/repos/billing-core/src/main/java/org/example/billing/payment/PaymentTokenService.java +35 -0
- package/examples/demo/repos/billing-core/src/main/java/org/example/billing/web/InvoiceExportController.java +57 -0
- package/examples/demo/repos/catalog-api/catalog_api/__init__.py +1 -0
- package/examples/demo/repos/catalog-api/catalog_api/products.py +24 -0
- package/examples/demo/repos/catalog-api/catalog_api/tasks.py +24 -0
- package/examples/demo/repos/catalog-api/catalog_api/views.py +17 -0
- package/examples/demo/repos/catalog-api/requirements.txt +3 -0
- package/npm/build.json +5 -0
- package/npm/cli.js +346 -0
- package/npm/files.manifest +224 -0
- package/npm/lib/binding.js +64 -0
- package/npm/lib/cluster.js +330 -0
- package/npm/lib/env.js +88 -0
- package/npm/lib/fsx.js +125 -0
- package/npm/lib/http.js +53 -0
- package/npm/lib/metrics.js +73 -0
- package/npm/lib/paths.js +150 -0
- package/npm/lib/pg.js +351 -0
- package/npm/lib/proc.js +101 -0
- package/npm/lib/python.js +133 -0
- package/npm/lib/stand.js +46 -0
- package/npm/lib/supervisor.js +1141 -0
- package/npm/lib/version.js +21 -0
- package/npm/requirements.txt +476 -0
- package/npm-shrinkwrap.json +111 -0
- package/package.json +37 -4
package/LICENSE
ADDED
|
@@ -0,0 +1,21 @@
|
|
|
1
|
+
MIT License
|
|
2
|
+
|
|
3
|
+
Copyright (c) 2026 Vitaly Pikov
|
|
4
|
+
|
|
5
|
+
Permission is hereby granted, free of charge, to any person obtaining a copy
|
|
6
|
+
of this software and associated documentation files (the "Software"), to deal
|
|
7
|
+
in the Software without restriction, including without limitation the rights
|
|
8
|
+
to use, copy, modify, merge, publish, distribute, sublicense, and/or sell
|
|
9
|
+
copies of the Software, and to permit persons to whom the Software is
|
|
10
|
+
furnished to do so, subject to the following conditions:
|
|
11
|
+
|
|
12
|
+
The above copyright notice and this permission notice shall be included in all
|
|
13
|
+
copies or substantial portions of the Software.
|
|
14
|
+
|
|
15
|
+
THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
|
|
16
|
+
IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
|
|
17
|
+
FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE
|
|
18
|
+
AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
|
|
19
|
+
LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM,
|
|
20
|
+
OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE
|
|
21
|
+
SOFTWARE.
|
package/README.md
CHANGED
|
@@ -1,3 +1,91 @@
|
|
|
1
|
-
#
|
|
1
|
+
# Локальный триаж – учебный стенд
|
|
2
2
|
|
|
3
|
-
|
|
3
|
+
Приложение для занятий по разбору срабатываний статического анализа (SAST) и анализа состава компонентов (SCA).
|
|
4
|
+
Находки разбираются в браузере: приложение показывает код, справочники CWE, CAPEC и БДУ, ответ модели, а решение
|
|
5
|
+
принимает обучающийся. Стенд ставится одной командой и работает без Docker: свои Python и PostgreSQL он держит в
|
|
6
|
+
служебной папке.
|
|
7
|
+
|
|
8
|
+
Тем, кто работает с AppSec.Hub, подходит Docker-установка приложения с подключением к Hub. В учебном стенде Hub
|
|
9
|
+
выключен: выгрузку Excel из Hub в стенд загрузить можно, а записи в Hub нет.
|
|
10
|
+
|
|
11
|
+
## Что нужно
|
|
12
|
+
|
|
13
|
+
- Windows 10 или 11 (x64) или Linux (x64, arm64). Пакеты для macOS есть, но на macOS стенд не проверялся. Windows на
|
|
14
|
+
ARM64 не поддерживается.
|
|
15
|
+
- Node.js 20 или новее: https://nodejs.org/ (версия LTS, установщик для вашей системы).
|
|
16
|
+
- Около 2 ГБ на диске и интернет при первом запуске: стенд скачивает Python 3.12 и зависимости приложения.
|
|
17
|
+
|
|
18
|
+
## Первый запуск
|
|
19
|
+
|
|
20
|
+
1. Поставьте Node.js и откройте новое окно терминала (PowerShell или «Терминал»).
|
|
21
|
+
2. Выполните:
|
|
22
|
+
|
|
23
|
+
```
|
|
24
|
+
npx local-triage
|
|
25
|
+
```
|
|
26
|
+
|
|
27
|
+
Из клона репозитория (например, чтобы смотреть и менять код стенда) – нужен ещё Git:
|
|
28
|
+
|
|
29
|
+
```
|
|
30
|
+
git clone https://github.com/pikov-vitaliy/local-triage-for-students.git
|
|
31
|
+
cd local-triage-for-students
|
|
32
|
+
npm install
|
|
33
|
+
npx local-triage
|
|
34
|
+
```
|
|
35
|
+
|
|
36
|
+
3. Первый запуск занимает несколько минут: стенд ставит Python, создаёт базу и запускает приложение. Когда всё
|
|
37
|
+
готово, приложение открывается в браузере, а в окне печатается его адрес, обычно http://127.0.0.1:8765/.
|
|
38
|
+
4. Окно терминала не закрывайте, пока работаете: в нём живёт стенд. Остановить стенд – Ctrl+C или закрыть окно.
|
|
39
|
+
|
|
40
|
+
Следующие запуски – той же командой, уже за несколько секунд. Если стенд уже работает в другом окне, команда просто
|
|
41
|
+
откроет браузер.
|
|
42
|
+
|
|
43
|
+
## Где что лежит
|
|
44
|
+
|
|
45
|
+
- **Папка кода** – `%USERPROFILE%\local-triage` на Windows, `~/local-triage` на Linux. В ней демо-проект
|
|
46
|
+
`local-triage-demo` и исходники примеров. Её можно открыть в VS Code или другой IDE и сверять находки с кодом.
|
|
47
|
+
Свои клоны можно класть рядом.
|
|
48
|
+
- **Служебная папка** – `%LOCALAPPDATA%\local-triage` на Windows, `~/.local/share/local-triage` на Linux: база,
|
|
49
|
+
Python, журналы. Руками в ней ничего менять не нужно.
|
|
50
|
+
|
|
51
|
+
Команда `npx local-triage --where` печатает обе папки.
|
|
52
|
+
|
|
53
|
+
## Ключи
|
|
54
|
+
|
|
55
|
+
- `--no-open` – не открывать браузер; `--port N` – порт приложения.
|
|
56
|
+
- `--local-only` – внешние провайдеры моделей выключены. Остаются Ollama на этом компьютере и серверы моделей в
|
|
57
|
+
локальной сети, если их адрес подтверждён в настройках.
|
|
58
|
+
- `--home ПАПКА` – другая служебная папка, то есть другой стенд со своей базой. Указывайте отдельную новую папку: в ней
|
|
59
|
+
стенд хранит и чистит свои файлы.
|
|
60
|
+
- `--code-dir ПАПКА` – другая папка кода; задаётся при первом запуске и потом не меняется.
|
|
61
|
+
- `--new-database` – начать с новой базы; прежняя остаётся в `pg\backups` служебной папки.
|
|
62
|
+
- `--doctor` – проверить окружение; `--version`, `--help`.
|
|
63
|
+
|
|
64
|
+
## Вернуть базу до обновления
|
|
65
|
+
|
|
66
|
+
Новая версия стенда может обновить схему базы. Обновление идёт на копии, а прежняя база сохраняется в папке
|
|
67
|
+
`pg\backups\<имя копии>` служебной папки. Рядом лежат два файла с тем же именем: `<имя копии>.json` – какая версия
|
|
68
|
+
стенда работала с этой базой (поле `npm_version`) и `<имя копии>.pg.pw` – её пароль. Чтобы вернуться к копии:
|
|
69
|
+
|
|
70
|
+
1. Закройте окно стенда.
|
|
71
|
+
2. В служебной папке переименуйте `pg\data`, например в `pg\data-new`, и `secrets\pg.pw` – в `secrets\pg.pw-new`.
|
|
72
|
+
3. Переименуйте папку копии в `pg\data`, а её файл пароля `<имя копии>.pg.pw` скопируйте в `secrets\pg.pw`.
|
|
73
|
+
4. Запустите версию стенда из поля `npm_version`: `npx local-triage@<версия>`. Если там `unknown`, версию можно найти в
|
|
74
|
+
журнале `logs\supervisor-<дата>.log` за день, когда работала эта база (строка «Учебный стенд «Локальный триаж» … (пакет
|
|
75
|
+
npm <версия>)»). Если версию установить нельзя, вернуться именно к прежней схеме не получится: последняя версия стенда
|
|
76
|
+
откроет копию и снова обновит её схему, а копия до этого обновления сохранится.
|
|
77
|
+
|
|
78
|
+
Копии, сделанные ключом `--new-database`, называются `<время>-replaced-v<версия>`: база и пароль лежат внутри папки
|
|
79
|
+
(`data` и `pg.pw`), версия – в файле `<имя копии>.json`.
|
|
80
|
+
|
|
81
|
+
## Как удалить
|
|
82
|
+
|
|
83
|
+
Закройте окно стенда и удалите служебную папку. Папку кода удаляйте, только если в ней не осталось вашей работы. Если
|
|
84
|
+
Python 3.12 стенд ставил через uv, в профиле остаются каталоги uv: интерпретатор (`uv python dir` покажет где) и кэш
|
|
85
|
+
пакетов (`uv cache dir`); их можно удалить, если uv больше не нужен.
|
|
86
|
+
|
|
87
|
+
## Ограничения
|
|
88
|
+
|
|
89
|
+
- Запись в AppSec.Hub в стенде выключена.
|
|
90
|
+
- Прокси для обращения к внешним провайдерам моделей стенд не использует.
|
|
91
|
+
- Стенд не запускается от root на Linux: PostgreSQL от root не работает.
|
|
@@ -0,0 +1,48 @@
|
|
|
1
|
+
# Сторонние компоненты учебного стенда «Локальный триаж»
|
|
2
|
+
|
|
3
|
+
Перечень того, что входит в пакет npm или ставится им на компьютер пользователя. Перечень дополняется с каждой сборкой
|
|
4
|
+
стенда; полные тексты уведомлений библиотек из сборок PostgreSQL добавляются к выпуску пакета.
|
|
5
|
+
|
|
6
|
+
## Входит в пакет
|
|
7
|
+
|
|
8
|
+
- **Golos Text** – шрифт интерфейса, файлы `app/static/fonts/Golos-Text_*.woff2`. Авторы – Paratype и соавторы.
|
|
9
|
+
SIL Open Font License 1.1, полный текст – `app/static/fonts/OFL.txt`.
|
|
10
|
+
- **CAPEC** – каталог шаблонов атак, Copyright © The MITRE Corporation. Условия использования –
|
|
11
|
+
`app/static/capec-license.txt`.
|
|
12
|
+
- **Значки интерфейса** – из набора Lucide (лицензия ISC); часть значков Lucide происходит из набора Feather
|
|
13
|
+
(лицензия MIT).
|
|
14
|
+
|
|
15
|
+
## Ставится на компьютер пользователя при первом запуске
|
|
16
|
+
|
|
17
|
+
- **PostgreSQL 17.12** – бинарники из пакетов `@embedded-postgres/<платформа>@17.12.0-beta.19` (лицензия MIT
|
|
18
|
+
обёртки пакетов, автор Lei Nelissen). Сам PostgreSQL распространяется по PostgreSQL License; в сборках для каждой
|
|
19
|
+
платформы есть сторонние библиотеки (OpenSSL, ICU, zlib, libxml2, libxslt, gettext, libiconv, lz4, zstd, curl, на
|
|
20
|
+
Windows также wxWidgets).
|
|
21
|
+
- **Python 3.12 и uv** – ставятся их собственными установщиками (uv – с сайта astral.sh) или берутся с компьютера.
|
|
22
|
+
- **Зависимости приложения** – из PyPI по перечню `npm/requirements.txt` с хешами; в пакет npm они не вкладываются.
|
|
23
|
+
Лицензии – по метаданным установленных пакетов:
|
|
24
|
+
|
|
25
|
+
| Пакет | Версия | Лицензия |
|
|
26
|
+
|---|---|---|
|
|
27
|
+
| annotated-doc | 0.0.5 | MIT |
|
|
28
|
+
| annotated-types | 0.8.0 | MIT |
|
|
29
|
+
| anyio | 4.15.1 | MIT |
|
|
30
|
+
| click | 8.5.0 | BSD-3-Clause |
|
|
31
|
+
| colorama (только Windows) | 0.4.6 | BSD |
|
|
32
|
+
| et-xmlfile | 2.0.0 | MIT |
|
|
33
|
+
| fastapi | 0.141.1 | MIT |
|
|
34
|
+
| h11 | 0.16.0 | MIT |
|
|
35
|
+
| idna | 3.20 | BSD-3-Clause |
|
|
36
|
+
| Jinja2 | 3.1.6 | BSD |
|
|
37
|
+
| MarkupSafe | 3.0.4 | BSD-3-Clause |
|
|
38
|
+
| openpyxl | 3.1.5 | MIT |
|
|
39
|
+
| psycopg, psycopg-binary | 3.3.7 | LGPL-3.0-only |
|
|
40
|
+
| psycopg-pool | 3.3.3 | LGPL-3.0-only |
|
|
41
|
+
| pydantic | 2.14.1 | MIT |
|
|
42
|
+
| pydantic-core | 2.50.1 | MIT |
|
|
43
|
+
| python-multipart | 0.0.32 | Apache-2.0 |
|
|
44
|
+
| starlette | 1.8.0 | BSD-3-Clause |
|
|
45
|
+
| typing-extensions | 4.16.0 | PSF-2.0 |
|
|
46
|
+
| typing-inspection | 0.4.4 | MIT |
|
|
47
|
+
| tzdata (только Windows) | 2026.6 | Apache-2.0 |
|
|
48
|
+
| uvicorn | 0.54.0 | BSD-3-Clause |
|
package/app/__init__.py
ADDED
|
@@ -0,0 +1,137 @@
|
|
|
1
|
+
"""Маска принадлежности (ADR-0118): слова, по которым код можно отнести к организации – её название, сокращение,
|
|
2
|
+
город, домен, – заменяются на «org»/«орг» в каждом запросе к модели, локальной или внешней. Это важнее секретов:
|
|
3
|
+
секреты в коде уже проверены до выгрузки, а связь кода с организацией – то, что
|
|
4
|
+
прежде всего нельзя отдавать наружу.
|
|
5
|
+
|
|
6
|
+
Список слов – настройка «Слова принадлежности» (таблица settings, ключ affiliation_words); в репозитории списка
|
|
7
|
+
нет, он задаётся на установке. Слово сравнивается без учёта регистра с частями идентификаторов и словами текста:
|
|
8
|
+
«AcmeRuClient» делится на Acme, Ru, Client; «ACME города Exampletown» – на три слова. Поэтому «acmeist» и
|
|
9
|
+
«Contora» не трогаются. Слово с «*» в конце совпадает по началу («Контор*» – Контора, Конторы, Конторский).
|
|
10
|
+
Замена сохраняет вид части: ACME → ORG, Acme → Org, acme → org, кириллица – орг. Части выделяются по регистру
|
|
11
|
+
Unicode (любой алфавит): строчная → Прописная и прописные перед Прописной+строчная (ACMEData → ACME, Data).
|
|
12
|
+
|
|
13
|
+
Граница – app/llm_http.py ServerClient._request: в теле запроса к серверу модели маскируются сообщения
|
|
14
|
+
(`messages[].content`, в том числе блоки Messages API и ответы инструментов) и системный текст (`system`);
|
|
15
|
+
служебные поля протокола – имя модели, схема ответа, описания и имена инструментов, роли – не трогаются, иначе
|
|
16
|
+
запрос ушёл бы к несуществующей модели или с противоречивой схемой. Журнал обмена записывает уже заменённый текст.
|
|
17
|
+
Точный запрос OSV (app/osv.py) идёт тем же транспортом без маски: ему нужны настоящие имена пакетов.
|
|
18
|
+
Карточка и база приложения хранят код как есть: оператор – сотрудник организации, маска ему не нужна; отпечатки
|
|
19
|
+
срезов и решений от маски не зависят.
|
|
20
|
+
"""
|
|
21
|
+
|
|
22
|
+
from __future__ import annotations
|
|
23
|
+
|
|
24
|
+
import re
|
|
25
|
+
from collections.abc import Iterable
|
|
26
|
+
from typing import Any
|
|
27
|
+
|
|
28
|
+
MAX_WORDS = 200 # слов в списке
|
|
29
|
+
MAX_WORD = 50 # букв в слове
|
|
30
|
+
# слово списка: буквы любого алфавита (без цифр, точек и «_»), в конце допустима «*» – совпадение по началу
|
|
31
|
+
WORD_RE = re.compile(r"[^\W\d_]{2,50}\*?")
|
|
32
|
+
|
|
33
|
+
_LETTERS = re.compile(r"[^\W\d_]+") # буквенные части текста: идентификаторы режутся по цифрам, «_», точкам
|
|
34
|
+
_CYRILLIC = re.compile(r"[А-Яа-яЁё]")
|
|
35
|
+
_TEXT_KEYS = ("content", "text") # поля с текстом для модели внутри сообщений и блоков
|
|
36
|
+
|
|
37
|
+
_rules: tuple[tuple[str, bool], ...] = () # (слово в casefold, по началу?)
|
|
38
|
+
_given: tuple[str, ...] = () # слова как заданы – для страниц и проверок
|
|
39
|
+
|
|
40
|
+
|
|
41
|
+
def configure(words: Iterable[str]) -> None:
|
|
42
|
+
"""Задать список слов (при запуске приложения и после сохранения «Настроек»). Пустой список – маски нет."""
|
|
43
|
+
global _rules, _given
|
|
44
|
+
rules = []
|
|
45
|
+
given = []
|
|
46
|
+
for word in words:
|
|
47
|
+
text = str(word or "").strip()
|
|
48
|
+
if not text.rstrip("*"):
|
|
49
|
+
continue
|
|
50
|
+
rules.append((text.rstrip("*").casefold(), text.endswith("*")))
|
|
51
|
+
given.append(text)
|
|
52
|
+
_rules = tuple(rules)
|
|
53
|
+
_given = tuple(given)
|
|
54
|
+
|
|
55
|
+
|
|
56
|
+
def words() -> tuple[str, ...]:
|
|
57
|
+
"""Действующие слова списка (как заданы: с «*» у совпадений по началу) – для проверок и страниц."""
|
|
58
|
+
return _given
|
|
59
|
+
|
|
60
|
+
|
|
61
|
+
def active() -> bool:
|
|
62
|
+
return bool(_rules)
|
|
63
|
+
|
|
64
|
+
|
|
65
|
+
def _matches(part: str) -> bool:
|
|
66
|
+
folded = part.casefold()
|
|
67
|
+
return any(folded == word or (prefix and folded.startswith(word)) for word, prefix in _rules)
|
|
68
|
+
|
|
69
|
+
|
|
70
|
+
def _replacement(part: str) -> str:
|
|
71
|
+
base = "орг" if _CYRILLIC.match(part[0]) else "org"
|
|
72
|
+
if len(part) > 1 and part.isupper():
|
|
73
|
+
return base.upper()
|
|
74
|
+
if part[0].isupper():
|
|
75
|
+
return base.capitalize()
|
|
76
|
+
return base
|
|
77
|
+
|
|
78
|
+
|
|
79
|
+
def _parts(segment: str) -> list[str]:
|
|
80
|
+
"""Части буквенной последовательности по регистру Unicode: граница между строчной и Прописной и перед последней
|
|
81
|
+
прописной в ряду прописных, за которой идёт строчная (getACMEData → get, ACME, Data). Буквы без регистра
|
|
82
|
+
(иероглифы и т. п.) границ не дают – такая последовательность сравнивается целиком."""
|
|
83
|
+
parts = []
|
|
84
|
+
start = 0
|
|
85
|
+
n = len(segment)
|
|
86
|
+
for i in range(1, n):
|
|
87
|
+
prev, cur = segment[i - 1], segment[i]
|
|
88
|
+
if (prev.islower() and cur.isupper()) or (
|
|
89
|
+
prev.isupper() and cur.isupper() and i + 1 < n and segment[i + 1].islower()):
|
|
90
|
+
parts.append(segment[start:i])
|
|
91
|
+
start = i
|
|
92
|
+
parts.append(segment[start:])
|
|
93
|
+
return parts
|
|
94
|
+
|
|
95
|
+
|
|
96
|
+
def mask_text(text: str) -> str:
|
|
97
|
+
"""Текст с заменёнными словами принадлежности; без списка или без текста – тот же объект."""
|
|
98
|
+
if not _rules or not text:
|
|
99
|
+
return text
|
|
100
|
+
|
|
101
|
+
def segment(m: re.Match) -> str:
|
|
102
|
+
return "".join(_replacement(p) if _matches(p) else p for p in _parts(m.group(0)))
|
|
103
|
+
|
|
104
|
+
return _LETTERS.sub(segment, text)
|
|
105
|
+
|
|
106
|
+
|
|
107
|
+
def _mask_block(value: Any) -> Any:
|
|
108
|
+
"""Строка – текст; словарь-блок – его поля content/text (строка или вложенные блоки); список – поэлементно."""
|
|
109
|
+
if isinstance(value, str):
|
|
110
|
+
return mask_text(value)
|
|
111
|
+
if isinstance(value, list):
|
|
112
|
+
return [_mask_block(item) for item in value]
|
|
113
|
+
if isinstance(value, dict):
|
|
114
|
+
out = dict(value)
|
|
115
|
+
for key in _TEXT_KEYS:
|
|
116
|
+
if key in out:
|
|
117
|
+
out[key] = _mask_block(out[key])
|
|
118
|
+
return out
|
|
119
|
+
return value
|
|
120
|
+
|
|
121
|
+
|
|
122
|
+
def mask_payload(payload: Any) -> Any:
|
|
123
|
+
"""Тело запроса к модели с заменой в сообщениях (`messages`) и системном тексте (`system`); остальные поля –
|
|
124
|
+
имя модели, схема ответа, инструменты, параметры – как есть. Без списка или не словарь – тот же объект."""
|
|
125
|
+
if not _rules or not isinstance(payload, dict):
|
|
126
|
+
return payload
|
|
127
|
+
out = dict(payload)
|
|
128
|
+
if isinstance(out.get("messages"), list):
|
|
129
|
+
out["messages"] = [_mask_block(m) for m in out["messages"]]
|
|
130
|
+
if "system" in out:
|
|
131
|
+
out["system"] = _mask_block(out["system"])
|
|
132
|
+
return out
|
|
133
|
+
|
|
134
|
+
|
|
135
|
+
def mask_messages(messages: list[dict]) -> list[dict]:
|
|
136
|
+
"""Сообщения как уйдут модели (предпросмотр)."""
|
|
137
|
+
return [_mask_block(m) for m in messages] if _rules else messages
|
package/app/ask.py
ADDED
|
@@ -0,0 +1,300 @@
|
|
|
1
|
+
"""«Спросить модель»: вопрос специалиста по находке и ответ локальной модели.
|
|
2
|
+
|
|
3
|
+
Модель получает то же, что при разборе: сведения о находке и срез кода, который она видела (cases.context_json),
|
|
4
|
+
свой прежний разбор (вердикт, привязанный к находке) и прежние вопросы с ответами по этой находке. Вопрос
|
|
5
|
+
специалиста идёт вне блока данных (prompts.build_ask_messages). Перед отправкой текст сообщения с данными
|
|
6
|
+
маскируется ещё раз, как в прогоне. Модель – только локальная: клиент Ollama проверяет адрес (разрешённые хосты)
|
|
7
|
+
и саму модель (облачные отклоняются) перед каждой отправкой.
|
|
8
|
+
|
|
9
|
+
Вопрос и ответ сохраняются (таблица questions): сначала вопрос без ответа, затем ответ с замерами скорости или
|
|
10
|
+
ошибка. Если приложение перезапустится, пока модель отвечает, вопрос без ответа закроется с пояснением
|
|
11
|
+
(Database.recover_interrupted). Одновременно модель отвечает только на один вопрос: видеокарта одна, а прогон
|
|
12
|
+
триажа может идти параллельно. Текст вопроса и ответа в журнал не пишется.
|
|
13
|
+
"""
|
|
14
|
+
|
|
15
|
+
from __future__ import annotations
|
|
16
|
+
|
|
17
|
+
import logging
|
|
18
|
+
from collections.abc import Callable, Iterable
|
|
19
|
+
from typing import Any
|
|
20
|
+
|
|
21
|
+
from app import model_traffic
|
|
22
|
+
from app.config import Settings
|
|
23
|
+
from app.db import QUESTION_UNKNOWN, Database
|
|
24
|
+
from app.executors import (REMOTE_KINDS, ProfileError, applied_think, choose_profile, client_for, execution_values,
|
|
25
|
+
fit_options, fit_thinking, json_overhead, planned_think, prompt_size, send_guard,
|
|
26
|
+
snapshot_options, thinking_limit)
|
|
27
|
+
from app.llm import (GENERATION, LlmError, PromptOverflowError, gate_for, outcome_unknown, prompt_budget,
|
|
28
|
+
prompt_fits, prompt_tokens)
|
|
29
|
+
from app.llm_ollama import OllamaClient
|
|
30
|
+
from app.logsafe import failure_text, log_failure
|
|
31
|
+
from app.masking import mask_text
|
|
32
|
+
from app.models import CodeContext, Finding, Verdict
|
|
33
|
+
from app.prompts import (ASK_ENUMS, ASK_FIELDS, ASK_HISTORY_MAX, ASK_REQUIRED, ASK_TYPES, build_ask_messages,
|
|
34
|
+
parse_ask)
|
|
35
|
+
|
|
36
|
+
log = logging.getLogger("local_triage.ask")
|
|
37
|
+
|
|
38
|
+
MAX_QUESTION = 2000 # знаков в вопросе
|
|
39
|
+
ASK_NUM_PREDICT = 1536 # предел длины ответа, токенов: ответ на вопрос короче разбора
|
|
40
|
+
MIN_CODE_LINES = 9 # меньше строк вокруг строки срабатывания срез для вопроса не сокращается
|
|
41
|
+
PROMPT_DOUBT = ("Вопрос с кодом, по счёту модели, не поместился в окно контекста вместе с ответом: начало могло быть "
|
|
42
|
+
"обрезано, ответ не принят. Сократите вопрос или увеличьте окно контекста в настройках.")
|
|
43
|
+
|
|
44
|
+
# К модели – по одному обращению на процесс (ADR-0099): вопрос, пока модель отвечает на другой вопрос или разбирает
|
|
45
|
+
# находку в прогоне, получает понятный отказ; текст вопроса остаётся в форме
|
|
46
|
+
ASK_BUSY = "Модель ещё отвечает на предыдущий вопрос – дождитесь ответа и спросите снова."
|
|
47
|
+
RUN_BUSY = ("Модель сейчас разбирает находки в прогоне – спросите, когда прогон закончится или встанет на паузу. "
|
|
48
|
+
"Текст вопроса сохранён в форме.")
|
|
49
|
+
REANALYZED = ("Пока вопрос ждал модель, разбор находки обновился: проверьте вопрос по новому разбору и спросите "
|
|
50
|
+
"снова.")
|
|
51
|
+
|
|
52
|
+
|
|
53
|
+
class AskError(Exception):
|
|
54
|
+
"""Вопрос не задан. Текст – по-русски, для показа в интерфейсе; status – код ответа HTTP."""
|
|
55
|
+
|
|
56
|
+
def __init__(self, message: str, status: int = 400) -> None:
|
|
57
|
+
super().__init__(message)
|
|
58
|
+
self.status = status
|
|
59
|
+
|
|
60
|
+
|
|
61
|
+
def clean_question(text: Any) -> str:
|
|
62
|
+
"""Вопрос из формы: переводы строк – «\\n», без пробелов по краям и лишних пустых строк."""
|
|
63
|
+
lines = [line.rstrip() for line in str(text or "").replace("\r\n", "\n").replace("\r", "\n").split("\n")]
|
|
64
|
+
out: list[str] = []
|
|
65
|
+
for line in lines:
|
|
66
|
+
if not line.strip() and out and not out[-1].strip():
|
|
67
|
+
continue
|
|
68
|
+
out.append(line)
|
|
69
|
+
return "\n".join(out).strip()
|
|
70
|
+
|
|
71
|
+
|
|
72
|
+
def ask_options(settings: Settings) -> dict[str, int]:
|
|
73
|
+
"""Параметры генерации ответа на вопрос: окно контекста из настроек, предел ответа – не больше четверти окна."""
|
|
74
|
+
num_ctx = int(settings.num_ctx)
|
|
75
|
+
return {"num_ctx": num_ctx, "num_predict": min(ASK_NUM_PREDICT, num_ctx // 4)}
|
|
76
|
+
|
|
77
|
+
|
|
78
|
+
def _around_target(ctx: CodeContext, keep: int) -> CodeContext:
|
|
79
|
+
"""Срез, сокращённый до keep строк вокруг строки срабатывания (номера строк сохраняются)."""
|
|
80
|
+
if len(ctx.lines) <= keep:
|
|
81
|
+
return ctx
|
|
82
|
+
if ctx.start_line >= 1 and ctx.target_line:
|
|
83
|
+
center = ctx.target_line - ctx.start_line
|
|
84
|
+
else:
|
|
85
|
+
center = len(ctx.lines) // 2
|
|
86
|
+
first = max(0, min(center - keep // 2, len(ctx.lines) - keep))
|
|
87
|
+
start = ctx.start_line + first if ctx.start_line >= 1 else ctx.start_line
|
|
88
|
+
end = start + keep - 1 if ctx.start_line >= 1 else ctx.end_line
|
|
89
|
+
return CodeContext(**{**ctx.to_dict(), "lines": ctx.lines[first:first + keep], "start_line": start,
|
|
90
|
+
"end_line": end})
|
|
91
|
+
|
|
92
|
+
|
|
93
|
+
def fit_messages(f: Finding, ctx: CodeContext, verdict: Verdict, question: str,
|
|
94
|
+
history: list[tuple[str, str]], mask_key: bytes | None,
|
|
95
|
+
options: dict[str, int], size: Any = None) -> list[dict[str, str]]:
|
|
96
|
+
"""Сообщения, которые помещаются в окно контекста вместе с ответом. Что сокращается по очереди: прежние
|
|
97
|
+
вопросы и ответы (от ранних), подробности прежнего разбора, затем срез кода вокруг строки срабатывания.
|
|
98
|
+
Не помещается и так – AskError."""
|
|
99
|
+
def build(code: CodeContext, past: list[tuple[str, str]], brief: bool) -> list[dict[str, str]]:
|
|
100
|
+
messages = build_ask_messages(f, code, verdict, question, past, mask_key=mask_key, brief=brief)
|
|
101
|
+
# последняя сетка перед отправкой – как в прогоне: маскирование всего текста с данными находки
|
|
102
|
+
return [{**m, "content": mask_text(m["content"], mask_key, env_style=False)[0]}
|
|
103
|
+
if mask_key and m["role"] == "user" else m for m in messages]
|
|
104
|
+
|
|
105
|
+
past = list(history)
|
|
106
|
+
while True:
|
|
107
|
+
messages = build(ctx, past, False)
|
|
108
|
+
if prompt_fits(messages, options, size):
|
|
109
|
+
return messages
|
|
110
|
+
if not past:
|
|
111
|
+
break
|
|
112
|
+
past = past[1:]
|
|
113
|
+
messages = build(ctx, [], True)
|
|
114
|
+
if prompt_fits(messages, options, size):
|
|
115
|
+
return messages
|
|
116
|
+
keep = len(ctx.lines)
|
|
117
|
+
while keep > MIN_CODE_LINES:
|
|
118
|
+
keep = max(MIN_CODE_LINES, keep * 2 // 3)
|
|
119
|
+
messages = build(_around_target(ctx, keep), [], True)
|
|
120
|
+
if prompt_fits(messages, options, size):
|
|
121
|
+
return messages
|
|
122
|
+
# Наименьший срез не уложился в запас на ошибку оценки (llm.PROMPT_SAFETY_SHARE), но всё окно ещё не занимает:
|
|
123
|
+
# он и уходит модели – меньше уже некуда; что промпт действительно поместился, сверяет счёт самой модели
|
|
124
|
+
full = prompt_budget(options, safety=False)
|
|
125
|
+
if full is None or (size or prompt_tokens)(messages) <= full:
|
|
126
|
+
return messages
|
|
127
|
+
# size задан только у удалённого API (executors.prompt_size): окно и предел ответа – из профиля провайдера, а не
|
|
128
|
+
# из настроек Ollama (ревью Codex, круг 19)
|
|
129
|
+
where = ("увеличьте «Окно контекста модели» или уменьшите «Предел ответа» в профиле провайдера" if size is not None
|
|
130
|
+
else "увеличьте окно контекста в настройках")
|
|
131
|
+
raise AskError(f"Вопрос вместе с кодом находки не помещается в окно контекста модели: сократите вопрос или {where}.")
|
|
132
|
+
|
|
133
|
+
|
|
134
|
+
def history_for(questions: Iterable[dict], verdict_id: Any) -> list[tuple[str, str]]:
|
|
135
|
+
"""Прежние вопросы с ответами к этому же ответу модели (verdict_id) – последние ASK_HISTORY_MAX: вопросы
|
|
136
|
+
к прежнему вердикту относятся к другому разбору."""
|
|
137
|
+
done = [(q["question"], q["answer"]) for q in questions
|
|
138
|
+
if q.get("state") == "done" and q.get("answer") and q.get("verdict_id") == verdict_id]
|
|
139
|
+
return done[-ASK_HISTORY_MAX:]
|
|
140
|
+
|
|
141
|
+
|
|
142
|
+
def ask_question(db: Database, settings: Settings, client: OllamaClient | Callable[[str], OllamaClient],
|
|
143
|
+
mask_key: bytes | None, project_id: int, hub_id: str, question: str, model: str) -> dict:
|
|
144
|
+
"""Задать модели вопрос по находке и дождаться ответа. Возвращает сохранённый вопрос (Database.get_question):
|
|
145
|
+
state = done и answer, или state = error и текст ошибки (модель не ответила, ответ не по формату). Вопрос
|
|
146
|
+
не задан (пустой, длинный, нет разбора модели, модель уже отвечает на другой вопрос, промпт не помещается
|
|
147
|
+
в окно, профиль модели выключен) – AskError, и ничего не сохраняется.
|
|
148
|
+
|
|
149
|
+
Профиль (ADR-0102 п. 4): у ответа модели есть снимок исполнителя – тем же профилем, если он включён, выключен –
|
|
150
|
+
отказ; ответ до 0.9.12 (снимка нет) – профиль проекта. Снимок вопроса пишется вместе с вопросом. client – фабрика
|
|
151
|
+
клиента по адресу (как у прогона) или готовый клиент (тесты)."""
|
|
152
|
+
text = clean_question(question)
|
|
153
|
+
if not text:
|
|
154
|
+
raise AskError("Напишите вопрос.")
|
|
155
|
+
if len(text) > MAX_QUESTION:
|
|
156
|
+
raise AskError(f"Вопрос слишком длинный: не больше {MAX_QUESTION} знаков.")
|
|
157
|
+
name = str(model or "").strip()
|
|
158
|
+
if not name or any(ord(ch) < 32 for ch in name):
|
|
159
|
+
raise AskError("Не выбрана модель.")
|
|
160
|
+
case = db.get_case(project_id, hub_id)
|
|
161
|
+
source = db.case_input(project_id, hub_id)
|
|
162
|
+
if source is None:
|
|
163
|
+
raise AskError("Находка не найдена.", 404)
|
|
164
|
+
if case is None or not case.get("verdict"):
|
|
165
|
+
raise AskError("Модель эту находку ещё не разбирала: сначала запустите разбор, потом задавайте вопросы.",
|
|
166
|
+
409)
|
|
167
|
+
f = Finding.from_dict(source["data"])
|
|
168
|
+
ctx = CodeContext.from_dict(case["context"]) # ровно тот срез, который видела модель
|
|
169
|
+
verdict = Verdict.from_dict(case["verdict"]["data"])
|
|
170
|
+
history = history_for(db.list_questions(project_id, hub_id), case["verdict_id"])
|
|
171
|
+
profile = question_profile(db, settings, project_id, case["verdict_id"])
|
|
172
|
+
execution = execution_values(profile, name, "ask", settings.num_ctx, settings.model_json_schema)
|
|
173
|
+
options, _, rule = snapshot_options(execution)
|
|
174
|
+
# фабрика (класс клиента или функция от адреса) или готовый клиент (тесты): у класса тоже есть chat_json
|
|
175
|
+
ready = hasattr(client, "chat_json") and not isinstance(client, type)
|
|
176
|
+
factory = (lambda url, given=client: given) if ready else client
|
|
177
|
+
# рассуждает ли модель – до сборки промпта: у рассуждающего вопроса свой предел ответа, а с ним и место под срез
|
|
178
|
+
# удалённый API сведений о рассуждении не отдаёт – запись модели у него не запрашивается (лишний GET /models)
|
|
179
|
+
remote = str(execution.get("kind") or "ollama") in REMOTE_KINDS
|
|
180
|
+
planned = client_for(factory, execution, send_guard(db, execution, project_id=project_id), db=db,
|
|
181
|
+
project_id=project_id)
|
|
182
|
+
try:
|
|
183
|
+
info = {} if remote else dict(planned.model_info(name))
|
|
184
|
+
except (LlmError, AttributeError):
|
|
185
|
+
info = {}
|
|
186
|
+
think = applied_think(rule, name, info or None)
|
|
187
|
+
think_limit, call_timeout = thinking_limit(execution, think)
|
|
188
|
+
# окно и предел ответа – того сервера, куда уйдёт вопрос (у удалённого API – из профиля за вычетом схемы ответа,
|
|
189
|
+
# которую клиент добавит к сообщениям; KIMI-01)
|
|
190
|
+
messages = fit_messages(f, ctx, verdict, text, history, mask_key,
|
|
191
|
+
fit_options(execution, options,
|
|
192
|
+
json_overhead(planned, ASK_FIELDS, ASK_REQUIRED, ASK_ENUMS, ASK_TYPES)),
|
|
193
|
+
prompt_size(execution))
|
|
194
|
+
if think_limit: # рассуждающий вопрос: остаток окна после промпта, не больше предела рассуждения
|
|
195
|
+
options = fit_thinking(options, think_limit, messages)
|
|
196
|
+
gate = gate_for(execution) # группа права – из снимка вопроса (ADR-0104 п. 6), не пересчитывается
|
|
197
|
+
if not gate.try_acquire("ask"):
|
|
198
|
+
raise AskError(busy_text(gate), 409)
|
|
199
|
+
try:
|
|
200
|
+
# срез и разбор для вопроса собраны до права на генерацию: если разбор находки за это время сменился,
|
|
201
|
+
# вопрос к прежнему разбору не задаётся
|
|
202
|
+
now = db.get_case(project_id, hub_id) or {}
|
|
203
|
+
if now.get("verdict_id") != case["verdict_id"] or now.get("case_hash") != case["case_hash"]:
|
|
204
|
+
raise AskError(REANALYZED, 409)
|
|
205
|
+
question_id = db.add_question(project_id, hub_id, text, name, case_hash=case["case_hash"],
|
|
206
|
+
verdict_id=case["verdict_id"], execution=execution)
|
|
207
|
+
saved = db.get_question(question_id) or {}
|
|
208
|
+
snapshot = db.get_execution(saved.get("execution_id")) or execution
|
|
209
|
+
asking = client_for(factory, snapshot, send_guard(db, snapshot, project_id=project_id), db=db,
|
|
210
|
+
project_id=project_id)
|
|
211
|
+
asking.timeout = call_timeout
|
|
212
|
+
try:
|
|
213
|
+
# Контекст журнала обмена с моделью: обращения вопроса помечаются назначением ask и находкой.
|
|
214
|
+
with model_traffic.context(purpose="ask", project_id=project_id, hub_id=hub_id):
|
|
215
|
+
# уровень рассуждения – на каждую отправку, по модели, которая в этот момент лежит на сервере
|
|
216
|
+
obj, stats = asking.chat_json(name, messages, ASK_FIELDS, ASK_REQUIRED, ASK_ENUMS, options=options,
|
|
217
|
+
think=planned_think(rule, name, think), types=ASK_TYPES,
|
|
218
|
+
json_schema=str(snapshot.get("schema_mode") or
|
|
219
|
+
settings.model_json_schema))
|
|
220
|
+
answer = parse_ask(obj)
|
|
221
|
+
# последняя проверка перед сохранением – после всей нормализации ответа (сервер с ключом мог вернуть его)
|
|
222
|
+
if model_traffic.shows_secret([answer, stats.to_dict()], getattr(asking, "secrets", ())):
|
|
223
|
+
raise LlmError(model_traffic.KEY_IN_ANSWER)
|
|
224
|
+
except PromptOverflowError as e:
|
|
225
|
+
# по счёту модели промпт одной из попыток длиннее окна: начало могло быть обрезано – ответу не доверяем;
|
|
226
|
+
# у удалённого API это отказ его клиента до отправки по окну профиля – совет про профиль (ревью круг 18)
|
|
227
|
+
text = (f"{e} Увеличьте «Окно контекста модели» или уменьшите «Предел ответа» в профиле провайдера."
|
|
228
|
+
if remote and not getattr(e, "sent", False) else PROMPT_DOUBT)
|
|
229
|
+
db.finish_question(question_id, error=text, stats=e.stats.to_dict() if e.stats else None)
|
|
230
|
+
except LlmError as e:
|
|
231
|
+
# К11: вопрос ушёл внешнему провайдеру без ответа – «результат неизвестен», повторно не отправляется
|
|
232
|
+
unknown = str(snapshot.get("trust") or "") == "external" and outcome_unknown(e)
|
|
233
|
+
db.finish_question(question_id, error=f"{QUESTION_UNKNOWN} {e}" if unknown else str(e),
|
|
234
|
+
stats=e.stats.to_dict() if e.stats else None)
|
|
235
|
+
except Exception as e: # сбой разбора или записи – ошибка этого вопроса, без текста вопроса в журнале
|
|
236
|
+
eid = log_failure(log, "вопрос к модели не обработан", e)
|
|
237
|
+
db.finish_question(question_id, error=failure_text("Не удалось получить ответ модели", e, eid))
|
|
238
|
+
else:
|
|
239
|
+
db.finish_question(question_id, answer=answer["answer"], answer_data=answer, stats=stats.to_dict())
|
|
240
|
+
return db.get_question(question_id) or {}
|
|
241
|
+
finally:
|
|
242
|
+
gate.release()
|
|
243
|
+
|
|
244
|
+
|
|
245
|
+
def answer_execution(db: Database, verdict_id: int | None) -> dict | None:
|
|
246
|
+
"""Снимок исполнителя ответа, профилем которого задаётся вопрос по нему (ADR-0102 п. 4): с профилем и адресом.
|
|
247
|
+
Ответ до 0.9.12 и ответ, полученный при сборке образа (адрес исполнителя не сохраняется), – None: вопрос идёт
|
|
248
|
+
профилем проекта. Одно правило для формы вопроса в карточке и для его обработки."""
|
|
249
|
+
execution = db.verdict_execution(verdict_id)
|
|
250
|
+
if execution is not None and execution.get("provider_id") and str(execution.get("base_url") or ""):
|
|
251
|
+
return execution
|
|
252
|
+
return None
|
|
253
|
+
|
|
254
|
+
|
|
255
|
+
def question_profile(db: Database, settings: Settings, project_id: int, verdict_id: int | None) -> dict:
|
|
256
|
+
"""Профиль вопроса (ADR-0102 п. 4): ответ модели получен известным исполнителем – его профиль (выключен – отказ);
|
|
257
|
+
ответ до 0.9.12 и ответ сборки образа – профиль проекта (выключен – отказ)."""
|
|
258
|
+
execution = answer_execution(db, verdict_id)
|
|
259
|
+
try:
|
|
260
|
+
if execution is not None:
|
|
261
|
+
profile = db.get_provider(int(execution["provider_id"]))
|
|
262
|
+
if profile is None or not profile.get("enabled"):
|
|
263
|
+
name = (profile or {}).get("name") or execution.get("base_url")
|
|
264
|
+
raise AskError(f"Разбор получен моделью профиля «{name}», а он выключен: включите профиль на странице "
|
|
265
|
+
"«Настройки» или пересмотрите находку на действующем профиле. Текст вопроса сохранён "
|
|
266
|
+
"в форме.", 409)
|
|
267
|
+
return choose_profile(db, settings, db.get_project(project_id), int(profile["id"]))
|
|
268
|
+
return choose_profile(db, settings, db.get_project(project_id))
|
|
269
|
+
except ProfileError as e:
|
|
270
|
+
raise AskError(f"{e} Текст вопроса сохранён в форме.", 409) from None
|
|
271
|
+
|
|
272
|
+
|
|
273
|
+
def busy_text(gate: Any) -> str:
|
|
274
|
+
"""Почему вопрос не задан: кто держит право на генерацию группы (ADR-0104 п. 6) – словами."""
|
|
275
|
+
holder = gate.busy()
|
|
276
|
+
if holder == "triage":
|
|
277
|
+
return RUN_BUSY
|
|
278
|
+
if holder == "ask":
|
|
279
|
+
return ASK_BUSY
|
|
280
|
+
return (f"Модель ({gate.label}) сейчас занята проверкой или прогревом – спросите через минуту. Текст вопроса "
|
|
281
|
+
"сохранён в форме.")
|
|
282
|
+
|
|
283
|
+
|
|
284
|
+
def card_executor(db: Database, settings: Settings, project_id: int, verdict_id: int | None) -> Any:
|
|
285
|
+
"""Исполнитель, которым пойдёт вопрос по этому разбору (question_profile), – для подсказок занятости в карточке;
|
|
286
|
+
профиль недоступен – None (свой контур)."""
|
|
287
|
+
try:
|
|
288
|
+
return question_profile(db, settings, project_id, verdict_id)
|
|
289
|
+
except AskError:
|
|
290
|
+
return None
|
|
291
|
+
|
|
292
|
+
|
|
293
|
+
def busy(executor: Any = None) -> bool:
|
|
294
|
+
"""Модель группы этого исполнителя (по умолчанию – свой контур) сейчас отвечает на вопрос."""
|
|
295
|
+
return (gate_for(executor) if executor is not None else GENERATION).busy() == "ask"
|
|
296
|
+
|
|
297
|
+
|
|
298
|
+
def run_busy(executor: Any = None) -> bool:
|
|
299
|
+
"""Модель группы этого исполнителя сейчас разбирает находку в прогоне: вопрос получит отказ."""
|
|
300
|
+
return (gate_for(executor) if executor is not None else GENERATION).busy() == "triage"
|