modelcheck-ru 1.0.0__tar.gz
This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
- modelcheck_ru-1.0.0/.gitignore +6 -0
- modelcheck_ru-1.0.0/LICENSE +9 -0
- modelcheck_ru-1.0.0/PKG-INFO +87 -0
- modelcheck_ru-1.0.0/README.md +57 -0
- modelcheck_ru-1.0.0/pyproject.toml +47 -0
- modelcheck_ru-1.0.0/src/modelcheck/__init__.py +2 -0
- modelcheck_ru-1.0.0/src/modelcheck/__main__.py +3 -0
- modelcheck_ru-1.0.0/src/modelcheck/checks/__init__.py +12 -0
- modelcheck_ru-1.0.0/src/modelcheck/checks/capabilities/__init__.py +1 -0
- modelcheck_ru-1.0.0/src/modelcheck/checks/capabilities/check.py +64 -0
- modelcheck_ru-1.0.0/src/modelcheck/checks/forty_questions/__init__.py +0 -0
- modelcheck_ru-1.0.0/src/modelcheck/checks/forty_questions/check.py +79 -0
- modelcheck_ru-1.0.0/src/modelcheck/checks/hidden_prompt/__init__.py +0 -0
- modelcheck_ru-1.0.0/src/modelcheck/checks/hidden_prompt/check.py +52 -0
- modelcheck_ru-1.0.0/src/modelcheck/checks/identity/__init__.py +1 -0
- modelcheck_ru-1.0.0/src/modelcheck/checks/identity/check.py +118 -0
- modelcheck_ru-1.0.0/src/modelcheck/checks/late_turns/__init__.py +0 -0
- modelcheck_ru-1.0.0/src/modelcheck/checks/late_turns/check.py +71 -0
- modelcheck_ru-1.0.0/src/modelcheck/checks/model_field/__init__.py +1 -0
- modelcheck_ru-1.0.0/src/modelcheck/checks/model_field/check.py +67 -0
- modelcheck_ru-1.0.0/src/modelcheck/checks/random_number/__init__.py +1 -0
- modelcheck_ru-1.0.0/src/modelcheck/checks/random_number/check.py +70 -0
- modelcheck_ru-1.0.0/src/modelcheck/checks/reasoning/__init__.py +0 -0
- modelcheck_ru-1.0.0/src/modelcheck/checks/reasoning/check.py +104 -0
- modelcheck_ru-1.0.0/src/modelcheck/checks/response_shape/__init__.py +1 -0
- modelcheck_ru-1.0.0/src/modelcheck/checks/response_shape/check.py +89 -0
- modelcheck_ru-1.0.0/src/modelcheck/checks/thinking_signature/__init__.py +1 -0
- modelcheck_ru-1.0.0/src/modelcheck/checks/thinking_signature/check.py +66 -0
- modelcheck_ru-1.0.0/src/modelcheck/checks/tokenizer/__init__.py +1 -0
- modelcheck_ru-1.0.0/src/modelcheck/checks/tokenizer/check.py +89 -0
- modelcheck_ru-1.0.0/src/modelcheck/cli.py +207 -0
- modelcheck_ru-1.0.0/src/modelcheck/core/__init__.py +1 -0
- modelcheck_ru-1.0.0/src/modelcheck/core/baselines.py +60 -0
- modelcheck_ru-1.0.0/src/modelcheck/core/check.py +30 -0
- modelcheck_ru-1.0.0/src/modelcheck/core/client.py +170 -0
- modelcheck_ru-1.0.0/src/modelcheck/core/engine.py +97 -0
- modelcheck_ru-1.0.0/src/modelcheck/core/rand.py +52 -0
- modelcheck_ru-1.0.0/src/modelcheck/core/types.py +79 -0
- modelcheck_ru-1.0.0/src/modelcheck/makers/__init__.py +69 -0
- modelcheck_ru-1.0.0/src/modelcheck/makers/alibaba/__init__.py +14 -0
- modelcheck_ru-1.0.0/src/modelcheck/makers/amazon/__init__.py +9 -0
- modelcheck_ru-1.0.0/src/modelcheck/makers/anthropic/__init__.py +15 -0
- modelcheck_ru-1.0.0/src/modelcheck/makers/bytedance/__init__.py +12 -0
- modelcheck_ru-1.0.0/src/modelcheck/makers/cohere/__init__.py +9 -0
- modelcheck_ru-1.0.0/src/modelcheck/makers/deepseek/__init__.py +14 -0
- modelcheck_ru-1.0.0/src/modelcheck/makers/google/__init__.py +14 -0
- modelcheck_ru-1.0.0/src/modelcheck/makers/meta/__init__.py +12 -0
- modelcheck_ru-1.0.0/src/modelcheck/makers/microsoft/__init__.py +11 -0
- modelcheck_ru-1.0.0/src/modelcheck/makers/minimax/__init__.py +12 -0
- modelcheck_ru-1.0.0/src/modelcheck/makers/mistral/__init__.py +12 -0
- modelcheck_ru-1.0.0/src/modelcheck/makers/moonshot/__init__.py +14 -0
- modelcheck_ru-1.0.0/src/modelcheck/makers/nvidia/__init__.py +10 -0
- modelcheck_ru-1.0.0/src/modelcheck/makers/openai/__init__.py +14 -0
- modelcheck_ru-1.0.0/src/modelcheck/makers/sber/__init__.py +10 -0
- modelcheck_ru-1.0.0/src/modelcheck/makers/xai/__init__.py +13 -0
- modelcheck_ru-1.0.0/src/modelcheck/makers/yandex/__init__.py +10 -0
- modelcheck_ru-1.0.0/src/modelcheck/makers/zhipu/__init__.py +14 -0
- modelcheck_ru-1.0.0/src/modelcheck/report/__init__.py +1 -0
- modelcheck_ru-1.0.0/src/modelcheck/report/render.py +98 -0
- modelcheck_ru-1.0.0/tests/conftest.py +2 -0
- modelcheck_ru-1.0.0/tests/helpers.py +50 -0
- modelcheck_ru-1.0.0/tests/test_checks.py +131 -0
- modelcheck_ru-1.0.0/tests/test_engine.py +88 -0
- modelcheck_ru-1.0.0/tests/test_makers.py +133 -0
|
@@ -0,0 +1,9 @@
|
|
|
1
|
+
MIT License
|
|
2
|
+
|
|
3
|
+
Copyright (c) 2026 Lideim
|
|
4
|
+
|
|
5
|
+
Permission is hereby granted, free of charge, to any person obtaining a copy of this software and associated documentation files (the "Software"), to deal in the Software without restriction, including without limitation the rights to use, copy, modify, merge, publish, distribute, sublicense, and/or sell copies of the Software, and to permit persons to whom the Software is furnished to do so, subject to the following conditions:
|
|
6
|
+
|
|
7
|
+
The above copyright notice and this permission notice shall be included in all copies or substantial portions of the Software.
|
|
8
|
+
|
|
9
|
+
THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY, FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM, OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE SOFTWARE.
|
|
@@ -0,0 +1,87 @@
|
|
|
1
|
+
Metadata-Version: 2.5
|
|
2
|
+
Name: modelcheck-ru
|
|
3
|
+
Version: 1.0.0
|
|
4
|
+
Summary: Проверка: настоящая ли нейросеть за API-ключом — Claude, GPT, Gemini, DeepSeek и ещё 14 производителей
|
|
5
|
+
Project-URL: Homepage, https://github.com/lideim/modelcheck
|
|
6
|
+
Project-URL: Issues, https://github.com/lideim/modelcheck/issues
|
|
7
|
+
Author: Lideim
|
|
8
|
+
License-Expression: MIT
|
|
9
|
+
License-File: LICENSE
|
|
10
|
+
Keywords: api,claude,deepseek,fingerprint,gemini,llm,openai,proxy,reseller,verification
|
|
11
|
+
Classifier: Development Status :: 5 - Production/Stable
|
|
12
|
+
Classifier: Environment :: Console
|
|
13
|
+
Classifier: Intended Audience :: Developers
|
|
14
|
+
Classifier: Natural Language :: Russian
|
|
15
|
+
Classifier: Operating System :: OS Independent
|
|
16
|
+
Classifier: Programming Language :: Python :: 3
|
|
17
|
+
Classifier: Programming Language :: Python :: 3.10
|
|
18
|
+
Classifier: Programming Language :: Python :: 3.11
|
|
19
|
+
Classifier: Programming Language :: Python :: 3.12
|
|
20
|
+
Classifier: Programming Language :: Python :: 3.13
|
|
21
|
+
Classifier: Topic :: Scientific/Engineering :: Artificial Intelligence
|
|
22
|
+
Classifier: Topic :: Security
|
|
23
|
+
Requires-Python: >=3.10
|
|
24
|
+
Requires-Dist: httpx>=0.27
|
|
25
|
+
Requires-Dist: rich>=13
|
|
26
|
+
Requires-Dist: typer>=0.12
|
|
27
|
+
Provides-Extra: dev
|
|
28
|
+
Requires-Dist: pytest>=8; extra == 'dev'
|
|
29
|
+
Description-Content-Type: text/markdown
|
|
30
|
+
|
|
31
|
+
# modelcheck
|
|
32
|
+
|
|
33
|
+
**Проверка: настоящая ли нейросеть за вашим API-ключом.**
|
|
34
|
+
|
|
35
|
+
Перепродавцы продают «Claude» и «GPT», а внутри бывает дешёвая модель, урезанные возможности или скрытый промпт на тысячи токенов, за который платите вы. `modelcheck` проверяет это за минуту и объясняет результат по-русски.
|
|
36
|
+
|
|
37
|
+
```bash
|
|
38
|
+
pip install modelcheck-ru
|
|
39
|
+
export MODELCHECK_KEY=sk-...
|
|
40
|
+
modelcheck run https://api.provider.com/v1 -m anthropic/claude-opus-4.8
|
|
41
|
+
```
|
|
42
|
+
|
|
43
|
+
## Результат
|
|
44
|
+
|
|
45
|
+
Два вердикта, потому что это разные вопросы:
|
|
46
|
+
|
|
47
|
+
- **Модель:** ✅ настоящая · ⚠️ подозрительно · ❌ подмена · ❔ нет данных
|
|
48
|
+
- **Обслуживание:** ✅ без вмешательства · ⚠️ посредник вмешивается (скрытый промпт, игнор параметров, урезания)
|
|
49
|
+
|
|
50
|
+
## Кого проверяет
|
|
51
|
+
|
|
52
|
+
Claude · GPT · Gemini · Grok · DeepSeek · Qwen · GLM · Kimi · Doubao · MiniMax · Llama · Mistral · Phi · Nemotron · Cohere · Nova · YandexGPT · GigaChat
|
|
53
|
+
|
|
54
|
+
Подходит любой провайдер с OpenAI-совместимым API или API Anthropic (`-p anthropic`).
|
|
55
|
+
|
|
56
|
+
## Что проверяет
|
|
57
|
+
|
|
58
|
+
| Проверка | Что ловит |
|
|
59
|
+
|---|---|
|
|
60
|
+
| Подпись размышлений | криптоподпись Claude: подделать нельзя |
|
|
61
|
+
| Скрытый промпт | лишние входные токены на сообщение из одного символа |
|
|
62
|
+
| Поле model | Haiku вместо Opus, ответ на несуществующую модель |
|
|
63
|
+
| Форма ответа | чужие поля: `reasoning_content`, `<think>`, чужой `usage` |
|
|
64
|
+
| Личность и ловушки | «я DeepSeek», служебные токены других моделей, игнор вашего промпта |
|
|
65
|
+
| Размышления | chat-версия вместо reasoning-модели |
|
|
66
|
+
| Поздние ходы | настоящая модель в начале диалога, дешёвая — дальше |
|
|
67
|
+
| Токенизатор, отпечатки | текст режется и отвечает как другая модель (нужен эталон) |
|
|
68
|
+
|
|
69
|
+
Формулировки каждый раз случайные, чтобы посредник не узнал проверку.
|
|
70
|
+
|
|
71
|
+
## Команды
|
|
72
|
+
|
|
73
|
+
```bash
|
|
74
|
+
modelcheck run URL -m МОДЕЛЬ [-l quick|standard|full] [-n 3] [--md отчёт.md]
|
|
75
|
+
modelcheck watch URL -m МОДЕЛЬ --every 60 # проверять по расписанию
|
|
76
|
+
modelcheck baseline URL -m МОДЕЛЬ -k ОФИЦИАЛЬНЫЙ_КЛЮЧ --full # эталон для сильных проверок
|
|
77
|
+
modelcheck list | makers | baselines
|
|
78
|
+
```
|
|
79
|
+
|
|
80
|
+
Код выхода: `0` настоящая, `1` подозрительно, `2` подмена, `3` нет данных.
|
|
81
|
+
|
|
82
|
+
## Важно
|
|
83
|
+
|
|
84
|
+
- Ключ уходит только на проверяемый адрес и маскируется в отчётах.
|
|
85
|
+
- Один прогон — не приговор: для уверенности используйте `-n 3` и `watch`.
|
|
86
|
+
|
|
87
|
+
MIT · [@Lideim](https://t.me/Lideim)
|
|
@@ -0,0 +1,57 @@
|
|
|
1
|
+
# modelcheck
|
|
2
|
+
|
|
3
|
+
**Проверка: настоящая ли нейросеть за вашим API-ключом.**
|
|
4
|
+
|
|
5
|
+
Перепродавцы продают «Claude» и «GPT», а внутри бывает дешёвая модель, урезанные возможности или скрытый промпт на тысячи токенов, за который платите вы. `modelcheck` проверяет это за минуту и объясняет результат по-русски.
|
|
6
|
+
|
|
7
|
+
```bash
|
|
8
|
+
pip install modelcheck-ru
|
|
9
|
+
export MODELCHECK_KEY=sk-...
|
|
10
|
+
modelcheck run https://api.provider.com/v1 -m anthropic/claude-opus-4.8
|
|
11
|
+
```
|
|
12
|
+
|
|
13
|
+
## Результат
|
|
14
|
+
|
|
15
|
+
Два вердикта, потому что это разные вопросы:
|
|
16
|
+
|
|
17
|
+
- **Модель:** ✅ настоящая · ⚠️ подозрительно · ❌ подмена · ❔ нет данных
|
|
18
|
+
- **Обслуживание:** ✅ без вмешательства · ⚠️ посредник вмешивается (скрытый промпт, игнор параметров, урезания)
|
|
19
|
+
|
|
20
|
+
## Кого проверяет
|
|
21
|
+
|
|
22
|
+
Claude · GPT · Gemini · Grok · DeepSeek · Qwen · GLM · Kimi · Doubao · MiniMax · Llama · Mistral · Phi · Nemotron · Cohere · Nova · YandexGPT · GigaChat
|
|
23
|
+
|
|
24
|
+
Подходит любой провайдер с OpenAI-совместимым API или API Anthropic (`-p anthropic`).
|
|
25
|
+
|
|
26
|
+
## Что проверяет
|
|
27
|
+
|
|
28
|
+
| Проверка | Что ловит |
|
|
29
|
+
|---|---|
|
|
30
|
+
| Подпись размышлений | криптоподпись Claude: подделать нельзя |
|
|
31
|
+
| Скрытый промпт | лишние входные токены на сообщение из одного символа |
|
|
32
|
+
| Поле model | Haiku вместо Opus, ответ на несуществующую модель |
|
|
33
|
+
| Форма ответа | чужие поля: `reasoning_content`, `<think>`, чужой `usage` |
|
|
34
|
+
| Личность и ловушки | «я DeepSeek», служебные токены других моделей, игнор вашего промпта |
|
|
35
|
+
| Размышления | chat-версия вместо reasoning-модели |
|
|
36
|
+
| Поздние ходы | настоящая модель в начале диалога, дешёвая — дальше |
|
|
37
|
+
| Токенизатор, отпечатки | текст режется и отвечает как другая модель (нужен эталон) |
|
|
38
|
+
|
|
39
|
+
Формулировки каждый раз случайные, чтобы посредник не узнал проверку.
|
|
40
|
+
|
|
41
|
+
## Команды
|
|
42
|
+
|
|
43
|
+
```bash
|
|
44
|
+
modelcheck run URL -m МОДЕЛЬ [-l quick|standard|full] [-n 3] [--md отчёт.md]
|
|
45
|
+
modelcheck watch URL -m МОДЕЛЬ --every 60 # проверять по расписанию
|
|
46
|
+
modelcheck baseline URL -m МОДЕЛЬ -k ОФИЦИАЛЬНЫЙ_КЛЮЧ --full # эталон для сильных проверок
|
|
47
|
+
modelcheck list | makers | baselines
|
|
48
|
+
```
|
|
49
|
+
|
|
50
|
+
Код выхода: `0` настоящая, `1` подозрительно, `2` подмена, `3` нет данных.
|
|
51
|
+
|
|
52
|
+
## Важно
|
|
53
|
+
|
|
54
|
+
- Ключ уходит только на проверяемый адрес и маскируется в отчётах.
|
|
55
|
+
- Один прогон — не приговор: для уверенности используйте `-n 3` и `watch`.
|
|
56
|
+
|
|
57
|
+
MIT · [@Lideim](https://t.me/Lideim)
|
|
@@ -0,0 +1,47 @@
|
|
|
1
|
+
[build-system]
|
|
2
|
+
requires = ["hatchling"]
|
|
3
|
+
build-backend = "hatchling.build"
|
|
4
|
+
|
|
5
|
+
[project]
|
|
6
|
+
name = "modelcheck-ru"
|
|
7
|
+
version = "1.0.0"
|
|
8
|
+
description = "Проверка: настоящая ли нейросеть за API-ключом — Claude, GPT, Gemini, DeepSeek и ещё 14 производителей"
|
|
9
|
+
readme = "README.md"
|
|
10
|
+
requires-python = ">=3.10"
|
|
11
|
+
license = "MIT"
|
|
12
|
+
authors = [{ name = "Lideim" }]
|
|
13
|
+
dependencies = ["httpx>=0.27", "typer>=0.12", "rich>=13"]
|
|
14
|
+
keywords = ["llm", "api", "claude", "openai", "gemini", "deepseek", "fingerprint", "proxy", "reseller", "verification"]
|
|
15
|
+
classifiers = [
|
|
16
|
+
"Development Status :: 5 - Production/Stable",
|
|
17
|
+
"Environment :: Console",
|
|
18
|
+
"Intended Audience :: Developers",
|
|
19
|
+
"Natural Language :: Russian",
|
|
20
|
+
"Operating System :: OS Independent",
|
|
21
|
+
"Programming Language :: Python :: 3",
|
|
22
|
+
"Programming Language :: Python :: 3.10",
|
|
23
|
+
"Programming Language :: Python :: 3.11",
|
|
24
|
+
"Programming Language :: Python :: 3.12",
|
|
25
|
+
"Programming Language :: Python :: 3.13",
|
|
26
|
+
"Topic :: Security",
|
|
27
|
+
"Topic :: Scientific/Engineering :: Artificial Intelligence",
|
|
28
|
+
]
|
|
29
|
+
|
|
30
|
+
[project.urls]
|
|
31
|
+
Homepage = "https://github.com/lideim/modelcheck"
|
|
32
|
+
Issues = "https://github.com/lideim/modelcheck/issues"
|
|
33
|
+
|
|
34
|
+
[project.optional-dependencies]
|
|
35
|
+
dev = ["pytest>=8"]
|
|
36
|
+
|
|
37
|
+
[project.scripts]
|
|
38
|
+
modelcheck = "modelcheck.cli:main"
|
|
39
|
+
|
|
40
|
+
[tool.hatch.build.targets.wheel]
|
|
41
|
+
packages = ["src/modelcheck"]
|
|
42
|
+
|
|
43
|
+
[tool.hatch.build.targets.sdist]
|
|
44
|
+
include = ["src/modelcheck", "tests", "README.md", "LICENSE", "pyproject.toml"]
|
|
45
|
+
|
|
46
|
+
[tool.pytest.ini_options]
|
|
47
|
+
testpaths = ["tests"]
|
|
@@ -0,0 +1,12 @@
|
|
|
1
|
+
"""Все проверки. Каждая — в своей папке: check.py + README.md. Порядок = порядок в отчёте."""
|
|
2
|
+
from .model_field import check as _model_field # noqa: F401
|
|
3
|
+
from .thinking_signature import check as _thinking # noqa: F401
|
|
4
|
+
from .response_shape import check as _shape # noqa: F401
|
|
5
|
+
from .hidden_prompt import check as _hidden # noqa: F401
|
|
6
|
+
from .reasoning import check as _reasoning # noqa: F401
|
|
7
|
+
from .identity import check as _identity # noqa: F401
|
|
8
|
+
from .late_turns import check as _late # noqa: F401
|
|
9
|
+
from .tokenizer import check as _tokenizer # noqa: F401
|
|
10
|
+
from .capabilities import check as _caps # noqa: F401
|
|
11
|
+
from .random_number import check as _numbers # noqa: F401
|
|
12
|
+
from .forty_questions import check as _forty # noqa: F401
|
|
@@ -0,0 +1 @@
|
|
|
1
|
+
|
|
@@ -0,0 +1,64 @@
|
|
|
1
|
+
"""Возможности: вызов инструментов и длинный контекст.
|
|
2
|
+
|
|
3
|
+
Перепродавцы часто урезают то, что дорого: вырезают tools, режут контекст
|
|
4
|
+
(заявлен 200k — реально 8k) или отдают меньшую модель, которая не тянет.
|
|
5
|
+
- tools: даём функцию get_weather и ждём корректный вызов с городом;
|
|
6
|
+
- «иголка в стоге сена»: прячем код в начало длинного текста и спрашиваем в конце.
|
|
7
|
+
"""
|
|
8
|
+
from __future__ import annotations
|
|
9
|
+
|
|
10
|
+
import random
|
|
11
|
+
|
|
12
|
+
from ...core.check import Check, register
|
|
13
|
+
from ...core.types import Finding, Status, svc
|
|
14
|
+
|
|
15
|
+
TOOL = {"name": "get_weather", "description": "Погода в городе",
|
|
16
|
+
"input_schema": {"type": "object", "properties": {"city": {"type": "string"}}, "required": ["city"]}}
|
|
17
|
+
FILLER = ("Сервер принимает запросы, пишет логи и отвечает клиентам. "
|
|
18
|
+
"Администратор проверяет нагрузку и обновляет пакеты. ")
|
|
19
|
+
|
|
20
|
+
|
|
21
|
+
@register
|
|
22
|
+
class ToolUse(Check):
|
|
23
|
+
name = "capabilities"
|
|
24
|
+
title = "Инструменты (tool use)"
|
|
25
|
+
level = 2
|
|
26
|
+
|
|
27
|
+
def run(self, client, target, maker):
|
|
28
|
+
r = client.chat(target.model, [{"role": "user", "content": "Какая сейчас погода в Барнауле? Используй инструмент."}],
|
|
29
|
+
tools=[TOOL], max_tokens=200)
|
|
30
|
+
if not r.ok:
|
|
31
|
+
return [svc(self.name, Status.WARN, self.title, f"Запрос с tools отклонён: {r.error[:120]}")]
|
|
32
|
+
if not r.tool_calls:
|
|
33
|
+
return [svc(self.name, Status.WARN, self.title, "Модель не вызвала инструмент — tools могли вырезать.")]
|
|
34
|
+
call = r.tool_calls[0]
|
|
35
|
+
args = call.get("input") or call.get("function", {}).get("arguments", "")
|
|
36
|
+
if "арнаул" in str(args) or "arnaul" in str(args).lower():
|
|
37
|
+
return [svc(self.name, Status.PASS, self.title, "Инструмент вызван корректно.")]
|
|
38
|
+
return [svc(self.name, Status.WARN, self.title, f"Вызов есть, но аргументы странные: {str(args)[:80]}")]
|
|
39
|
+
|
|
40
|
+
|
|
41
|
+
@register
|
|
42
|
+
class LongContext(Check):
|
|
43
|
+
name = "long_context"
|
|
44
|
+
title = "Длинный контекст (иголка в стоге)"
|
|
45
|
+
level = 3
|
|
46
|
+
|
|
47
|
+
def __init__(self, tokens: int = 30000):
|
|
48
|
+
self.tokens = tokens
|
|
49
|
+
|
|
50
|
+
def run(self, client, target, maker):
|
|
51
|
+
code = f"ИГЛА-{random.randint(10000, 99999)}"
|
|
52
|
+
reps = self.tokens * 3 // len(FILLER) # ~3 символа на токен для русского
|
|
53
|
+
text = f"Секретный код: {code}.\n\n" + FILLER * reps
|
|
54
|
+
r = client.chat(target.model, [{"role": "user", "content": text + "\n\nКакой секретный код был в самом начале? Только код."}],
|
|
55
|
+
max_tokens=30)
|
|
56
|
+
if not r.ok:
|
|
57
|
+
return [svc(self.name, Status.WARN, self.title,
|
|
58
|
+
f"Текст ~{self.tokens // 1000}k токенов не принят: {r.error[:120]}")]
|
|
59
|
+
used = r.usage.get("input_tokens", r.usage.get("prompt_tokens"))
|
|
60
|
+
if code.split("-")[1] in r.text:
|
|
61
|
+
return [svc(self.name, Status.PASS, self.title, f"Нашла код в начале ~{(used or self.tokens) // 1000}k токенов.")]
|
|
62
|
+
return [svc(self.name, Status.FAIL, self.title,
|
|
63
|
+
f"Не нашла код из начала (~{(used or self.tokens) // 1000}k токенов): контекст обрезают.",
|
|
64
|
+
evidence={"answer": r.text[:60], "input_tokens": used})]
|
|
File without changes
|
|
@@ -0,0 +1,79 @@
|
|
|
1
|
+
"""Отпечаток «сорок вопросов»: однословные ответы на бытовые вопросы.
|
|
2
|
+
|
|
3
|
+
По работе «Forty Questions» (Parikh, arXiv:2610.28281): каждая модель отвечает на
|
|
4
|
+
«Назови цвет», «Назови поэта», «Назови звук» со своими устойчивыми привычками
|
|
5
|
+
(кто-то говорит «лаванда», кто-то «синий»). 40 ответов определяют точную модель
|
|
6
|
+
в 92,5% случаев. Особенно полезно для открытых моделей (Llama, Qwen, Gemma, Mistral):
|
|
7
|
+
их чаще всего подменяют, квантуют и запускают с неофициальным шаблоном.
|
|
8
|
+
|
|
9
|
+
Без эталонов проверка только сохраняет «профиль ответов». С эталоном
|
|
10
|
+
(modelcheck baseline … --numbers) — сравнивает по правдоподобию.
|
|
11
|
+
"""
|
|
12
|
+
from __future__ import annotations
|
|
13
|
+
|
|
14
|
+
import math
|
|
15
|
+
import re
|
|
16
|
+
from collections import Counter
|
|
17
|
+
|
|
18
|
+
from ...core import baselines
|
|
19
|
+
from ...core.check import Check, register
|
|
20
|
+
from ...core.types import Finding, Status
|
|
21
|
+
|
|
22
|
+
QUESTIONS = ["Name a color.", "Name a fruit.", "Name a poet.", "Name a sound.", "Name a city.",
|
|
23
|
+
"Name an animal.", "Name a flower.", "Name a musical instrument.", "Name a planet.", "Name a gemstone."]
|
|
24
|
+
REPEATS = 4
|
|
25
|
+
|
|
26
|
+
|
|
27
|
+
def ask_all(client, model, repeats=REPEATS) -> dict[str, Counter]:
|
|
28
|
+
prof: dict[str, Counter] = {}
|
|
29
|
+
for q in QUESTIONS:
|
|
30
|
+
c = Counter()
|
|
31
|
+
for _ in range(repeats):
|
|
32
|
+
r = client.chat(model, [{"role": "user", "content": q + " Answer with one word only."}],
|
|
33
|
+
max_tokens=6, temperature=1.0)
|
|
34
|
+
if r.ok:
|
|
35
|
+
w = re.sub(r"[^a-z]", "", r.text.strip().split()[0].lower()) if r.text.strip() else ""
|
|
36
|
+
if w:
|
|
37
|
+
c[w] += 1
|
|
38
|
+
prof[q] = c
|
|
39
|
+
return prof
|
|
40
|
+
|
|
41
|
+
|
|
42
|
+
def loglik(prof: dict[str, Counter], ref: dict[str, dict]) -> float:
|
|
43
|
+
"""Среднее log-правдоподобие ответов endpoint'а под профилем эталона (сглаживание Лапласа)."""
|
|
44
|
+
total, n = 0.0, 0
|
|
45
|
+
for q, cnt in prof.items():
|
|
46
|
+
refc = Counter(ref.get(q, {}))
|
|
47
|
+
s = sum(refc.values()) + 1 + len(refc)
|
|
48
|
+
for w, k in cnt.items():
|
|
49
|
+
total += k * math.log((refc.get(w, 0) + 1) / s)
|
|
50
|
+
n += k
|
|
51
|
+
return total / max(n, 1)
|
|
52
|
+
|
|
53
|
+
|
|
54
|
+
@register
|
|
55
|
+
class FortyQuestions(Check):
|
|
56
|
+
name = "forty_questions"
|
|
57
|
+
title = "Отпечаток «сорок вопросов»"
|
|
58
|
+
level = 3
|
|
59
|
+
|
|
60
|
+
def run(self, client, target, maker):
|
|
61
|
+
prof = ask_all(client, target.model)
|
|
62
|
+
answered = sum(sum(c.values()) for c in prof.values())
|
|
63
|
+
if answered < len(QUESTIONS) * 2:
|
|
64
|
+
return [Finding(self.name, Status.SKIP, self.title, "Мало ответов.")]
|
|
65
|
+
favs = ", ".join(c.most_common(1)[0][0] for c in prof.values() if c)
|
|
66
|
+
bases = baselines.load("forty")
|
|
67
|
+
ev = {"profile": {q: dict(c) for q, c in prof.items()}}
|
|
68
|
+
if not bases:
|
|
69
|
+
return [Finding(self.name, Status.INFO, self.title, f"Привычные ответы: {favs}. Эталонов нет.", evidence=ev)]
|
|
70
|
+
ranked = sorted(((loglik(prof, v["forty"]), n, v) for n, v in bases.items()), reverse=True)
|
|
71
|
+
best_ll, best_name, best = ranked[0]
|
|
72
|
+
own = max((ll for ll, n, v in ranked if v.get("maker") == maker), default=None)
|
|
73
|
+
ev.update(closest=best_name, loglik=round(best_ll, 3))
|
|
74
|
+
if best.get("maker") == maker:
|
|
75
|
+
return [Finding(self.name, Status.PASS, self.title, f"Ответы ближе всего к эталону {best_name}.", evidence=ev)]
|
|
76
|
+
if own is not None and best_ll - own > 0.7:
|
|
77
|
+
return [Finding(self.name, Status.FAIL, self.title,
|
|
78
|
+
f"Ответы гораздо ближе к {best_name} ({best['maker']}), чем к {maker}.", evidence=ev)]
|
|
79
|
+
return [Finding(self.name, Status.INFO, self.title, f"Ближайший эталон {best_name}; разница с {maker} мала.", evidence=ev)]
|
|
File without changes
|
|
@@ -0,0 +1,52 @@
|
|
|
1
|
+
"""Скрытый системный промпт и честность параметров.
|
|
2
|
+
|
|
3
|
+
1. Скрытый промпт: отправляем сообщение из одного символа. Честный API
|
|
4
|
+
насчитает ~5–20 входных токенов. Если сотни/тысячи — посредник вшивает
|
|
5
|
+
свой системный промпт (часто «You are Claude…» поверх другой модели),
|
|
6
|
+
и вы ещё платите за эти токены.
|
|
7
|
+
2. max_tokens: просим ответ не длиннее 5 токенов. Если вернулось больше —
|
|
8
|
+
параметры не доходят до модели (переписываются посредником).
|
|
9
|
+
"""
|
|
10
|
+
from __future__ import annotations
|
|
11
|
+
|
|
12
|
+
from ...core.check import Check, register
|
|
13
|
+
from ...core.types import Finding, Status, svc
|
|
14
|
+
from ...makers import profile
|
|
15
|
+
|
|
16
|
+
|
|
17
|
+
@register
|
|
18
|
+
class HiddenPrompt(Check):
|
|
19
|
+
name = "hidden_prompt"
|
|
20
|
+
title = "Скрытый системный промпт"
|
|
21
|
+
level = 1
|
|
22
|
+
|
|
23
|
+
def run(self, client, target, maker):
|
|
24
|
+
out = []
|
|
25
|
+
normal_max = profile(maker).input_overhead # у Grok официальный API сам добавляет ~1250
|
|
26
|
+
r = client.chat(target.model, [{"role": "user", "content": "x"}], max_tokens=5)
|
|
27
|
+
if not r.ok:
|
|
28
|
+
return [svc(self.name, Status.SKIP, self.title, f"Нет ответа: {r.error}")]
|
|
29
|
+
u = r.usage
|
|
30
|
+
inp = u.get("input_tokens", u.get("prompt_tokens"))
|
|
31
|
+
cache = sum(v for k, v in u.items() if "cache_creation" in k and isinstance(v, int))
|
|
32
|
+
cache += u.get("cache_read_input_tokens", 0) or 0
|
|
33
|
+
total_in = (inp or 0) + (cache if "input_tokens" in u else 0)
|
|
34
|
+
if inp is None:
|
|
35
|
+
out.append(svc(self.name, Status.WARN, self.title, "Сервер не сообщает число входных токенов."))
|
|
36
|
+
elif total_in > normal_max:
|
|
37
|
+
out.append(svc(self.name, Status.FAIL, self.title,
|
|
38
|
+
f"На сообщение из 1 символа насчитано {total_in} входных токенов "
|
|
39
|
+
f"(у официального API {maker} норма до ~{normal_max}). "
|
|
40
|
+
"Посредник подмешивает свой скрытый промпт — и списывает за него с вас.",
|
|
41
|
+
evidence={"usage": u}))
|
|
42
|
+
else:
|
|
43
|
+
out.append(svc(self.name, Status.PASS, self.title, f"Входных токенов {total_in} — лишнего не подмешано."))
|
|
44
|
+
|
|
45
|
+
outp = u.get("output_tokens", u.get("completion_tokens"))
|
|
46
|
+
if outp is not None:
|
|
47
|
+
if outp > 5 + 2:
|
|
48
|
+
out.append(svc(self.name, Status.WARN, "Параметр max_tokens",
|
|
49
|
+
f"Просили не больше 5 токенов, получили {outp}: параметры запроса не доходят до модели."))
|
|
50
|
+
else:
|
|
51
|
+
out.append(svc(self.name, Status.PASS, "Параметр max_tokens", "Ограничение длины соблюдено."))
|
|
52
|
+
return out
|
|
@@ -0,0 +1 @@
|
|
|
1
|
+
|
|
@@ -0,0 +1,118 @@
|
|
|
1
|
+
"""Поведенческие ловушки: личность, чужие стоп-токены, утечка китайского, свой системный промпт.
|
|
2
|
+
|
|
3
|
+
Слабые сигналы по отдельности (системный промпт может заставить модель назваться
|
|
4
|
+
кем угодно), но в сумме ловят грубую подмену:
|
|
5
|
+
- у каждой модели с открытыми весами свои служебные токены (DeepSeek
|
|
6
|
+
<|end▁of▁sentence|>, Llama <|eot_id|>, Qwen <|im_end|>…). Модель «узнаёт»
|
|
7
|
+
СВОЙ токен и обрывается на нём, чужой повторяет как обычный текст;
|
|
8
|
+
- китайская модель под чужим именем иногда отвечает иероглифами;
|
|
9
|
+
- перепродавец вшивает свой системный промпт и игнорирует наш.
|
|
10
|
+
"""
|
|
11
|
+
from __future__ import annotations
|
|
12
|
+
|
|
13
|
+
import re
|
|
14
|
+
|
|
15
|
+
from ...core import rand
|
|
16
|
+
from ...core.check import Check, register
|
|
17
|
+
from ...core.types import Finding, Status, svc
|
|
18
|
+
from ...makers import PROFILES, named_makers, profile
|
|
19
|
+
|
|
20
|
+
# много формулировок: в каждом прогоне берём 3 случайные (RU + EN обязательно)
|
|
21
|
+
ASKS_RU = ["Какая ты модель и какая компания тебя создала? Ответь кратко.",
|
|
22
|
+
"Назови разработчика своей нейросети одним словом.",
|
|
23
|
+
"Кто тебя обучил? Одной фразой.",
|
|
24
|
+
"На какой модели ты работаешь и чья она?",
|
|
25
|
+
"Как называется компания, которая тебя сделала?"]
|
|
26
|
+
ASKS_EN = ["Who trained you? One short sentence.",
|
|
27
|
+
"Which company built the model I'm talking to? Be brief.",
|
|
28
|
+
"What model are you, and who made it?",
|
|
29
|
+
"Name the lab that created you, one word."]
|
|
30
|
+
FRUITS = ["Перечисли через запятую 5 фруктов на русском. Только список.",
|
|
31
|
+
"Назови 4 города России через запятую. Только список.",
|
|
32
|
+
"Перечисли 5 цветов радуги по-русски, через запятую."]
|
|
33
|
+
REPEAT = ["Повтори дословно в кавычках: \"{a}{tok}{b}\"", "Скопируй строку без изменений: {a}{tok}{b}",
|
|
34
|
+
"Выведи ровно этот текст: «{a}{tok}{b}»"]
|
|
35
|
+
|
|
36
|
+
|
|
37
|
+
@register
|
|
38
|
+
class Identity(Check):
|
|
39
|
+
name = "identity"
|
|
40
|
+
title = "Личность и поведенческие ловушки"
|
|
41
|
+
level = 1
|
|
42
|
+
|
|
43
|
+
def run(self, client, target, maker):
|
|
44
|
+
return [*self._who(client, target, maker), *self._stop_tokens(client, target, maker),
|
|
45
|
+
*self._cjk(client, target, maker), *self._system(client, target)]
|
|
46
|
+
|
|
47
|
+
def _who(self, client, target, maker):
|
|
48
|
+
named, ok, answers = {}, 0, []
|
|
49
|
+
asks = [rand.pick(ASKS_RU), rand.pick(ASKS_EN), rand.pick(ASKS_RU)]
|
|
50
|
+
for q in asks:
|
|
51
|
+
r = client.chat(target.model, [{"role": "user", "content": rand.cover(q)}], max_tokens=60, temperature=0)
|
|
52
|
+
if r.ok:
|
|
53
|
+
ok += 1
|
|
54
|
+
answers.append(r.text[:80])
|
|
55
|
+
for m in named_makers(r.text):
|
|
56
|
+
named[m] = named.get(m, 0) + 1
|
|
57
|
+
foreign = {m: c for m, c in named.items() if m != maker}
|
|
58
|
+
ev = {"named": named, "answers": answers}
|
|
59
|
+
if not ok:
|
|
60
|
+
return [Finding(self.name, Status.SKIP, "Кто ты?", "Ответов нет.")]
|
|
61
|
+
if foreign and not named.get(maker):
|
|
62
|
+
return [Finding(self.name, Status.FAIL, "Кто ты?",
|
|
63
|
+
f"Модель называет себя продуктом {', '.join(foreign)}, а не {maker}.", evidence=ev)]
|
|
64
|
+
if foreign:
|
|
65
|
+
return [Finding(self.name, Status.WARN, "Кто ты?",
|
|
66
|
+
f"Путается: на одни вопросы называет {maker}, на другие — {', '.join(foreign)}. "
|
|
67
|
+
"Так бывает, когда поверх другой модели вшит промпт «ты — заявленная модель».", evidence=ev)]
|
|
68
|
+
if named.get(maker):
|
|
69
|
+
return [Finding(self.name, Status.PASS, "Кто ты?", f"Стабильно называет себя {maker} ({named[maker]}/{ok}).")]
|
|
70
|
+
return [Finding(self.name, Status.INFO, "Кто ты?", "Уходит от ответа — сам по себе не признак.", evidence=ev)]
|
|
71
|
+
|
|
72
|
+
def _stop_tokens(self, client, target, maker):
|
|
73
|
+
"""Служебные токены чужих семейств: модель обрывается только на своём."""
|
|
74
|
+
own = set(profile(maker).special_tokens)
|
|
75
|
+
probes: dict[str, str] = {}
|
|
76
|
+
for p in PROFILES.values():
|
|
77
|
+
if p.name != maker and p.special_tokens and p.special_tokens[0] not in own:
|
|
78
|
+
probes.setdefault(p.special_tokens[0], p.name)
|
|
79
|
+
hits, answered = [], 0
|
|
80
|
+
for tok, fam in rand.shuffle(list(probes.items())):
|
|
81
|
+
a, b = rand.word(3).split("-")[0], rand.word(3).split("-")[0]
|
|
82
|
+
q = rand.pick(REPEAT).format(a=a, tok=tok, b=b)
|
|
83
|
+
r = client.chat(target.model, [{"role": "user", "content": q}], max_tokens=40, temperature=0)
|
|
84
|
+
if not r.ok:
|
|
85
|
+
continue
|
|
86
|
+
answered += 1
|
|
87
|
+
if a in r.text and b not in r.text:
|
|
88
|
+
hits.append(fam)
|
|
89
|
+
if hits:
|
|
90
|
+
return [Finding(self.name, Status.FAIL, "Чужие стоп-токены",
|
|
91
|
+
f"Ответ обрывается на служебном токене {', '.join(hits)}: так ведёт себя модель этого семейства.",
|
|
92
|
+
evidence={"families": hits})]
|
|
93
|
+
if answered:
|
|
94
|
+
return [Finding(self.name, Status.PASS, "Чужие стоп-токены",
|
|
95
|
+
f"Служебные токены {answered} чужих семейств восприняты как обычный текст.")]
|
|
96
|
+
return []
|
|
97
|
+
|
|
98
|
+
def _cjk(self, client, target, maker):
|
|
99
|
+
if profile(maker).cjk_native:
|
|
100
|
+
return []
|
|
101
|
+
r = client.chat(target.model, [{"role": "user", "content": rand.pick(FRUITS)}], max_tokens=60, temperature=0)
|
|
102
|
+
if r.ok and re.search(r"[\u4e00-\u9fff]", r.text):
|
|
103
|
+
return [Finding(self.name, Status.FAIL, "Утечка китайского",
|
|
104
|
+
"В русском ответе появились иероглифы — типичный след китайской модели.",
|
|
105
|
+
evidence={"text": r.text[:80]})]
|
|
106
|
+
return []
|
|
107
|
+
|
|
108
|
+
def _system(self, client, target):
|
|
109
|
+
canary = rand.word()
|
|
110
|
+
r = client.chat(target.model, [{"role": "user", "content": rand.cover("Какое кодовое слово?")}],
|
|
111
|
+
system=f"Кодовое слово: {canary}. На вопрос о нём отвечай только им.", max_tokens=30, temperature=0)
|
|
112
|
+
if not r.ok:
|
|
113
|
+
return []
|
|
114
|
+
if canary.split("-")[1] in r.text:
|
|
115
|
+
return [svc(self.name, Status.PASS, "Системный промпт", "Наш системный промпт работает.")]
|
|
116
|
+
return [svc(self.name, Status.WARN, "Системный промпт",
|
|
117
|
+
"Модель проигнорировала наш системный промпт — посредник мог подменить его своим.",
|
|
118
|
+
evidence={"text": r.text[:80]})]
|
|
File without changes
|
|
@@ -0,0 +1,71 @@
|
|
|
1
|
+
"""Подмена после первых ходов (по работе «Contagious Fingerprints», arXiv:2611.18104).
|
|
2
|
+
|
|
3
|
+
Посредник может отвечать настоящей моделью на первые ходы (их обычно и проверяют),
|
|
4
|
+
а длинные диалоги отдавать дешёвой. Поэтому проверочный вопрос задаём не в новом
|
|
5
|
+
диалоге, а в конце уже длинной переписки (6 ходов обычной работы). Сравниваем:
|
|
6
|
+
- скрытые входные токены: сколько добавляется сверх реального текста диалога;
|
|
7
|
+
- поле model в ответе на позднем ходе;
|
|
8
|
+
- совпадает ли «кто ты» на позднем ходе с ответом в начале;
|
|
9
|
+
- отвечает ли модель на поздний вопрос по сути (дешёвая модель чаще теряет нить).
|
|
10
|
+
"""
|
|
11
|
+
from __future__ import annotations
|
|
12
|
+
|
|
13
|
+
import re
|
|
14
|
+
|
|
15
|
+
from ...core import rand
|
|
16
|
+
from ...core.check import Check, register
|
|
17
|
+
from ...core.types import Finding, Status
|
|
18
|
+
from ...makers import maker_of, named_makers
|
|
19
|
+
|
|
20
|
+
WORK = [
|
|
21
|
+
("Как в Python развернуть список?", "Через срез lst[::-1] или метод lst.reverse() — второй меняет список на месте."),
|
|
22
|
+
("А как убрать дубликаты, сохранив порядок?", "list(dict.fromkeys(lst)) — словарь сохраняет порядок вставки."),
|
|
23
|
+
("Чем кортеж отличается от списка?", "Кортеж неизменяемый и может быть ключом словаря, список — изменяемый."),
|
|
24
|
+
("Как прочитать файл построчно?", "with open(path) as f: for line in f: ... — файл закроется сам."),
|
|
25
|
+
("Что делает enumerate?", "Отдаёт пары (индекс, элемент) при обходе последовательности."),
|
|
26
|
+
("Как отсортировать словарь по значению?", "sorted(d.items(), key=lambda kv: kv[1])."),
|
|
27
|
+
("Что такое генератор?", "Функция с yield: отдаёт значения по одному и не хранит всё в памяти."),
|
|
28
|
+
("Зачем нужен __init__.py?", "Помечает папку как пакет и выполняется при его импорте."),
|
|
29
|
+
]
|
|
30
|
+
|
|
31
|
+
|
|
32
|
+
@register
|
|
33
|
+
class LateTurns(Check):
|
|
34
|
+
name = "late_turns"
|
|
35
|
+
title = "Подмена на поздних ходах"
|
|
36
|
+
level = 2
|
|
37
|
+
|
|
38
|
+
def run(self, client, target, maker):
|
|
39
|
+
hist = []
|
|
40
|
+
for q, a in rand.shuffle(WORK)[:6]:
|
|
41
|
+
hist += [{"role": "user", "content": q}, {"role": "assistant", "content": a}]
|
|
42
|
+
code = rand.word()
|
|
43
|
+
first_q = hist[0]["content"]
|
|
44
|
+
late = hist + [{"role": "user", "content": rand.cover(
|
|
45
|
+
f"Две вещи. 1) Повтори код: {code}. 2) Какой самый первый вопрос я задал в этом разговоре? "
|
|
46
|
+
"3) Какая ты модель и кто тебя создал? Кратко.")}]
|
|
47
|
+
r = client.chat(target.model, late, max_tokens=150, temperature=0)
|
|
48
|
+
if not r.ok:
|
|
49
|
+
return [Finding(self.name, Status.SKIP, self.title, f"Нет ответа на длинный диалог: {r.error[:100]}")]
|
|
50
|
+
out = []
|
|
51
|
+
got = r.model or ""
|
|
52
|
+
gm = maker_of(got) if got else "unknown"
|
|
53
|
+
if gm not in ("unknown", maker):
|
|
54
|
+
out.append(Finding(self.name, Status.FAIL, "Модель на позднем ходе",
|
|
55
|
+
f"В начале диалога отвечает {maker}, на 7-м ходе ответ подписан {got}.",
|
|
56
|
+
critical=True, evidence={"model": got}))
|
|
57
|
+
foreign = named_makers(r.text) - {maker}
|
|
58
|
+
if foreign:
|
|
59
|
+
out.append(Finding(self.name, Status.WARN, "Кто ты на позднем ходе",
|
|
60
|
+
f"На 7-м ходе модель называет {', '.join(sorted(foreign))}.", evidence={"text": r.text[:120]}))
|
|
61
|
+
lost = code.split("-")[1] not in r.text
|
|
62
|
+
key = re.findall(r"\w{5,}", first_q.lower())
|
|
63
|
+
forgot = not any(w in r.text.lower() for w in key)
|
|
64
|
+
if lost and forgot:
|
|
65
|
+
out.append(Finding(self.name, Status.WARN, "Память диалога",
|
|
66
|
+
"На 7-м ходе модель не повторила код и не вспомнила первый вопрос — "
|
|
67
|
+
"дешёвые модели и урезанный контекст ведут себя так.", evidence={"text": r.text[:120]}))
|
|
68
|
+
if not out:
|
|
69
|
+
out.append(Finding(self.name, Status.PASS, self.title,
|
|
70
|
+
"На 7-м ходе модель та же, помнит начало разговора и называет себя так же."))
|
|
71
|
+
return out
|
|
@@ -0,0 +1 @@
|
|
|
1
|
+
|