modelcheck-ru 1.0.0__py3-none-any.whl

This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
Files changed (59) hide show
  1. modelcheck/__init__.py +2 -0
  2. modelcheck/__main__.py +3 -0
  3. modelcheck/checks/__init__.py +12 -0
  4. modelcheck/checks/capabilities/__init__.py +1 -0
  5. modelcheck/checks/capabilities/check.py +64 -0
  6. modelcheck/checks/forty_questions/__init__.py +0 -0
  7. modelcheck/checks/forty_questions/check.py +79 -0
  8. modelcheck/checks/hidden_prompt/__init__.py +0 -0
  9. modelcheck/checks/hidden_prompt/check.py +52 -0
  10. modelcheck/checks/identity/__init__.py +1 -0
  11. modelcheck/checks/identity/check.py +118 -0
  12. modelcheck/checks/late_turns/__init__.py +0 -0
  13. modelcheck/checks/late_turns/check.py +71 -0
  14. modelcheck/checks/model_field/__init__.py +1 -0
  15. modelcheck/checks/model_field/check.py +67 -0
  16. modelcheck/checks/random_number/__init__.py +1 -0
  17. modelcheck/checks/random_number/check.py +70 -0
  18. modelcheck/checks/reasoning/__init__.py +0 -0
  19. modelcheck/checks/reasoning/check.py +104 -0
  20. modelcheck/checks/response_shape/__init__.py +1 -0
  21. modelcheck/checks/response_shape/check.py +89 -0
  22. modelcheck/checks/thinking_signature/__init__.py +1 -0
  23. modelcheck/checks/thinking_signature/check.py +66 -0
  24. modelcheck/checks/tokenizer/__init__.py +1 -0
  25. modelcheck/checks/tokenizer/check.py +89 -0
  26. modelcheck/cli.py +207 -0
  27. modelcheck/core/__init__.py +1 -0
  28. modelcheck/core/baselines.py +60 -0
  29. modelcheck/core/check.py +30 -0
  30. modelcheck/core/client.py +170 -0
  31. modelcheck/core/engine.py +97 -0
  32. modelcheck/core/rand.py +52 -0
  33. modelcheck/core/types.py +79 -0
  34. modelcheck/makers/__init__.py +69 -0
  35. modelcheck/makers/alibaba/__init__.py +14 -0
  36. modelcheck/makers/amazon/__init__.py +9 -0
  37. modelcheck/makers/anthropic/__init__.py +15 -0
  38. modelcheck/makers/bytedance/__init__.py +12 -0
  39. modelcheck/makers/cohere/__init__.py +9 -0
  40. modelcheck/makers/deepseek/__init__.py +14 -0
  41. modelcheck/makers/google/__init__.py +14 -0
  42. modelcheck/makers/meta/__init__.py +12 -0
  43. modelcheck/makers/microsoft/__init__.py +11 -0
  44. modelcheck/makers/minimax/__init__.py +12 -0
  45. modelcheck/makers/mistral/__init__.py +12 -0
  46. modelcheck/makers/moonshot/__init__.py +14 -0
  47. modelcheck/makers/nvidia/__init__.py +10 -0
  48. modelcheck/makers/openai/__init__.py +14 -0
  49. modelcheck/makers/sber/__init__.py +10 -0
  50. modelcheck/makers/xai/__init__.py +13 -0
  51. modelcheck/makers/yandex/__init__.py +10 -0
  52. modelcheck/makers/zhipu/__init__.py +14 -0
  53. modelcheck/report/__init__.py +1 -0
  54. modelcheck/report/render.py +98 -0
  55. modelcheck_ru-1.0.0.dist-info/METADATA +87 -0
  56. modelcheck_ru-1.0.0.dist-info/RECORD +59 -0
  57. modelcheck_ru-1.0.0.dist-info/WHEEL +4 -0
  58. modelcheck_ru-1.0.0.dist-info/entry_points.txt +2 -0
  59. modelcheck_ru-1.0.0.dist-info/licenses/LICENSE +9 -0
modelcheck/__init__.py ADDED
@@ -0,0 +1,2 @@
1
+ """modelcheck — проверка, настоящая ли нейросеть за API-ключом."""
2
+ __version__ = "1.0.0"
modelcheck/__main__.py ADDED
@@ -0,0 +1,3 @@
1
+ from .cli import main
2
+
3
+ main()
@@ -0,0 +1,12 @@
1
+ """Все проверки. Каждая — в своей папке: check.py + README.md. Порядок = порядок в отчёте."""
2
+ from .model_field import check as _model_field # noqa: F401
3
+ from .thinking_signature import check as _thinking # noqa: F401
4
+ from .response_shape import check as _shape # noqa: F401
5
+ from .hidden_prompt import check as _hidden # noqa: F401
6
+ from .reasoning import check as _reasoning # noqa: F401
7
+ from .identity import check as _identity # noqa: F401
8
+ from .late_turns import check as _late # noqa: F401
9
+ from .tokenizer import check as _tokenizer # noqa: F401
10
+ from .capabilities import check as _caps # noqa: F401
11
+ from .random_number import check as _numbers # noqa: F401
12
+ from .forty_questions import check as _forty # noqa: F401
@@ -0,0 +1 @@
1
+
@@ -0,0 +1,64 @@
1
+ """Возможности: вызов инструментов и длинный контекст.
2
+
3
+ Перепродавцы часто урезают то, что дорого: вырезают tools, режут контекст
4
+ (заявлен 200k — реально 8k) или отдают меньшую модель, которая не тянет.
5
+ - tools: даём функцию get_weather и ждём корректный вызов с городом;
6
+ - «иголка в стоге сена»: прячем код в начало длинного текста и спрашиваем в конце.
7
+ """
8
+ from __future__ import annotations
9
+
10
+ import random
11
+
12
+ from ...core.check import Check, register
13
+ from ...core.types import Finding, Status, svc
14
+
15
+ TOOL = {"name": "get_weather", "description": "Погода в городе",
16
+ "input_schema": {"type": "object", "properties": {"city": {"type": "string"}}, "required": ["city"]}}
17
+ FILLER = ("Сервер принимает запросы, пишет логи и отвечает клиентам. "
18
+ "Администратор проверяет нагрузку и обновляет пакеты. ")
19
+
20
+
21
+ @register
22
+ class ToolUse(Check):
23
+ name = "capabilities"
24
+ title = "Инструменты (tool use)"
25
+ level = 2
26
+
27
+ def run(self, client, target, maker):
28
+ r = client.chat(target.model, [{"role": "user", "content": "Какая сейчас погода в Барнауле? Используй инструмент."}],
29
+ tools=[TOOL], max_tokens=200)
30
+ if not r.ok:
31
+ return [svc(self.name, Status.WARN, self.title, f"Запрос с tools отклонён: {r.error[:120]}")]
32
+ if not r.tool_calls:
33
+ return [svc(self.name, Status.WARN, self.title, "Модель не вызвала инструмент — tools могли вырезать.")]
34
+ call = r.tool_calls[0]
35
+ args = call.get("input") or call.get("function", {}).get("arguments", "")
36
+ if "арнаул" in str(args) or "arnaul" in str(args).lower():
37
+ return [svc(self.name, Status.PASS, self.title, "Инструмент вызван корректно.")]
38
+ return [svc(self.name, Status.WARN, self.title, f"Вызов есть, но аргументы странные: {str(args)[:80]}")]
39
+
40
+
41
+ @register
42
+ class LongContext(Check):
43
+ name = "long_context"
44
+ title = "Длинный контекст (иголка в стоге)"
45
+ level = 3
46
+
47
+ def __init__(self, tokens: int = 30000):
48
+ self.tokens = tokens
49
+
50
+ def run(self, client, target, maker):
51
+ code = f"ИГЛА-{random.randint(10000, 99999)}"
52
+ reps = self.tokens * 3 // len(FILLER) # ~3 символа на токен для русского
53
+ text = f"Секретный код: {code}.\n\n" + FILLER * reps
54
+ r = client.chat(target.model, [{"role": "user", "content": text + "\n\nКакой секретный код был в самом начале? Только код."}],
55
+ max_tokens=30)
56
+ if not r.ok:
57
+ return [svc(self.name, Status.WARN, self.title,
58
+ f"Текст ~{self.tokens // 1000}k токенов не принят: {r.error[:120]}")]
59
+ used = r.usage.get("input_tokens", r.usage.get("prompt_tokens"))
60
+ if code.split("-")[1] in r.text:
61
+ return [svc(self.name, Status.PASS, self.title, f"Нашла код в начале ~{(used or self.tokens) // 1000}k токенов.")]
62
+ return [svc(self.name, Status.FAIL, self.title,
63
+ f"Не нашла код из начала (~{(used or self.tokens) // 1000}k токенов): контекст обрезают.",
64
+ evidence={"answer": r.text[:60], "input_tokens": used})]
File without changes
@@ -0,0 +1,79 @@
1
+ """Отпечаток «сорок вопросов»: однословные ответы на бытовые вопросы.
2
+
3
+ По работе «Forty Questions» (Parikh, arXiv:2610.28281): каждая модель отвечает на
4
+ «Назови цвет», «Назови поэта», «Назови звук» со своими устойчивыми привычками
5
+ (кто-то говорит «лаванда», кто-то «синий»). 40 ответов определяют точную модель
6
+ в 92,5% случаев. Особенно полезно для открытых моделей (Llama, Qwen, Gemma, Mistral):
7
+ их чаще всего подменяют, квантуют и запускают с неофициальным шаблоном.
8
+
9
+ Без эталонов проверка только сохраняет «профиль ответов». С эталоном
10
+ (modelcheck baseline … --numbers) — сравнивает по правдоподобию.
11
+ """
12
+ from __future__ import annotations
13
+
14
+ import math
15
+ import re
16
+ from collections import Counter
17
+
18
+ from ...core import baselines
19
+ from ...core.check import Check, register
20
+ from ...core.types import Finding, Status
21
+
22
+ QUESTIONS = ["Name a color.", "Name a fruit.", "Name a poet.", "Name a sound.", "Name a city.",
23
+ "Name an animal.", "Name a flower.", "Name a musical instrument.", "Name a planet.", "Name a gemstone."]
24
+ REPEATS = 4
25
+
26
+
27
+ def ask_all(client, model, repeats=REPEATS) -> dict[str, Counter]:
28
+ prof: dict[str, Counter] = {}
29
+ for q in QUESTIONS:
30
+ c = Counter()
31
+ for _ in range(repeats):
32
+ r = client.chat(model, [{"role": "user", "content": q + " Answer with one word only."}],
33
+ max_tokens=6, temperature=1.0)
34
+ if r.ok:
35
+ w = re.sub(r"[^a-z]", "", r.text.strip().split()[0].lower()) if r.text.strip() else ""
36
+ if w:
37
+ c[w] += 1
38
+ prof[q] = c
39
+ return prof
40
+
41
+
42
+ def loglik(prof: dict[str, Counter], ref: dict[str, dict]) -> float:
43
+ """Среднее log-правдоподобие ответов endpoint'а под профилем эталона (сглаживание Лапласа)."""
44
+ total, n = 0.0, 0
45
+ for q, cnt in prof.items():
46
+ refc = Counter(ref.get(q, {}))
47
+ s = sum(refc.values()) + 1 + len(refc)
48
+ for w, k in cnt.items():
49
+ total += k * math.log((refc.get(w, 0) + 1) / s)
50
+ n += k
51
+ return total / max(n, 1)
52
+
53
+
54
+ @register
55
+ class FortyQuestions(Check):
56
+ name = "forty_questions"
57
+ title = "Отпечаток «сорок вопросов»"
58
+ level = 3
59
+
60
+ def run(self, client, target, maker):
61
+ prof = ask_all(client, target.model)
62
+ answered = sum(sum(c.values()) for c in prof.values())
63
+ if answered < len(QUESTIONS) * 2:
64
+ return [Finding(self.name, Status.SKIP, self.title, "Мало ответов.")]
65
+ favs = ", ".join(c.most_common(1)[0][0] for c in prof.values() if c)
66
+ bases = baselines.load("forty")
67
+ ev = {"profile": {q: dict(c) for q, c in prof.items()}}
68
+ if not bases:
69
+ return [Finding(self.name, Status.INFO, self.title, f"Привычные ответы: {favs}. Эталонов нет.", evidence=ev)]
70
+ ranked = sorted(((loglik(prof, v["forty"]), n, v) for n, v in bases.items()), reverse=True)
71
+ best_ll, best_name, best = ranked[0]
72
+ own = max((ll for ll, n, v in ranked if v.get("maker") == maker), default=None)
73
+ ev.update(closest=best_name, loglik=round(best_ll, 3))
74
+ if best.get("maker") == maker:
75
+ return [Finding(self.name, Status.PASS, self.title, f"Ответы ближе всего к эталону {best_name}.", evidence=ev)]
76
+ if own is not None and best_ll - own > 0.7:
77
+ return [Finding(self.name, Status.FAIL, self.title,
78
+ f"Ответы гораздо ближе к {best_name} ({best['maker']}), чем к {maker}.", evidence=ev)]
79
+ return [Finding(self.name, Status.INFO, self.title, f"Ближайший эталон {best_name}; разница с {maker} мала.", evidence=ev)]
File without changes
@@ -0,0 +1,52 @@
1
+ """Скрытый системный промпт и честность параметров.
2
+
3
+ 1. Скрытый промпт: отправляем сообщение из одного символа. Честный API
4
+ насчитает ~5–20 входных токенов. Если сотни/тысячи — посредник вшивает
5
+ свой системный промпт (часто «You are Claude…» поверх другой модели),
6
+ и вы ещё платите за эти токены.
7
+ 2. max_tokens: просим ответ не длиннее 5 токенов. Если вернулось больше —
8
+ параметры не доходят до модели (переписываются посредником).
9
+ """
10
+ from __future__ import annotations
11
+
12
+ from ...core.check import Check, register
13
+ from ...core.types import Finding, Status, svc
14
+ from ...makers import profile
15
+
16
+
17
+ @register
18
+ class HiddenPrompt(Check):
19
+ name = "hidden_prompt"
20
+ title = "Скрытый системный промпт"
21
+ level = 1
22
+
23
+ def run(self, client, target, maker):
24
+ out = []
25
+ normal_max = profile(maker).input_overhead # у Grok официальный API сам добавляет ~1250
26
+ r = client.chat(target.model, [{"role": "user", "content": "x"}], max_tokens=5)
27
+ if not r.ok:
28
+ return [svc(self.name, Status.SKIP, self.title, f"Нет ответа: {r.error}")]
29
+ u = r.usage
30
+ inp = u.get("input_tokens", u.get("prompt_tokens"))
31
+ cache = sum(v for k, v in u.items() if "cache_creation" in k and isinstance(v, int))
32
+ cache += u.get("cache_read_input_tokens", 0) or 0
33
+ total_in = (inp or 0) + (cache if "input_tokens" in u else 0)
34
+ if inp is None:
35
+ out.append(svc(self.name, Status.WARN, self.title, "Сервер не сообщает число входных токенов."))
36
+ elif total_in > normal_max:
37
+ out.append(svc(self.name, Status.FAIL, self.title,
38
+ f"На сообщение из 1 символа насчитано {total_in} входных токенов "
39
+ f"(у официального API {maker} норма до ~{normal_max}). "
40
+ "Посредник подмешивает свой скрытый промпт — и списывает за него с вас.",
41
+ evidence={"usage": u}))
42
+ else:
43
+ out.append(svc(self.name, Status.PASS, self.title, f"Входных токенов {total_in} — лишнего не подмешано."))
44
+
45
+ outp = u.get("output_tokens", u.get("completion_tokens"))
46
+ if outp is not None:
47
+ if outp > 5 + 2:
48
+ out.append(svc(self.name, Status.WARN, "Параметр max_tokens",
49
+ f"Просили не больше 5 токенов, получили {outp}: параметры запроса не доходят до модели."))
50
+ else:
51
+ out.append(svc(self.name, Status.PASS, "Параметр max_tokens", "Ограничение длины соблюдено."))
52
+ return out
@@ -0,0 +1 @@
1
+
@@ -0,0 +1,118 @@
1
+ """Поведенческие ловушки: личность, чужие стоп-токены, утечка китайского, свой системный промпт.
2
+
3
+ Слабые сигналы по отдельности (системный промпт может заставить модель назваться
4
+ кем угодно), но в сумме ловят грубую подмену:
5
+ - у каждой модели с открытыми весами свои служебные токены (DeepSeek
6
+ <|end▁of▁sentence|>, Llama <|eot_id|>, Qwen <|im_end|>…). Модель «узнаёт»
7
+ СВОЙ токен и обрывается на нём, чужой повторяет как обычный текст;
8
+ - китайская модель под чужим именем иногда отвечает иероглифами;
9
+ - перепродавец вшивает свой системный промпт и игнорирует наш.
10
+ """
11
+ from __future__ import annotations
12
+
13
+ import re
14
+
15
+ from ...core import rand
16
+ from ...core.check import Check, register
17
+ from ...core.types import Finding, Status, svc
18
+ from ...makers import PROFILES, named_makers, profile
19
+
20
+ # много формулировок: в каждом прогоне берём 3 случайные (RU + EN обязательно)
21
+ ASKS_RU = ["Какая ты модель и какая компания тебя создала? Ответь кратко.",
22
+ "Назови разработчика своей нейросети одним словом.",
23
+ "Кто тебя обучил? Одной фразой.",
24
+ "На какой модели ты работаешь и чья она?",
25
+ "Как называется компания, которая тебя сделала?"]
26
+ ASKS_EN = ["Who trained you? One short sentence.",
27
+ "Which company built the model I'm talking to? Be brief.",
28
+ "What model are you, and who made it?",
29
+ "Name the lab that created you, one word."]
30
+ FRUITS = ["Перечисли через запятую 5 фруктов на русском. Только список.",
31
+ "Назови 4 города России через запятую. Только список.",
32
+ "Перечисли 5 цветов радуги по-русски, через запятую."]
33
+ REPEAT = ["Повтори дословно в кавычках: \"{a}{tok}{b}\"", "Скопируй строку без изменений: {a}{tok}{b}",
34
+ "Выведи ровно этот текст: «{a}{tok}{b}»"]
35
+
36
+
37
+ @register
38
+ class Identity(Check):
39
+ name = "identity"
40
+ title = "Личность и поведенческие ловушки"
41
+ level = 1
42
+
43
+ def run(self, client, target, maker):
44
+ return [*self._who(client, target, maker), *self._stop_tokens(client, target, maker),
45
+ *self._cjk(client, target, maker), *self._system(client, target)]
46
+
47
+ def _who(self, client, target, maker):
48
+ named, ok, answers = {}, 0, []
49
+ asks = [rand.pick(ASKS_RU), rand.pick(ASKS_EN), rand.pick(ASKS_RU)]
50
+ for q in asks:
51
+ r = client.chat(target.model, [{"role": "user", "content": rand.cover(q)}], max_tokens=60, temperature=0)
52
+ if r.ok:
53
+ ok += 1
54
+ answers.append(r.text[:80])
55
+ for m in named_makers(r.text):
56
+ named[m] = named.get(m, 0) + 1
57
+ foreign = {m: c for m, c in named.items() if m != maker}
58
+ ev = {"named": named, "answers": answers}
59
+ if not ok:
60
+ return [Finding(self.name, Status.SKIP, "Кто ты?", "Ответов нет.")]
61
+ if foreign and not named.get(maker):
62
+ return [Finding(self.name, Status.FAIL, "Кто ты?",
63
+ f"Модель называет себя продуктом {', '.join(foreign)}, а не {maker}.", evidence=ev)]
64
+ if foreign:
65
+ return [Finding(self.name, Status.WARN, "Кто ты?",
66
+ f"Путается: на одни вопросы называет {maker}, на другие — {', '.join(foreign)}. "
67
+ "Так бывает, когда поверх другой модели вшит промпт «ты — заявленная модель».", evidence=ev)]
68
+ if named.get(maker):
69
+ return [Finding(self.name, Status.PASS, "Кто ты?", f"Стабильно называет себя {maker} ({named[maker]}/{ok}).")]
70
+ return [Finding(self.name, Status.INFO, "Кто ты?", "Уходит от ответа — сам по себе не признак.", evidence=ev)]
71
+
72
+ def _stop_tokens(self, client, target, maker):
73
+ """Служебные токены чужих семейств: модель обрывается только на своём."""
74
+ own = set(profile(maker).special_tokens)
75
+ probes: dict[str, str] = {}
76
+ for p in PROFILES.values():
77
+ if p.name != maker and p.special_tokens and p.special_tokens[0] not in own:
78
+ probes.setdefault(p.special_tokens[0], p.name)
79
+ hits, answered = [], 0
80
+ for tok, fam in rand.shuffle(list(probes.items())):
81
+ a, b = rand.word(3).split("-")[0], rand.word(3).split("-")[0]
82
+ q = rand.pick(REPEAT).format(a=a, tok=tok, b=b)
83
+ r = client.chat(target.model, [{"role": "user", "content": q}], max_tokens=40, temperature=0)
84
+ if not r.ok:
85
+ continue
86
+ answered += 1
87
+ if a in r.text and b not in r.text:
88
+ hits.append(fam)
89
+ if hits:
90
+ return [Finding(self.name, Status.FAIL, "Чужие стоп-токены",
91
+ f"Ответ обрывается на служебном токене {', '.join(hits)}: так ведёт себя модель этого семейства.",
92
+ evidence={"families": hits})]
93
+ if answered:
94
+ return [Finding(self.name, Status.PASS, "Чужие стоп-токены",
95
+ f"Служебные токены {answered} чужих семейств восприняты как обычный текст.")]
96
+ return []
97
+
98
+ def _cjk(self, client, target, maker):
99
+ if profile(maker).cjk_native:
100
+ return []
101
+ r = client.chat(target.model, [{"role": "user", "content": rand.pick(FRUITS)}], max_tokens=60, temperature=0)
102
+ if r.ok and re.search(r"[\u4e00-\u9fff]", r.text):
103
+ return [Finding(self.name, Status.FAIL, "Утечка китайского",
104
+ "В русском ответе появились иероглифы — типичный след китайской модели.",
105
+ evidence={"text": r.text[:80]})]
106
+ return []
107
+
108
+ def _system(self, client, target):
109
+ canary = rand.word()
110
+ r = client.chat(target.model, [{"role": "user", "content": rand.cover("Какое кодовое слово?")}],
111
+ system=f"Кодовое слово: {canary}. На вопрос о нём отвечай только им.", max_tokens=30, temperature=0)
112
+ if not r.ok:
113
+ return []
114
+ if canary.split("-")[1] in r.text:
115
+ return [svc(self.name, Status.PASS, "Системный промпт", "Наш системный промпт работает.")]
116
+ return [svc(self.name, Status.WARN, "Системный промпт",
117
+ "Модель проигнорировала наш системный промпт — посредник мог подменить его своим.",
118
+ evidence={"text": r.text[:80]})]
File without changes
@@ -0,0 +1,71 @@
1
+ """Подмена после первых ходов (по работе «Contagious Fingerprints», arXiv:2611.18104).
2
+
3
+ Посредник может отвечать настоящей моделью на первые ходы (их обычно и проверяют),
4
+ а длинные диалоги отдавать дешёвой. Поэтому проверочный вопрос задаём не в новом
5
+ диалоге, а в конце уже длинной переписки (6 ходов обычной работы). Сравниваем:
6
+ - скрытые входные токены: сколько добавляется сверх реального текста диалога;
7
+ - поле model в ответе на позднем ходе;
8
+ - совпадает ли «кто ты» на позднем ходе с ответом в начале;
9
+ - отвечает ли модель на поздний вопрос по сути (дешёвая модель чаще теряет нить).
10
+ """
11
+ from __future__ import annotations
12
+
13
+ import re
14
+
15
+ from ...core import rand
16
+ from ...core.check import Check, register
17
+ from ...core.types import Finding, Status
18
+ from ...makers import maker_of, named_makers
19
+
20
+ WORK = [
21
+ ("Как в Python развернуть список?", "Через срез lst[::-1] или метод lst.reverse() — второй меняет список на месте."),
22
+ ("А как убрать дубликаты, сохранив порядок?", "list(dict.fromkeys(lst)) — словарь сохраняет порядок вставки."),
23
+ ("Чем кортеж отличается от списка?", "Кортеж неизменяемый и может быть ключом словаря, список — изменяемый."),
24
+ ("Как прочитать файл построчно?", "with open(path) as f: for line in f: ... — файл закроется сам."),
25
+ ("Что делает enumerate?", "Отдаёт пары (индекс, элемент) при обходе последовательности."),
26
+ ("Как отсортировать словарь по значению?", "sorted(d.items(), key=lambda kv: kv[1])."),
27
+ ("Что такое генератор?", "Функция с yield: отдаёт значения по одному и не хранит всё в памяти."),
28
+ ("Зачем нужен __init__.py?", "Помечает папку как пакет и выполняется при его импорте."),
29
+ ]
30
+
31
+
32
+ @register
33
+ class LateTurns(Check):
34
+ name = "late_turns"
35
+ title = "Подмена на поздних ходах"
36
+ level = 2
37
+
38
+ def run(self, client, target, maker):
39
+ hist = []
40
+ for q, a in rand.shuffle(WORK)[:6]:
41
+ hist += [{"role": "user", "content": q}, {"role": "assistant", "content": a}]
42
+ code = rand.word()
43
+ first_q = hist[0]["content"]
44
+ late = hist + [{"role": "user", "content": rand.cover(
45
+ f"Две вещи. 1) Повтори код: {code}. 2) Какой самый первый вопрос я задал в этом разговоре? "
46
+ "3) Какая ты модель и кто тебя создал? Кратко.")}]
47
+ r = client.chat(target.model, late, max_tokens=150, temperature=0)
48
+ if not r.ok:
49
+ return [Finding(self.name, Status.SKIP, self.title, f"Нет ответа на длинный диалог: {r.error[:100]}")]
50
+ out = []
51
+ got = r.model or ""
52
+ gm = maker_of(got) if got else "unknown"
53
+ if gm not in ("unknown", maker):
54
+ out.append(Finding(self.name, Status.FAIL, "Модель на позднем ходе",
55
+ f"В начале диалога отвечает {maker}, на 7-м ходе ответ подписан {got}.",
56
+ critical=True, evidence={"model": got}))
57
+ foreign = named_makers(r.text) - {maker}
58
+ if foreign:
59
+ out.append(Finding(self.name, Status.WARN, "Кто ты на позднем ходе",
60
+ f"На 7-м ходе модель называет {', '.join(sorted(foreign))}.", evidence={"text": r.text[:120]}))
61
+ lost = code.split("-")[1] not in r.text
62
+ key = re.findall(r"\w{5,}", first_q.lower())
63
+ forgot = not any(w in r.text.lower() for w in key)
64
+ if lost and forgot:
65
+ out.append(Finding(self.name, Status.WARN, "Память диалога",
66
+ "На 7-м ходе модель не повторила код и не вспомнила первый вопрос — "
67
+ "дешёвые модели и урезанный контекст ведут себя так.", evidence={"text": r.text[:120]}))
68
+ if not out:
69
+ out.append(Finding(self.name, Status.PASS, self.title,
70
+ "На 7-м ходе модель та же, помнит начало разговора и называет себя так же."))
71
+ return out
@@ -0,0 +1 @@
1
+
@@ -0,0 +1,67 @@
1
+ """Совпадает ли модель в ответе с запрошенной.
2
+
3
+ Схемы: просили Opus — в поле model пришёл Haiku (подмена уровня);
4
+ просили Claude — пришёл qwen/gpt (подмена бренда). Плюс просим
5
+ несуществующую модель: честный API отказывает, а перепродавец
6
+ часто молча отвечает «чем-нибудь».
7
+ """
8
+ from __future__ import annotations
9
+
10
+ import re
11
+
12
+ from ...core.check import Check, register
13
+ from ...makers import maker_of, profile, tier_of
14
+ from ...core.types import Finding, Status
15
+
16
+
17
+ def _norm(s: str) -> str:
18
+ s = s.lower().split("/")[-1]
19
+ return re.sub(r"[^a-z0-9]", "", s)
20
+
21
+
22
+ @register
23
+ class ModelField(Check):
24
+ name = "model_field"
25
+ title = "Поле model и фантомная модель"
26
+ level = 1
27
+
28
+ def run(self, client, target, maker):
29
+ out = []
30
+ r = client.chat(target.model, [{"role": "user", "content": "Скажи «ок»."}], max_tokens=20)
31
+ if not r.ok:
32
+ # недоступный сервис — не улика подмены: отчёт получит вердикт «нет данных»
33
+ return [Finding(self.name, Status.SKIP, self.title,
34
+ f"Сервис не ответил ({r.status or 'сеть'}: {r.error[:100]}). Проверить модель нельзя.",
35
+ evidence={"unavailable": True})]
36
+
37
+ got = r.model or ""
38
+ if not got:
39
+ out.append(Finding(self.name, Status.WARN, self.title, "В ответе нет поля model."))
40
+ else:
41
+ gm = maker_of(got)
42
+ if gm not in ("unknown", maker):
43
+ out.append(Finding(self.name, Status.FAIL, self.title,
44
+ f"Запрошен {target.model}, а ответ подписан моделью {got} ({gm}).",
45
+ critical=True, evidence={"model": got}))
46
+ else:
47
+ want_t, got_t = tier_of(target.model, maker), tier_of(got, maker)
48
+ tiers = profile(maker).tiers
49
+ if want_t and got_t and want_t != got_t and tiers.index(got_t) > tiers.index(want_t):
50
+ out.append(Finding(self.name, Status.FAIL, self.title,
51
+ f"Подмена уровня: запрошен {want_t}, отвечает {got_t} ({got}).",
52
+ critical=True, evidence={"model": got}))
53
+ elif _norm(target.model) in _norm(got) or _norm(got) in _norm(target.model):
54
+ out.append(Finding(self.name, Status.PASS, self.title, f"Ответ подписан той же моделью: {got}."))
55
+ else:
56
+ out.append(Finding(self.name, Status.WARN, self.title,
57
+ f"Имя в ответе отличается: {got} (запрошен {target.model})."))
58
+
59
+ fake = target.model.split("/")[0] + "/" if "/" in target.model else ""
60
+ p = client.chat(fake + "nonexistent-model-zz9", [{"role": "user", "content": "hi"}], max_tokens=5)
61
+ if p.ok:
62
+ out.append(Finding(self.name, Status.FAIL, "Фантомная модель",
63
+ f"Запрос к несуществующей модели получил ответ (model={p.model or '—'}). "
64
+ "Посредник подсовывает что попало.", evidence={"model": p.model}))
65
+ else:
66
+ out.append(Finding(self.name, Status.PASS, "Фантомная модель", "Несуществующая модель честно отклонена."))
67
+ return out
@@ -0,0 +1,70 @@
1
+ """Отпечаток по «случайному числу» (по работе «One Token Is Enough», arXiv:2607.10252).
2
+
3
+ Просим модель назвать случайное число 1–100 много раз. У каждой модели своё
4
+ очень неравномерное распределение (кто-то любит 42, кто-то 37, 73).
5
+ Распределение одной и той же модели стабильно, у разных — заметно отличается.
6
+ Сравниваем с эталоном по дивергенции Йенсена–Шеннона (JSD).
7
+ """
8
+ from __future__ import annotations
9
+
10
+ import math
11
+ import re
12
+ from collections import Counter
13
+
14
+ from ...core import baselines
15
+ from ...core.check import Check, register
16
+ from ...core.types import Finding, Status
17
+
18
+ PROMPTS = ["Назови случайное число от 1 до 100. Только число.",
19
+ "Name a random number between 1 and 100. Number only."]
20
+ N_PER_PROMPT = 15
21
+
22
+
23
+ def sample(client, model, n=N_PER_PROMPT) -> Counter:
24
+ c = Counter()
25
+ for p in PROMPTS:
26
+ for _ in range(n):
27
+ r = client.chat(model, [{"role": "user", "content": p}], max_tokens=8, temperature=1.0)
28
+ m = re.search(r"\d{1,3}", r.text) if r.ok else None
29
+ if m:
30
+ c[f"{p[:2]}:{int(m.group())}"] += 1
31
+ return c
32
+
33
+
34
+ def jsd(a: Counter, b: Counter) -> float:
35
+ keys = set(a) | set(b)
36
+ sa, sb = sum(a.values()) or 1, sum(b.values()) or 1
37
+ eps = 1e-9
38
+
39
+ def kl(p, q):
40
+ return sum(p[k] * math.log2((p[k] + eps) / (q[k] + eps)) for k in keys if p[k] > 0)
41
+ pa = {k: a.get(k, 0) / sa for k in keys}
42
+ pb = {k: b.get(k, 0) / sb for k in keys}
43
+ m = {k: (pa[k] + pb[k]) / 2 for k in keys}
44
+ return (kl(pa, m) + kl(pb, m)) / 2
45
+
46
+
47
+ @register
48
+ class RandomNumber(Check):
49
+ name = "random_number"
50
+ title = "Отпечаток «случайного числа»"
51
+ level = 3 # ~30 запросов, только в полном режиме
52
+
53
+ def run(self, client, target, maker):
54
+ got = sample(client, target.model)
55
+ if sum(got.values()) < 10:
56
+ return [Finding(self.name, Status.SKIP, self.title, "Мало ответов для статистики.")]
57
+ top = ", ".join(f"{k.split(':')[1]}×{v}" for k, v in got.most_common(4))
58
+ bases = baselines.load("numbers")
59
+ if not bases:
60
+ return [Finding(self.name, Status.INFO, self.title, f"Любимые числа: {top}. Эталонов нет.",
61
+ evidence={"numbers": dict(got)})]
62
+ ranked = sorted((jsd(got, Counter(v["numbers"])), n, v) for n, v in bases.items())
63
+ d, name, best = ranked[0]
64
+ ev = {"closest": name, "jsd": round(d, 3), "top": top}
65
+ if best.get("maker") == maker and d < 0.35:
66
+ return [Finding(self.name, Status.PASS, self.title, f"Распределение похоже на эталон {name} (JSD {d:.2f}).", evidence=ev)]
67
+ if best.get("maker") != maker and d < 0.25:
68
+ return [Finding(self.name, Status.FAIL, self.title,
69
+ f"Числа выбирает как {name} ({best['maker']}), JSD {d:.2f}.", evidence=ev)]
70
+ return [Finding(self.name, Status.INFO, self.title, f"Ближайший эталон {name} (JSD {d:.2f}). Любимые: {top}.", evidence=ev)]
File without changes