rb-llmkit 0.14.2__py3-none-any.whl
This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
- llmkit/_pyproject.toml +145 -0
- rb_llmkit/__init__.py +72 -0
- rb_llmkit/_distribution.py +21 -0
- rb_llmkit/_sync.py +24 -0
- rb_llmkit/callutil.py +30 -0
- rb_llmkit/cli/__init__.py +5 -0
- rb_llmkit/cli/app.py +41 -0
- rb_llmkit/cli/ask.py +190 -0
- rb_llmkit/cli/audio.py +82 -0
- rb_llmkit/cli/auth.py +93 -0
- rb_llmkit/cli/chat.py +154 -0
- rb_llmkit/cli/config.py +33 -0
- rb_llmkit/cli/cost.py +77 -0
- rb_llmkit/cli/describe.py +29 -0
- rb_llmkit/cli/doctor.py +32 -0
- rb_llmkit/cli/embeddings.py +29 -0
- rb_llmkit/cli/image.py +36 -0
- rb_llmkit/cli/main.py +60 -0
- rb_llmkit/cli/model.py +70 -0
- rb_llmkit/cli/models.py +68 -0
- rb_llmkit/cli/output.py +241 -0
- rb_llmkit/cli/render.py +115 -0
- rb_llmkit/cli/routing.py +74 -0
- rb_llmkit/cli/runtime.py +94 -0
- rb_llmkit/cli/surface.py +72 -0
- rb_llmkit/cli/video.py +97 -0
- rb_llmkit/cli/web.py +49 -0
- rb_llmkit/config.py +87 -0
- rb_llmkit/contracts/routing-v1.schema.json +80 -0
- rb_llmkit/contracts/routing-v1.vectors.json +116 -0
- rb_llmkit/core.py +376 -0
- rb_llmkit/data_files.py +30 -0
- rb_llmkit/doctor.py +65 -0
- rb_llmkit/errors.py +98 -0
- rb_llmkit/gateway/__init__.py +8 -0
- rb_llmkit/gateway/client.py +247 -0
- rb_llmkit/gateway/parse.py +259 -0
- rb_llmkit/gateway/sse.py +31 -0
- rb_llmkit/health.py +171 -0
- rb_llmkit/keys.py +38 -0
- rb_llmkit/legacy.py +94 -0
- rb_llmkit/models.py +108 -0
- rb_llmkit/opencli.py +243 -0
- rb_llmkit/py.typed +0 -0
- rb_llmkit/routing.py +127 -0
- rb_llmkit/template.py +41 -0
- rb_llmkit/usage.py +124 -0
- rb_llmkit/version.py +18 -0
- rb_llmkit-0.14.2.dist-info/METADATA +185 -0
- rb_llmkit-0.14.2.dist-info/RECORD +53 -0
- rb_llmkit-0.14.2.dist-info/WHEEL +4 -0
- rb_llmkit-0.14.2.dist-info/entry_points.txt +2 -0
- rb_llmkit-0.14.2.dist-info/licenses/LICENSE +21 -0
llmkit/_pyproject.toml
ADDED
|
@@ -0,0 +1,145 @@
|
|
|
1
|
+
[project]
|
|
2
|
+
name = "rb-llmkit"
|
|
3
|
+
# Версия — из git-тега vX.Y.Z (uv-dynamic-versioning); строку `version =` не добавлять.
|
|
4
|
+
dynamic = ["version"]
|
|
5
|
+
description = "Shared LLM layer: model calls through a gateway with typed answers and spend accounting."
|
|
6
|
+
readme = "README.md"
|
|
7
|
+
license = "MIT"
|
|
8
|
+
license-files = ["LICENSE"]
|
|
9
|
+
authors = [
|
|
10
|
+
{ name = "Roman Bolandau" }
|
|
11
|
+
]
|
|
12
|
+
requires-python = ">=3.11"
|
|
13
|
+
dependencies = [
|
|
14
|
+
"pydantic>=2",
|
|
15
|
+
"platformdirs>=4",
|
|
16
|
+
"typer>=0.27,<0.29",
|
|
17
|
+
"rich>=13",
|
|
18
|
+
"httpx>=0.27",
|
|
19
|
+
# Рендер шаблонов промптов (template.py): точный пин — используются внутренности движка (Ctx, _render).
|
|
20
|
+
"combustache==3.0.1",
|
|
21
|
+
]
|
|
22
|
+
|
|
23
|
+
[project.scripts]
|
|
24
|
+
llm = "rb_llmkit.cli.main:main"
|
|
25
|
+
|
|
26
|
+
[project.urls]
|
|
27
|
+
Repository = "https://homeserver.tailee01ab.ts.net:3000/bolandeu/llmkit"
|
|
28
|
+
|
|
29
|
+
[build-system]
|
|
30
|
+
requires = ["hatchling", "uv-dynamic-versioning"]
|
|
31
|
+
build-backend = "hatchling.build"
|
|
32
|
+
|
|
33
|
+
[tool.hatch.version]
|
|
34
|
+
source = "uv-dynamic-versioning"
|
|
35
|
+
|
|
36
|
+
[tool.uv-dynamic-versioning]
|
|
37
|
+
vcs = "git"
|
|
38
|
+
style = "pep440"
|
|
39
|
+
fallback-version = "0.0.0"
|
|
40
|
+
|
|
41
|
+
[tool.uv]
|
|
42
|
+
# Пересобирать editable-установку, когда сдвигается коммит или тег: `--version` следует за тегом.
|
|
43
|
+
cache-keys = [{ file = "pyproject.toml" }, { git = { commit = true, tags = true } }]
|
|
44
|
+
|
|
45
|
+
[tool.cli-generator]
|
|
46
|
+
# Где scripts/check_command_docstrings.py (checks Antagor) ищет
|
|
47
|
+
# команды: у llmkit они в src/*/cli/*.py (не commands/), регистрация — `@app.command`.
|
|
48
|
+
commands = "src/*/cli/*.py"
|
|
49
|
+
|
|
50
|
+
# Установка (Standard, Install): инструмент для людей на Mac, ставится и на homeserver.
|
|
51
|
+
[tool.rb.install]
|
|
52
|
+
homeserver = ["rbtools"]
|
|
53
|
+
mac = true
|
|
54
|
+
|
|
55
|
+
[tool.hatch.build.targets.sdist]
|
|
56
|
+
# What a release must not carry: the agent's own files, the forge configs and the dev tooling. The wheel is
|
|
57
|
+
# narrow already (`packages = ["src/<pkg>"]`); this is about the sdist, which is otherwise a copy of the repo.
|
|
58
|
+
exclude = [
|
|
59
|
+
"/.agents",
|
|
60
|
+
"/.claude",
|
|
61
|
+
"/.claude-plugin",
|
|
62
|
+
"/.gitea",
|
|
63
|
+
"/.github",
|
|
64
|
+
"/docs",
|
|
65
|
+
"/scripts",
|
|
66
|
+
"/uv.lock",
|
|
67
|
+
"/AGENTS.md",
|
|
68
|
+
"/CLAUDE.md",
|
|
69
|
+
"/CODING_STANDARDS.md",
|
|
70
|
+
"/CONTEXT.md",
|
|
71
|
+
"/.copier-answers.yml",
|
|
72
|
+
"^\\.gitignore$",
|
|
73
|
+
"/.gitleaks.toml",
|
|
74
|
+
]
|
|
75
|
+
|
|
76
|
+
[tool.hatch.build.targets.wheel]
|
|
77
|
+
packages = ["src/rb_llmkit"]
|
|
78
|
+
|
|
79
|
+
[tool.hatch.build.targets.wheel.force-include]
|
|
80
|
+
# Установленный CLI читает отсюда [[tool.rb.external]] для `llm describe --json` (opencli.py).
|
|
81
|
+
"pyproject.toml" = "llmkit/_pyproject.toml"
|
|
82
|
+
|
|
83
|
+
[dependency-groups]
|
|
84
|
+
# Мутационное тестирование — периодически и перед крупными релизами, не в гейте:
|
|
85
|
+
# `uv run --group mutation mutmut run`, затем `mutmut results` / `mutmut browse`.
|
|
86
|
+
# Нужен fork(): macOS/Linux. Настройки — [tool.mutmut] ниже.
|
|
87
|
+
mutation = ["mutmut>=3.3"]
|
|
88
|
+
dev = [
|
|
89
|
+
"jsonschema>=4.23",
|
|
90
|
+
"packaging>=24.0",
|
|
91
|
+
"pytest>=8.0",
|
|
92
|
+
"pytest-asyncio>=0.23",
|
|
93
|
+
"pytest-cov>=5.0",
|
|
94
|
+
"pyyaml>=6.0",
|
|
95
|
+
"ruff>=0.6",
|
|
96
|
+
"syrupy>=4.8",
|
|
97
|
+
"ty>=0.0.80",
|
|
98
|
+
]
|
|
99
|
+
|
|
100
|
+
[tool.pytest.ini_options]
|
|
101
|
+
# Только tests/: mutmut оставляет копию дерева в mutants/.
|
|
102
|
+
testpaths = ["tests"]
|
|
103
|
+
asyncio_mode = "auto"
|
|
104
|
+
addopts = "--cov --cov-report=term-missing:skip-covered"
|
|
105
|
+
|
|
106
|
+
[tool.mutmut]
|
|
107
|
+
source_paths = ["src/rb_llmkit"]
|
|
108
|
+
also_copy = ["scripts/", "pyproject.toml"] # их читают тесты (проверки дистрибутива)
|
|
109
|
+
pytest_add_cli_args = ["--no-cov"] # fail_under убил бы каждого мутанта
|
|
110
|
+
# only_mutate = ["*/db/normalize.py"] # по модулю за раз
|
|
111
|
+
|
|
112
|
+
[tool.coverage.run]
|
|
113
|
+
source = ["src"]
|
|
114
|
+
# Ядро по умолчанию в Python 3.14 растёт по памяти на каждый вызов CLI в тестах.
|
|
115
|
+
core = "ctrace"
|
|
116
|
+
|
|
117
|
+
[tool.coverage.report]
|
|
118
|
+
# Порог — по факту на момент перехода на стандарт; поднимать, не опускать.
|
|
119
|
+
fail_under = 85
|
|
120
|
+
show_missing = true
|
|
121
|
+
|
|
122
|
+
[tool.ty.terminal]
|
|
123
|
+
# Гейт валят только ошибки; ty >= 0.0.84 иначе выходит с 1 и на предупреждениях.
|
|
124
|
+
error-on-warning = false
|
|
125
|
+
|
|
126
|
+
[tool.ruff]
|
|
127
|
+
line-length = 120
|
|
128
|
+
|
|
129
|
+
[tool.ruff.lint]
|
|
130
|
+
select = ["E4", "E7", "E9", "F", "I", "UP", "B", "SIM", "RUF", "S"]
|
|
131
|
+
# Интерфейс и комментарии на русском: кириллица и типографские тире — норма.
|
|
132
|
+
ignore = ["RUF001", "RUF002", "RUF003"]
|
|
133
|
+
|
|
134
|
+
[tool.ruff.lint.isort]
|
|
135
|
+
# `rb_llmkit.*` — свой пакет, даже когда модуль удалён (иначе isort считает его чужим).
|
|
136
|
+
known-first-party = ["llmkit"]
|
|
137
|
+
|
|
138
|
+
[tool.ruff.lint.per-file-ignores]
|
|
139
|
+
"tests/*" = ["S101", "S105", "S106", "S107"]
|
|
140
|
+
# S603/S607: скрипты вызывают git/uv фиксированными списками аргументов, без shell.
|
|
141
|
+
"scripts/*" = ["S101", "S105", "S106", "S603", "S607", "T201"]
|
|
142
|
+
|
|
143
|
+
[tool.ruff.lint.flake8-bugbear]
|
|
144
|
+
# Стиль Typer `param: T = typer.Option(...)` — вызов в значении по умолчанию намеренно.
|
|
145
|
+
extend-immutable-calls = ["typer.Option", "typer.Argument"]
|
rb_llmkit/__init__.py
ADDED
|
@@ -0,0 +1,72 @@
|
|
|
1
|
+
"""llmkit — общий LLM-слой: вызовы моделей через шлюз 9router, типизированный ответ, учёт расходов.
|
|
2
|
+
|
|
3
|
+
Быстрый импорт: `pydantic` и httpx приходят с первым обращением к `LlmKit`, `Answer`,
|
|
4
|
+
`Routing` и прочим моделям, а не с `import llmkit` (AGENTS.md: меньше 300 мс даже без
|
|
5
|
+
.pyc-кэша). Имена в `__all__` доступны как раньше — через `__getattr__` (PEP 562).
|
|
6
|
+
"""
|
|
7
|
+
|
|
8
|
+
from __future__ import annotations
|
|
9
|
+
|
|
10
|
+
import importlib
|
|
11
|
+
from typing import Any
|
|
12
|
+
|
|
13
|
+
from .errors import (
|
|
14
|
+
AllModelsFailed,
|
|
15
|
+
ConfigError,
|
|
16
|
+
GatewayUnavailable,
|
|
17
|
+
KeyMissing,
|
|
18
|
+
LlmKitError,
|
|
19
|
+
RoutingInvalid,
|
|
20
|
+
RoutingMissing,
|
|
21
|
+
TemplateError,
|
|
22
|
+
TemplateVariableMissing,
|
|
23
|
+
)
|
|
24
|
+
|
|
25
|
+
# имя в пакете → (модуль, имя в модуле): грузится при первом обращении
|
|
26
|
+
_LAZY: dict[str, tuple[str, str]] = {
|
|
27
|
+
"Answer": ("core", "Answer"),
|
|
28
|
+
"Attempt": ("core", "Attempt"),
|
|
29
|
+
"LlmKit": ("core", "LlmKit"),
|
|
30
|
+
"Stats": ("core", "Stats"),
|
|
31
|
+
"Task": ("core", "Task"),
|
|
32
|
+
"Config": ("config", "Config"),
|
|
33
|
+
"Routing": ("routing", "Routing"),
|
|
34
|
+
"parse_routing": ("routing", "parse"),
|
|
35
|
+
"render": ("template", "render"),
|
|
36
|
+
}
|
|
37
|
+
|
|
38
|
+
__all__ = [
|
|
39
|
+
"AllModelsFailed",
|
|
40
|
+
"Answer",
|
|
41
|
+
"Attempt",
|
|
42
|
+
"Config",
|
|
43
|
+
"ConfigError",
|
|
44
|
+
"GatewayUnavailable",
|
|
45
|
+
"KeyMissing",
|
|
46
|
+
"LlmKit",
|
|
47
|
+
"LlmKitError",
|
|
48
|
+
"Routing",
|
|
49
|
+
"RoutingInvalid",
|
|
50
|
+
"RoutingMissing",
|
|
51
|
+
"Stats",
|
|
52
|
+
"Task",
|
|
53
|
+
"TemplateError",
|
|
54
|
+
"TemplateVariableMissing",
|
|
55
|
+
"parse_routing",
|
|
56
|
+
"render",
|
|
57
|
+
]
|
|
58
|
+
|
|
59
|
+
|
|
60
|
+
def __getattr__(name: str) -> Any:
|
|
61
|
+
"""Ленивая выдача имён из `_LAZY`: модуль грузится при первом обращении."""
|
|
62
|
+
target = _LAZY.get(name)
|
|
63
|
+
if target is None:
|
|
64
|
+
raise AttributeError(f"module {__name__!r} has no attribute {name!r}")
|
|
65
|
+
module, attribute = target
|
|
66
|
+
value = getattr(importlib.import_module(f".{module}", __name__), attribute)
|
|
67
|
+
globals()[name] = value
|
|
68
|
+
return value
|
|
69
|
+
|
|
70
|
+
|
|
71
|
+
def __dir__() -> list[str]:
|
|
72
|
+
return sorted(__all__)
|
|
@@ -0,0 +1,21 @@
|
|
|
1
|
+
"""Имена дистрибутива, инструмента и версия шаблона — для `llm describe --json` и тестов.
|
|
2
|
+
|
|
3
|
+
Версия пакета берётся из тега через importlib.metadata; имя дистрибутива записано
|
|
4
|
+
здесь, потому что editable-установка не отображает пакет на дистрибутив.
|
|
5
|
+
"""
|
|
6
|
+
|
|
7
|
+
# Имя дистрибутива: [project] name в pyproject.toml (стандарт §10: `rb-<slug>`),
|
|
8
|
+
# отличается от имени импорт-пакета. По нему importlib.metadata находит версию;
|
|
9
|
+
# editable-установку (`uv sync`) по пакету в дистрибутив не отобразить, поэтому
|
|
10
|
+
# имя записано здесь. tests/test_cli.py падает, если оно разойдётся с pyproject.toml.
|
|
11
|
+
DIST_NAME = "rb-llmkit"
|
|
12
|
+
# Прежнее имя дистрибутива на время переименования (стандарт §10): установка под
|
|
13
|
+
# ним (ещё не переустановленная) по-прежнему находит свою версию. Убрать, когда
|
|
14
|
+
# на всех машинах стоит новое имя.
|
|
15
|
+
DIST_NAME_LEGACY: str | None = "llmkit"
|
|
16
|
+
# Имя инструмента (cli-generator architecture.md §12) — каталоги пользователя `llmkit`
|
|
17
|
+
# и префикс переменных `LLMKIT_`. Записано, а не выводится из имени CLI (`llm`).
|
|
18
|
+
TOOL = "llmkit"
|
|
19
|
+
# Релиз cli-generator, с которым сверен перенесённый вручную код (describe;
|
|
20
|
+
# AGENTS.md) — для `llm describe --json`. copier у llmkit нет.
|
|
21
|
+
TEMPLATE_VERSION: str | None = "v1.5.6"
|
rb_llmkit/_sync.py
ADDED
|
@@ -0,0 +1,24 @@
|
|
|
1
|
+
"""Запуск корутины из синхронного кода.
|
|
2
|
+
|
|
3
|
+
Если в этом потоке уже крутится event loop (Jupyter, обработчик внутри
|
|
4
|
+
асинхронного кода), `asyncio.run` бросает RuntimeError — тогда корутина
|
|
5
|
+
выполняется в отдельном потоке со своим loop.
|
|
6
|
+
"""
|
|
7
|
+
|
|
8
|
+
from __future__ import annotations
|
|
9
|
+
|
|
10
|
+
import asyncio
|
|
11
|
+
from collections.abc import Coroutine
|
|
12
|
+
from concurrent.futures import ThreadPoolExecutor
|
|
13
|
+
from typing import Any, TypeVar, cast
|
|
14
|
+
|
|
15
|
+
T = TypeVar("T")
|
|
16
|
+
|
|
17
|
+
|
|
18
|
+
def run(coro: Coroutine[Any, Any, T]) -> T:
|
|
19
|
+
try:
|
|
20
|
+
asyncio.get_running_loop()
|
|
21
|
+
except RuntimeError:
|
|
22
|
+
return asyncio.run(coro)
|
|
23
|
+
with ThreadPoolExecutor(max_workers=1) as pool:
|
|
24
|
+
return cast(T, pool.submit(asyncio.run, coro).result())
|
rb_llmkit/callutil.py
ADDED
|
@@ -0,0 +1,30 @@
|
|
|
1
|
+
"""Мелкие помощники вызова шлюза: сообщения задачи и JSON."""
|
|
2
|
+
|
|
3
|
+
from __future__ import annotations
|
|
4
|
+
|
|
5
|
+
import json
|
|
6
|
+
from typing import TYPE_CHECKING, Any
|
|
7
|
+
|
|
8
|
+
from .errors import LlmKitError
|
|
9
|
+
|
|
10
|
+
if TYPE_CHECKING: # pragma: no cover
|
|
11
|
+
from .models import Task
|
|
12
|
+
|
|
13
|
+
|
|
14
|
+
def parse_json(text: str) -> Any:
|
|
15
|
+
try:
|
|
16
|
+
return json.loads(text)
|
|
17
|
+
except ValueError as exc:
|
|
18
|
+
raise ValueError(f"ответ не разобрался как JSON: {exc}") from exc
|
|
19
|
+
|
|
20
|
+
|
|
21
|
+
def messages_of(task: Task) -> list[dict]:
|
|
22
|
+
if task.messages:
|
|
23
|
+
return [dict(message) for message in task.messages]
|
|
24
|
+
if not task.user:
|
|
25
|
+
raise LlmKitError("задаче нужен user или messages")
|
|
26
|
+
messages = []
|
|
27
|
+
if task.system:
|
|
28
|
+
messages.append({"role": "system", "content": task.system})
|
|
29
|
+
messages.append({"role": "user", "content": task.user})
|
|
30
|
+
return messages
|
rb_llmkit/cli/app.py
ADDED
|
@@ -0,0 +1,41 @@
|
|
|
1
|
+
"""Корневое Typer-приложение `llm`: команды верхнего уровня регистрируются на нём `@app.command`."""
|
|
2
|
+
|
|
3
|
+
import typer
|
|
4
|
+
|
|
5
|
+
from .output import RootGroup
|
|
6
|
+
|
|
7
|
+
DESCRIPTION = "llmkit: вызовы LLM только через шлюз 9router"
|
|
8
|
+
|
|
9
|
+
app = typer.Typer(
|
|
10
|
+
cls=RootGroup,
|
|
11
|
+
name="llm",
|
|
12
|
+
help=(
|
|
13
|
+
f"{DESCRIPTION}.\n\n"
|
|
14
|
+
"У всех команд есть `--json` (конверт в stdout), диагностика идёт в stderr.\n"
|
|
15
|
+
"Коды выхода: 0 — успех, 1 — непредвиденная ошибка, 2 — неверные аргументы,\n"
|
|
16
|
+
"3 — нет переменной с ключом шлюза, 5 — шлюз недоступен, ответил ошибкой или\n"
|
|
17
|
+
"его журнал расходов не читается.\n\n"
|
|
18
|
+
"Провайдеры и цепочка — routing v1 (данные, встроенных нет):\n\n"
|
|
19
|
+
" --routing JSON|ФАЙЛ routing аргументом или файлом; иначе LLMKIT_ROUTING_FILE,\n"
|
|
20
|
+
" иначе routing.json в каталоге конфигурации\n\n"
|
|
21
|
+
" -m ПРОВАЙДЕР/МОДЕЛЬ цепочка из CLI, можно несколько: -m a/x -m b/y\n\n"
|
|
22
|
+
" -s, --system ТЕКСТ системное сообщение\n\n"
|
|
23
|
+
" --schema ФАЙЛ JSON Schema ответа (только llm json)\n\n"
|
|
24
|
+
" --template ФАЙЛ --vars JSON шаблон промпта mustache вместо текста\n\n"
|
|
25
|
+
" --temperature, --max-tokens, --timeout перекрыть значения по умолчанию\n\n"
|
|
26
|
+
" --tag k=v метка k=v в строке лога вызова, можно несколько\n\n"
|
|
27
|
+
" --no-retry без повтора невалидного ответа\n\n"
|
|
28
|
+
"Ключ шлюза — переменная из routing (`key_env`), только из окружения.\n"
|
|
29
|
+
"Старый config.toml не читается: `llm routing import config.toml`.\n\n"
|
|
30
|
+
"Провайдеры routing и источник ключа: `llm models`. Все параметры\n"
|
|
31
|
+
"команды: `llm <команда> --help`, например `llm ask --help`.\n\n"
|
|
32
|
+
"Примеры:\n\n"
|
|
33
|
+
' llm ask "Столица Франции?" --routing routing.json\n\n'
|
|
34
|
+
' llm ask "Привет" -m "Deep Sec"\n\n'
|
|
35
|
+
' llm json "Разбери запрос" --schema schema.json\n\n'
|
|
36
|
+
" llm routing validate routing.json · llm models · llm cost --since 7d · llm auth status"
|
|
37
|
+
),
|
|
38
|
+
no_args_is_help=False,
|
|
39
|
+
invoke_without_command=True,
|
|
40
|
+
add_completion=False,
|
|
41
|
+
)
|
rb_llmkit/cli/ask.py
ADDED
|
@@ -0,0 +1,190 @@
|
|
|
1
|
+
"""Команды `llm ask` и `llm json`: один вызов модели через шлюз 9router."""
|
|
2
|
+
|
|
3
|
+
import json
|
|
4
|
+
import uuid
|
|
5
|
+
from pathlib import Path
|
|
6
|
+
|
|
7
|
+
import typer
|
|
8
|
+
|
|
9
|
+
from ..core import Task
|
|
10
|
+
from . import runtime
|
|
11
|
+
from .app import app
|
|
12
|
+
from .output import JsonOption, bad_arguments, emit, enable_json, guard, out
|
|
13
|
+
from .render import LenientOption, TemplateOption, VarsOption, prompt_text
|
|
14
|
+
|
|
15
|
+
RoutingOption = typer.Option(
|
|
16
|
+
None,
|
|
17
|
+
"--routing",
|
|
18
|
+
help="Routing v1: JSON-строка или путь к JSON-файлу; без него — LLMKIT_ROUTING_FILE, затем routing.json в каталоге конфигурации. Не stdin.",
|
|
19
|
+
)
|
|
20
|
+
ModelsOption = typer.Option(
|
|
21
|
+
None,
|
|
22
|
+
"--model",
|
|
23
|
+
"-m",
|
|
24
|
+
help="Модель или комбо шлюза строкой как в его настройке; повторяется — цепочка (вместо routing.chain). Фолбэк исполняет шлюз.",
|
|
25
|
+
)
|
|
26
|
+
# Уровней больше нет: флаг оставлен скрытым, чтобы объяснить, чем его заменить.
|
|
27
|
+
LevelOption = typer.Option(None, "--level", "-l", hidden=True, help="Удалён: передайте цепочку.")
|
|
28
|
+
|
|
29
|
+
|
|
30
|
+
def _reject_level(level: str | None) -> None:
|
|
31
|
+
if level is not None:
|
|
32
|
+
raise bad_arguments(
|
|
33
|
+
"--level удалён: уровней в llmkit больше нет",
|
|
34
|
+
"передайте цепочку: -m модель (можно несколько) или routing.chain",
|
|
35
|
+
)
|
|
36
|
+
|
|
37
|
+
|
|
38
|
+
COST_CURRENCY = "USD"
|
|
39
|
+
|
|
40
|
+
|
|
41
|
+
def _answer_payload(answer, data_key: str) -> dict:
|
|
42
|
+
"""Ответ `--json` (контракт для Windmill): ключи и переменные шаблона сюда не попадают."""
|
|
43
|
+
return {
|
|
44
|
+
data_key: answer.data,
|
|
45
|
+
"task_id": answer.task_id,
|
|
46
|
+
"model": answer.model,
|
|
47
|
+
"served_model": answer.served_model,
|
|
48
|
+
"provider": answer.provider,
|
|
49
|
+
"chain_position": answer.chain_position,
|
|
50
|
+
"attempts": [{"model": a.model, "error_code": a.error_type} for a in answer.attempts if a.error_type],
|
|
51
|
+
"tokens_in": answer.prompt_tokens,
|
|
52
|
+
"tokens_out": answer.completion_tokens,
|
|
53
|
+
"cost": answer.cost_usd,
|
|
54
|
+
"cost_currency": COST_CURRENCY,
|
|
55
|
+
"cost_source": answer.cost_source,
|
|
56
|
+
"billable_requests": answer.billable_requests,
|
|
57
|
+
"cost_total": answer.cost_total,
|
|
58
|
+
"cost_usd": answer.cost_usd, # устарело (= cost): Windmill читает его до перехода на cost
|
|
59
|
+
"latency_ms": answer.latency_ms,
|
|
60
|
+
"warnings": answer.warnings,
|
|
61
|
+
}
|
|
62
|
+
|
|
63
|
+
|
|
64
|
+
def _task_id() -> str:
|
|
65
|
+
"""Id вызова CLI: попадает в конверт `--json` и отличает вызовы в логах."""
|
|
66
|
+
return uuid.uuid4().hex
|
|
67
|
+
|
|
68
|
+
|
|
69
|
+
def _echo_warnings(answer) -> None:
|
|
70
|
+
for warning in answer.warnings:
|
|
71
|
+
typer.echo(warning, err=True)
|
|
72
|
+
|
|
73
|
+
|
|
74
|
+
def _run(prompt, routing, system, tags, temperature, max_tokens, timeout, no_retry, schema):
|
|
75
|
+
text, template_tags = prompt
|
|
76
|
+
kit = runtime.build_kit(routing=routing)
|
|
77
|
+
task = Task(
|
|
78
|
+
user=runtime.read_text(text),
|
|
79
|
+
system=system,
|
|
80
|
+
schema=schema,
|
|
81
|
+
tags={**runtime.parse_tags(tags), **template_tags},
|
|
82
|
+
temperature=temperature,
|
|
83
|
+
max_tokens=max_tokens,
|
|
84
|
+
timeout=timeout,
|
|
85
|
+
retry=not no_retry,
|
|
86
|
+
id=_task_id(),
|
|
87
|
+
)
|
|
88
|
+
answer = kit.ask_sync(task)
|
|
89
|
+
_echo_warnings(answer)
|
|
90
|
+
return answer
|
|
91
|
+
|
|
92
|
+
|
|
93
|
+
@app.command("ask")
|
|
94
|
+
def ask(
|
|
95
|
+
ctx: typer.Context,
|
|
96
|
+
text: str = typer.Argument(None, help="Текст запроса; без него читается stdin."),
|
|
97
|
+
system: str = typer.Option(None, "--system", "-s", help="Системное сообщение."),
|
|
98
|
+
routing: str = RoutingOption,
|
|
99
|
+
model: list[str] = ModelsOption,
|
|
100
|
+
level: str = LevelOption,
|
|
101
|
+
tag: list[str] = typer.Option(None, "--tag", help="Метка k=v для строки лога вызова; можно несколько."),
|
|
102
|
+
temperature: float = typer.Option(None, "--temperature", help="Температура; по умолчанию 0."),
|
|
103
|
+
max_tokens: int = typer.Option(None, "--max-tokens", help="Лимит токенов ответа."),
|
|
104
|
+
timeout: float = typer.Option(None, "--timeout", help="Таймаут вызова в секундах."),
|
|
105
|
+
no_retry: bool = typer.Option(False, "--no-retry", help="Не повторять вызов, если ответ не прошёл проверку схемы."),
|
|
106
|
+
template: str = TemplateOption,
|
|
107
|
+
variables: str = VarsOption,
|
|
108
|
+
lenient: bool = LenientOption,
|
|
109
|
+
json_output: bool = JsonOption,
|
|
110
|
+
) -> None:
|
|
111
|
+
"""Задать вопрос шлюзу и напечатать текстовый ответ.
|
|
112
|
+
|
|
113
|
+
Шлюз — из routing v1 (`--routing` JSON или файл, иначе LLMKIT_ROUTING_FILE,
|
|
114
|
+
иначе routing.json в каталоге конфигурации); встроенных нет. Один вызов —
|
|
115
|
+
один запрос к шлюзу: цепочку и фолбэк исполняет он, llmkit просит первую
|
|
116
|
+
модель `-m` или `routing.chain`. Модель — строка как в настройке шлюза
|
|
117
|
+
(комбо тоже). Вместо текста — шаблон: `--template` с `--vars`. В `--json`:
|
|
118
|
+
text, task_id, model (запрошенная строка), served_model (что назвал шлюз),
|
|
119
|
+
provider, attempts, tokens_in/out и стоимость: cost (usage.cost шлюза),
|
|
120
|
+
cost_currency "USD", cost_source — provider или null (цены в ответе нет),
|
|
121
|
+
billable_requests, cost_total. cost_usd = cost, устарело.
|
|
122
|
+
Коды выхода: 0 — ответ получен, 2 — нет routing, routing не по схеме или
|
|
123
|
+
неверные аргументы, 3 — нет переменной с ключом шлюза, 5 — шлюз недоступен,
|
|
124
|
+
ответил ошибкой или ответ невалиден.
|
|
125
|
+
|
|
126
|
+
Example: llm ask "Столица Франции?" --routing routing.json
|
|
127
|
+
"""
|
|
128
|
+
enable_json(ctx, json_output)
|
|
129
|
+
with guard(ctx):
|
|
130
|
+
_reject_level(level)
|
|
131
|
+
resolved = runtime.call_routing(routing, model)
|
|
132
|
+
prompt = prompt_text(text, template, variables, lenient)
|
|
133
|
+
answer = _run(prompt, resolved, system, tag, temperature, max_tokens, timeout, no_retry, None)
|
|
134
|
+
emit(ctx, _answer_payload(answer, "text"), lambda: out.print(answer.data, highlight=False, markup=False))
|
|
135
|
+
|
|
136
|
+
|
|
137
|
+
@app.command("json")
|
|
138
|
+
def json_command(
|
|
139
|
+
ctx: typer.Context,
|
|
140
|
+
text: str = typer.Argument(None, help="Текст запроса; без него читается stdin."),
|
|
141
|
+
schema: Path = typer.Option(..., "--schema", help="Файл с JSON Schema ответа."),
|
|
142
|
+
system: str = typer.Option(None, "--system", "-s", help="Системное сообщение."),
|
|
143
|
+
routing: str = RoutingOption,
|
|
144
|
+
model: list[str] = ModelsOption,
|
|
145
|
+
level: str = LevelOption,
|
|
146
|
+
tag: list[str] = typer.Option(None, "--tag", help="Метка k=v для строки лога вызова; можно несколько."),
|
|
147
|
+
temperature: float = typer.Option(None, "--temperature", help="Температура; по умолчанию 0."),
|
|
148
|
+
max_tokens: int = typer.Option(None, "--max-tokens", help="Лимит токенов ответа."),
|
|
149
|
+
timeout: float = typer.Option(None, "--timeout", help="Таймаут вызова в секундах."),
|
|
150
|
+
no_retry: bool = typer.Option(
|
|
151
|
+
False, "--no-retry", help="Не повторять вызов, если ответ не разобрался как JSON по схеме."
|
|
152
|
+
),
|
|
153
|
+
template: str = TemplateOption,
|
|
154
|
+
variables: str = VarsOption,
|
|
155
|
+
lenient: bool = LenientOption,
|
|
156
|
+
json_output: bool = JsonOption,
|
|
157
|
+
) -> None:
|
|
158
|
+
"""Получить ответ модели как JSON по схеме.
|
|
159
|
+
|
|
160
|
+
Схема уходит в шлюз как `response_format` json_schema; невалидный или
|
|
161
|
+
неразобранный ответ повторяется с текстом ошибки проверки (retry.invalid_output).
|
|
162
|
+
В обычном режиме в stdout попадает только сам объект ответа, в режиме
|
|
163
|
+
`--json` — конверт с полем `data` и метаданными вызова, как у `llm ask`.
|
|
164
|
+
Routing, `-m` и `--template/--vars` — как у `llm ask`. Валидацию значения
|
|
165
|
+
по схеме выполняет потребитель. Невалидный ответ шлюз списал: он в
|
|
166
|
+
billable_requests и cost_total. Коды выхода: 0 — ответ получен,
|
|
167
|
+
2 — неверные аргументы или routing, 3 — нет переменной с ключом шлюза, 5 — шлюз
|
|
168
|
+
недоступен или ответ не разобрался (в error — billable_requests, cost_total).
|
|
169
|
+
|
|
170
|
+
Example: llm json "Разбери запрос" --schema schema.json --routing routing.json --json
|
|
171
|
+
"""
|
|
172
|
+
enable_json(ctx, json_output)
|
|
173
|
+
with guard(ctx):
|
|
174
|
+
_reject_level(level)
|
|
175
|
+
try:
|
|
176
|
+
loaded = json.loads(schema.read_text(encoding="utf-8"))
|
|
177
|
+
except OSError as exc:
|
|
178
|
+
raise bad_arguments(f"схема не читается: {exc}") from exc
|
|
179
|
+
except ValueError as exc:
|
|
180
|
+
raise bad_arguments(f"схема не разбирается как JSON: {exc}") from exc
|
|
181
|
+
if not isinstance(loaded, dict):
|
|
182
|
+
raise bad_arguments("схема должна быть JSON-объектом")
|
|
183
|
+
resolved = runtime.call_routing(routing, model)
|
|
184
|
+
prompt = prompt_text(text, template, variables, lenient)
|
|
185
|
+
answer = _run(prompt, resolved, system, tag, temperature, max_tokens, timeout, no_retry, loaded)
|
|
186
|
+
emit(
|
|
187
|
+
ctx,
|
|
188
|
+
_answer_payload(answer, "data"),
|
|
189
|
+
lambda: print(json.dumps(answer.data, ensure_ascii=False, indent=2)),
|
|
190
|
+
)
|
rb_llmkit/cli/audio.py
ADDED
|
@@ -0,0 +1,82 @@
|
|
|
1
|
+
"""`llm audio`: речь шлюза — озвучка, расшифровка и голоса."""
|
|
2
|
+
|
|
3
|
+
from pathlib import Path
|
|
4
|
+
|
|
5
|
+
import typer
|
|
6
|
+
|
|
7
|
+
from . import surface
|
|
8
|
+
from .output import JsonOption, bad_arguments, emit, enable_json, group, guard
|
|
9
|
+
|
|
10
|
+
app = group("audio", "Речь шлюза: озвучка, расшифровка, голоса — `llm audio speech` и другие.")
|
|
11
|
+
|
|
12
|
+
|
|
13
|
+
@app.command("speech")
|
|
14
|
+
def speech(
|
|
15
|
+
ctx: typer.Context,
|
|
16
|
+
text: str = typer.Argument(..., help="Что озвучить."),
|
|
17
|
+
model: str = surface.ModelOption,
|
|
18
|
+
out_path: str = typer.Option(..., "--out", help="Файл для байтов речи: шлюз отвечает не JSON."),
|
|
19
|
+
voice: str = typer.Option(None, "--voice", help="Голос шлюза; список — `llm audio voices`."),
|
|
20
|
+
fmt: str = typer.Option(None, "--format", help="Формат ответа как его ждёт шлюз, например mp3."),
|
|
21
|
+
routing: str = surface.RoutingOption,
|
|
22
|
+
json_output: bool = JsonOption,
|
|
23
|
+
) -> None:
|
|
24
|
+
"""Озвучить текст: шлюз отдаёт байты речи, команда пишет их в `--out`.
|
|
25
|
+
|
|
26
|
+
Ответ — путь к файлу и его content-type. Коды выхода: 0 — готово, 2 — нет
|
|
27
|
+
routing, 3 — нет ключа шлюза, 5 — шлюз недоступен или ответил ошибкой.
|
|
28
|
+
|
|
29
|
+
Example: llm audio speech "привет" -m openai/gpt-4o-mini-tts --voice alloy --out speech.mp3 --json
|
|
30
|
+
"""
|
|
31
|
+
enable_json(ctx, json_output)
|
|
32
|
+
with guard(ctx):
|
|
33
|
+
answer = surface.run(surface.client(routing).speech(text, model, voice=voice, fmt=fmt))
|
|
34
|
+
data = {
|
|
35
|
+
"path": surface.written(out_path, answer.blob),
|
|
36
|
+
"content_type": answer.content_type,
|
|
37
|
+
"model": answer.model,
|
|
38
|
+
}
|
|
39
|
+
emit(ctx, data, surface.human(data))
|
|
40
|
+
|
|
41
|
+
|
|
42
|
+
@app.command("transcribe")
|
|
43
|
+
def transcribe(
|
|
44
|
+
ctx: typer.Context,
|
|
45
|
+
file: str = typer.Argument(..., help="Файл с речью."),
|
|
46
|
+
model: str = surface.ModelOption,
|
|
47
|
+
language: str = typer.Option(None, "--language", help="Язык речи кодом, например ru."),
|
|
48
|
+
routing: str = surface.RoutingOption,
|
|
49
|
+
json_output: bool = JsonOption,
|
|
50
|
+
) -> None:
|
|
51
|
+
"""Расшифровать речь из файла: текст, модель и цена из ответа шлюза.
|
|
52
|
+
|
|
53
|
+
Коды выхода: 0 — готово, 2 — нет routing или файла, 3 — нет ключа шлюза,
|
|
54
|
+
5 — шлюз недоступен или ответил ошибкой.
|
|
55
|
+
|
|
56
|
+
Example: llm audio transcribe speech.mp3 -m openai/whisper-1 --json
|
|
57
|
+
"""
|
|
58
|
+
enable_json(ctx, json_output)
|
|
59
|
+
with guard(ctx):
|
|
60
|
+
if not Path(file).is_file():
|
|
61
|
+
raise bad_arguments(f"нет файла {file}", "передайте путь к файлу с речью")
|
|
62
|
+
data = surface.payload(surface.run(surface.client(routing).transcribe(file, model, language=language)))
|
|
63
|
+
emit(ctx, data, surface.human(data))
|
|
64
|
+
|
|
65
|
+
|
|
66
|
+
@app.command("voices")
|
|
67
|
+
def voices(
|
|
68
|
+
ctx: typer.Context,
|
|
69
|
+
routing: str = surface.RoutingOption,
|
|
70
|
+
json_output: bool = JsonOption,
|
|
71
|
+
) -> None:
|
|
72
|
+
"""Список голосов шлюза для `llm audio speech --voice`.
|
|
73
|
+
|
|
74
|
+
Коды выхода: 0 — готово, 2 — нет routing, 3 — нет ключа шлюза, 5 — шлюз
|
|
75
|
+
недоступен или ответил ошибкой.
|
|
76
|
+
|
|
77
|
+
Example: llm audio voices --json
|
|
78
|
+
"""
|
|
79
|
+
enable_json(ctx, json_output)
|
|
80
|
+
with guard(ctx):
|
|
81
|
+
data = {"voices": surface.run(surface.client(routing).voices())}
|
|
82
|
+
emit(ctx, data, surface.human(data))
|