xinference 1.6.0.post1__py3-none-any.whl → 1.7.0__py3-none-any.whl
This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
Potentially problematic release.
This version of xinference might be problematic. Click here for more details.
- xinference/_version.py +3 -3
- xinference/api/restful_api.py +79 -2
- xinference/client/restful/restful_client.py +65 -3
- xinference/conftest.py +0 -7
- xinference/core/media_interface.py +132 -8
- xinference/core/model.py +44 -6
- xinference/core/scheduler.py +1 -10
- xinference/core/supervisor.py +8 -17
- xinference/core/worker.py +5 -27
- xinference/deploy/cmdline.py +6 -2
- xinference/model/audio/chattts.py +24 -39
- xinference/model/audio/cosyvoice.py +18 -30
- xinference/model/audio/funasr.py +42 -0
- xinference/model/audio/model_spec.json +71 -1
- xinference/model/audio/model_spec_modelscope.json +76 -2
- xinference/model/audio/utils.py +75 -0
- xinference/model/core.py +1 -0
- xinference/model/embedding/__init__.py +74 -18
- xinference/model/embedding/core.py +98 -589
- xinference/model/embedding/embed_family.py +133 -0
- xinference/{thirdparty/omnilmm/train → model/embedding/flag}/__init__.py +1 -1
- xinference/model/embedding/flag/core.py +282 -0
- xinference/model/embedding/model_spec.json +24 -0
- xinference/model/embedding/model_spec_modelscope.json +24 -0
- xinference/model/embedding/sentence_transformers/__init__.py +13 -0
- xinference/model/embedding/sentence_transformers/core.py +399 -0
- xinference/model/embedding/vllm/core.py +95 -0
- xinference/model/image/model_spec.json +30 -3
- xinference/model/image/model_spec_modelscope.json +41 -2
- xinference/model/image/stable_diffusion/core.py +144 -53
- xinference/model/llm/__init__.py +6 -54
- xinference/model/llm/core.py +19 -5
- xinference/model/llm/llama_cpp/core.py +59 -3
- xinference/model/llm/llama_cpp/memory.py +457 -0
- xinference/model/llm/llm_family.json +247 -402
- xinference/model/llm/llm_family.py +88 -16
- xinference/model/llm/llm_family_modelscope.json +260 -421
- xinference/model/llm/llm_family_openmind_hub.json +0 -34
- xinference/model/llm/sglang/core.py +8 -0
- xinference/model/llm/transformers/__init__.py +27 -6
- xinference/model/llm/transformers/chatglm.py +4 -2
- xinference/model/llm/transformers/core.py +49 -28
- xinference/model/llm/transformers/deepseek_v2.py +6 -49
- xinference/model/llm/transformers/gemma3.py +119 -164
- xinference/model/llm/transformers/multimodal/__init__.py +13 -0
- xinference/model/llm/transformers/{cogagent.py → multimodal/cogagent.py} +58 -95
- xinference/model/llm/transformers/multimodal/core.py +205 -0
- xinference/model/llm/transformers/{deepseek_vl2.py → multimodal/deepseek_vl2.py} +59 -120
- xinference/model/llm/transformers/multimodal/gemma3.py +117 -0
- xinference/model/llm/transformers/{glm4v.py → multimodal/glm4v.py} +57 -93
- xinference/model/llm/transformers/multimodal/intern_vl.py +412 -0
- xinference/model/llm/transformers/{minicpmv26.py → multimodal/minicpmv26.py} +55 -102
- xinference/model/llm/transformers/{ovis2.py → multimodal/ovis2.py} +114 -175
- xinference/model/llm/transformers/{qwen-omni.py → multimodal/qwen-omni.py} +82 -167
- xinference/model/llm/transformers/multimodal/qwen2_audio.py +131 -0
- xinference/model/llm/transformers/{qwen2_vl.py → multimodal/qwen2_vl.py} +224 -256
- xinference/model/llm/transformers/opt.py +4 -2
- xinference/model/llm/transformers/utils.py +6 -37
- xinference/model/llm/utils.py +11 -0
- xinference/model/llm/vllm/core.py +7 -0
- xinference/model/rerank/core.py +91 -3
- xinference/model/rerank/model_spec.json +24 -0
- xinference/model/rerank/model_spec_modelscope.json +24 -0
- xinference/model/rerank/utils.py +20 -2
- xinference/model/utils.py +38 -1
- xinference/model/video/diffusers.py +65 -3
- xinference/model/video/model_spec.json +31 -4
- xinference/model/video/model_spec_modelscope.json +32 -4
- xinference/web/ui/build/asset-manifest.json +6 -6
- xinference/web/ui/build/index.html +1 -1
- xinference/web/ui/build/static/css/main.013f296b.css +2 -0
- xinference/web/ui/build/static/css/main.013f296b.css.map +1 -0
- xinference/web/ui/build/static/js/main.8a9e3ba0.js +3 -0
- xinference/web/ui/build/static/js/main.8a9e3ba0.js.map +1 -0
- xinference/web/ui/node_modules/.cache/babel-loader/34cfbfb7836e136ba3261cfd411cc554bf99ba24b35dcceebeaa4f008cb3c9dc.json +1 -0
- xinference/web/ui/node_modules/.cache/babel-loader/55b9fb40b57fa926e8f05f31c2f96467e76e5ad62f033dca97c03f9e8c4eb4fe.json +1 -0
- xinference/web/ui/node_modules/.cache/babel-loader/567e49df411efb24425d289bb484758cb57067ca54f8b5c67fe4505f698deb96.json +1 -0
- xinference/web/ui/node_modules/.cache/babel-loader/6595880facebca7ceace6f17cf21c3a5a9219a2f52fb0ba9f3cf1131eddbcf6b.json +1 -0
- xinference/web/ui/node_modules/.cache/babel-loader/aa998bc2d9c11853add6b8a2e08f50327f56d8824ccaaec92d6dde1b305f0d85.json +1 -0
- xinference/web/ui/node_modules/.cache/babel-loader/c748246b1d7bcebc16153be69f37e955bb2145526c47dd425aeeff70d3004dbc.json +1 -0
- xinference/web/ui/node_modules/.cache/babel-loader/e31234e95d60a5a7883fbcd70de2475dc1c88c90705df1a530abb68f86f80a51.json +1 -0
- xinference/web/ui/src/locales/en.json +21 -8
- xinference/web/ui/src/locales/ja.json +224 -0
- xinference/web/ui/src/locales/ko.json +224 -0
- xinference/web/ui/src/locales/zh.json +21 -8
- {xinference-1.6.0.post1.dist-info → xinference-1.7.0.dist-info}/METADATA +14 -11
- {xinference-1.6.0.post1.dist-info → xinference-1.7.0.dist-info}/RECORD +93 -100
- {xinference-1.6.0.post1.dist-info → xinference-1.7.0.dist-info}/WHEEL +1 -1
- xinference/model/llm/transformers/cogvlm2.py +0 -442
- xinference/model/llm/transformers/cogvlm2_video.py +0 -333
- xinference/model/llm/transformers/deepseek_vl.py +0 -280
- xinference/model/llm/transformers/glm_edge_v.py +0 -213
- xinference/model/llm/transformers/intern_vl.py +0 -526
- xinference/model/llm/transformers/internlm2.py +0 -94
- xinference/model/llm/transformers/minicpmv25.py +0 -193
- xinference/model/llm/transformers/omnilmm.py +0 -132
- xinference/model/llm/transformers/qwen2_audio.py +0 -179
- xinference/model/llm/transformers/qwen_vl.py +0 -360
- xinference/thirdparty/omnilmm/LICENSE +0 -201
- xinference/thirdparty/omnilmm/chat.py +0 -218
- xinference/thirdparty/omnilmm/constants.py +0 -4
- xinference/thirdparty/omnilmm/conversation.py +0 -332
- xinference/thirdparty/omnilmm/model/__init__.py +0 -1
- xinference/thirdparty/omnilmm/model/omnilmm.py +0 -595
- xinference/thirdparty/omnilmm/model/resampler.py +0 -166
- xinference/thirdparty/omnilmm/model/utils.py +0 -578
- xinference/thirdparty/omnilmm/train/train_utils.py +0 -150
- xinference/thirdparty/omnilmm/utils.py +0 -134
- xinference/web/ui/build/static/css/main.337afe76.css +0 -2
- xinference/web/ui/build/static/css/main.337afe76.css.map +0 -1
- xinference/web/ui/build/static/js/main.ae579a97.js +0 -3
- xinference/web/ui/build/static/js/main.ae579a97.js.map +0 -1
- xinference/web/ui/node_modules/.cache/babel-loader/12e02ee790dbf57ead09a241a93bb5f893393aa36628ca741d44390e836a103f.json +0 -1
- xinference/web/ui/node_modules/.cache/babel-loader/2fdc61dcb6a9d1fbcb44be592d0e87d8c3f21297a7327559ef5345665f8343f7.json +0 -1
- xinference/web/ui/node_modules/.cache/babel-loader/3d596a3e8dd6430d7ce81d164e32c31f8d47cfa5f725c328a298754d78563e14.json +0 -1
- xinference/web/ui/node_modules/.cache/babel-loader/5c08e2cd07809ed3e41486b16652253404cbb63a3ff8d0366ee50f57e2413cea.json +0 -1
- xinference/web/ui/node_modules/.cache/babel-loader/8472e58a31720892d534f3febda31f746b25ec4aa60787eef34217b074e67965.json +0 -1
- xinference/web/ui/node_modules/.cache/babel-loader/dc249829767b8abcbc3677e0b07b6d3ecbfdfe6d08cfe23a665eb33373a9aa9d.json +0 -1
- xinference/web/ui/node_modules/.cache/babel-loader/f91af913d7f91c410719ab13136aaed3aaf0f8dda06652f25c42cb5231587398.json +0 -1
- /xinference/{thirdparty/omnilmm → model/embedding/vllm}/__init__.py +0 -0
- /xinference/web/ui/build/static/js/{main.ae579a97.js.LICENSE.txt → main.8a9e3ba0.js.LICENSE.txt} +0 -0
- {xinference-1.6.0.post1.dist-info → xinference-1.7.0.dist-info}/entry_points.txt +0 -0
- {xinference-1.6.0.post1.dist-info → xinference-1.7.0.dist-info}/licenses/LICENSE +0 -0
- {xinference-1.6.0.post1.dist-info → xinference-1.7.0.dist-info}/top_level.txt +0 -0
|
@@ -0,0 +1,224 @@
|
|
|
1
|
+
{
|
|
2
|
+
"menu": {
|
|
3
|
+
"launchModel": "モデル起動",
|
|
4
|
+
"runningModels": "実行中のモデル",
|
|
5
|
+
"registerModel": "モデル登録",
|
|
6
|
+
"clusterInfo": "クラスター情報",
|
|
7
|
+
"contactUs": "お問い合わせ",
|
|
8
|
+
"documentation": "ドキュメント"
|
|
9
|
+
},
|
|
10
|
+
|
|
11
|
+
"model": {
|
|
12
|
+
"languageModels": "言語モデル",
|
|
13
|
+
"embeddingModels": "埋め込みモデル",
|
|
14
|
+
"rerankModels": "再ランクモデル",
|
|
15
|
+
"imageModels": "画像モデル",
|
|
16
|
+
"audioModels": "音声モデル",
|
|
17
|
+
"videoModels": "動画モデル",
|
|
18
|
+
"customModels": "カスタムモデル",
|
|
19
|
+
"flexibleModels": "フレキシブルモデル"
|
|
20
|
+
},
|
|
21
|
+
|
|
22
|
+
"launchModel": {
|
|
23
|
+
"modelAbility": "モデル機能",
|
|
24
|
+
"generate": "テキスト生成",
|
|
25
|
+
"chat": "会話",
|
|
26
|
+
"vision": "視覚",
|
|
27
|
+
"reasoning": "推論",
|
|
28
|
+
"tools": "ツール使用",
|
|
29
|
+
"audio": "音声処理",
|
|
30
|
+
"omni": "マルチモーダル (Omni)",
|
|
31
|
+
"hybrid": "ハイブリッド機能",
|
|
32
|
+
"text2image": "テキストから画像",
|
|
33
|
+
"image2image": "画像から画像",
|
|
34
|
+
"inpainting": "画像修復",
|
|
35
|
+
"ocr": "光学文字認識 (OCR)",
|
|
36
|
+
"audio2text": "音声からテキスト",
|
|
37
|
+
"text2audio": "テキストから音声",
|
|
38
|
+
"text2video": "テキストから動画",
|
|
39
|
+
"image2video": "画像から動画",
|
|
40
|
+
"firstlastframe2video": "最初と最後のフレームから動画",
|
|
41
|
+
"status": "ステータス",
|
|
42
|
+
"cached": "キャッシュ済み",
|
|
43
|
+
"manageCachedModels": "キャッシュモデル管理",
|
|
44
|
+
"favorite": "お気に入り",
|
|
45
|
+
"unfavorite": "お気に入り解除",
|
|
46
|
+
"search": "モデル名と説明を検索",
|
|
47
|
+
"searchModelType": "{{modelType}}モデル名を検索",
|
|
48
|
+
"searchInstruction": "{{hotkey}}で検索",
|
|
49
|
+
"clickToLaunchModel": "マウスクリックでモデルを起動",
|
|
50
|
+
"dimensions": "次元",
|
|
51
|
+
"maxTokens": "最大トークン数",
|
|
52
|
+
"edit": "編集",
|
|
53
|
+
"delete": "削除",
|
|
54
|
+
"contextLength": "コンテキスト長",
|
|
55
|
+
"chatModel": "チャットモデル",
|
|
56
|
+
"generateModel": "生成モデル",
|
|
57
|
+
"otherModel": "その他モデル",
|
|
58
|
+
"confirmDeleteCustomModel": "このカスタムモデルを削除しますか?この操作は元に戻せません。",
|
|
59
|
+
"lastConfig": "最終設定",
|
|
60
|
+
"commandLineParsing": "コマンドライン引数解析",
|
|
61
|
+
"copyToCommandLine": "コマンドラインコマンドとしてコピー",
|
|
62
|
+
"modelEngine": "モデルエンジン",
|
|
63
|
+
"modelEngine.optional": "(オプション) モデルエンジン",
|
|
64
|
+
"modelFormat": "モデルフォーマット",
|
|
65
|
+
"modelSize": "モデルサイズ",
|
|
66
|
+
"quantization": "量子化",
|
|
67
|
+
"multimodelProjector": "マルチモデルプロジェクター",
|
|
68
|
+
"nGPU": "レプリカあたりのGPU数",
|
|
69
|
+
"nGPUPerWorker": "ワーカーあたりのGPU数",
|
|
70
|
+
"nGpuLayers": "GPUレイヤー数",
|
|
71
|
+
"replica": "レプリカ",
|
|
72
|
+
"optionalConfigurations": "オプション設定",
|
|
73
|
+
"modelUID.optional": "(オプション) モデルUID、デフォルトはモデル名",
|
|
74
|
+
"requestLimits.optional": "(オプション) リクエスト制限、このモデルのリクエスト制限数、デフォルトは無制限",
|
|
75
|
+
"workerIp.optional": "(オプション) ワーカーIP、分散シナリオでモデルが配置されているワーカーIPを指定",
|
|
76
|
+
"workerIp": "ワーカーIP、分散シナリオでモデルが配置されているワーカーIPを指定",
|
|
77
|
+
"workerCount.optional": "(オプション) ワーカー数",
|
|
78
|
+
"GPUIdx.optional": "(オプション) GPUインデックス、モデルが配置されているGPUインデックスを指定",
|
|
79
|
+
"GPUIdx": "GPUインデックス、モデルが配置されているGPUインデックスを指定",
|
|
80
|
+
"downloadHub.optional": "(オプション) ダウンロードハブ",
|
|
81
|
+
"modelPath.optional": "(オプション) モデルパス、PyTorchの場合はモデルディレクトリ、GGML/GGUFの場合はモデルファイルパスを指定",
|
|
82
|
+
"GGUFQuantization.optional": "(オプション) GGUF量子化フォーマット、Transformer部分を量子化",
|
|
83
|
+
"GGUFModelPath.optional": "(オプション) GGUFモデルパス、.ggufで終わるファイルを指定",
|
|
84
|
+
"enableThinking": "思考を有効化",
|
|
85
|
+
"parsingReasoningContent": "推論内容の解析",
|
|
86
|
+
"CPUOffload": "CPUオフロード",
|
|
87
|
+
"CPUOffload.tip": "モデルをCPUにアンロードします。リソースが限られている場合やGGUFオプションを使用する場合に推奨されます。",
|
|
88
|
+
"loraConfig": "Lora設定",
|
|
89
|
+
"loraModelConfig": "Loraモデル設定",
|
|
90
|
+
"additionalQuantizationParametersForInferenceEngine": "推論エンジンに渡される追加の量子化パラメータ",
|
|
91
|
+
"additionalParametersForInferenceEngine": "推論エンジンに渡される追加のパラメータ",
|
|
92
|
+
"enterIntegerGreaterThanZero": "0より大きい整数を入力してください。",
|
|
93
|
+
"enterCommaSeparatedNumbers": "カンマ区切りの数値を入力してください。例: 0,1,2",
|
|
94
|
+
"device": "デバイス",
|
|
95
|
+
"loraLoadKwargsForImageModel": "画像モデルのLora読み込み引数",
|
|
96
|
+
"loraFuseKwargsForImageModel": "画像モデルのLora融合引数",
|
|
97
|
+
"launch": "起動",
|
|
98
|
+
"goBack": "戻る",
|
|
99
|
+
"copyJson": "Jsonをコピー",
|
|
100
|
+
"cancel": "キャンセル",
|
|
101
|
+
"confirm": "確認",
|
|
102
|
+
"placeholderTip": "入力してください",
|
|
103
|
+
"fillCompleteParametersBeforeAdding": "追加前に完全なパラメータを入力してください!",
|
|
104
|
+
"model_format": "モデルフォーマット",
|
|
105
|
+
"model_size_in_billions": "モデルサイズ(億単位)",
|
|
106
|
+
"quantizations": "量子化",
|
|
107
|
+
"real_path": "実際のパス",
|
|
108
|
+
"path": "パス",
|
|
109
|
+
"ipAddress": "IPアドレス",
|
|
110
|
+
"operation": "操作",
|
|
111
|
+
"copyRealPath": "実際のパスをコピー",
|
|
112
|
+
"copyPath": "パスをコピー",
|
|
113
|
+
"noCacheForNow": "現在キャッシュはありません!",
|
|
114
|
+
"confirmDeleteCacheFiles": "キャッシュファイルを削除しますか?この操作は元に戻せません。",
|
|
115
|
+
"commandLineTip": "モデル名が一致しているか確認してください。",
|
|
116
|
+
"featured": "注目",
|
|
117
|
+
"all": "すべて",
|
|
118
|
+
"cancelledSuccessfully": "正常にキャンセルされました!"
|
|
119
|
+
},
|
|
120
|
+
|
|
121
|
+
"runningModels": {
|
|
122
|
+
"name": "名前",
|
|
123
|
+
"address": "アドレス",
|
|
124
|
+
"gpuIndexes": "GPUインデックス",
|
|
125
|
+
"size": "サイズ",
|
|
126
|
+
"quantization": "量子化",
|
|
127
|
+
"replica": "レプリカ",
|
|
128
|
+
"actions": "操作",
|
|
129
|
+
"noRunningModels": "実行中のモデルはありません",
|
|
130
|
+
"noRunningModelsMatches": "一致する実行中のモデルはありません",
|
|
131
|
+
"copy": "コピー",
|
|
132
|
+
"copied": "コピーしました!",
|
|
133
|
+
"copyFailed": "コピーに失敗しました"
|
|
134
|
+
},
|
|
135
|
+
|
|
136
|
+
"registerModel": {
|
|
137
|
+
"modelName": "モデル名",
|
|
138
|
+
"modelDescription": "モデル説明(オプション)",
|
|
139
|
+
"contextLength": "コンテキスト長",
|
|
140
|
+
"dimensions": "次元",
|
|
141
|
+
"maxTokens": "最大トークン数",
|
|
142
|
+
"modelPath": "モデルパス",
|
|
143
|
+
"modelLanguages": "モデル言語",
|
|
144
|
+
"languages": "言語",
|
|
145
|
+
"multilingual": "多言語",
|
|
146
|
+
"modelAbilities": "モデル機能",
|
|
147
|
+
"modelFamily": "モデルファミリー",
|
|
148
|
+
"chatTemplate": "チャットテンプレート",
|
|
149
|
+
"test": "テスト",
|
|
150
|
+
"testResult": "テスト結果",
|
|
151
|
+
"noTestResults": "テスト結果がありません...",
|
|
152
|
+
"stopTokenIds": "停止トークンID",
|
|
153
|
+
"stop": "停止",
|
|
154
|
+
"launcher": "ランチャー",
|
|
155
|
+
"launcherArguments": "ランチャー引数(オプション)",
|
|
156
|
+
"edit": "編集",
|
|
157
|
+
"cancel": "キャンセル",
|
|
158
|
+
"registerModel": "モデル登録",
|
|
159
|
+
"messagesExample": "メッセージ例",
|
|
160
|
+
"JSONFormat": "JSONフォーマット",
|
|
161
|
+
"modelSpecs": "モデル仕様",
|
|
162
|
+
"modelSizeBillions": "モデルサイズ(億単位)",
|
|
163
|
+
"quantization": "量子化",
|
|
164
|
+
"quantizationOptional": "量子化(オプション)",
|
|
165
|
+
"delete": "削除",
|
|
166
|
+
"controlnet": "Controlnet",
|
|
167
|
+
"more": "詳細",
|
|
168
|
+
"modelFormat": "モデルフォーマット",
|
|
169
|
+
"enterNumberGreaterThanZero": "0より大きい数値を入力してください。",
|
|
170
|
+
"carefulQuantizationForModelRegistration": "GPTQ/AWQ/FP8/MLXモデルの場合、登録するモデルに対応する量子化を慎重に入力してください。",
|
|
171
|
+
"quantizationCannotBeEmpty": "量子化は空にできません。",
|
|
172
|
+
"enterInteger": "整数を入力してください。",
|
|
173
|
+
"enterIntegerGreaterThanZero": "0より大きい整数を入力してください。",
|
|
174
|
+
"showCustomJsonConfig": "APIで使用されるカスタムjson設定を表示",
|
|
175
|
+
"packUp": "折りたたむ",
|
|
176
|
+
"unfold": "展開",
|
|
177
|
+
"copyAll": "すべてコピー",
|
|
178
|
+
"alphanumericWithHyphensUnderscores": "ハイフンとアンダースコアを適切に配置した英数字。組み込みモデル名と一致してはいけません。",
|
|
179
|
+
"chooseBuiltInOrCustomModel": "組み込みモデルから選択するか、独自のモデルを入力できます。",
|
|
180
|
+
"chooseOnlyBuiltInModel": "組み込みモデルのみから選択できます。",
|
|
181
|
+
"provideModelDirectoryPath": "モデルディレクトリパスを指定してください。",
|
|
182
|
+
"provideModelLauncher": "モデルランチャーを指定してください。",
|
|
183
|
+
"jsonArgumentsForLauncher": "ランチャーに渡される引数を表すJSON形式の辞書。",
|
|
184
|
+
"provideModelDirectoryOrFilePath": "PyTorchの場合はモデルディレクトリ、GGUFの場合はモデルファイルパスを指定してください。",
|
|
185
|
+
"ensureChatTemplatePassesTest": "右側のTESTボタンをクリックして、このchat_templateがテストに合格することを確認してください。このテストはすべてのケースをカバーするわけではなく、最も基本的なケースにのみ使用されます。",
|
|
186
|
+
"testFailurePreventsChatWorking": "テストに合格しないと、チャットが正常に動作しない可能性があることに注意してください。",
|
|
187
|
+
"stopControlForChatModels": "int型、チャットモデルの停止を制御するために使用",
|
|
188
|
+
"stopControlStringForChatModels": "string型、チャットモデルの停止を制御するために使用",
|
|
189
|
+
"enterJsonFormattedDictionary": "JSON形式の辞書を入力してください。"
|
|
190
|
+
},
|
|
191
|
+
|
|
192
|
+
"clusterInfo": {
|
|
193
|
+
"supervisor": "スーパーバイザー",
|
|
194
|
+
"workers": "ワーカー",
|
|
195
|
+
"workerDetails": "ワーカー詳細",
|
|
196
|
+
"count": "数",
|
|
197
|
+
"cpuInfo": "CPU情報",
|
|
198
|
+
"usage": "使用率:",
|
|
199
|
+
"total": "合計",
|
|
200
|
+
"cpuMemoryInfo": "CPUメモリ情報",
|
|
201
|
+
"version": "バージョン",
|
|
202
|
+
"release": "リリース:",
|
|
203
|
+
"commit": "コミット:",
|
|
204
|
+
"gpuInfo": "GPU情報",
|
|
205
|
+
"gpuMemoryInfo": "GPUメモリ情報",
|
|
206
|
+
"address": "アドレス",
|
|
207
|
+
"item": "項目",
|
|
208
|
+
"value": "値",
|
|
209
|
+
"nodeType": "ノードタイプ",
|
|
210
|
+
"cpuUsage": "CPU使用率",
|
|
211
|
+
"cpuTotal": "CPU合計",
|
|
212
|
+
"memUsage": "メモリ使用率",
|
|
213
|
+
"memTotal": "メモリ合計",
|
|
214
|
+
"gpuCount": "GPU数",
|
|
215
|
+
"gpuMemUsage": "GPUメモリ使用率",
|
|
216
|
+
"gpuMemTotal": "GPUメモリ合計",
|
|
217
|
+
"worker": "ワーカー"
|
|
218
|
+
},
|
|
219
|
+
|
|
220
|
+
"components": {
|
|
221
|
+
"copySuccess": "クリップボードにコピーしました!",
|
|
222
|
+
"suggestsCommonParameters": "一般的なパラメータを提案します。他のパラメータも使用可能です。"
|
|
223
|
+
}
|
|
224
|
+
}
|
|
@@ -0,0 +1,224 @@
|
|
|
1
|
+
{
|
|
2
|
+
"menu": {
|
|
3
|
+
"launchModel": "모델 실행",
|
|
4
|
+
"runningModels": "실행 중인 모델",
|
|
5
|
+
"registerModel": "모델 등록",
|
|
6
|
+
"clusterInfo": "클러스터 정보",
|
|
7
|
+
"contactUs": "문의하기",
|
|
8
|
+
"documentation": "문서"
|
|
9
|
+
},
|
|
10
|
+
|
|
11
|
+
"model": {
|
|
12
|
+
"languageModels": "언어 모델",
|
|
13
|
+
"embeddingModels": "임베딩 모델",
|
|
14
|
+
"rerankModels": "재순위 모델",
|
|
15
|
+
"imageModels": "이미지 모델",
|
|
16
|
+
"audioModels": "오디오 모델",
|
|
17
|
+
"videoModels": "비디오 모델",
|
|
18
|
+
"customModels": "커스텀 모델",
|
|
19
|
+
"flexibleModels": "유연한 모델"
|
|
20
|
+
},
|
|
21
|
+
|
|
22
|
+
"launchModel": {
|
|
23
|
+
"modelAbility": "모델 기능",
|
|
24
|
+
"generate": "텍스트 생성",
|
|
25
|
+
"chat": "대화",
|
|
26
|
+
"vision": "비전",
|
|
27
|
+
"reasoning": "추론",
|
|
28
|
+
"tools": "도구 사용",
|
|
29
|
+
"audio": "오디오 처리",
|
|
30
|
+
"omni": "멀티모달 (Omni)",
|
|
31
|
+
"hybrid": "하이브리드 기능",
|
|
32
|
+
"text2image": "텍스트에서 이미지",
|
|
33
|
+
"image2image": "이미지에서 이미지",
|
|
34
|
+
"inpainting": "이미지 인페인팅",
|
|
35
|
+
"ocr": "광학 문자 인식 (OCR)",
|
|
36
|
+
"audio2text": "오디오에서 텍스트",
|
|
37
|
+
"text2audio": "텍스트에서 오디오",
|
|
38
|
+
"text2video": "텍스트에서 비디오",
|
|
39
|
+
"image2video": "이미지에서 비디오",
|
|
40
|
+
"firstlastframe2video": "첫 번째와 마지막 프레임에서 비디오",
|
|
41
|
+
"status": "상태",
|
|
42
|
+
"cached": "캐시됨",
|
|
43
|
+
"manageCachedModels": "캐시 모델 관리",
|
|
44
|
+
"favorite": "즐겨찾기",
|
|
45
|
+
"unfavorite": "즐겨찾기 해제",
|
|
46
|
+
"search": "모델 이름 및 설명 검색",
|
|
47
|
+
"searchModelType": "{{modelType}} 모델 이름 검색",
|
|
48
|
+
"searchInstruction": "{{hotkey}}로 검색",
|
|
49
|
+
"clickToLaunchModel": "마우스 클릭으로 모델 실행",
|
|
50
|
+
"dimensions": "차원",
|
|
51
|
+
"maxTokens": "최대 토큰 수",
|
|
52
|
+
"edit": "편집",
|
|
53
|
+
"delete": "삭제",
|
|
54
|
+
"contextLength": "컨텍스트 길이",
|
|
55
|
+
"chatModel": "채팅 모델",
|
|
56
|
+
"generateModel": "생성 모델",
|
|
57
|
+
"otherModel": "기타 모델",
|
|
58
|
+
"confirmDeleteCustomModel": "이 커스텀 모델을 삭제하시겠습니까? 이 작업은 되돌릴 수 없습니다.",
|
|
59
|
+
"lastConfig": "마지막 설정",
|
|
60
|
+
"commandLineParsing": "명령줄 인수 파싱",
|
|
61
|
+
"copyToCommandLine": "명령줄 명령으로 복사",
|
|
62
|
+
"modelEngine": "모델 엔진",
|
|
63
|
+
"modelEngine.optional": "(선택) 모델 엔진",
|
|
64
|
+
"modelFormat": "모델 형식",
|
|
65
|
+
"modelSize": "모델 크기",
|
|
66
|
+
"quantization": "양자화",
|
|
67
|
+
"multimodelProjector": "멀티모델 프로젝터",
|
|
68
|
+
"nGPU": "레플리카당 GPU 수",
|
|
69
|
+
"nGPUPerWorker": "워커당 GPU 수",
|
|
70
|
+
"nGpuLayers": "GPU 레이어 수",
|
|
71
|
+
"replica": "레플리카",
|
|
72
|
+
"optionalConfigurations": "선택적 구성",
|
|
73
|
+
"modelUID.optional": "(선택) 모델 UID, 기본값은 모델 이름",
|
|
74
|
+
"requestLimits.optional": "(선택) 요청 제한, 이 모델의 요청 제한 수, 기본값은 없음",
|
|
75
|
+
"workerIp.optional": "(선택) 워커 IP, 분산 시나리오에서 모델이 위치한 워커 IP 지정",
|
|
76
|
+
"workerIp": "워커 IP, 분산 시나리오에서 모델이 위치한 워커 IP 지정",
|
|
77
|
+
"workerCount.optional": "(선택) 워커 수",
|
|
78
|
+
"GPUIdx.optional": "(선택) GPU 인덱스, 모델이 위치한 GPU 인덱스 지정",
|
|
79
|
+
"GPUIdx": "GPU 인덱스, 모델이 위치한 GPU 인덱스 지정",
|
|
80
|
+
"downloadHub.optional": "(선택) 다운로드 허브",
|
|
81
|
+
"modelPath.optional": "(선택) 모델 경로, PyTorch의 경우 모델 디렉토리, GGML/GGUF의 경우 모델 파일 경로 지정",
|
|
82
|
+
"GGUFQuantization.optional": "(선택) GGUF 양자화 형식, Transformer 부분 양자화",
|
|
83
|
+
"GGUFModelPath.optional": "(선택) GGUF 모델 경로, .gguf로 끝나는 파일 지정",
|
|
84
|
+
"enableThinking": "사고 활성화",
|
|
85
|
+
"parsingReasoningContent": "추론 내용 파싱",
|
|
86
|
+
"CPUOffload": "CPU 오프로드",
|
|
87
|
+
"CPUOffload.tip": "모델을 CPU로 언로드합니다. 리소스가 제한된 경우 또는 GGUF 옵션을 사용할 때 권장됩니다.",
|
|
88
|
+
"loraConfig": "Lora 설정",
|
|
89
|
+
"loraModelConfig": "Lora 모델 설정",
|
|
90
|
+
"additionalQuantizationParametersForInferenceEngine": "추론 엔진에 전달되는 추가 양자화 매개변수",
|
|
91
|
+
"additionalParametersForInferenceEngine": "추론 엔진에 전달되는 추가 매개변수",
|
|
92
|
+
"enterIntegerGreaterThanZero": "0보다 큰 정수를 입력하세요.",
|
|
93
|
+
"enterCommaSeparatedNumbers": "쉼표로 구분된 숫자를 입력하세요. 예: 0,1,2",
|
|
94
|
+
"device": "장치",
|
|
95
|
+
"loraLoadKwargsForImageModel": "이미지 모델의 Lora 로드 인수",
|
|
96
|
+
"loraFuseKwargsForImageModel": "이미지 모델의 Lora 퓨즈 인수",
|
|
97
|
+
"launch": "실행",
|
|
98
|
+
"goBack": "뒤로 가기",
|
|
99
|
+
"copyJson": "Json 복사",
|
|
100
|
+
"cancel": "취소",
|
|
101
|
+
"confirm": "확인",
|
|
102
|
+
"placeholderTip": "입력하세요",
|
|
103
|
+
"fillCompleteParametersBeforeAdding": "추가하기 전에 완전한 매개변수를 입력하세요!",
|
|
104
|
+
"model_format": "모델 형식",
|
|
105
|
+
"model_size_in_billions": "모델 크기(억 단위)",
|
|
106
|
+
"quantizations": "양자화",
|
|
107
|
+
"real_path": "실제 경로",
|
|
108
|
+
"path": "경로",
|
|
109
|
+
"ipAddress": "IP 주소",
|
|
110
|
+
"operation": "작업",
|
|
111
|
+
"copyRealPath": "실제 경로 복사",
|
|
112
|
+
"copyPath": "경로 복사",
|
|
113
|
+
"noCacheForNow": "현재 캐시가 없습니다!",
|
|
114
|
+
"confirmDeleteCacheFiles": "캐시 파일을 삭제하시겠습니까? 이 작업은 되돌릴 수 없습니다.",
|
|
115
|
+
"commandLineTip": "모델 이름이 일치하는지 확인하세요.",
|
|
116
|
+
"featured": "추천",
|
|
117
|
+
"all": "모두",
|
|
118
|
+
"cancelledSuccessfully": "성공적으로 취소되었습니다!"
|
|
119
|
+
},
|
|
120
|
+
|
|
121
|
+
"runningModels": {
|
|
122
|
+
"name": "이름",
|
|
123
|
+
"address": "주소",
|
|
124
|
+
"gpuIndexes": "GPU 인덱스",
|
|
125
|
+
"size": "크기",
|
|
126
|
+
"quantization": "양자화",
|
|
127
|
+
"replica": "레플리카",
|
|
128
|
+
"actions": "작업",
|
|
129
|
+
"noRunningModels": "실행 중인 모델이 없습니다",
|
|
130
|
+
"noRunningModelsMatches": "일치하는 실행 중인 모델이 없습니다",
|
|
131
|
+
"copy": "복사",
|
|
132
|
+
"copied": "복사되었습니다!",
|
|
133
|
+
"copyFailed": "복사 실패"
|
|
134
|
+
},
|
|
135
|
+
|
|
136
|
+
"registerModel": {
|
|
137
|
+
"modelName": "모델 이름",
|
|
138
|
+
"modelDescription": "모델 설명 (선택)",
|
|
139
|
+
"contextLength": "컨텍스트 길이",
|
|
140
|
+
"dimensions": "차원",
|
|
141
|
+
"maxTokens": "최대 토큰 수",
|
|
142
|
+
"modelPath": "모델 경로",
|
|
143
|
+
"modelLanguages": "모델 언어",
|
|
144
|
+
"languages": "언어",
|
|
145
|
+
"multilingual": "다국어",
|
|
146
|
+
"modelAbilities": "모델 기능",
|
|
147
|
+
"modelFamily": "모델 패밀리",
|
|
148
|
+
"chatTemplate": "채팅 템플릿",
|
|
149
|
+
"test": "테스트",
|
|
150
|
+
"testResult": "테스트 결과",
|
|
151
|
+
"noTestResults": "테스트 결과가 없습니다...",
|
|
152
|
+
"stopTokenIds": "중지 토큰 ID",
|
|
153
|
+
"stop": "중지",
|
|
154
|
+
"launcher": "런처",
|
|
155
|
+
"launcherArguments": "런처 인수 (선택)",
|
|
156
|
+
"edit": "편집",
|
|
157
|
+
"cancel": "취소",
|
|
158
|
+
"registerModel": "모델 등록",
|
|
159
|
+
"messagesExample": "메시지 예시",
|
|
160
|
+
"JSONFormat": "JSON 형식",
|
|
161
|
+
"modelSpecs": "모델 사양",
|
|
162
|
+
"modelSizeBillions": "모델 크기(억 단위)",
|
|
163
|
+
"quantization": "양자화",
|
|
164
|
+
"quantizationOptional": "양자화 (선택)",
|
|
165
|
+
"delete": "삭제",
|
|
166
|
+
"controlnet": "Controlnet",
|
|
167
|
+
"more": "더보기",
|
|
168
|
+
"modelFormat": "모델 형식",
|
|
169
|
+
"enterNumberGreaterThanZero": "0보다 큰 숫자를 입력하세요.",
|
|
170
|
+
"carefulQuantizationForModelRegistration": "GPTQ/AWQ/FP8/MLX 모델의 경우, 등록하려는 모델에 해당하는 양자화를 신중하게 입력하세요.",
|
|
171
|
+
"quantizationCannotBeEmpty": "양자화는 비워둘 수 없습니다.",
|
|
172
|
+
"enterInteger": "정수를 입력하세요.",
|
|
173
|
+
"enterIntegerGreaterThanZero": "0보다 큰 정수를 입력하세요.",
|
|
174
|
+
"showCustomJsonConfig": "API에서 사용하는 사용자 정의 json 설정 표시",
|
|
175
|
+
"packUp": "접기",
|
|
176
|
+
"unfold": "펼치기",
|
|
177
|
+
"copyAll": "모두 복사",
|
|
178
|
+
"alphanumericWithHyphensUnderscores": "하이픈과 언더스코어가 적절히 배치된 영숫자. 내장 모델 이름과 일치하지 않아야 합니다.",
|
|
179
|
+
"chooseBuiltInOrCustomModel": "내장 모델에서 선택하거나 자신의 모델을 입력할 수 있습니다.",
|
|
180
|
+
"chooseOnlyBuiltInModel": "내장 모델만 선택할 수 있습니다.",
|
|
181
|
+
"provideModelDirectoryPath": "모델 디렉토리 경로를 제공하세요.",
|
|
182
|
+
"provideModelLauncher": "모델 런처를 제공하세요.",
|
|
183
|
+
"jsonArgumentsForLauncher": "런처에 전달되는 인수를 나타내는 JSON 형식의 사전.",
|
|
184
|
+
"provideModelDirectoryOrFilePath": "PyTorch의 경우 모델 디렉토리, GGUF의 경우 모델 파일 경로를 제공하세요.",
|
|
185
|
+
"ensureChatTemplatePassesTest": "오른쪽의 TEST 버튼을 클릭하여 이 chat_template이 테스트를 통과하는지 확인하세요. 이 테스트는 모든 경우를 다루지 않으며 가장 기본적인 경우에만 사용됩니다.",
|
|
186
|
+
"testFailurePreventsChatWorking": "테스트를 통과하지 못하면 채팅이 제대로 작동하지 않을 수 있습니다.",
|
|
187
|
+
"stopControlForChatModels": "int 유형, 채팅 모델의 중지를 제어하는 데 사용",
|
|
188
|
+
"stopControlStringForChatModels": "string 유형, 채팅 모델의 중지를 제어하는 데 사용",
|
|
189
|
+
"enterJsonFormattedDictionary": "JSON 형식의 사전을 입력하세요."
|
|
190
|
+
},
|
|
191
|
+
|
|
192
|
+
"clusterInfo": {
|
|
193
|
+
"supervisor": "슈퍼바이저",
|
|
194
|
+
"workers": "워커",
|
|
195
|
+
"workerDetails": "워커 세부 정보",
|
|
196
|
+
"count": "수",
|
|
197
|
+
"cpuInfo": "CPU 정보",
|
|
198
|
+
"usage": "사용률:",
|
|
199
|
+
"total": "총계",
|
|
200
|
+
"cpuMemoryInfo": "CPU 메모리 정보",
|
|
201
|
+
"version": "버전",
|
|
202
|
+
"release": "릴리스:",
|
|
203
|
+
"commit": "커밋:",
|
|
204
|
+
"gpuInfo": "GPU 정보",
|
|
205
|
+
"gpuMemoryInfo": "GPU 메모리 정보",
|
|
206
|
+
"address": "주소",
|
|
207
|
+
"item": "항목",
|
|
208
|
+
"value": "값",
|
|
209
|
+
"nodeType": "노드 유형",
|
|
210
|
+
"cpuUsage": "CPU 사용률",
|
|
211
|
+
"cpuTotal": "CPU 총계",
|
|
212
|
+
"memUsage": "메모리 사용률",
|
|
213
|
+
"memTotal": "메모리 총계",
|
|
214
|
+
"gpuCount": "GPU 수",
|
|
215
|
+
"gpuMemUsage": "GPU 메모리 사용률",
|
|
216
|
+
"gpuMemTotal": "GPU 메모리 총계",
|
|
217
|
+
"worker": "워커"
|
|
218
|
+
},
|
|
219
|
+
|
|
220
|
+
"components": {
|
|
221
|
+
"copySuccess": "클립보드에 복사되었습니다!",
|
|
222
|
+
"suggestsCommonParameters": "일반적인 매개변수를 제안합니다. 다른 매개변수도 사용 가능합니다."
|
|
223
|
+
}
|
|
224
|
+
}
|
|
@@ -21,13 +21,23 @@
|
|
|
21
21
|
|
|
22
22
|
"launchModel": {
|
|
23
23
|
"modelAbility": "模型能力",
|
|
24
|
-
"generate": "
|
|
25
|
-
"chat": "
|
|
26
|
-
"vision": "
|
|
27
|
-
"reasoning": "
|
|
28
|
-
"
|
|
29
|
-
"
|
|
30
|
-
"
|
|
24
|
+
"generate": "文本生成",
|
|
25
|
+
"chat": "对话",
|
|
26
|
+
"vision": "图像识别",
|
|
27
|
+
"reasoning": "推理能力",
|
|
28
|
+
"tools": "工具使用能力",
|
|
29
|
+
"audio": "音频处理",
|
|
30
|
+
"omni": "全模态",
|
|
31
|
+
"hybrid": "混合能力",
|
|
32
|
+
"text2image": "文生图",
|
|
33
|
+
"image2image": "图生图",
|
|
34
|
+
"inpainting": "图像修复",
|
|
35
|
+
"ocr": "光学字符识别",
|
|
36
|
+
"audio2text": "语音转文本",
|
|
37
|
+
"text2audio": "文本转语音",
|
|
38
|
+
"text2video": "文生视频",
|
|
39
|
+
"image2video": "图生视频",
|
|
40
|
+
"firstlastframe2video": "首尾帧生视频",
|
|
31
41
|
"status": "状态",
|
|
32
42
|
"cached": "已缓存",
|
|
33
43
|
"manageCachedModels": "管理缓存模型",
|
|
@@ -50,9 +60,11 @@
|
|
|
50
60
|
"commandLineParsing": "解析命令行参数",
|
|
51
61
|
"copyToCommandLine": "复制为命令行指令",
|
|
52
62
|
"modelEngine": "模型引擎",
|
|
63
|
+
"modelEngine.optional": "(可选) 模型引擎",
|
|
53
64
|
"modelFormat": "模型格式",
|
|
54
65
|
"modelSize": "模型大小",
|
|
55
66
|
"quantization": "量化",
|
|
67
|
+
"multimodelProjector": "多模态投影器",
|
|
56
68
|
"nGPU": "GPU 数量 (每个副本)",
|
|
57
69
|
"nGPUPerWorker": "每个 Worker 上的 GPU 数量",
|
|
58
70
|
"nGpuLayers": "GPU 层数",
|
|
@@ -206,6 +218,7 @@
|
|
|
206
218
|
},
|
|
207
219
|
|
|
208
220
|
"components": {
|
|
209
|
-
"copySuccess": "已复制到剪贴板!"
|
|
221
|
+
"copySuccess": "已复制到剪贴板!",
|
|
222
|
+
"suggestsCommonParameters": "提示常用参数,也允许输入其他参数"
|
|
210
223
|
}
|
|
211
224
|
}
|
|
@@ -1,6 +1,6 @@
|
|
|
1
1
|
Metadata-Version: 2.4
|
|
2
2
|
Name: xinference
|
|
3
|
-
Version: 1.
|
|
3
|
+
Version: 1.7.0
|
|
4
4
|
Summary: Model Serving Made Easy
|
|
5
5
|
Home-page: https://github.com/xorbitsai/inference
|
|
6
6
|
Author: Qin Xuye
|
|
@@ -67,7 +67,8 @@ Requires-Dist: sphinx-tabs; extra == "dev"
|
|
|
67
67
|
Requires-Dist: sphinx-design; extra == "dev"
|
|
68
68
|
Provides-Extra: all
|
|
69
69
|
Requires-Dist: uv; extra == "all"
|
|
70
|
-
Requires-Dist: xllamacpp; extra == "all"
|
|
70
|
+
Requires-Dist: xllamacpp>=0.1.18; extra == "all"
|
|
71
|
+
Requires-Dist: gguf; extra == "all"
|
|
71
72
|
Requires-Dist: transformers>=4.46.0; extra == "all"
|
|
72
73
|
Requires-Dist: torch; extra == "all"
|
|
73
74
|
Requires-Dist: accelerate>=0.28.0; extra == "all"
|
|
@@ -99,6 +100,7 @@ Requires-Dist: qwen_vl_utils!=0.0.9; extra == "all"
|
|
|
99
100
|
Requires-Dist: tomli; extra == "all"
|
|
100
101
|
Requires-Dist: sentence-transformers>=3.1.0; extra == "all"
|
|
101
102
|
Requires-Dist: FlagEmbedding; extra == "all"
|
|
103
|
+
Requires-Dist: FlagEmbedding; extra == "all"
|
|
102
104
|
Requires-Dist: diffusers>=0.32.0; extra == "all"
|
|
103
105
|
Requires-Dist: controlnet_aux; extra == "all"
|
|
104
106
|
Requires-Dist: deepcache; extra == "all"
|
|
@@ -157,14 +159,15 @@ Requires-Dist: g2p_en; extra == "all"
|
|
|
157
159
|
Requires-Dist: anyascii; extra == "all"
|
|
158
160
|
Requires-Dist: gruut[de,es,fr]; extra == "all"
|
|
159
161
|
Requires-Dist: kokoro>=0.7.15; extra == "all"
|
|
160
|
-
Requires-Dist: misaki[en,
|
|
162
|
+
Requires-Dist: misaki[en,zh]>=0.7.15; extra == "all"
|
|
161
163
|
Requires-Dist: langdetect; extra == "all"
|
|
162
164
|
Requires-Dist: pyloudnorm; extra == "all"
|
|
163
165
|
Provides-Extra: intel
|
|
164
166
|
Requires-Dist: torch==2.1.0a0; extra == "intel"
|
|
165
167
|
Requires-Dist: intel_extension_for_pytorch==2.1.10+xpu; extra == "intel"
|
|
166
168
|
Provides-Extra: llama-cpp
|
|
167
|
-
Requires-Dist: xllamacpp; extra == "llama-cpp"
|
|
169
|
+
Requires-Dist: xllamacpp>=0.1.18; extra == "llama-cpp"
|
|
170
|
+
Requires-Dist: gguf; extra == "llama-cpp"
|
|
168
171
|
Provides-Extra: transformers
|
|
169
172
|
Requires-Dist: transformers>=4.46.0; extra == "transformers"
|
|
170
173
|
Requires-Dist: torch; extra == "transformers"
|
|
@@ -204,6 +207,7 @@ Requires-Dist: qwen_vl_utils!=0.0.9; extra == "mlx"
|
|
|
204
207
|
Requires-Dist: tomli; extra == "mlx"
|
|
205
208
|
Provides-Extra: embedding
|
|
206
209
|
Requires-Dist: sentence-transformers>=3.1.0; extra == "embedding"
|
|
210
|
+
Requires-Dist: FlagEmbedding; extra == "embedding"
|
|
207
211
|
Provides-Extra: rerank
|
|
208
212
|
Requires-Dist: FlagEmbedding; extra == "rerank"
|
|
209
213
|
Provides-Extra: image
|
|
@@ -267,7 +271,7 @@ Requires-Dist: g2p_en; extra == "audio"
|
|
|
267
271
|
Requires-Dist: anyascii; extra == "audio"
|
|
268
272
|
Requires-Dist: gruut[de,es,fr]; extra == "audio"
|
|
269
273
|
Requires-Dist: kokoro>=0.7.15; extra == "audio"
|
|
270
|
-
Requires-Dist: misaki[en,
|
|
274
|
+
Requires-Dist: misaki[en,zh]>=0.7.15; extra == "audio"
|
|
271
275
|
Requires-Dist: langdetect; extra == "audio"
|
|
272
276
|
Requires-Dist: pyloudnorm; extra == "audio"
|
|
273
277
|
Provides-Extra: doc
|
|
@@ -293,8 +297,7 @@ Dynamic: license-file
|
|
|
293
297
|
# Xorbits Inference: Model Serving Made Easy 🤖
|
|
294
298
|
|
|
295
299
|
<p align="center">
|
|
296
|
-
<a href="https://
|
|
297
|
-
<a href="https://github.com/xorbitsai/enterprise-docs/blob/main/README.md">Xinference Enterprise</a> ·
|
|
300
|
+
<a href="https://xinference.io/en">Xinference Enterprise</a> ·
|
|
298
301
|
<a href="https://inference.readthedocs.io/en/latest/getting_started/installation.html#installation">Self-hosting</a> ·
|
|
299
302
|
<a href="https://inference.readthedocs.io/">Documentation</a>
|
|
300
303
|
</p>
|
|
@@ -336,14 +339,14 @@ potential of cutting-edge AI models.
|
|
|
336
339
|
- Support SGLang backend: [#1161](https://github.com/xorbitsai/inference/pull/1161)
|
|
337
340
|
- Support LoRA for LLM and image models: [#1080](https://github.com/xorbitsai/inference/pull/1080)
|
|
338
341
|
### New Models
|
|
342
|
+
- Built-in support for [Qwen3-Embedding](https://github.com/QwenLM/Qwen3-Embedding): [#3627](https://github.com/xorbitsai/inference/pull/3627)
|
|
343
|
+
- Built-in support for [Minicpm4](https://github.com/OpenBMB/MiniCPM): [#3609](https://github.com/xorbitsai/inference/pull/3609)
|
|
344
|
+
- Built-in support for [CogView4](https://github.com/THUDM/CogView4): [#3557](https://github.com/xorbitsai/inference/pull/3557)
|
|
345
|
+
- Built-in support for [Deepseek-R1-0528](https://huggingface.co/deepseek-ai/DeepSeek-R1-0528): [#3539](https://github.com/xorbitsai/inference/pull/3539)
|
|
339
346
|
- Built-in support for [Qwen3](https://qwenlm.github.io/blog/qwen3/): [#3347](https://github.com/xorbitsai/inference/pull/3347)
|
|
340
347
|
- Built-in support for [Qwen2.5-Omni](https://github.com/QwenLM/Qwen2.5-Omni): [#3279](https://github.com/xorbitsai/inference/pull/3279)
|
|
341
348
|
- Built-in support for [Skywork-OR1](https://github.com/SkyworkAI/Skywork-OR1): [#3274](https://github.com/xorbitsai/inference/pull/3274)
|
|
342
349
|
- Built-in support for [GLM-4-0414](https://github.com/THUDM/GLM-4): [#3251](https://github.com/xorbitsai/inference/pull/3251)
|
|
343
|
-
- Built-in support for [SeaLLMs-v3](https://github.com/DAMO-NLP-SG/DAMO-SeaLLMs): [#3248](https://github.com/xorbitsai/inference/pull/3248)
|
|
344
|
-
- Built-in support for [paraformer-zh](https://huggingface.co/funasr/paraformer-zh): [#3236](https://github.com/xorbitsai/inference/pull/3236)
|
|
345
|
-
- Built-in support for [InternVL3](https://internvl.github.io/blog/2025-04-11-InternVL-3.0/): [#3235](https://github.com/xorbitsai/inference/pull/3235)
|
|
346
|
-
- Built-in support for [MegaTTS3](https://github.com/bytedance/MegaTTS3): [#3224](https://github.com/xorbitsai/inference/pull/3224)
|
|
347
350
|
### Integrations
|
|
348
351
|
- [Dify](https://docs.dify.ai/advanced/model-configuration/xinference): an LLMOps platform that enables developers (and even non-developers) to quickly build useful applications based on large language models, ensuring they are visual, operable, and improvable.
|
|
349
352
|
- [FastGPT](https://github.com/labring/FastGPT): a knowledge-based platform built on the LLM, offers out-of-the-box data processing and model invocation capabilities, allows for workflow orchestration through Flow visualization.
|