ja-llm-guard 0.1.7 → 0.1.8
This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
- package/README.md +9 -5
- package/package.json +1 -1
package/README.md
CHANGED
|
@@ -2,6 +2,10 @@
|
|
|
2
2
|
|
|
3
3
|
日本語LLM出力の「**読めるのに壊れている**」を機械で拾う出口検査。依存ゼロ・MIT。
|
|
4
4
|
|
|
5
|
+
*無人でエージェントを回しているなら、まず無料キットから: 24項目の点検表と3本の
|
|
6
|
+
ハーネス雛形 —— [The Unattended-Operation Kit for Local-LLM Agents（無料）](https://gxcafe.co.jp/harness-kit/?utm_source=npm-ja-llm-guard&utm_medium=readme&utm_campaign=harness-kit)。
|
|
7
|
+
カード不要。*
|
|
8
|
+
|
|
5
9
|
```bash
|
|
6
10
|
npx ja-llm-guard "検査したいテキスト"
|
|
7
11
|
cat output.txt | npx ja-llm-guard # 終了コード 0=合格 / 1=検知（CIの関所にそのまま置ける）
|
|
@@ -15,14 +19,14 @@ check('本日会議議事録送付確認依頼。');
|
|
|
15
19
|
|
|
16
20
|
## なぜ要るか（実測から）
|
|
17
21
|
|
|
18
|
-
ローカルLLM上で自律エージェント群を24時間動かし、**
|
|
22
|
+
ローカルLLM上で自律エージェント群を24時間動かし、**69日間で11850件の失敗**を
|
|
19
23
|
記録した。その中で「言語の壊れ」系は：
|
|
20
24
|
|
|
21
25
|
| 実測件数 | 型 |
|
|
22
26
|
|---|---|
|
|
23
|
-
|
|
|
24
|
-
|
|
|
25
|
-
|
|
|
27
|
+
| 902 | 日英が無意味に混線した出力 |
|
|
28
|
+
| 513 | 日本語文への中国語（簡体字）混入 |
|
|
29
|
+
| 406 | 日本語で返ってこない |
|
|
26
30
|
|
|
27
31
|
これらは文字列としては正常に「読める」ので、**例外にもならずログにも何も出ない**。
|
|
28
32
|
多言語モデル（Qwen系など）を日本語業務に載せると、英語圏では起きない壊れ方をする。
|
|
@@ -66,7 +70,7 @@ check('本日会議議事録送付確認依頼。');
|
|
|
66
70
|
|
|
67
71
|
### 失敗データセットを請求書で買う（国内法人向け）
|
|
68
72
|
|
|
69
|
-
この検査を生んだ**実運用の失敗記録
|
|
73
|
+
この検査を生んだ**実運用の失敗記録11850件**は、Hugging Face で
|
|
70
74
|
**[CC BY 4.0 のまま無料公開](https://huggingface.co/datasets/GXCafe/ai-agent-failure-logs)** しています。
|
|
71
75
|
無料で足りる場合は、そちらをそのままお使いください。
|
|
72
76
|
|