ja-llm-guard 0.1.5 → 0.1.6
This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
- package/README.md +5 -5
- package/package.json +1 -1
- package/README.template.md +0 -110
package/README.md
CHANGED
|
@@ -15,14 +15,14 @@ check('本日会議議事録送付確認依頼。');
|
|
|
15
15
|
|
|
16
16
|
## なぜ要るか（実測から）
|
|
17
17
|
|
|
18
|
-
ローカルLLM上で自律エージェント群を24時間動かし、**
|
|
18
|
+
ローカルLLM上で自律エージェント群を24時間動かし、**68日間で11566件の失敗**を
|
|
19
19
|
記録した。その中で「言語の壊れ」系は：
|
|
20
20
|
|
|
21
21
|
| 実測件数 | 型 |
|
|
22
22
|
|---|---|
|
|
23
|
-
|
|
|
24
|
-
|
|
|
25
|
-
|
|
|
23
|
+
| 886 | 日英が無意味に混線した出力 |
|
|
24
|
+
| 503 | 日本語文への中国語（簡体字）混入 |
|
|
25
|
+
| 402 | 日本語で返ってこない |
|
|
26
26
|
|
|
27
27
|
これらは文字列としては正常に「読める」ので、**例外にもならずログにも何も出ない**。
|
|
28
28
|
多言語モデル（Qwen系など）を日本語業務に載せると、英語圏では起きない壊れ方をする。
|
|
@@ -66,7 +66,7 @@ check('本日会議議事録送付確認依頼。');
|
|
|
66
66
|
|
|
67
67
|
### 失敗データセットを請求書で買う（国内法人向け）
|
|
68
68
|
|
|
69
|
-
この検査を生んだ**実運用の失敗記録
|
|
69
|
+
この検査を生んだ**実運用の失敗記録11566件**は、Hugging Face で
|
|
70
70
|
**[CC BY 4.0 のまま無料公開](https://huggingface.co/datasets/GXCafe/ai-agent-failure-logs)** しています。
|
|
71
71
|
無料で足りる場合は、そちらをそのままお使いください。
|
|
72
72
|
|
package/package.json
CHANGED
package/README.template.md
DELETED
|
@@ -1,110 +0,0 @@
|
|
|
1
|
-
# ja-llm-guard
|
|
2
|
-
|
|
3
|
-
日本語LLM出力の「**読めるのに壊れている**」を機械で拾う出口検査。依存ゼロ・MIT。
|
|
4
|
-
|
|
5
|
-
```bash
|
|
6
|
-
npx ja-llm-guard "検査したいテキスト"
|
|
7
|
-
cat output.txt | npx ja-llm-guard # 終了コード 0=合格 / 1=検知（CIの関所にそのまま置ける）
|
|
8
|
-
```
|
|
9
|
-
|
|
10
|
-
```js
|
|
11
|
-
const { check } = require('ja-llm-guard');
|
|
12
|
-
check('本日会議議事録送付確認依頼。');
|
|
13
|
-
// => [ 'kana_ratio_low:0.00<0.15' ] ← かなゼロの「日本語」は壊れの信号
|
|
14
|
-
```
|
|
15
|
-
|
|
16
|
-
## なぜ要るか（実測から）
|
|
17
|
-
|
|
18
|
-
ローカルLLM上で自律エージェント群を24時間動かし、**{{days}}日間で{{records}}件の失敗**を
|
|
19
|
-
記録した。その中で「言語の壊れ」系は：
|
|
20
|
-
|
|
21
|
-
| 実測件数 | 型 |
|
|
22
|
-
|---|---|
|
|
23
|
-
| {{nBrokenLanguageMix}} | 日英が無意味に混線した出力 |
|
|
24
|
-
| {{nChineseInJapanese}} | 日本語文への中国語（簡体字）混入 |
|
|
25
|
-
| {{nNotJapanese}} | 日本語で返ってこない |
|
|
26
|
-
|
|
27
|
-
これらは文字列としては正常に「読める」ので、**例外にもならずログにも何も出ない**。
|
|
28
|
-
多言語モデル（Qwen系など）を日本語業務に載せると、英語圏では起きない壊れ方をする。
|
|
29
|
-
|
|
30
|
-
## 2つの検査（本番で実際に故障を捕まえた形だけ）
|
|
31
|
-
|
|
32
|
-
1. **かな比率** — ひらがな・カタカナがゼロの「日本語文」は最も安く最も強い壊れの信号。
|
|
33
|
-
正常な日本語ビジネス文の実測はおおむね0.3〜0.6（既定の閾値は0.15）
|
|
34
|
-
2. **簡体字混入** — 「CJKかどうか」の検査は日中両方を通してしまう。日本語の新字体に
|
|
35
|
-
存在しない簡体字だけのコードポイント（们・这・时 など）を名指しで見る
|
|
36
|
-
|
|
37
|
-
## フル版
|
|
38
|
-
|
|
39
|
-
敬体・常体の混在検査、見張り・関所テンプレ8本（cron欠落検知・出力契約・承認キュー・
|
|
40
|
-
心拍ほか）、わざと壊すBREAK試験込みの試験28本を同梱した
|
|
41
|
-
**{{productProJaName}}**（{{priceProJa}}・単一組織の商用ライセンス）を提供しています。
|
|
42
|
-
|
|
43
|
-
### 購入方法
|
|
44
|
-
|
|
45
|
-
お使いのメールソフトから、次の内容でお送りください。
|
|
46
|
-
|
|
47
|
-
| | |
|
|
48
|
-
|---|---|
|
|
49
|
-
| 宛先 | `sales@gxcafe.co.jp` |
|
|
50
|
-
| 件名 | `購入希望 harness-templates-pro-ja` |
|
|
51
|
-
|
|
52
|
-
本文（コピーしてお使いください）:
|
|
53
|
-
|
|
54
|
-
```
|
|
55
|
-
商品コード: harness-templates-pro-ja
|
|
56
|
-
会社名:
|
|
57
|
-
担当者:
|
|
58
|
-
振込名義:
|
|
59
|
-
```
|
|
60
|
-
|
|
61
|
-
**[メールソフトを開く（自動入力）]({{mailtoProJa}})** — Webメールをお使いの場合や、
|
|
62
|
-
意図しないメールソフトが開く場合は、上の表の内容を手でコピーしてください。
|
|
63
|
-
|
|
64
|
-
折り返し、金額と振込先をお送りします。お支払いは銀行振込です（適格請求書を発行します）。
|
|
65
|
-
**当社から振込先を変更する連絡は一切しません。**
|
|
66
|
-
|
|
67
|
-
### 失敗データセットを請求書で買う（国内法人向け）
|
|
68
|
-
|
|
69
|
-
この検査を生んだ**実運用の失敗記録{{records}}件**は、Hugging Face で
|
|
70
|
-
**[CC BY 4.0 のまま無料公開](https://huggingface.co/datasets/GXCafe/ai-agent-failure-logs)** しています。
|
|
71
|
-
無料で足りる場合は、そちらをそのままお使いください。
|
|
72
|
-
|
|
73
|
-
請求書での購入が必要な場合のみ、次の口があります。
|
|
74
|
-
|
|
75
|
-
| 商品 | 価格 |
|
|
76
|
-
|---|---|
|
|
77
|
-
| {{productFailureLogs}} | {{priceFailureLogs}} |
|
|
78
|
-
|
|
79
|
-
| | |
|
|
80
|
-
|---|---|
|
|
81
|
-
| 宛先 | `sales@gxcafe.co.jp` |
|
|
82
|
-
| 件名 | `購入希望 failure-logs` |
|
|
83
|
-
|
|
84
|
-
```
|
|
85
|
-
商品コード: failure-logs
|
|
86
|
-
会社名:
|
|
87
|
-
担当者:
|
|
88
|
-
振込名義:
|
|
89
|
-
```
|
|
90
|
-
|
|
91
|
-
**[メールソフトを開く（自動入力）]({{mailtoFailureLogs}})** — Webメールをお使いの場合は、
|
|
92
|
-
上の表を手でコピーしてください。
|
|
93
|
-
|
|
94
|
-
折り返し、金額と振込先をお送りします。**当社から振込先を変更する連絡は一切しません。**
|
|
95
|
-
|
|
96
|
-
### 英語版 / English
|
|
97
|
-
|
|
98
|
-
検査器の本体（LLM出力の契約検査・英語ドキュメント）は
|
|
99
|
-
**[honto-contract](https://www.npmjs.com/package/honto-contract)** にあります。
|
|
100
|
-
Stripe で即時購入できる段（ハーネス型テンプレート・講座動画）は、そちらに掲載しています。
|
|
101
|
-
|
|
102
|
-
### まだ買わない方へ — 無料キット
|
|
103
|
-
|
|
104
|
-
**[The Unattended-Operation Kit for Local-LLM Agents（無料）](https://gxcafe.co.jp/harness-kit/?utm_source=npm-ja-llm-guard&utm_medium=readme&utm_campaign=harness-kit)**
|
|
105
|
-
|
|
106
|
-
24項目の点検表と、ハーネスの型3本（AGENTS.md／fail-closed の送信ゲート／
|
|
107
|
-
発火漏れの見張り）。この検査を生んだ実運用で、実際に使っているものです。
|
|
108
|
-
カード不要・試用期間なし。メールアドレスと引き換えにファイルをお渡しします。
|
|
109
|
-
|
|
110
|
-
運営: GX Cafe合同会社（[特定商取引法に基づく表記](https://gxcafe.co.jp/tokushoho/)）
|