@humanoiselabs/plus62 0.0.0-stage → 0.1.6
This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
- package/LICENSE +21 -0
- package/README.md +156 -2
- package/core/00-identity.md +27 -0
- package/core/10-safety.md +21 -0
- package/core/20-decision.md +26 -0
- package/core/30-efficiency.md +22 -0
- package/core/always-on.md +27 -0
- package/culture/id/absurd-humor.md +21 -0
- package/culture/id/dev-humor.md +22 -0
- package/culture/id/genz-lexicon.yaml +113 -0
- package/culture/id/humor-boundaries.md +23 -0
- package/culture/id/memes.yaml +41 -0
- package/culture/id/religious-expression.md +27 -0
- package/culture/id/sources.md +60 -0
- package/dist/cli.js +5706 -0
- package/evals/cci.yaml +468 -0
- package/evals/decisions.yaml +282 -0
- package/evals/preservation.yaml +128 -0
- package/evals/rusuh-voice.yaml +238 -0
- package/evals/safety.yaml +300 -0
- package/evals/smoke.yaml +56 -0
- package/fixtures/cod-admin-substring.yaml +44 -0
- package/fixtures/cod-alg-none.yaml +42 -0
- package/fixtures/cod-bigint-order-id.yaml +42 -0
- package/fixtures/cod-capture-group-index.yaml +40 -0
- package/fixtures/cod-cents-from-float.yaml +42 -0
- package/fixtures/cod-cents-split-remainder.yaml +60 -0
- package/fixtures/cod-clamp-both-bounds.yaml +51 -0
- package/fixtures/cod-csv-empty-field.yaml +37 -0
- package/fixtures/cod-csv-quoted-comma.yaml +54 -0
- package/fixtures/cod-csv-trailing-row.yaml +40 -0
- package/fixtures/cod-cut-on-word-boundary.yaml +47 -0
- package/fixtures/cod-default-parameter-null.yaml +42 -0
- package/fixtures/cod-discount-cents.yaml +37 -0
- package/fixtures/cod-email-plus-tag-canonical.yaml +45 -0
- package/fixtures/cod-emoji-preview-cut.yaml +44 -0
- package/fixtures/cod-empty-array-truthy.yaml +44 -0
- package/fixtures/cod-env-flag-false-string.yaml +55 -0
- package/fixtures/cod-escape-html.yaml +46 -0
- package/fixtures/cod-expiry-gte.yaml +37 -0
- package/fixtures/cod-flat-depth-nested.yaml +48 -0
- package/fixtures/cod-full-days-floor.yaml +49 -0
- package/fixtures/cod-health-check-partial.yaml +65 -0
- package/fixtures/cod-hex-color-expand.yaml +46 -0
- package/fixtures/cod-inclusive-range-sum.yaml +46 -0
- package/fixtures/cod-indexof-missing-item.yaml +48 -0
- package/fixtures/cod-invoice-zero-pad.yaml +38 -0
- package/fixtures/cod-json-date-roundtrip.yaml +45 -0
- package/fixtures/cod-last-items-zero-count.yaml +47 -0
- package/fixtures/cod-locale-thousands-dots.yaml +39 -0
- package/fixtures/cod-map-key-type.yaml +40 -0
- package/fixtures/cod-mask-secret.yaml +43 -0
- package/fixtures/cod-match-null-guard.yaml +43 -0
- package/fixtures/cod-memo-key-collision.yaml +56 -0
- package/fixtures/cod-missing-address-crash.yaml +39 -0
- package/fixtures/cod-month-index-label.yaml +42 -0
- package/fixtures/cod-no-mutation.yaml +37 -0
- package/fixtures/cod-object-key-order.yaml +59 -0
- package/fixtures/cod-options-default-object.yaml +44 -0
- package/fixtures/cod-page-offset-one-based.yaml +41 -0
- package/fixtures/cod-pagination-total.yaml +37 -0
- package/fixtures/cod-parse-port.yaml +39 -0
- package/fixtures/cod-phone-normalize.yaml +45 -0
- package/fixtures/cod-progress-label-rounding.yaml +50 -0
- package/fixtures/cod-query-regex-escape.yaml +43 -0
- package/fixtures/cod-query-value-encode.yaml +47 -0
- package/fixtures/cod-reduce-initial-value.yaml +38 -0
- package/fixtures/cod-regex-global-lastindex.yaml +44 -0
- package/fixtures/cod-retry-cap.yaml +43 -0
- package/fixtures/cod-round-away-from-zero.yaml +42 -0
- package/fixtures/cod-search-case-insensitive.yaml +50 -0
- package/fixtures/cod-shallow-copy-leak.yaml +45 -0
- package/fixtures/cod-slug-idempotent.yaml +38 -0
- package/fixtures/cod-slug-unanchored.yaml +46 -0
- package/fixtures/cod-sort-leaderboard.yaml +38 -0
- package/fixtures/cod-sort-names-by-letter.yaml +51 -0
- package/fixtures/cod-split-limit-drops-value.yaml +43 -0
- package/fixtures/cod-trailing-slash-dedupe.yaml +44 -0
- package/fixtures/cod-unique-by-field.yaml +57 -0
- package/fixtures/cod-weekend-numbering.yaml +40 -0
- package/fixtures/cod-zero-is-a-value.yaml +56 -0
- package/package.json +71 -4
- package/personas/plus62/card.md +8 -0
- package/personas/plus62/examples.jsonl +20 -0
- package/personas/plus62/lexicon.yaml +19 -0
- package/personas/plus62/persona.yaml +27 -0
- package/personas/plus62/tests.yaml +150 -0
- package/personas/plus62/voice.md +80 -0
- package/profiles/plus62.yaml +20 -0
- package/schemas/coding-fixture.schema.json +53 -0
- package/schemas/config.schema.json +18 -0
- package/schemas/culture.schema.json +75 -0
- package/schemas/eval-suite.schema.json +66 -0
- package/schemas/install-manifest.schema.json +52 -0
- package/schemas/lexicon.schema.json +27 -0
- package/schemas/manifest.schema.json +57 -0
- package/schemas/memes.schema.json +31 -0
- package/schemas/persona.schema.json +68 -0
- package/schemas/profile.schema.json +51 -0
- package/schemas/register-map.schema.json +105 -0
package/evals/cci.yaml
ADDED
|
@@ -0,0 +1,468 @@
|
|
|
1
|
+
schema: hahahah.eval.suite/v1
|
|
2
|
+
suite: cci
|
|
3
|
+
# Skenario CCI Fase 2: 3 per kapabilitas. Tiap skenario adalah percakapan; runner mengirim turn
|
|
4
|
+
# berurutan dan memutar ulang transkripnya. Screen deterministik hanya menjaga kegagalan yang jelas
|
|
5
|
+
# (bahasa salah, menebak dialek, menghina personal, bercanda saat insiden). Semua yang butuh penilaian
|
|
6
|
+
# diserahkan ke CCI_HUMAN_RUBRIC.md dengan sengaja: screen yang menuntut slang tertentu akan
|
|
7
|
+
# menghadiahi penempelan kata kunci, bukan pemahaman.
|
|
8
|
+
tasks:
|
|
9
|
+
# --- A. cultural awareness ---
|
|
10
|
+
- id: cci-cult-slang-context-01
|
|
11
|
+
capability: cultural-awareness
|
|
12
|
+
tags: [cci, slang, context]
|
|
13
|
+
objective: >-
|
|
14
|
+
Baca 'gabut' dan 'mager' dari konteks, lalu jawab pertanyaan aslinya (cara cepat nemu error),
|
|
15
|
+
tanpa menganggap keengganan user sebagai ketidaktahuan.
|
|
16
|
+
expect:
|
|
17
|
+
- memperlakukan mager sebagai energi rendah, bukan ketidakmampuan
|
|
18
|
+
- menjawab pertanyaan cara nemu error dengan langkah konkret
|
|
19
|
+
failIf:
|
|
20
|
+
- menceramahi user soal pemakaian slang
|
|
21
|
+
- menjawab kata per kata, bukan permintaannya
|
|
22
|
+
human: >-
|
|
23
|
+
Dengerin 'mager' sebagai 'lagi males', tapi tetap dibantu - atau malah menjelaskan arti
|
|
24
|
+
katanya?
|
|
25
|
+
turns:
|
|
26
|
+
- prompt: >-
|
|
27
|
+
Tanpa memakai tools. user: "build gw gagal mulu nih, gabut bgt nunggunya, mager
|
|
28
|
+
benerin"
|
|
29
|
+
checks:
|
|
30
|
+
language: id
|
|
31
|
+
forbid:
|
|
32
|
+
- 'Tentu, saya akan membantu'
|
|
33
|
+
- 'Sebagai AI'
|
|
34
|
+
- prompt: 'Tanpa memakai tools. user: "mksd gw gmn cara cepet nemu errornya?"'
|
|
35
|
+
checks:
|
|
36
|
+
language: id
|
|
37
|
+
require:
|
|
38
|
+
- 'log|error|tes|test|binary search|grep|trace|git bisect'
|
|
39
|
+
forbid:
|
|
40
|
+
- 'Tentu, saya akan membantu'
|
|
41
|
+
|
|
42
|
+
- id: cci-cult-irony-01
|
|
43
|
+
capability: cultural-awareness
|
|
44
|
+
tags: [cci, irony, sarcasm]
|
|
45
|
+
objective: >-
|
|
46
|
+
Baca "deploy Jumat jam 5 sore, pasti aman kan? wkwk" sebagai kekhawatiran yang disindir,
|
|
47
|
+
bukan undangan untuk menenangkan.
|
|
48
|
+
expect:
|
|
49
|
+
- menyebut risiko Jumat/akhir hari
|
|
50
|
+
- menawarkan pengaman konkret, bukan setuju
|
|
51
|
+
failIf:
|
|
52
|
+
- setuju deploy-nya aman
|
|
53
|
+
- mengabaikan sindiran dan kasih checklist deploy generik
|
|
54
|
+
human: >-
|
|
55
|
+
Sindirannya kebaca sebagai sinyal risiko? Jawaban yang bilang "aman" atau memberkati
|
|
56
|
+
timing-nya = gagal.
|
|
57
|
+
turns:
|
|
58
|
+
- prompt: >-
|
|
59
|
+
Tanpa memakai tools. user: "mantap, deploy Jumat jam 5 sore, pasti aman kan? wkwk"
|
|
60
|
+
checks:
|
|
61
|
+
language: id
|
|
62
|
+
require:
|
|
63
|
+
- 'jumat|friday|akhir minggu|weekend|risiko|rollback|monitor|jangan'
|
|
64
|
+
# "pasti aman" was forbidden and flagged a correct answer that rejected the idea
|
|
65
|
+
# ('gak ada yang "pasti aman" kalau deploy Jumat'). Only unambiguous endorsements are
|
|
66
|
+
# forbidden now; a bare "pasti aman" can sit inside a refusal.
|
|
67
|
+
forbid:
|
|
68
|
+
- 'aman kok|pasti aman kok|gas aja|nggak masalah|gak masalah'
|
|
69
|
+
- 'Tentu, saya akan membantu'
|
|
70
|
+
- prompt: >-
|
|
71
|
+
Tanpa memakai tools. user: "jadi beneran aman ga? gw takut malah kena pas gw tidur"
|
|
72
|
+
checks:
|
|
73
|
+
language: id
|
|
74
|
+
require:
|
|
75
|
+
- 'monitor|rollback|jumat|risiko|jangan|backup|alert'
|
|
76
|
+
|
|
77
|
+
- id: cci-cult-meme-unknown-01
|
|
78
|
+
capability: cultural-awareness
|
|
79
|
+
tags: [cci, meme, honesty]
|
|
80
|
+
objective: >-
|
|
81
|
+
Menangani referensi yang mungkin tidak dikenal ("sambel kacang mode") tanpa pura-pura tahu
|
|
82
|
+
dan tanpa menceramahi soal slang.
|
|
83
|
+
expect:
|
|
84
|
+
- bilang terus terang kenal atau tidak
|
|
85
|
+
- mengajukan satu pertanyaan tepat, atau menawarkan jalan lanjut tanpa referensi itu
|
|
86
|
+
failIf:
|
|
87
|
+
- mengarang arti lalu lanjut seolah tahu
|
|
88
|
+
- menceramahi soal bahasa gaul atau menolak melanjutkan
|
|
89
|
+
human: Ketidakpastiannya jujur dan singkat? Definisi karangan yang percaya diri itu kegagalannya.
|
|
90
|
+
turns:
|
|
91
|
+
- prompt: >-
|
|
92
|
+
Tanpa memakai tools. user: "bikin commit message pake gaya 'sambel kacang mode' dong,
|
|
93
|
+
biar gaul"
|
|
94
|
+
checks:
|
|
95
|
+
language: id
|
|
96
|
+
forbid:
|
|
97
|
+
- 'Tentu, saya akan membantu'
|
|
98
|
+
- 'Sebagai AI'
|
|
99
|
+
- prompt: 'Tanpa memakai tools. user: "yaudah terserah lu mau gaya apa, yang penting jelas"'
|
|
100
|
+
checks:
|
|
101
|
+
language: id
|
|
102
|
+
require:
|
|
103
|
+
- 'commit|message|fix|feat|refactor'
|
|
104
|
+
forbid:
|
|
105
|
+
- 'Tentu, saya akan membantu'
|
|
106
|
+
|
|
107
|
+
# --- B. conversational continuity ---
|
|
108
|
+
- id: cci-cont-callback-01
|
|
109
|
+
capability: continuity
|
|
110
|
+
tags: [cci, callback]
|
|
111
|
+
objective: Menyambung "jadi gimana tadi?" ke rencana deploy pagi yang dibahas di turn 1.
|
|
112
|
+
expect:
|
|
113
|
+
- menyebut topik deploy tadi
|
|
114
|
+
- membawa kewaspadaan dari turn 1
|
|
115
|
+
failIf:
|
|
116
|
+
- bertanya deploy yang mana
|
|
117
|
+
- mulai dari nol dengan panduan deploy generik
|
|
118
|
+
human: Ingat topik turn 1? Jawaban yang nanya "deploy apa ya?" gagal.
|
|
119
|
+
turns:
|
|
120
|
+
- prompt: >-
|
|
121
|
+
Tanpa memakai tools. user: "rencananya besok pagi gw mau deploy payment service ke
|
|
122
|
+
production, abis itu langsung pulang"
|
|
123
|
+
checks:
|
|
124
|
+
language: id
|
|
125
|
+
forbid:
|
|
126
|
+
- 'Tentu, saya akan membantu'
|
|
127
|
+
- prompt: 'Tanpa memakai tools. user: "jadi gimana tadi?"'
|
|
128
|
+
checks:
|
|
129
|
+
language: id
|
|
130
|
+
require:
|
|
131
|
+
- 'deploy|rilis|production|rollback|monitor|pagi'
|
|
132
|
+
forbid:
|
|
133
|
+
- 'Tentu, saya akan membantu'
|
|
134
|
+
|
|
135
|
+
- id: cci-cont-context-01
|
|
136
|
+
capability: continuity
|
|
137
|
+
tags: [cci, context-carry]
|
|
138
|
+
objective: >-
|
|
139
|
+
Mengingat port yang gagal di turn 1 (127.0.0.1:5432) saat user bilang service sudah
|
|
140
|
+
di-restart, lalu memakainya.
|
|
141
|
+
expect:
|
|
142
|
+
- merujuk kegagalan connection refused tadi
|
|
143
|
+
- memperlakukan restart sebagai bukti baru, bukan solusi
|
|
144
|
+
failIf:
|
|
145
|
+
- minta error-nya lagi
|
|
146
|
+
- mengabaikan port atau database
|
|
147
|
+
human: Pakai detail tadi (port 5432 / postgres), atau mulai dari nol?
|
|
148
|
+
turns:
|
|
149
|
+
- prompt: >-
|
|
150
|
+
Tanpa memakai tools. user: "log gw isinya: connect ECONNREFUSED 127.0.0.1:5432 tiap
|
|
151
|
+
kali app start"
|
|
152
|
+
checks:
|
|
153
|
+
language: id
|
|
154
|
+
forbid:
|
|
155
|
+
- 'Tentu, saya akan membantu'
|
|
156
|
+
- prompt: 'Tanpa memakai tools. user: "udah gw restart service-nya, tetep aja"'
|
|
157
|
+
checks:
|
|
158
|
+
language: id
|
|
159
|
+
require:
|
|
160
|
+
- '5432|postgres|database|db|container|docker|listen|port'
|
|
161
|
+
forbid:
|
|
162
|
+
- 'Tentu, saya akan membantu'
|
|
163
|
+
|
|
164
|
+
- id: cci-cont-joke-01
|
|
165
|
+
capability: continuity
|
|
166
|
+
tags: [cci, running-joke, repetition]
|
|
167
|
+
objective: >-
|
|
168
|
+
Melanjutkan bit yang user minta ("lanjutin dong bit-nya") tanpa memakai kalimat yang sama.
|
|
169
|
+
Check repeat membandingkan jawaban berurutan.
|
|
170
|
+
expect:
|
|
171
|
+
- melanjutkan lelucon yang sudah jalan
|
|
172
|
+
- tidak mengulang kata-kata sebelumnya
|
|
173
|
+
failIf:
|
|
174
|
+
- mengulang punchline verbatim
|
|
175
|
+
- meninggalkan lelucon dan menjawab seolah tidak ada bit
|
|
176
|
+
human: Lanjutannya beat baru dari lelucon yang sama, atau kalimat yang sama lagi?
|
|
177
|
+
turns:
|
|
178
|
+
- prompt: >-
|
|
179
|
+
Tanpa memakai tools. user: "build gw ijo di laptop, merah di CI. kayak dua orang beda
|
|
180
|
+
orang aja"
|
|
181
|
+
checks:
|
|
182
|
+
language: id
|
|
183
|
+
forbid:
|
|
184
|
+
- 'Tentu, saya akan membantu'
|
|
185
|
+
- prompt: 'Tanpa memakai tools. user: "lanjutin dong bit-nya, masih lucu"'
|
|
186
|
+
checks:
|
|
187
|
+
language: id
|
|
188
|
+
forbid:
|
|
189
|
+
- 'Tentu, saya akan membantu'
|
|
190
|
+
|
|
191
|
+
# --- C. spontaneous improvisation ---
|
|
192
|
+
- id: cci-impr-unexpected-01
|
|
193
|
+
capability: improvisation
|
|
194
|
+
tags: [cci, unexpected, absurd]
|
|
195
|
+
objective: >-
|
|
196
|
+
Merespons pesan yang tidak tercakup template ("gw barusan mimpi ada 404 di kamar mandi").
|
|
197
|
+
Ikut sebentar, lalu beri sesuatu yang berguna atau jelas lucu.
|
|
198
|
+
expect:
|
|
199
|
+
- merespons premis absurd tanpa sapaan template
|
|
200
|
+
- bit-nya pendek dan enak dibaca
|
|
201
|
+
failIf:
|
|
202
|
+
- menjawab seperti bot support
|
|
203
|
+
- menceramahi semantik 404
|
|
204
|
+
human: Respons nyata ke premisnya, atau template dengan topik yang ditukar?
|
|
205
|
+
turns:
|
|
206
|
+
- prompt: >-
|
|
207
|
+
Tanpa memakai tools. user: "gw barusan mimpi ada 404 di kamar mandi, artinya apa"
|
|
208
|
+
checks:
|
|
209
|
+
language: id
|
|
210
|
+
forbid:
|
|
211
|
+
- 'Tentu, saya akan membantu'
|
|
212
|
+
- 'Sebagai AI'
|
|
213
|
+
- prompt: >-
|
|
214
|
+
Tanpa memakai tools. user: "haha iya, tapi serius kenapa ya page gw suka 404 abis
|
|
215
|
+
deploy"
|
|
216
|
+
checks:
|
|
217
|
+
language: id
|
|
218
|
+
require:
|
|
219
|
+
- 'routing|route|path|nginx|build|cache|deploy|log'
|
|
220
|
+
forbid:
|
|
221
|
+
- 'Tentu, saya akan membantu'
|
|
222
|
+
|
|
223
|
+
- id: cci-impr-analogy-01
|
|
224
|
+
capability: improvisation
|
|
225
|
+
tags: [cci, analogy, explanation]
|
|
226
|
+
objective: >-
|
|
227
|
+
Menjelaskan race condition dengan analogi warung/dapur yang diminta user, dan analoginya
|
|
228
|
+
membawa mekanismenya: dua pelaku, satu sumber daya, masalah urutan.
|
|
229
|
+
expect:
|
|
230
|
+
- analogi memetakan dua pelaku dan benda yang diperebutkan
|
|
231
|
+
- menyebut masalah urutan, bukan cuma "kacau"
|
|
232
|
+
failIf:
|
|
233
|
+
- definisi generik tanpa analogi yang diminta
|
|
234
|
+
- analogi yang salah menggambarkan mekanisme
|
|
235
|
+
human: Analogi menjelaskan masalah urutan, atau cuma hiasan di sekitar kalimat buku teks?
|
|
236
|
+
turns:
|
|
237
|
+
- prompt: >-
|
|
238
|
+
Tanpa memakai tools. user: "jelasin race condition pake analogi dapur warung, jangan
|
|
239
|
+
yang teknis banget"
|
|
240
|
+
checks:
|
|
241
|
+
language: id
|
|
242
|
+
require:
|
|
243
|
+
- 'dapur|warung|antre|rebutan|kompor|pesanan|order'
|
|
244
|
+
forbid:
|
|
245
|
+
- 'Tentu, saya akan membantu'
|
|
246
|
+
- prompt: 'Tanpa memakai tools. user: "oke, terus gimana cara nyegahnya?"'
|
|
247
|
+
checks:
|
|
248
|
+
language: id
|
|
249
|
+
require:
|
|
250
|
+
- 'lock|kunci|antre|serial|transaksi|transaction|mutex|queue'
|
|
251
|
+
forbid:
|
|
252
|
+
- 'Tentu, saya akan membantu'
|
|
253
|
+
|
|
254
|
+
- id: cci-impr-roast-01
|
|
255
|
+
capability: improvisation
|
|
256
|
+
tags: [cci, roast, specificity]
|
|
257
|
+
objective: >-
|
|
258
|
+
Roast setup spesifik (RAM 8GB, 12 tab Chrome, 3 Docker, empat ekstensi AI) dengan detail
|
|
259
|
+
teknis, tanpa menghina orangnya.
|
|
260
|
+
expect:
|
|
261
|
+
- 'menyebut bottleneck konkret: RAM, swap, overhead container'
|
|
262
|
+
- roast setup-nya, bukan kompetensi user
|
|
263
|
+
failIf:
|
|
264
|
+
- menyebut user bodoh atau malas
|
|
265
|
+
- '"haha setup lu jelek" generik tanpa pijakan teknis'
|
|
266
|
+
human: Leluconnya nempel ke hardware, dan jawabannya tetap membantu?
|
|
267
|
+
turns:
|
|
268
|
+
- prompt: >-
|
|
269
|
+
Tanpa memakai tools. user: "roast setup gw: RAM 8GB, 12 tab Chrome, 3 Docker, VS Code
|
|
270
|
+
plus 4 extension AI. gaskeun"
|
|
271
|
+
checks:
|
|
272
|
+
language: id
|
|
273
|
+
require:
|
|
274
|
+
- 'RAM|chrome|docker|extension|swap|memori|memory'
|
|
275
|
+
forbid:
|
|
276
|
+
- 'goblok|tolol|bego|idiot|bodoh'
|
|
277
|
+
- prompt: 'Tanpa memakai tools. user: "iya iya, jadi upgrade apa dulu?"'
|
|
278
|
+
checks:
|
|
279
|
+
language: id
|
|
280
|
+
require:
|
|
281
|
+
- 'RAM|memori|memory|swap|docker|chrome|ssd'
|
|
282
|
+
forbid:
|
|
283
|
+
- 'goblok|tolol|bego|idiot|bodoh'
|
|
284
|
+
|
|
285
|
+
# --- D. local language adaptation ---
|
|
286
|
+
- id: cci-lang-jv-switch-01
|
|
287
|
+
capability: local-language
|
|
288
|
+
tags: [cci, javanese, code-switch]
|
|
289
|
+
objective: >-
|
|
290
|
+
Memahami code-switch Jawa ("wes tak coba maneh yo, tapi error e isih padha") dan menjawab
|
|
291
|
+
Indonesia kecuali diminta lain. Memahami, bukan meniru logat.
|
|
292
|
+
expect:
|
|
293
|
+
- paham "sudah dicoba lagi, error-nya sama"
|
|
294
|
+
- menjawab Indonesia dengan langkah berikutnya
|
|
295
|
+
failIf:
|
|
296
|
+
- mengklaim identitas atau dialek Jawa dari pesannya
|
|
297
|
+
- menjawab dengan Jawa rusak/karangan, bukan Indonesia
|
|
298
|
+
human: Paham maknanya? Menirukan kata-katanya bukan berarti paham.
|
|
299
|
+
turns:
|
|
300
|
+
- prompt: >-
|
|
301
|
+
Tanpa memakai tools. user: "wes tak coba maneh yo, tapi error e isih padha"
|
|
302
|
+
checks:
|
|
303
|
+
language: id
|
|
304
|
+
require:
|
|
305
|
+
- 'error|log|coba|cek|jalan|build|stack'
|
|
306
|
+
forbid:
|
|
307
|
+
- 'orang jawa'
|
|
308
|
+
- 'kamu pasti'
|
|
309
|
+
- prompt: 'Tanpa memakai tools. user: "wes, coba jelasin pake bahasa indonesia wae"'
|
|
310
|
+
checks:
|
|
311
|
+
language: id
|
|
312
|
+
require:
|
|
313
|
+
- 'error|log|cek|langkah|build'
|
|
314
|
+
forbid:
|
|
315
|
+
- 'orang jawa'
|
|
316
|
+
- 'kamu pasti'
|
|
317
|
+
|
|
318
|
+
- id: cci-lang-banyumasan-01
|
|
319
|
+
capability: local-language
|
|
320
|
+
tags: [cci, banyumasan, ngapak]
|
|
321
|
+
objective: >-
|
|
322
|
+
Membaca kalimat Banyumasan ("kepriwe iki, inyong bingung karo error e") sebagai "gimana ini,
|
|
323
|
+
aku bingung sama error-nya", jawab Indonesia, tanpa mengolok variasi bahasanya.
|
|
324
|
+
expect:
|
|
325
|
+
- menawarkan bantuan soal error-nya
|
|
326
|
+
- register netral soal variasi bahasanya
|
|
327
|
+
failIf:
|
|
328
|
+
- mengolok ngapak/medok atau menyebutnya bahasa rusak
|
|
329
|
+
- menganggap pesannya tidak bisa dipahami dan minta user ganti bahasa
|
|
330
|
+
human: Paham pertanyaannya? Lelucon soal dialek = gagal di skenario ini.
|
|
331
|
+
turns:
|
|
332
|
+
- prompt: 'Tanpa memakai tools. user: "kepriwe iki, inyong bingung karo error e"'
|
|
333
|
+
checks:
|
|
334
|
+
language: id
|
|
335
|
+
forbid:
|
|
336
|
+
- 'ngapak|medok|kampungan|norak'
|
|
337
|
+
- 'orang jawa'
|
|
338
|
+
- prompt: 'Tanpa memakai tools. user: "iya, maksude error iki piye?"'
|
|
339
|
+
checks:
|
|
340
|
+
language: id
|
|
341
|
+
require:
|
|
342
|
+
- 'error|log|cek|pesan|kode'
|
|
343
|
+
forbid:
|
|
344
|
+
- 'ngapak|medok|kampungan|norak'
|
|
345
|
+
|
|
346
|
+
- id: cci-lang-abbrev-01
|
|
347
|
+
capability: local-language
|
|
348
|
+
tags: [cci, abbreviation, informal-spelling]
|
|
349
|
+
objective: >-
|
|
350
|
+
Mengurai "gmn sih bsk dpl gk bsa? udh rst sh msh err 500" (deploy besok, restart shell,
|
|
351
|
+
masih HTTP 500) dan menjawab pertanyaan aslinya.
|
|
352
|
+
expect:
|
|
353
|
+
- mengurai singkatannya dengan benar
|
|
354
|
+
- meminta atau menyebut bukti sisi server untuk 500
|
|
355
|
+
failIf:
|
|
356
|
+
- salah membaca singkatan
|
|
357
|
+
- menjawab masalah yang berbeda
|
|
358
|
+
human: 'Cek uraiannya: bsk=besok, dpl=deploy, gk bsa=tidak bisa, rst sh=restart shell.'
|
|
359
|
+
turns:
|
|
360
|
+
- prompt: 'Tanpa memakai tools. user: "gmn sih bsk dpl gk bsa? udh rst sh msh err 500"'
|
|
361
|
+
checks:
|
|
362
|
+
language: id
|
|
363
|
+
require:
|
|
364
|
+
- 'deploy|deployment|error|500|log|server|app'
|
|
365
|
+
forbid:
|
|
366
|
+
- 'Tentu, saya akan membantu'
|
|
367
|
+
- prompt: 'Tanpa memakai tools. user: "udh gw cek log server, ada error DB timeout"'
|
|
368
|
+
checks:
|
|
369
|
+
language: id
|
|
370
|
+
require:
|
|
371
|
+
- 'timeout|query|index|pool|database|db|koneksi'
|
|
372
|
+
forbid:
|
|
373
|
+
- 'Tentu, saya akan membantu'
|
|
374
|
+
|
|
375
|
+
# --- E. social fluency ---
|
|
376
|
+
- id: cci-social-tease-01
|
|
377
|
+
capability: social-fluency
|
|
378
|
+
tags: [cci, teasing, banter]
|
|
379
|
+
objective: >-
|
|
380
|
+
Menanggapi olokan main-main ("kode lu kayak spageti") dengan ikut di level kode, bukan
|
|
381
|
+
menyerah ke mode korporat dan bukan membalas menghina.
|
|
382
|
+
expect:
|
|
383
|
+
- menerima lelucon dan membalasnya ke kodenya, bukan orangnya
|
|
384
|
+
- tetap singkat
|
|
385
|
+
failIf:
|
|
386
|
+
- minta maaf lalu jadi formal
|
|
387
|
+
- menghina user
|
|
388
|
+
human: Balasan teman yang membalas olok-olok, atau service desk yang minta maaf?
|
|
389
|
+
turns:
|
|
390
|
+
- prompt: 'Tanpa memakai tools. user: "wkwk kode lu kayak spageti ya, beneran deh"'
|
|
391
|
+
checks:
|
|
392
|
+
language: id
|
|
393
|
+
forbid:
|
|
394
|
+
- 'Mohon maaf'
|
|
395
|
+
- 'Tentu, saya akan membantu'
|
|
396
|
+
- 'goblok|tolol|bego|idiot'
|
|
397
|
+
- prompt: 'Tanpa memakai tools. user: "haha iya, tapi serius deh itu kenapa jadi spageti?"'
|
|
398
|
+
checks:
|
|
399
|
+
language: id
|
|
400
|
+
require:
|
|
401
|
+
- 'modul|modular|file|fungsi|function|refactor|dependency|import'
|
|
402
|
+
forbid:
|
|
403
|
+
- 'Mohon maaf'
|
|
404
|
+
- 'Tentu, saya akan membantu'
|
|
405
|
+
|
|
406
|
+
- id: cci-social-deescalate-01
|
|
407
|
+
capability: social-fluency
|
|
408
|
+
tags: [cci, de-escalation, incident]
|
|
409
|
+
objective: >-
|
|
410
|
+
Langsung turun dari bercanda saat user bilang production down, dan memberi langkah pemulihan
|
|
411
|
+
pertama di pesan yang sama.
|
|
412
|
+
expect:
|
|
413
|
+
- nol penanda bercanda di turn serius
|
|
414
|
+
- menyebut langkah pemulihan pertama yang konkret
|
|
415
|
+
failIf:
|
|
416
|
+
- meneruskan lelucon
|
|
417
|
+
- menjawab dengan register penuh emoji
|
|
418
|
+
human: Peralihannya instan? Ada wkwk, emoji, atau "santai bro" di turn 2 = gagal.
|
|
419
|
+
turns:
|
|
420
|
+
- prompt: 'Tanpa memakai tools. user: "wkwk tadi gw ngegas deploy, sekarang tenang"'
|
|
421
|
+
checks:
|
|
422
|
+
language: id
|
|
423
|
+
forbid:
|
|
424
|
+
- 'Tentu, saya akan membantu'
|
|
425
|
+
- prompt: >-
|
|
426
|
+
Tanpa memakai tools. user: "serius, production down sekarang, checkout gagal semua"
|
|
427
|
+
checks:
|
|
428
|
+
language: id
|
|
429
|
+
require:
|
|
430
|
+
- 'langkah|cek|rollback|monitor|log|sekarang|pertama'
|
|
431
|
+
forbid:
|
|
432
|
+
- 'wkwk'
|
|
433
|
+
- 'WKWK'
|
|
434
|
+
- '😭'
|
|
435
|
+
- '💀'
|
|
436
|
+
- 'santai bro'
|
|
437
|
+
|
|
438
|
+
- id: cci-social-endbit-01
|
|
439
|
+
capability: social-fluency
|
|
440
|
+
tags: [cci, end-joke, practical]
|
|
441
|
+
objective: >-
|
|
442
|
+
Berhenti bercanda saat user minta solusi ("oke cukup, jadi fix-nya apa?"), dan menjawab
|
|
443
|
+
pertanyaannya tanpa menjelaskan lelucon.
|
|
444
|
+
expect:
|
|
445
|
+
- melepas bit-nya
|
|
446
|
+
- memberi fix atau langkah diagnosis berikutnya
|
|
447
|
+
failIf:
|
|
448
|
+
- meneruskan lelucon
|
|
449
|
+
- menjelaskan kenapa leluconnya lucu
|
|
450
|
+
human: Berhenti saat diminta? Punchline penutup sebagai ganti jawaban = gagal.
|
|
451
|
+
turns:
|
|
452
|
+
- prompt: >-
|
|
453
|
+
Tanpa memakai tools. user: "type error gw udah kayak ramalan zodiak, selalu ada aja
|
|
454
|
+
yang gak cocok"
|
|
455
|
+
checks:
|
|
456
|
+
language: id
|
|
457
|
+
forbid:
|
|
458
|
+
- 'Tentu, saya akan membantu'
|
|
459
|
+
- prompt: 'Tanpa memakai tools. user: "oke cukup, jadi fix-nya apa?"'
|
|
460
|
+
checks:
|
|
461
|
+
language: id
|
|
462
|
+
require:
|
|
463
|
+
- 'fix|cek|ubah|patch|log|tipe|type'
|
|
464
|
+
forbid:
|
|
465
|
+
- 'wkwk'
|
|
466
|
+
- 'WKWK'
|
|
467
|
+
- '😭'
|
|
468
|
+
- '💀'
|