@tyhld/conductor 0.12.116 → 0.12.118
This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
- package/dist/headless.js +209 -11
- package/dist/relay.js +36 -11
- package/dist/selfcheck.js +194 -61
- package/package.json +1 -1
package/dist/headless.js
CHANGED
|
@@ -19,7 +19,7 @@ import { createInterface } from 'node:readline';
|
|
|
19
19
|
import { createWriteStream, existsSync, mkdirSync, readFileSync, readdirSync, realpathSync, rmSync, statSync, unlinkSync, writeFileSync } from 'node:fs';
|
|
20
20
|
import path from 'node:path';
|
|
21
21
|
import os from 'node:os';
|
|
22
|
-
import { CENTRAL_BUSY_HOLD_MAX_MS, RELAY_DELIVER_MAX, RELAY_FETCH_TIMEOUT_MS, RELAY_HEARTBEAT_INTERVAL_MS, RELAY_RESTORE_ORPHANS_ENABLED, ackResumeSignal, buildAnchor, buildSendText, canDeliver, completeWithReportOutcome, createRelayState, deliverJobEndFacts, deliveryReport, fetchCommand, fetchCommandStatus, fetchControl, fetchOrphans, flushPendingJobEndFacts, isTerminalCommandStatus, kindOf, markDelivered, noteCentralDown, noteCentralUp, noteDrain, noteReadiness, patchStatus, recoverStuckProcessedReports, reconnectDelayMs, WAIT_CLOSED_STATUS, FINISH_GATE_KINDS, reportDelivery, selectOrphanToRestore, sendHeartbeat, } from './relay.js';
|
|
22
|
+
import { CENTRAL_BUSY_HOLD_MAX_MS, RELAY_DELIVER_MAX, RELAY_FETCH_TIMEOUT_MS, RELAY_HEARTBEAT_INTERVAL_MS, RELAY_RESTORE_ORPHANS_ENABLED, ackResumeSignal, buildAnchor, buildSendText, canDeliver, completeWithReportOutcome, createRelayState, deliverJobEndFacts, deliveryReport, fetchCommand, fetchCommandState, fetchCommandStatus, fetchControl, fetchOrphans, flushPendingJobEndFacts, isTerminalCommandStatus, kindOf, markDelivered, noteCentralDown, noteCentralUp, noteDrain, noteReadiness, patchStatus, recoverStuckProcessedReports, reconnectDelayMs, WAIT_CLOSED_STATUS, FINISH_GATE_KINDS, reportDelivery, selectOrphanToRestore, sendHeartbeat, } from './relay.js';
|
|
23
23
|
import { claudePinPath, readClaudePinLine, } from './autoupdate-flags.js';
|
|
24
24
|
const log = (msg) => {
|
|
25
25
|
console.log(`[headless] ${msg}`);
|
|
@@ -213,6 +213,68 @@ export function loadLastJob(site) {
|
|
|
213
213
|
return null;
|
|
214
214
|
}
|
|
215
215
|
}
|
|
216
|
+
// ─────────────────────────────────────────────────────────────────────────────
|
|
217
|
+
// 「停止の依頼で止めた」手元の記録(便 fbdd7482)
|
|
218
|
+
//
|
|
219
|
+
// 【なぜ手元に残すか】管制の `stopRequested` は、停止ボタンを押した瞬間から真のままだが、
|
|
220
|
+
// 配り役が再開するかどうかを決める瞬間に管制へ届かない(通信が落ちている)ことがある。
|
|
221
|
+
// そのときに「依頼があったかどうか」を手元で言えないと、止めた便をもう一度走らせてしまう。
|
|
222
|
+
// 【★管制の口も欄も増やしていない】手元のファイル1枚だけ。中央との約束は何も変わらない。
|
|
223
|
+
// 【消すとき】その便を畳んだとき(もう拾い直す対象でなくなったとき)だけ消す。
|
|
224
|
+
// ─────────────────────────────────────────────────────────────────────────────
|
|
225
|
+
/** 「停止の依頼で止めた」記録の置き場。 */
|
|
226
|
+
export function stopRequestedDir() {
|
|
227
|
+
return path.join(ACTIVE_JOB_DIR, 'stop-requested');
|
|
228
|
+
}
|
|
229
|
+
/** 1便ぶんの記録ファイルのパス(★現場と指示IDの両方を入れる=別の現場の便と混ざらない)。 */
|
|
230
|
+
export function stopRequestedPath(site, commandId) {
|
|
231
|
+
const safe = (s) => s.replace(/[^A-Za-z0-9._-]/g, '_');
|
|
232
|
+
return path.join(stopRequestedDir(), `${safe(site)}__${safe(commandId)}.json`);
|
|
233
|
+
}
|
|
234
|
+
/** 「停止の依頼で止めた」ことを手元に残す。書けたか返す(書けなくても作業は止めない)。 */
|
|
235
|
+
export function saveStopRequested(site, commandId, detail) {
|
|
236
|
+
try {
|
|
237
|
+
mkdirSync(stopRequestedDir(), { recursive: true });
|
|
238
|
+
const rec = { commandId, site, at: new Date().toISOString(), detail };
|
|
239
|
+
writeFileSync(stopRequestedPath(site, commandId), JSON.stringify(rec) + '\n');
|
|
240
|
+
return true;
|
|
241
|
+
}
|
|
242
|
+
catch (err) {
|
|
243
|
+
log(`WARN 停止の依頼の記録に失敗: ${err instanceof Error ? err.message : String(err)}`);
|
|
244
|
+
return false;
|
|
245
|
+
}
|
|
246
|
+
}
|
|
247
|
+
/** 「停止の依頼で止めた」記録を読む。無ければ null。 */
|
|
248
|
+
export function loadStopRequested(site, commandId) {
|
|
249
|
+
try {
|
|
250
|
+
const p = stopRequestedPath(site, commandId);
|
|
251
|
+
if (!existsSync(p))
|
|
252
|
+
return null;
|
|
253
|
+
const raw = readFileSync(p, 'utf8').trim();
|
|
254
|
+
if (!raw)
|
|
255
|
+
return null;
|
|
256
|
+
const rec = JSON.parse(raw);
|
|
257
|
+
if (!rec.commandId)
|
|
258
|
+
return null;
|
|
259
|
+
return rec;
|
|
260
|
+
}
|
|
261
|
+
catch {
|
|
262
|
+
return null;
|
|
263
|
+
}
|
|
264
|
+
}
|
|
265
|
+
/** その便に「停止の依頼で止めた」記録が在るか。 */
|
|
266
|
+
export function hasStopRequested(site, commandId) {
|
|
267
|
+
return loadStopRequested(site, commandId) !== null;
|
|
268
|
+
}
|
|
269
|
+
/** 「停止の依頼で止めた」記録を消す(★その便を畳んだときだけ)。 */
|
|
270
|
+
export function clearStopRequested(site, commandId) {
|
|
271
|
+
try {
|
|
272
|
+
const p = stopRequestedPath(site, commandId);
|
|
273
|
+
if (existsSync(p))
|
|
274
|
+
unlinkSync(p);
|
|
275
|
+
}
|
|
276
|
+
catch { /* ignore */ }
|
|
277
|
+
}
|
|
216
278
|
/** 起動時に前回の実行中ジョブを読む。無ければ null。 */
|
|
217
279
|
export function loadActiveJob(site) {
|
|
218
280
|
try {
|
|
@@ -614,6 +676,64 @@ export function reapedAfterFinishDetail(exitCode, exitSignal) {
|
|
|
614
676
|
const tail = parts.length > 0 ? `(片づけの結果: ${parts.join(', ')})` : '';
|
|
615
677
|
return `完了の知らせの後に、残った処理を片づけました${tail}`;
|
|
616
678
|
}
|
|
679
|
+
/**
|
|
680
|
+
* 停止の依頼が来ているか(★純粋関数・便 fbdd7482)。
|
|
681
|
+
*
|
|
682
|
+
* 【なぜ2つを見るか】管制(ai-kana)の停止ボタンは `stopRequested` の欄だけを true にし、
|
|
683
|
+
* `status` は `sent` のまま変えない。だから `status === 'stop_requested'` だけを見ていた
|
|
684
|
+
* これまでの配り役には、停止が一度も届かなかった(便 3a4bc301 の調べ)。
|
|
685
|
+
* ★どちらか一方で止める。`status` の綴りは、将来管制がそう書く場合のために残す(消さない)。
|
|
686
|
+
* ★`stopRequested` が null(欄が無い・読めない)のときは「依頼なし」と読む=勝手に止めない。
|
|
687
|
+
*/
|
|
688
|
+
export function stopRequestedFromCentral(s) {
|
|
689
|
+
if (s === null)
|
|
690
|
+
return false; // 中央不達=未知。止める材料にはしない(止める側に倒さない)。
|
|
691
|
+
if (s.stopRequested === true)
|
|
692
|
+
return true;
|
|
693
|
+
return s.status === 'stop_requested';
|
|
694
|
+
}
|
|
695
|
+
/**
|
|
696
|
+
* 外から来た合図で終わった形か(★純粋関数・便 fbdd7482)。
|
|
697
|
+
*
|
|
698
|
+
* 【なぜ要るか】人・systemd・番人が外から止めると、職人の処理は SIGTERM/SIGINT で終わる
|
|
699
|
+
* (終了コード 143/130、または Node が合図名を返す)。ところが**外から終了しただけでは
|
|
700
|
+
* 「意図した停止」と断定できない**(けいさん決定 2026-10-07)。だから終わり方の見た目だけで
|
|
701
|
+
* 「止められた」と扱わず、停止の依頼の記録が無いこれを【原因不明の終了】として分けて残す。
|
|
702
|
+
* ★扱いは今までどおり(再開・上限3回)。この関数は「記録の分け方」にしか使わない。
|
|
703
|
+
*/
|
|
704
|
+
export function endedByExternalSignal(j) {
|
|
705
|
+
const sig = (j.exitSignal ?? '').trim().toUpperCase();
|
|
706
|
+
if (sig === 'SIGTERM' || sig === 'SIGINT' || sig === 'SIGHUP' || sig === 'SIGQUIT')
|
|
707
|
+
return true;
|
|
708
|
+
// 入れ物(sh など)を1枚かぶっている場合、合図は終了コードに畳まれて届く(128 + 合図番号)。
|
|
709
|
+
return j.exitCode === 143 || j.exitCode === 130 || j.exitCode === 129 || j.exitCode === 131;
|
|
710
|
+
}
|
|
711
|
+
/**
|
|
712
|
+
* 「原因不明の終了」の一言(★純粋関数・便 fbdd7482)。
|
|
713
|
+
*
|
|
714
|
+
* ★事実だけを書く。「止めました」とは書かない(停止の依頼の記録が無いので、断定できない)。
|
|
715
|
+
*/
|
|
716
|
+
export function unknownExternalEndDetail(exitCode, exitSignal) {
|
|
717
|
+
const parts = [];
|
|
718
|
+
if (exitCode !== null)
|
|
719
|
+
parts.push(`終了コード=${exitCode}`);
|
|
720
|
+
if (exitSignal !== null)
|
|
721
|
+
parts.push(`合図=${exitSignal}`);
|
|
722
|
+
const tail = parts.length > 0 ? `(${parts.join(', ')})` : '';
|
|
723
|
+
return `原因不明の終了${tail}: 外から終了した形ですが、停止の依頼の記録はありません`;
|
|
724
|
+
}
|
|
725
|
+
/**
|
|
726
|
+
* この便を「再開するかもしれない」枝に居るか(★純粋関数・便 fbdd7482)。
|
|
727
|
+
*
|
|
728
|
+
* ★ここが真のときだけ、再開の手前で停止の依頼を1回確かめる(よけいな問い合わせを足さない)。
|
|
729
|
+
* ・時間切れ・止められた・片づけただけ・認証の問題 … それぞれの後始末が畳むので確かめない
|
|
730
|
+
* ・終了コード 0 … 完了の道。確かめない
|
|
731
|
+
*/
|
|
732
|
+
export function mayRetryAfterExit(j) {
|
|
733
|
+
if (j.timedOut || j.stopped || j.reapedAfterFinish || j.authError)
|
|
734
|
+
return false;
|
|
735
|
+
return j.exitCode !== 0;
|
|
736
|
+
}
|
|
617
737
|
/**
|
|
618
738
|
* 本文を渡せなかった便として、走っている処理を止めるか(★純粋関数・便 915694ac)。
|
|
619
739
|
*
|
|
@@ -1401,6 +1521,35 @@ async function checkRunningJob(cfg, state) {
|
|
|
1401
1521
|
...(detail !== undefined ? { detail } : {}),
|
|
1402
1522
|
});
|
|
1403
1523
|
};
|
|
1524
|
+
// ★再開するかもしれない便だけ、終わりの事実を届ける前に「停止の依頼」を1回確かめる
|
|
1525
|
+
// (けいさん決定 2026-10-07・便 fbdd7482)。
|
|
1526
|
+
//
|
|
1527
|
+
// 【なぜ届ける前か】ここで依頼が見つかれば、この便の終わり方は『止められた(stopped)』になる。
|
|
1528
|
+
// 届けたあとに気づいても、管制には既に『異常終了(error)』が書かれてしまう。
|
|
1529
|
+
// 【確かめる順】手元の記録 → 管制の欄。手元に在れば通信しない(★問い合わせは最大1回)。
|
|
1530
|
+
// 【★外から終了しただけでは意図した停止と断定しない】依頼がどこにも無いのに外からの合図で
|
|
1531
|
+
// 終わった便は「原因不明の終了」として分けて記録し、扱いは今までどおり(再開・上限3回)。
|
|
1532
|
+
let unknownExternalEnd = false;
|
|
1533
|
+
if (mayRetryAfterExit({
|
|
1534
|
+
timedOut: job.timedOut,
|
|
1535
|
+
stopped: job.stopped,
|
|
1536
|
+
reapedAfterFinish: job.reapedAfterFinish,
|
|
1537
|
+
authError: isAuthError(job),
|
|
1538
|
+
exitCode: job.exitCode,
|
|
1539
|
+
})) {
|
|
1540
|
+
if (hasStopRequested(cfg.site, job.commandId)) {
|
|
1541
|
+
job.stopped = true;
|
|
1542
|
+
log(`site=${cfg.site} id=${job.commandId} 停止の依頼の記録が手元に在る → 再開しません`);
|
|
1543
|
+
}
|
|
1544
|
+
else if (stopRequestedFromCentral(await fetchCommandState(cfg, job.commandId))) {
|
|
1545
|
+
job.stopped = true;
|
|
1546
|
+
saveStopRequested(cfg.site, job.commandId, '終了後に管制の停止の依頼を確認した');
|
|
1547
|
+
log(`site=${cfg.site} id=${job.commandId} 管制に停止の依頼が在る → 再開しません`);
|
|
1548
|
+
}
|
|
1549
|
+
else {
|
|
1550
|
+
unknownExternalEnd = endedByExternalSignal(job);
|
|
1551
|
+
}
|
|
1552
|
+
}
|
|
1404
1553
|
// ★終了の事実を管制へ必ず届ける(えふさん確定 2026-10-02・便 915694ac)。
|
|
1405
1554
|
//
|
|
1406
1555
|
// 【えふさん確定】便ID付き報告が到着 + Claude Code プロセス終了 + 中継が終了結果を取得
|
|
@@ -1451,6 +1600,9 @@ async function checkRunningJob(cfg, state) {
|
|
|
1451
1600
|
detail: job.bodyHandoffError
|
|
1452
1601
|
?? residue?.text
|
|
1453
1602
|
?? (reaped ? reapedAfterFinishDetail(job.exitCode, job.exitSignal) : null)
|
|
1603
|
+
// ★停止の依頼が無いのに外から終了した便(便 fbdd7482)。「止めました」とは書かず、
|
|
1604
|
+
// 原因不明の終了として残す(扱いは今までどおり=再開・上限3回)。
|
|
1605
|
+
?? (unknownExternalEnd ? unknownExternalEndDetail(job.exitCode, job.exitSignal) : null)
|
|
1454
1606
|
?? delivery.note
|
|
1455
1607
|
?? `attempt ${job.attempt}/${HEADLESS_MAX_ATTEMPTS}`,
|
|
1456
1608
|
// ★上限に達して「途中で終わった」便だけに付ける(管制が機械で見分けられる形)。
|
|
@@ -1476,17 +1628,21 @@ async function checkRunningJob(cfg, state) {
|
|
|
1476
1628
|
return;
|
|
1477
1629
|
}
|
|
1478
1630
|
if (job.stopped) {
|
|
1479
|
-
// stop_requested
|
|
1631
|
+
// 停止の依頼(stopRequested/status=stop_requested)で止めた、または管制で終端になった便。
|
|
1632
|
+
// ★ここは `job.completed === true`(プロセスの終わりを実際に見た)の中なので、
|
|
1633
|
+
// 「止めました」と届くのは必ず【職人が本当に止まったあと】(便 fbdd7482)。
|
|
1480
1634
|
await sendCommandEvents(cfg, job.commandId, [{
|
|
1481
1635
|
type: 'stopped',
|
|
1482
|
-
text:
|
|
1636
|
+
text: `停止の依頼により停止 (exit=${job.exitCode}, signal=${job.exitSignal})`,
|
|
1483
1637
|
at: new Date().toISOString(),
|
|
1484
1638
|
attempt: job.attempt,
|
|
1485
1639
|
}]);
|
|
1486
1640
|
noteLastJob('stopped', '管制から止めました');
|
|
1641
|
+
// ★畳んだ便は、もう拾い直す対象ではない(手元の記録は役目を終えた)。
|
|
1642
|
+
clearStopRequested(cfg.site, job.commandId);
|
|
1487
1643
|
state.job = null;
|
|
1488
1644
|
rs.lastHeartbeatAt = null;
|
|
1489
|
-
log(`site=${cfg.site} id=${job.commandId}
|
|
1645
|
+
log(`site=${cfg.site} id=${job.commandId} 停止の依頼で停止しました(再開しません)`);
|
|
1490
1646
|
return;
|
|
1491
1647
|
}
|
|
1492
1648
|
if (job.reapedAfterFinish) {
|
|
@@ -1571,10 +1727,16 @@ async function checkRunningJob(cfg, state) {
|
|
|
1571
1727
|
return;
|
|
1572
1728
|
}
|
|
1573
1729
|
// 異常終了 → 次の tick で自動再開を試みる
|
|
1730
|
+
// ★停止の依頼はこの手前で確かめてある(在れば job.stopped が立ち、上の枝で畳んでいる)。
|
|
1731
|
+
// ここに来る便は【依頼が無かった】便だけ。外からの合図で終わっていても「意図した停止」
|
|
1732
|
+
// とは断定せず、原因不明の終了として分けて記録し、扱いは今までどおり(再開・上限3回)。
|
|
1574
1733
|
const stderrTail = job.stderrBuf.slice(-300);
|
|
1734
|
+
const endHead = unknownExternalEnd
|
|
1735
|
+
? unknownExternalEndDetail(job.exitCode, job.exitSignal)
|
|
1736
|
+
: `異常終了 (exit=${job.exitCode}, signal=${job.exitSignal})`;
|
|
1575
1737
|
await sendCommandEvents(cfg, job.commandId, [{
|
|
1576
1738
|
type: 'error',
|
|
1577
|
-
text: maskSecrets(
|
|
1739
|
+
text: maskSecrets(`${endHead}: ${stderrTail}`).slice(0, EVENT_TEXT_MAX),
|
|
1578
1740
|
at: new Date().toISOString(),
|
|
1579
1741
|
attempt: job.attempt,
|
|
1580
1742
|
}]);
|
|
@@ -1582,7 +1744,8 @@ async function checkRunningJob(cfg, state) {
|
|
|
1582
1744
|
if (nextAttempt > HEADLESS_MAX_ATTEMPTS) {
|
|
1583
1745
|
log(`WARN site=${cfg.site} id=${job.commandId} 試行回数上限(${HEADLESS_MAX_ATTEMPTS}) → 放棄`);
|
|
1584
1746
|
// ★中央へ failed を返す(次の便が止まらないように)
|
|
1585
|
-
const failReason = maskSecrets(`${HEADLESS_MAX_ATTEMPTS}回すべて異常終了 (最後: exit=${job.exitCode}, signal=${job.exitSignal})
|
|
1747
|
+
const failReason = maskSecrets(`${HEADLESS_MAX_ATTEMPTS}回すべて異常終了 (最後: exit=${job.exitCode}, signal=${job.exitSignal})` +
|
|
1748
|
+
`${unknownExternalEnd ? `・${unknownExternalEndDetail(job.exitCode, job.exitSignal)}` : ''}: ${stderrTail}`).slice(0, EVENT_TEXT_MAX);
|
|
1586
1749
|
await patchStatus(cfg, job.commandId, 'failed', failReason);
|
|
1587
1750
|
await sendCommandEvents(cfg, job.commandId, [{
|
|
1588
1751
|
type: 'error',
|
|
@@ -1596,7 +1759,8 @@ async function checkRunningJob(cfg, state) {
|
|
|
1596
1759
|
else {
|
|
1597
1760
|
// ★ pendingRetry に詰めて、次の tick で実際に spawn する(fetchCommand は sent を返さない)
|
|
1598
1761
|
state.pendingRetry = { cmd: { id: job.commandId, body: '' }, attempt: nextAttempt, durationMs: job.durationMs };
|
|
1599
|
-
log(`WARN site=${cfg.site} id=${job.commandId}
|
|
1762
|
+
log(`WARN site=${cfg.site} id=${job.commandId} ` +
|
|
1763
|
+
`${unknownExternalEnd ? '原因不明の終了' : '異常終了'}(exit=${job.exitCode}, signal=${job.exitSignal}) → ` +
|
|
1600
1764
|
`次の tick で再開を試みます (attempt ${nextAttempt}/${HEADLESS_MAX_ATTEMPTS})`);
|
|
1601
1765
|
}
|
|
1602
1766
|
state.job = null;
|
|
@@ -1627,14 +1791,22 @@ async function checkRunningJob(cfg, state) {
|
|
|
1627
1791
|
await stopJob(job);
|
|
1628
1792
|
return;
|
|
1629
1793
|
}
|
|
1630
|
-
//
|
|
1794
|
+
// 停止の依頼の確認(間隔を置いて中央へ問い合わせる)
|
|
1795
|
+
// ★status だけでなく stopRequested の欄も一緒に受け取る(便 fbdd7482)。
|
|
1796
|
+
// 管制の停止ボタンは stopRequested を true にするだけで status は sent のまま変えないので、
|
|
1797
|
+
// status しか見ていなかったこれまでの配り役には停止が永久に届かなかった。
|
|
1631
1798
|
if (now - job.lastStopCheckAt >= HEADLESS_STOP_CHECK_MS) {
|
|
1632
1799
|
job.lastStopCheckAt = now;
|
|
1633
|
-
const
|
|
1800
|
+
const central = await fetchCommandState(cfg, job.commandId);
|
|
1801
|
+
const status = central?.status ?? null;
|
|
1634
1802
|
// ★人・管制が止めた便(便 a6e01bbc で下の終端と分けた)。終わり方は今までどおり stopped。
|
|
1635
|
-
if (
|
|
1636
|
-
log(`site=${cfg.site} id=${job.commandId}
|
|
1803
|
+
if (stopRequestedFromCentral(central)) {
|
|
1804
|
+
log(`site=${cfg.site} id=${job.commandId} ` +
|
|
1805
|
+
`停止の依頼(stopRequested=${String(central?.stopRequested)} status=${String(status)}) → SIGTERM`);
|
|
1637
1806
|
job.stopped = true;
|
|
1807
|
+
// ★先に手元へ残す(止めている途中で中継が落ちても、拾い直しで再開しない)。
|
|
1808
|
+
saveStopRequested(cfg.site, job.commandId, '作業中の確認で管制の停止の依頼を受け取った');
|
|
1809
|
+
// ★SIGTERM → 10秒後 SIGKILL(今ある止める処理のまま)。終わりを見るまで戻らない。
|
|
1638
1810
|
await stopJob(job);
|
|
1639
1811
|
return;
|
|
1640
1812
|
}
|
|
@@ -1735,6 +1907,19 @@ export async function restoreHeadlessOrphans(cfg, state) {
|
|
|
1735
1907
|
}]);
|
|
1736
1908
|
return;
|
|
1737
1909
|
}
|
|
1910
|
+
// ★停止の依頼がある便は拾い直さない(けいさん決定 2026-10-07・便 fbdd7482)。
|
|
1911
|
+
// まず手元の記録を見る(通信しない)。在れば、ここで終わり=もう拾い直す対象ではない。
|
|
1912
|
+
if (hasStopRequested(cfg.site, saved.commandId)) {
|
|
1913
|
+
log(`WARN site=${cfg.site} id=${saved.commandId} 停止の依頼の記録が在る → 拾い直さない`);
|
|
1914
|
+
await sendCommandEvents(cfg, saved.commandId, [{
|
|
1915
|
+
type: 'stopped',
|
|
1916
|
+
text: '停止の依頼で止めた便なので拾い直さない'.slice(0, EVENT_TEXT_MAX),
|
|
1917
|
+
at: new Date().toISOString(),
|
|
1918
|
+
attempt: saved.attempt,
|
|
1919
|
+
}]);
|
|
1920
|
+
clearStopRequested(cfg.site, saved.commandId);
|
|
1921
|
+
return;
|
|
1922
|
+
}
|
|
1738
1923
|
// ★便IDの照合(Fail Closed): 中央でまだ sent のまま残っている便か確かめる。
|
|
1739
1924
|
// 確かめられなかった(null)ときも再開しない。ただし記録を戻して次の tick で再試行する。
|
|
1740
1925
|
const centralStatus = await fetchCommandStatus(cfg, saved.commandId);
|
|
@@ -1760,6 +1945,19 @@ export async function restoreHeadlessOrphans(cfg, state) {
|
|
|
1760
1945
|
}]);
|
|
1761
1946
|
return;
|
|
1762
1947
|
}
|
|
1948
|
+
// ★管制の停止の依頼も見る(便 fbdd7482)。停止の依頼が立っている便は status が sent のまま
|
|
1949
|
+
// 残るので、上の `sent` の照合だけでは素通りしてしまう=止めた便が中継の立ち上げ直しで戻る。
|
|
1950
|
+
// ★既存の便IDの照合(fetchCommandStatus)の形は変えない。ここは止める材料だけを1回問う。
|
|
1951
|
+
if (stopRequestedFromCentral(await fetchCommandState(cfg, saved.commandId))) {
|
|
1952
|
+
log(`WARN site=${cfg.site} id=${saved.commandId} 管制に停止の依頼が在る → 拾い直さない`);
|
|
1953
|
+
await sendCommandEvents(cfg, saved.commandId, [{
|
|
1954
|
+
type: 'stopped',
|
|
1955
|
+
text: '管制に停止の依頼が在るので拾い直さない'.slice(0, EVENT_TEXT_MAX),
|
|
1956
|
+
at: new Date().toISOString(),
|
|
1957
|
+
attempt: saved.attempt,
|
|
1958
|
+
}]);
|
|
1959
|
+
return;
|
|
1960
|
+
}
|
|
1763
1961
|
log(`site=${cfg.site} id=${saved.commandId} 手元の記録から孤児を検出(中継再起動後の拾い直し)`);
|
|
1764
1962
|
const postedAt = saved.postedAt;
|
|
1765
1963
|
const pick = { id: saved.commandId, body: saved.body, site: cfg.site, sentAt: saved.startedAt };
|
package/dist/relay.js
CHANGED
|
@@ -4520,19 +4520,22 @@ export function processedReportIds(opts) {
|
|
|
4520
4520
|
.map(([id]) => id)
|
|
4521
4521
|
.slice(0, limit);
|
|
4522
4522
|
}
|
|
4523
|
+
/** 応答 JSON の1形から真偽の欄を読む(真偽でなければ null=未知)。 */
|
|
4524
|
+
function boolField(src, key) {
|
|
4525
|
+
if (src === null || typeof src !== 'object')
|
|
4526
|
+
return null;
|
|
4527
|
+
const v = src[key];
|
|
4528
|
+
return typeof v === 'boolean' ? v : null;
|
|
4529
|
+
}
|
|
4523
4530
|
/**
|
|
4524
|
-
* 指示 {id} 単体の現在 status
|
|
4525
|
-
* GET /api/conductor/commands/{id}(テナントトークン Bearer)。応答 JSON から status 文字列を拾う。
|
|
4526
|
-
* - 応答形は `{ status }` / `{ command: { status } }` / 素の command オブジェクトのいずれも許容する。
|
|
4527
|
-
* - status を確定的に読めた場合のみ小文字化して返す。それ以外(非2xx・404・タイムアウト・通信失敗・
|
|
4528
|
-
* status 欠落/非文字列)はすべて null=「中央不達 or 未知」を意味し、呼び出し側は従来経路
|
|
4529
|
-
* (detectExternalDone の副シグナル/pendingタイムアウト)へ無損失で縮退する。
|
|
4530
|
-
* - 最善努力プローブなので失敗はログを出さず握りつぶす(アイドル毎tickで叩くため冗長ログ回避)。
|
|
4531
|
+
* 指示 {id} 単体の現在 status と停止の依頼を、中央へ1回で問う(便 fbdd7482)。
|
|
4531
4532
|
*
|
|
4532
|
-
*
|
|
4533
|
-
*
|
|
4533
|
+
* ★口は増やさない。これまでと同じ `GET /api/conductor/commands/{id}` を1回叩き、
|
|
4534
|
+
* 既に管制が返している `stopRequested` の欄も一緒に受け取るだけ。
|
|
4535
|
+
* ★読めないとき(非2xx・404・タイムアウト・通信失敗・JSON でない)は null を返す=
|
|
4536
|
+
* 「中央不達 or 未知」。呼び出し側は従来どおり安全側(Fail Closed)へ縮退する。
|
|
4534
4537
|
*/
|
|
4535
|
-
export async function
|
|
4538
|
+
export async function fetchCommandState(cfg, id) {
|
|
4536
4539
|
try {
|
|
4537
4540
|
const res = await fetch(`${cfg.url}/api/conductor/commands/${encodeURIComponent(id)}`, {
|
|
4538
4541
|
headers: authHeaders(cfg),
|
|
@@ -4547,12 +4550,34 @@ export async function fetchCommandStatus(cfg, id) {
|
|
|
4547
4550
|
const top = data.status;
|
|
4548
4551
|
const nested = data.command?.status;
|
|
4549
4552
|
const raw = typeof top === 'string' ? top : typeof nested === 'string' ? nested : null;
|
|
4550
|
-
|
|
4553
|
+
// ★停止の依頼も同じ3形から拾う(管制は直下に返す。入れ子の形でも読めるようにしておく)。
|
|
4554
|
+
const stopRequested = boolField(data, 'stopRequested') ?? boolField(data.command, 'stopRequested');
|
|
4555
|
+
return {
|
|
4556
|
+
status: raw === null ? null : raw.trim().toLowerCase(),
|
|
4557
|
+
stopRequested,
|
|
4558
|
+
};
|
|
4551
4559
|
}
|
|
4552
4560
|
catch {
|
|
4553
4561
|
return null; // タイムアウト/通信失敗=未知。従来経路へ縮退(安全側)。
|
|
4554
4562
|
}
|
|
4555
4563
|
}
|
|
4564
|
+
/**
|
|
4565
|
+
* 指示 {id} 単体の現在 status を中央へ問う(外部完了検出の根治プローブ)。
|
|
4566
|
+
* GET /api/conductor/commands/{id}(テナントトークン Bearer)。応答 JSON から status 文字列を拾う。
|
|
4567
|
+
* - 応答形は `{ status }` / `{ command: { status } }` / 素の command オブジェクトのいずれも許容する。
|
|
4568
|
+
* - status を確定的に読めた場合のみ小文字化して返す。それ以外(非2xx・404・タイムアウト・通信失敗・
|
|
4569
|
+
* status 欠落/非文字列)はすべて null=「中央不達 or 未知」を意味し、呼び出し側は従来経路
|
|
4570
|
+
* (detectExternalDone の副シグナル/pendingタイムアウト)へ無損失で縮退する。
|
|
4571
|
+
* - 最善努力プローブなので失敗はログを出さず握りつぶす(アイドル毎tickで叩くため冗長ログ回避)。
|
|
4572
|
+
*
|
|
4573
|
+
* 【デプロイ順の安全性】このエンドポイントが中央(devlog-tracker)に未実装の間は 404/非2xx→null となり、
|
|
4574
|
+
* relay は従来どおり動く(無害・無損失)。中央側 PR が入った時点で自動的に根治が効き始める。
|
|
4575
|
+
*/
|
|
4576
|
+
export async function fetchCommandStatus(cfg, id) {
|
|
4577
|
+
// ★中身は fetchCommandState に1本化した(便 fbdd7482)。叩く口・返す物・縮退の仕方は1バイトも変えていない。
|
|
4578
|
+
const state = await fetchCommandState(cfg, id);
|
|
4579
|
+
return state === null ? null : state.status;
|
|
4580
|
+
}
|
|
4556
4581
|
/**
|
|
4557
4582
|
* 配達済みの指示に、中央(管制)で「配達済み(status=sent)」の印を付ける。★ADR-023 根治の要。
|
|
4558
4583
|
*
|
package/dist/selfcheck.js
CHANGED
|
@@ -18,16 +18,20 @@
|
|
|
18
18
|
* 【★副作用なし】commit・push・PR・合流・配備・npm 公開をしない。作業場所は一時フォルダ
|
|
19
19
|
* (~/.local/state/conductor/selfcheck/run-<時刻>・git の中ではない)で、終わったら消す。
|
|
20
20
|
*
|
|
21
|
-
* 【★落ちたときは理由を残す(便 5a94ba06
|
|
22
|
-
*
|
|
21
|
+
* 【★落ちたときは理由を残す(便 5a94ba06・便 3d4254ca で終わり方を足した)】小さな headless 試験が
|
|
22
|
+
* 落ちたら、その項目の detail に「結果の行の本文・stderr の末尾・終了コード・終わり方(トークン数・
|
|
23
|
+
* 費用・時間)」を残す(控えにも管制にも同じ中身が載る)。★作業場所を消す前に文を作るので、
|
|
24
|
+
* 作業場所を消したあとも控えに残る。★秘密らしい値は伏せ、長すぎる文は切って全何文字かを添える。
|
|
23
25
|
* ④囲い・⑤通信の ✗ が「小さな試験が先に落ちたので確かめられなかった」ときは、そう読める文にする。
|
|
24
26
|
*
|
|
25
|
-
*
|
|
26
|
-
*
|
|
27
|
-
*
|
|
28
|
-
*
|
|
27
|
+
* 【★一時的と確認できた失敗だけ、60秒後に1回だけやり直す(えふさん確定 2026-10-05/
|
|
28
|
+
* 条件の広げ方はけいさん指示 2026-10-07)】小さな headless 試験が落ちたら理由の文を読み、
|
|
29
|
+
* 一時的と確認できる条件の一覧(TRANSIENT_RULES・1か所)に当たった失敗だけ、60秒待って
|
|
30
|
+
* 1回だけやり直す。2回目が通ればその自己診断は合格(④囲い・⑤通信も2回目の結果で判定)。
|
|
31
|
+
* ★理由の文が空・読めない・一覧に当たらない(=原因が不明)失敗は【やり直さない】。
|
|
32
|
+
* ★0 トークンであることだけでは一時的とみなさない。再失敗・一覧外の失敗は、今までどおり
|
|
29
33
|
* 即 FAIL=戻して配布を止める。★2回目のやり直しは無い。★「2回目が通った=版は正常」とは
|
|
30
|
-
*
|
|
34
|
+
* 一般化しない。やり直した事実・当たった条件・1回目の手がかりは ⑥ の detail に残す。
|
|
31
35
|
*
|
|
32
36
|
* 【結果】手元の控え(~/.local/state/conductor/selfcheck/last.json と history/)に必ず残す。
|
|
33
37
|
* 管制の口が在れば送る(★口が無い・届かないときも落ちない=送れなかったことを控えに書くだけ)。
|
|
@@ -102,6 +106,12 @@ export const SELFCHECK_DETAIL_MAX = 500;
|
|
|
102
106
|
* 鍵・トークンらしい並びを伏せる(★控えにも管制にも残す文なので、残す前に必ず通す)。
|
|
103
107
|
* ここで見るのは「見ただけで鍵と分かる形」だけ。分からない並びは伏せない代わりに、
|
|
104
108
|
* 手がかりは長さを切って残す(safeDetail)。
|
|
109
|
+
*
|
|
110
|
+
* 【★伏せ字の決まりは番人の記録と同じ物に揃える(便 3d4254ca)】
|
|
111
|
+
* 正本は番人側の `scripts/hooks/hook_datalink.py` の `mask_secretish`(止めた命令を記録へ写す前に通す物)。
|
|
112
|
+
* あちらは Python・こちらは TypeScript で、同じ関数を呼び合えない(別の処理で動く別の言語)ので、
|
|
113
|
+
* 【この1か所】に同じ形を揃えて置く=自己診断の中に2つ目の伏せ字を作らない。
|
|
114
|
+
* 揃えた形は下の後半4つ(名前つきの代入/認可ヘッダ/接続文字列の合言葉/長い乱数の塊)。
|
|
105
115
|
*/
|
|
106
116
|
const SECRET_PATTERNS = [
|
|
107
117
|
{ re: /Bearer\s+[A-Za-z0-9._~+/=-]{8,}/gi, to: 'Bearer ***' },
|
|
@@ -112,6 +122,14 @@ const SECRET_PATTERNS = [
|
|
|
112
122
|
{ re: /\bnpm_[A-Za-z0-9]{8,}/g, to: 'npm_***' },
|
|
113
123
|
{ re: /\bxox[abeporsu]-[A-Za-z0-9-]{8,}/gi, to: 'xox-***' },
|
|
114
124
|
{ re: /\bAKIA[0-9A-Z]{12,}/g, to: 'AKIA***' },
|
|
125
|
+
// ↓ 番人の記録(mask_secretish)と同じ形。名前つきの代入は値を1語だけ食べる。
|
|
126
|
+
{ re: /\b(authorization\s*[=:]\s*)((?:bearer|basic|token)\s+)?\S+/gi, to: '$1$2***' },
|
|
127
|
+
{
|
|
128
|
+
re: /\b([A-Za-z0-9_]*(?:TOKEN|SECRET|PASSWORD|PASSWD|PASSPHRASE|APIKEY|API_KEY|PRIVATE_KEY|CREDENTIAL|DATABASE_URL|DIRECT_URL)[A-Za-z0-9_]*)\s*[=:]\s*\S+/gi,
|
|
129
|
+
to: '$1=***',
|
|
130
|
+
},
|
|
131
|
+
{ re: /(:\/\/[^/\s:@]+):[^/\s@]+@/g, to: '$1:***@' },
|
|
132
|
+
{ re: /\b(?=[A-Za-z0-9+_-]*\d)(?=[A-Za-z0-9+_-]*[A-Za-z])[A-Za-z0-9+_-]{32,}={0,2}/g, to: '***' },
|
|
115
133
|
];
|
|
116
134
|
/** 秘密らしい並びを伏せる。 */
|
|
117
135
|
export function redactSecrets(raw) {
|
|
@@ -131,6 +149,18 @@ export function safeDetail(raw, from = 'head', max = SELFCHECK_DETAIL_MAX) {
|
|
|
131
149
|
return one;
|
|
132
150
|
return from === 'tail' ? `…${one.slice(one.length - (max - 1))}` : `${one.slice(0, max - 1)}…`;
|
|
133
151
|
}
|
|
152
|
+
/**
|
|
153
|
+
* 控えに残す手がかり1つ分の文(★safeDetail に「切り詰めたら全何文字だったか」を添える・便 3d4254ca)。
|
|
154
|
+
* 長い理由の文は上限で切るので、切ったことと元の長さが分からないと、
|
|
155
|
+
* あとから「続きに何か書いてあったのか」を判断できない(便 cd2fb102 の行き止まりと同じ形)。
|
|
156
|
+
* ★添える形は番人の記録と同じ(hook_datalink.record_block の `…(切り詰め: 全N文字)`)。
|
|
157
|
+
* ★伏せ字と1行化と上限は safeDetail のまま(判定にも送る形にも手を入れない)。
|
|
158
|
+
*/
|
|
159
|
+
export function clueText(raw, from = 'head', max = SELFCHECK_DETAIL_MAX) {
|
|
160
|
+
const one = redactSecrets(raw).replace(/\s+/g, ' ').trim();
|
|
161
|
+
const cut = safeDetail(raw, from, max);
|
|
162
|
+
return one.length <= max ? cut : `${cut}(切り詰め: 全${one.length}文字)`;
|
|
163
|
+
}
|
|
134
164
|
// ─────────────────────────────────────────────────────────────────────────────
|
|
135
165
|
// 小さな試験(⑥)の中身と読み方
|
|
136
166
|
// ─────────────────────────────────────────────────────────────────────────────
|
|
@@ -638,65 +668,154 @@ export function unverifiedReason(h) {
|
|
|
638
668
|
* 落ちた3項目(sandbox・network・headless)はどれも「小さな試験1回」の結果から出ていて、
|
|
639
669
|
* その1回が【なぜ】落ちたかの文が、手元の控えにも管制にも1つも残っていなかった
|
|
640
670
|
* (終了コード 1・結果の行が success で is_error=true・使用量 0)。そのため版の不具合か
|
|
641
|
-
* その場かぎりの失敗かを決められなかった。ここで残すのは、次の
|
|
642
|
-
* ・結果の行の本文(result の文) ・stderr の末尾 ・終了コード
|
|
643
|
-
* ★残す文は
|
|
671
|
+
* その場かぎりの失敗かを決められなかった。ここで残すのは、次の4つだけ。
|
|
672
|
+
* ・結果の行の本文(result の文) ・stderr の末尾 ・終了コード ・使用量(終わり方の事実)
|
|
673
|
+
* ★残す文は clueText を通す(鍵・トークンらしい並びは伏せ、1つ 500字で切り、切ったら全何文字かを添える)。
|
|
674
|
+
* ★作業場所より先に作る=この文は作業場所を消したあとも控えに残る(控えに書くのは呼び出し側)。
|
|
644
675
|
* ★合否は1つも変えない(これは detail に足す文だけ)。通ったときは1行も足さない。
|
|
645
676
|
*/
|
|
646
677
|
export function headlessFailureDetail(h) {
|
|
647
678
|
const out = [];
|
|
648
679
|
const text = h.summary?.result?.text ?? '';
|
|
649
|
-
out.push(text.trim() ? `手がかり: 結果の行の本文 ${
|
|
650
|
-
out.push(h.stderr.trim() ? `手がかり: stderr の末尾 ${
|
|
680
|
+
out.push(text.trim() ? `手がかり: 結果の行の本文 ${clueText(text)}` : '手がかり: 結果の行に本文がありません');
|
|
681
|
+
out.push(h.stderr.trim() ? `手がかり: stderr の末尾 ${clueText(h.stderr, 'tail')}` : '手がかり: stderr は空です');
|
|
651
682
|
out.push(`手がかり: 終了コード ${h.exitCode === null ? '不明' : h.exitCode}`);
|
|
683
|
+
// ★終わり方の事実(トークン数・費用・かかった時間)。★0 トークンは「AI に届く前」の目印にしかしない
|
|
684
|
+
// (これだけを一時的な失敗の証拠にはしない=けいさん指示 2026-10-07)。
|
|
685
|
+
const u = h.summary?.result ?? null;
|
|
686
|
+
const n = (v) => (v === null || v === undefined ? '不明' : String(v));
|
|
687
|
+
out.push(u
|
|
688
|
+
? `手がかり: 終わり方 入力 ${n(u.inputTokens)}・出力 ${n(u.outputTokens)} トークン/費用 ${n(u.costUsd)} ドル/かかった時間 ${n(u.durationMs)}ms(${reachedModel(h) ? 'AI には届いた' : 'AI に届く前に終わった'})`
|
|
689
|
+
: '手がかり: 終わり方 結果の行が無いので使用量は分かりません');
|
|
652
690
|
return out;
|
|
653
691
|
}
|
|
654
692
|
// ─────────────────────────────────────────────────────────────────────────────
|
|
655
693
|
// 失敗の分類と、1回だけのやり直し(えふさん確定 2026-10-05)
|
|
656
694
|
// ─────────────────────────────────────────────────────────────────────────────
|
|
657
695
|
/**
|
|
658
|
-
*
|
|
696
|
+
* 一時的と確認できた失敗のときだけ待つ間(★60秒・えふさん確定 2026-10-05)。
|
|
659
697
|
* ★やり直しは60秒後に【1回だけ】(2回目のやり直しは無い)。
|
|
660
698
|
*/
|
|
661
|
-
export const
|
|
699
|
+
export const SELFCHECK_RETRY_WAIT_MS = 60_000;
|
|
700
|
+
/** 旧い名前(便 e70843fa から在る・同じ値)。★読み手を壊さないために残す。 */
|
|
701
|
+
export const SELFCHECK_AUTH_RETRY_WAIT_MS = SELFCHECK_RETRY_WAIT_MS;
|
|
662
702
|
/**
|
|
663
|
-
*
|
|
703
|
+
* 【一時的と確認できる条件の一覧(★1か所)】けいさん指示 2026-10-07:
|
|
704
|
+
* 「自己診断のやり直しは、一時的な不調と確認できる場合だけ1回。原因が不明な失敗まで、
|
|
705
|
+
* やり直しで合格扱いにしないでください。」
|
|
664
706
|
*
|
|
665
|
-
*
|
|
666
|
-
*
|
|
667
|
-
*
|
|
668
|
-
*
|
|
669
|
-
*
|
|
670
|
-
*
|
|
671
|
-
*
|
|
707
|
+
* ★ここに無い失敗・理由の文が空/読めない失敗は、すべて原因不明として【やり直さない】。
|
|
708
|
+
* ★「0 トークン(使用量 0)」だけでは一時的とみなさない(どの条件も理由の文に当たることを求める)。
|
|
709
|
+
* ★推測で条件を足さない:どの条件も、下の basis に書いた根拠(実物の記録・公開の説明)が在る物だけ。
|
|
710
|
+
* ★入れていない物(意図して外した物)
|
|
711
|
+
* ・ECONNREFUSED/`CONNECT tunnel failed, response 403` … 囲いやプロキシの設定で塞がれている形で、
|
|
712
|
+
* 待てば直る物ではない(鉄則12:塞がれたら回避せず人の手番)。
|
|
713
|
+
* ・`Credit balance is too low` など残高・権限の断り … 待っても直らない。
|
|
714
|
+
* ・符号の無い散文(例 `network unreachable` だけの文) … 当たり外れが文の書き方に左右されるので、
|
|
715
|
+
* 原因不明の側へ倒す(迷う物はやり直さない)。
|
|
672
716
|
*/
|
|
673
|
-
const
|
|
674
|
-
|
|
675
|
-
|
|
717
|
+
export const TRANSIENT_RULES = [
|
|
718
|
+
{
|
|
719
|
+
kind: 'auth-refresh-conflict',
|
|
720
|
+
label: '認証の更新の重なり',
|
|
721
|
+
basis: '実物の控え 2026-10-05(FshimaNP 09:17:28Z・0.12.102/TYHLD-OTA 11:43:43Z・0.12.101)の「結果の行の本文」。' +
|
|
722
|
+
'Claude Code 自身が This is usually transient; retry in a minute と書いている。えふさん確定 2026-10-05。',
|
|
723
|
+
look: 'result',
|
|
724
|
+
all: [/failed to refresh oauth token/i, /another\b[^.]{0,60}\bprocess is refreshing it\b/i],
|
|
725
|
+
beforeModelOnly: true,
|
|
726
|
+
},
|
|
727
|
+
{
|
|
728
|
+
kind: 'timeout',
|
|
729
|
+
label: '上限の時間に達した(時間切れ)',
|
|
730
|
+
basis: '手元の事実:この道具が小さな試験を上限 ' +
|
|
731
|
+
`${Math.round(SELFCHECK_HEADLESS_TIMEOUT_MS / 1000)}秒(SELFCHECK_HEADLESS_TIMEOUT_MS)で止める。` +
|
|
732
|
+
'Node.js の公開の説明:spawnSync は timeout を超えると error に ETIMEDOUT を入れて子を止める。',
|
|
733
|
+
look: 'all',
|
|
734
|
+
any: [/\bETIMEDOUT\b/i, /\baborted due to timeout\b/i, /\btimed out\b/i],
|
|
735
|
+
},
|
|
736
|
+
{
|
|
737
|
+
kind: 'network',
|
|
738
|
+
label: '通信そのものの失敗',
|
|
739
|
+
basis: 'Node.js/libc の標準の符号で「つながらなかった・途中で切れた」を表す物だけ(公開の説明)。' +
|
|
740
|
+
'fetch failed は Node 内蔵の fetch が通信に失敗したときの固定の文。' +
|
|
741
|
+
'Claude API の公開のエラー一覧も、通信の失敗(APIConnectionError)を再試行する側に数えている。',
|
|
742
|
+
look: 'all',
|
|
743
|
+
any: [
|
|
744
|
+
/\bECONNRESET\b/i,
|
|
745
|
+
/\bENETUNREACH\b/i,
|
|
746
|
+
/\bEHOSTUNREACH\b/i,
|
|
747
|
+
/\bEAI_AGAIN\b/i,
|
|
748
|
+
/\bENOTFOUND\b/i,
|
|
749
|
+
/\bEPIPE\b/i,
|
|
750
|
+
/\bsocket hang up\b/i,
|
|
751
|
+
/\bfetch failed\b/i,
|
|
752
|
+
],
|
|
753
|
+
},
|
|
754
|
+
{
|
|
755
|
+
kind: 'rate-limit',
|
|
756
|
+
label: '相手側が多すぎると断った(429)',
|
|
757
|
+
basis: 'Claude API の公開のエラー一覧:429 rate_limit_error は Retryable=Yes(公式SDKも既定で 429 を再試行する)。',
|
|
758
|
+
look: 'all',
|
|
759
|
+
any: [/rate_limit_error/i, /\btoo many requests\b/i, /\b(?:http|status|code)\b\W{0,8}429\b/i],
|
|
760
|
+
},
|
|
761
|
+
{
|
|
762
|
+
kind: 'upstream-busy',
|
|
763
|
+
label: '相手側の混雑・一時的な不具合(5xx)',
|
|
764
|
+
basis: 'Claude API の公開のエラー一覧:500 api_error と 529 overloaded_error は Retryable=Yes' +
|
|
765
|
+
'(公式SDKも既定で 5xx を再試行する)。500番台の名前は HTTP の標準。',
|
|
766
|
+
look: 'all',
|
|
767
|
+
any: [
|
|
768
|
+
/overloaded_error/i,
|
|
769
|
+
/\boverloaded\b/i,
|
|
770
|
+
/\bapi_error\b/i,
|
|
771
|
+
/\b(?:http|status|code)\b\W{0,8}5\d\d\b/i,
|
|
772
|
+
/\binternal server error\b/i,
|
|
773
|
+
/\bbad gateway\b/i,
|
|
774
|
+
/\bservice unavailable\b/i,
|
|
775
|
+
/\bgateway time-?out\b/i,
|
|
776
|
+
],
|
|
777
|
+
},
|
|
676
778
|
];
|
|
779
|
+
/** 条件に読ませる文(★手元に在る事実だけ:結果の行の本文・道具の知らせ・stderr)。 */
|
|
780
|
+
function failureReasonText(h, look) {
|
|
781
|
+
const text = h.summary?.result?.text ?? '';
|
|
782
|
+
if (look === 'result')
|
|
783
|
+
return text;
|
|
784
|
+
return [text, h.error ?? '', h.stderr].join('\n');
|
|
785
|
+
}
|
|
677
786
|
/**
|
|
678
|
-
*
|
|
679
|
-
*
|
|
680
|
-
*
|
|
681
|
-
* (b) AI に届く前に終わっている(使用量 0・tool が1つも動いていない)
|
|
682
|
-
* ★迷う物は 'other'(=やり直さない)へ倒す。「2回目が通った=版は正常」とは一般化しない。
|
|
787
|
+
* 一時的と確認できる条件に当たるかを見る(当たった条件を返す・当たらなければ null=やり直さない)。
|
|
788
|
+
* ★一覧(TRANSIENT_RULES)の上から見て、最初に当たった1つを返す。
|
|
789
|
+
* ★理由の文が空・読めない失敗は、どの条件にも当たらない(=原因不明)。
|
|
683
790
|
*/
|
|
684
|
-
export function
|
|
685
|
-
// 流していない(claude
|
|
791
|
+
export function matchTransientRule(h) {
|
|
792
|
+
// 流していない(claude が無い・雛形を読めない)=一時的ではない。
|
|
686
793
|
if (!h.ran)
|
|
687
|
-
return
|
|
688
|
-
|
|
689
|
-
|
|
690
|
-
|
|
691
|
-
|
|
692
|
-
|
|
693
|
-
|
|
694
|
-
|
|
695
|
-
|
|
696
|
-
|
|
697
|
-
|
|
698
|
-
|
|
699
|
-
|
|
794
|
+
return null;
|
|
795
|
+
for (const rule of TRANSIENT_RULES) {
|
|
796
|
+
const text = failureReasonText(h, rule.look);
|
|
797
|
+
if (!text.trim())
|
|
798
|
+
continue; // 理由の文が空=原因不明
|
|
799
|
+
if (rule.all && !rule.all.every((re) => re.test(text)))
|
|
800
|
+
continue;
|
|
801
|
+
if (rule.any && !rule.any.some((re) => re.test(text)))
|
|
802
|
+
continue;
|
|
803
|
+
if (rule.beforeModelOnly) {
|
|
804
|
+
if (reachedModel(h))
|
|
805
|
+
continue;
|
|
806
|
+
if ((h.summary?.toolResults.length ?? 0) > 0)
|
|
807
|
+
continue;
|
|
808
|
+
}
|
|
809
|
+
return rule;
|
|
810
|
+
}
|
|
811
|
+
return null;
|
|
812
|
+
}
|
|
813
|
+
/**
|
|
814
|
+
* 小さな試験の失敗を分類する(★一覧に当たらない物はすべて 'other'=やり直さない)。
|
|
815
|
+
* ★迷う物は 'other' へ倒す。「2回目が通った=版は正常」とは一般化しない。
|
|
816
|
+
*/
|
|
817
|
+
export function classifyHeadlessFailure(h) {
|
|
818
|
+
return matchTransientRule(h)?.kind ?? 'other';
|
|
700
819
|
}
|
|
701
820
|
/** 小さな試験と MCP の確かめで claude に渡す環境(★中継と同じ形・src/headless.ts)。 */
|
|
702
821
|
function probeEnv(d, claudeBin) {
|
|
@@ -950,25 +1069,39 @@ export async function runSelfcheck(d, trigger) {
|
|
|
950
1069
|
const guard = checkGuard(d, path.join(runDir, 'work'));
|
|
951
1070
|
// ⑥ 小さな試験(③の MCP・④の書き込み・⑤の内側の通信もここで見る)
|
|
952
1071
|
//
|
|
953
|
-
// ★1
|
|
954
|
-
// (えふさん確定 2026-10-05
|
|
955
|
-
//
|
|
956
|
-
//
|
|
957
|
-
//
|
|
1072
|
+
// ★1回目の失敗が【一時的と確認できた】ときだけ、60秒待って【1回だけ】やり直す
|
|
1073
|
+
// (えふさん確定 2026-10-05/条件の広げ方はけいさん指示 2026-10-07)。当たる条件は
|
|
1074
|
+
// TRANSIENT_RULES の一覧1か所だけで、理由の文が空・読めない・一覧に当たらない失敗は
|
|
1075
|
+
// 原因不明として【やり直さない】(今までどおり即 FAIL=戻す・配布を止める)。
|
|
1076
|
+
// 2回目が通ればその自己診断は合格=④囲い・⑤通信も2回目の結果で判定する。
|
|
1077
|
+
// 2回目が落ちたら(理由が何であっても)FAIL。★3回目は無い。
|
|
1078
|
+
// きっかけ(daily・after-conductor・after-claude・after-rollback)を問わず同じ動きにする。
|
|
958
1079
|
let h = runHeadlessProbe(d, claude.bin, runDir, 1);
|
|
959
1080
|
let headless = judgeHeadlessProbe(h);
|
|
960
1081
|
let probeAttempt = 1;
|
|
961
|
-
if (headless.ok === false
|
|
962
|
-
const
|
|
963
|
-
|
|
964
|
-
|
|
965
|
-
|
|
966
|
-
|
|
967
|
-
|
|
968
|
-
|
|
969
|
-
|
|
970
|
-
|
|
971
|
-
|
|
1082
|
+
if (headless.ok === false) {
|
|
1083
|
+
const rule = matchTransientRule(h);
|
|
1084
|
+
if (rule) {
|
|
1085
|
+
// ★1回目の手がかりを先に取っておく(2回目の項目に差し替わっても消えないように)。
|
|
1086
|
+
const firstClues = headless.detail.filter((l) => l.includes('手がかり:')).map((l) => l.replace(/^・/, ''));
|
|
1087
|
+
const sleep = d.sleep ?? ((ms) => new Promise((r) => setTimeout(r, ms)));
|
|
1088
|
+
await sleep(SELFCHECK_RETRY_WAIT_MS);
|
|
1089
|
+
h = runHeadlessProbe(d, claude.bin, runDir, 2);
|
|
1090
|
+
headless = judgeHeadlessProbe(h);
|
|
1091
|
+
probeAttempt = 2;
|
|
1092
|
+
// ★やり直した事実と、一時的と判断した理由(当たった条件)と、1回目の手がかりを残す
|
|
1093
|
+
// (控え・管制の両方に・合格した回でも「再試行で通った」と読める)。
|
|
1094
|
+
const sec = Math.round(SELFCHECK_RETRY_WAIT_MS / 1000);
|
|
1095
|
+
note(headless, headless.ok === false
|
|
1096
|
+
? `1回目は${rule.label}で落ちました・${sec}秒後の2回目も落ちました`
|
|
1097
|
+
: `1回目は${rule.label}で落ちました・${sec}秒後の2回目で通りました`);
|
|
1098
|
+
note(headless, `1回目を一時的と判断した条件: ${rule.kind}(${rule.label})・やり直しは1回まで`);
|
|
1099
|
+
for (const line of firstClues)
|
|
1100
|
+
note(headless, `1回目の${line}`);
|
|
1101
|
+
}
|
|
1102
|
+
else if (h.ran) {
|
|
1103
|
+
note(headless, 'やり直しの判断: 一時的と確認できる条件に当たらないため、やり直していません(原因不明の失敗は今までどおり失敗として扱います)');
|
|
1104
|
+
}
|
|
972
1105
|
}
|
|
973
1106
|
const sum = h.summary;
|
|
974
1107
|
// ③ MCP(★落ち着くまで確かめる・便が実際に使う登録を見る=settleMcp)
|