reclaimable 0.1.0
This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
- checksums.yaml +7 -0
- data/.claude/launch.json +11 -0
- data/.gitignore +11 -0
- data/.gitlab-ci.yml +16 -0
- data/AGENTS.md +88 -0
- data/CLAUDE.md +1 -0
- data/Gemfile +3 -0
- data/LICENSE +674 -0
- data/README.md +160 -0
- data/Rakefile +28 -0
- data/ai-skill/reclaimable/SKILL.md +94 -0
- data/benchmark/README.md +59 -0
- data/benchmark/experiments/lstat_scanner.rb +11 -0
- data/benchmark/experiments/ractor_scanner.rb +92 -0
- data/benchmark/experiments/verify_bulk_list.rb +34 -0
- data/benchmark/lib/fixture.rb +104 -0
- data/benchmark/lib/results.rb +62 -0
- data/benchmark/reports/00-baseline.md +75 -0
- data/benchmark/reports/01-jit.md +70 -0
- data/benchmark/reports/02-ractor.md +58 -0
- data/benchmark/reports/03-getattrlistbulk.md +84 -0
- data/benchmark/reports/04-others.md +52 -0
- data/benchmark/reports/05-outside-root.md +56 -0
- data/benchmark/reports/06-round2-discussion.md +374 -0
- data/benchmark/reports/06-round2.md +194 -0
- data/benchmark/reports/README.md +46 -0
- data/benchmark/results/baseline.yml +126 -0
- data/benchmark/results/bulk-list.yml +126 -0
- data/benchmark/results/final-yjit.yml +126 -0
- data/benchmark/results/final.yml +126 -0
- data/benchmark/results/ractor-exp.yml +38 -0
- data/benchmark/results/round2-after.yml +126 -0
- data/benchmark/results/round2-before.yml +126 -0
- data/benchmark/results/src-baseline.yml +32 -0
- data/benchmark/results/src-bulk-list.yml +32 -0
- data/benchmark/results/src-pair-none1.yml +38 -0
- data/benchmark/results/src-pair-none2.yml +38 -0
- data/benchmark/results/src-pair-yjit1.yml +38 -0
- data/benchmark/results/src-pair-yjit2.yml +38 -0
- data/benchmark/results/src-ractor-exp.yml +32 -0
- data/benchmark/results/src-round2-after1.yml +52 -0
- data/benchmark/results/src-round2-after2.yml +52 -0
- data/benchmark/results/src-round2-before1.yml +52 -0
- data/benchmark/results/src-round2-before2.yml +52 -0
- data/benchmark/results/yjit.yml +126 -0
- data/benchmark/results/zjit.yml +126 -0
- data/benchmark/run.rb +149 -0
- data/bin/reclaimable +10 -0
- data/doc/performance.md +179 -0
- data/lib/reclaimable/ai_skill.rb +138 -0
- data/lib/reclaimable/bulk_list.rb +91 -0
- data/lib/reclaimable/cache_dump.rb +125 -0
- data/lib/reclaimable/cli.rb +168 -0
- data/lib/reclaimable/cloud_files.rb +33 -0
- data/lib/reclaimable/config.rb +100 -0
- data/lib/reclaimable/i18n.rb +24 -0
- data/lib/reclaimable/locations.rb +89 -0
- data/lib/reclaimable/output.rb +154 -0
- data/lib/reclaimable/paths.rb +36 -0
- data/lib/reclaimable/report.rb +504 -0
- data/lib/reclaimable/ruby_abi.rb +69 -0
- data/lib/reclaimable/scan_cache.rb +97 -0
- data/lib/reclaimable/scanner.rb +440 -0
- data/lib/reclaimable/util.rb +34 -0
- data/lib/reclaimable.rb +42 -0
- data/locale/ja/LC_MESSAGES/reclaimable.mo +0 -0
- data/man/reclaimable.1.ronn +302 -0
- data/man/reclaimable.en.1 +234 -0
- data/man/reclaimable.ja.1 +452 -0
- data/po/ja/reclaimable-docs.po +668 -0
- data/po/ja/reclaimable.po +510 -0
- data/rakelib/benchmark.rake +22 -0
- data/rakelib/docs/japanese.rb +132 -0
- data/rakelib/docs/man_page.rb +73 -0
- data/rakelib/docs/site.rb +187 -0
- data/rakelib/docs/sources.rb +94 -0
- data/rakelib/docs/translation.rb +157 -0
- data/rakelib/docs.rake +62 -0
- data/rakelib/gettext.rake +30 -0
- data/rakelib/i18n.rake +199 -0
- data/reclaimable.gemspec +56 -0
- data/site/index.md +142 -0
- data/site/layout.html.erb +60 -0
- data/site/style.css +82 -0
- metadata +231 -0
|
@@ -0,0 +1,374 @@
|
|
|
1
|
+
# 06 の付録: サブエージェントの議論の記録
|
|
2
|
+
|
|
3
|
+
二巡目の高速化([06-round2.md](06-round2.md))の案を絞るために、二つのサブエージェントに議論させた記録。
|
|
4
|
+
各回の発言を、届いた順にそのまま載せる(試作スクリプトの置き場所の案内だけ省いた)。
|
|
5
|
+
|
|
6
|
+
- **提案役**: 高速化の案を、実測の裏付けと一緒に出す。
|
|
7
|
+
- **検証役**: 提案を鵜呑みにせず、測り直し、本体のコードに照らして疑う。対案も出す。
|
|
8
|
+
- 二人は直接は話さず、仲介役(メインのセッション)が相手の発言をそのまま渡した。計測が乱れないよう、同時には動かしていない。
|
|
9
|
+
- 条件: C 拡張を書かない、外部 gem を足さない、リポジトリーを編集しない、利用者のキャッシュを書き換えない。
|
|
10
|
+
- 試作のスクリプトは一時的な作業場所に置かれ、リポジトリーには入っていない。文中のファイル名(`ext.rb`・`v2.rb` など)はそれを指す。
|
|
11
|
+
|
|
12
|
+
議論の流れ:
|
|
13
|
+
|
|
14
|
+
| 回 | 発言者 | 主な内容 |
|
|
15
|
+
| --- | --- | --- |
|
|
16
|
+
| 1 往復目 | 提案役 | 4 つの案(外部コマンドの並行実行、キャッシュを木に、書き込みを裏で、Ruby 側の軽量化)と、試して効かなかったもの |
|
|
17
|
+
| | 検証役 | 案 1 を採用、案 2 は条件付き、案 4 は却下。対案 A(小さいハードリンクの `lstat` を省く)。既存の不具合を 3 つ指摘 |
|
|
18
|
+
| 2 往復目 | 提案役 | 対案 A を別プロセスで測り直して再現。キャッシュの新しい形式(v2)と先読みの具体的な作り |
|
|
19
|
+
| | 検証役 | 形式 v2 の走査を試作して、一致と速さを確認。`fork` の安全性、ハードリンクの場合分け |
|
|
20
|
+
| 3 往復目 | 提案役 | ホームのキャッシュでのメモリー、帰属の揺れの原因の確認、合意案 |
|
|
21
|
+
| | 検証役 | 合意案への最終判定、7 日の期限の扱い、実装の落とし穴 10 個、確認の手順 |
|
|
22
|
+
|
|
23
|
+
---
|
|
24
|
+
|
|
25
|
+
## 1 往復目
|
|
26
|
+
|
|
27
|
+
### 提案役 第 1 回
|
|
28
|
+
|
|
29
|
+
#### 提案(優先順)
|
|
30
|
+
|
|
31
|
+
**1. 外部コマンドを起動直後に並行で始め、節では結果を受け取るだけにする**
|
|
32
|
+
- 何を: `Output#capture`(`lib/reclaimable/output.rb:80`)を呼ぶ `brew cleanup -n`・docker 一式・`tmutil`・`xcrun` など(`lib/reclaimable/report.rb:307-343`、`373-395`)を、走査の前にスレッドで始める。出力の順は今のまま。
|
|
33
|
+
- 実測(`ext.rb`): 直列 11.73 秒、全部同時で 7.30 秒。`brew cleanup -n` が 7.90 秒、`docker info` が 2.73 秒で、残りは各 0.5 秒以下。
|
|
34
|
+
- 見込み(推測): 走査(7〜8 秒)と重なるので、実行全体で 10 秒前後減る。
|
|
35
|
+
- 未確認: brew と走査が同時に動くと走査が遅くなるか。stderr のログが混ざること、Ctrl-C のときの子プロセスの始末。
|
|
36
|
+
- 結果の正しさ: 影響なし。実装: 小〜中。
|
|
37
|
+
|
|
38
|
+
**2. キャッシュを、パスをキーにした平らな Hash から入れ子の木に変える**
|
|
39
|
+
- 何を: `{フルパス => [...]}`(`lib/reclaimable/scan_cache.rb:17-20`)を `[mtime, small, large, {名前 => 子}]` にする。フルパスの文字列 60 万個が無くなる。
|
|
40
|
+
- 実測(`cache_fmt.rb`、`~/src` のキャッシュ 603,712 件):
|
|
41
|
+
|
|
42
|
+
| | 今 | 木 |
|
|
43
|
+
| --- | ---: | ---: |
|
|
44
|
+
| `Marshal.load` | 1.61 秒 | 0.59 秒 |
|
|
45
|
+
| dump + gzip(レベル 1) | 1.13 + 0.59 秒 | 0.63 + 0.24 秒 |
|
|
46
|
+
| 圧縮前 | 110MB | 31.7MB |
|
|
47
|
+
| 圧縮後 | 18.8MB | 11.8MB |
|
|
48
|
+
|
|
49
|
+
- 未確認: 走査が木を直接たどる作りにしたときの全体の時間。読み込み後に平らな Hash へ戻すと 0.4 秒かかり、得が減る。
|
|
50
|
+
- 影響: `FORMAT_VERSION` を上げる。`Scanner#listing`(`lib/reclaimable/scanner.rb:214-236`)、`Collector#merge!`、`cache_dump.rb` の改修が要る。実装: 中。
|
|
51
|
+
|
|
52
|
+
**3. キャッシュの書き込みを裏のスレッドで行い、読み込みを起動時の外部コマンドと重ねる**
|
|
53
|
+
- 何を: `cache.save`(`lib/reclaimable/report.rb:105`)をスレッドに回し、終了前に join する。
|
|
54
|
+
- 見込み(推測、未計測): 見かけで 1.5 秒。その後の節は外部コマンドの待ちが多いので、GVL の取り合いは小さいはず。
|
|
55
|
+
- 実装: 小。
|
|
56
|
+
|
|
57
|
+
**4.(低)キャッシュありの走査の Ruby 側を軽くする**
|
|
58
|
+
- 何を: `st.mtime` を 1 回にする、`drop(1)` をやめる、`artifact_dir?`(`scanner.rb:320-324`)で名前を先に見る、`record_dir` の `File.dirname`(`scanner.rb:332`)を親で 1 回にする。
|
|
59
|
+
- 実測(`opt.rb`): フィクスチャーでは 1 スレッドで real 0.134 → 0.090 秒、user 0.084 → 0.043 秒。8 スレッドで 0.209 → 0.147 秒。記録は全部一致。
|
|
60
|
+
- **`~/src` では real が縮まない**: user は 4.1 → 3.0〜3.3 秒に減るが、real は元が 8.08・8.31 秒、軽い版が 10.28・8.20 秒で、ばらつきの範囲。
|
|
61
|
+
- 試作は `~/src` で `dir_sizes` と `artifacts` が元と一致しなかった(合計は一致)。原因は調べていない。
|
|
62
|
+
|
|
63
|
+
#### 試して、効かなかったもの(doc に書き足す価値あり)
|
|
64
|
+
- **子フォルダーが k 個以上の親だけ、軽い属性でまとめ読み**(`proto_src.rb`、`~/src`、8 スレッド): 元 8.03・8.29 秒、k=5 で 7.67・8.21 秒、k=3 で 7.76・7.51 秒。差なし。doc の不採用を裏づける。
|
|
65
|
+
- **FSEvents の履歴を Fiddle で読む**(`fse.rb`): 動く。キャッシュ作成後に mtime が変わった・消えた 10,465 フォルダーは、全部イベントに入っていた。ただし読み出しは、直近 100 万 ID ぶんで 0.13 秒、300 万 ID 以上では 7.4〜9.3 秒で、走査と同じくらいかかる。
|
|
66
|
+
- **スレッド数を減らす**: `~/src` のキャッシュあり走査は、4 スレッドで 11.3 秒、6 で 8.6 秒、8 で 8.1 秒。
|
|
67
|
+
- `kern.maxvnodes` は 263,168 で、`num_vnodes` も同じ値。62 万フォルダーより少ないので、`lstat` のたびに vnode の入れ替えが起きている、というのは推測。
|
|
68
|
+
|
|
69
|
+
`~/src` の走査は、どれもキャッシュ作成後に変わった約 3.2 万フォルダーの読み直しを含みます(reused 593,249 / 624,919)。
|
|
70
|
+
|
|
71
|
+
#### 検証役に確かめてほしい点
|
|
72
|
+
1. 提案 1: brew と docker を走査と同時に動かしたとき、走査の時間がどれだけ延びるか。`-d fixture --no-save` の全体で 21 秒がいくつになるか。
|
|
73
|
+
2. 提案 2: 木の形で、`Task` の受け渡しと `Collector` のまとめ方が、ロックなしで正しく組めるか。`GC.disable` で読むとさらに 3〜4 割速かった(平ら 1.48 → 1.03 秒)が、メモリーの面で許せるか。
|
|
74
|
+
3. FSEvents の 7〜9 秒は、この機械の履歴の状態によるものか(今日はベンチマークで大量にイベントが出ている)。ふだんの 1 日ぶんで測ると違うか。
|
|
75
|
+
4. 提案 4 の試作の不一致の原因。
|
|
76
|
+
|
|
77
|
+
### 検証役 第 1 回
|
|
78
|
+
|
|
79
|
+
#### 1. 判定(数字はすべて実測)
|
|
80
|
+
|
|
81
|
+
**提案 1: 採る。**
|
|
82
|
+
- `-d fixture --no-save` の全体: 21.7・21.9 秒 → 11.9・12.0 秒(pre.rb)。レポートは所要時間の行と、下記の docker の 1 行以外は一致。
|
|
83
|
+
- ただし走査は隠れきらない。`~/src` の走査は、単独 8.2・8.0 秒、brew・docker などと同時で 10.5・10.7 秒。brew も 7.9 → 10.8 秒に延びる。直列 約 20 秒 → 約 11 秒で、得は 9 秒前後。
|
|
84
|
+
- 残った 12 秒は、`regenerable` 5.7〜6.9 秒(起点外の 60 か所の走査)と `ruby_gems` 3.3 秒。後者のうち 1.83 秒は Ruby 41 個の直列起動(`lib/reclaimable/ruby_abi.rb:31-38`)。ここも先読みの対象にすべき。
|
|
85
|
+
|
|
86
|
+
**提案 2: 条件付き。**
|
|
87
|
+
- 再現: 平ら 1.59 秒、木 0.72 秒(0.59 秒は再現せず)。配列版の木は 1.08 秒で遅い。
|
|
88
|
+
- `GC.disable` は安全。平ら 1.59 → 1.03 秒で、RSS は 798 → 786MB と増えない。形式を変えずに今すぐ採れる。
|
|
89
|
+
- ホームのキャッシュは 1,016,252 件で、読み込み 3.02 秒(GC なしで 2.00 秒)、RSS 1.35GB。メモリーの面でも木にする価値がある。
|
|
90
|
+
- ロックなしの組み方(未実装の案): Task に古いノードを持たせ、変わっていないフォルダーは古いノードをそのまま使い、変わったものだけ親の子表を書き換える。1 ノードを書くのは 1 スレッドだけ。条件は、平らな Hash に戻さないこと。
|
|
91
|
+
|
|
92
|
+
**提案 3: 保留。** `Marshal.dump` は GVL を持つので、得があるのは後続の節が外部コマンドを待つ間だけ。提案 1 を入れるとその待ちが無くなる。提案 1 の後で測ってから決める。
|
|
93
|
+
|
|
94
|
+
**提案 4: 落とす。** real が縮まない。不一致は試作のバグではない(下記)。
|
|
95
|
+
|
|
96
|
+
**FSEvents: 保留(未確認)。** `FSEventsGetLastEventIdForDeviceBeforeTime` は 1〜168 時間前のどれにも同じ値を返した(fserate.rb)。時刻から ID を引けず、1 日ぶんの量は測れなかった。
|
|
97
|
+
|
|
98
|
+
#### 2. 見落とし
|
|
99
|
+
|
|
100
|
+
- **ハードリンクの帰属が実行ごとに揺れる(既存)。** 最初に出会ったスレッドが数える(`lib/reclaimable/scanner.rb:310-313`)。optchk.rb で元と Opt の差は、`mvr/node_modules` と `media-fragment/node_modules` の間で 4096 バイトが移っただけ。合計・cache・vendor_ruby は一致。元どうしの 1 回の比較では一致したが、同じ揺れは起こりうる。
|
|
101
|
+
- **7 日の期限が効いていない。** `lib/reclaimable/scan_cache.rb:38` はファイルの mtime を見るが、`save`(54-58 行)が毎回書き直す。週 1 回以上動かす限り期限は来ない。形式を変えるなら、全走査した時刻を中に持つ。
|
|
102
|
+
- **docker images の同サイズの行の並び。** `docker images` の出力順は呼ぶたびに変わり(2 回の md5 が不一致)、`lib/reclaimable/report.rb:323` の `max_by` に同点の決め手が無い。提案 1 とは無関係だが、差分の検証で引っかかる。
|
|
103
|
+
- **提案 1 の未確認点。** 複数の子が同じログファイルに同時に書く(`lib/reclaimable/output.rb:81`)。Ctrl-C や例外で使われなかった子の始末。
|
|
104
|
+
- 起点外の走査は、変化が無くても毎回キャッシュを書く(`lib/reclaimable/report.rb:167`)。
|
|
105
|
+
|
|
106
|
+
#### 3. 対案
|
|
107
|
+
|
|
108
|
+
**A. 小さいハードリンクを毎回 lstat しない。** `~/src` のキャッシュで「大きいファイル」扱いの名前のうち、305,828 個が 10MB 未満のハードリンク(pnpm など)で、本当に大きいものなどは 3,825 個。キャッシュに `[dev, ino, 実占有]` を持てば lstat が要らない。
|
|
109
|
+
- 実測(hl.rb、交互に 2 回ずつ): 6.86・7.43 秒 対 元 8.21・8.35 秒。sys 13.6 → 10.0 秒。合計は一致。
|
|
110
|
+
- 注意: 直前の下調べで該当ファイルを lstat しており、両方とも温まった状態。その場の書き換えは、小さいファイルと同じく見逃す扱いになる。形式の変更は提案 2 と一緒にできる。
|
|
111
|
+
|
|
112
|
+
**B. Ruby の版の問い合わせと起点外の走査も先読みに入れる。** 見込み(推測): `-d` で絞った実行でさらに数秒。
|
|
113
|
+
|
|
114
|
+
#### 4. 質問
|
|
115
|
+
|
|
116
|
+
1. k=3 のまとめ読みで lstat は何割減ったか。減ったのに real が変わらない理由は何か。
|
|
117
|
+
2. 木の形で、読めなかった・skip・固定した子をどう表すか。`--dump-cache` の出力は今と同じに保てるか。
|
|
118
|
+
3. 提案 1 で、docker が止まっているときの待ち時間と、Ctrl-C のときの子の始末をどうするか。
|
|
119
|
+
4. 提案 3 は、提案 1 を入れた後でも得が残るか。
|
|
120
|
+
5. 対案 A を、温めていない状態で測り直してほしい。
|
|
121
|
+
|
|
122
|
+
---
|
|
123
|
+
|
|
124
|
+
## 2 往復目
|
|
125
|
+
|
|
126
|
+
### 提案役 第 2 回
|
|
127
|
+
|
|
128
|
+
#### 1. 質問への答え
|
|
129
|
+
|
|
130
|
+
**質問 5(対案 A の測り直し): 再現した。採るべき。**
|
|
131
|
+
- やり方: 下調べを別プロセスで済ませて表をファイルに置き、新しいプロセスで元を先にして交互に測った(`hl2.rb`)。
|
|
132
|
+
- 結果: 元 8.15・8.00 秒、対案 A 7.28・7.05 秒。sys は 13.56 → 10.0 秒。合計は 4 回とも一致。
|
|
133
|
+
- 小さいハードリンク 305,828 個は、12,399 フォルダーに固まっていて、別々の inode は 116,234 個(`prep.rb`)。
|
|
134
|
+
|
|
135
|
+
**質問 1: k=3 で子フォルダーの `lstat` は 73% 減っていた。**
|
|
136
|
+
- 実測(`prep.rb`): 子フォルダー 603,711 個のうち、子が 3 個以上の親の下が 438,670 個。k=2 で 82%、k=5 で 62%。
|
|
137
|
+
- それでも real が変わらない理由(推測): まとめ読みも、子ごとに APFS の inode の記録を引く。mtime は親の一覧ではなく inode の側にあるので、時間は読む項目の数に比例する。効いているのはシステムコールの回数ではなく inode を引く回数。
|
|
138
|
+
- 対案 A が効くのは、引く inode の数そのものを 30 万減らすから、と考えると合う。
|
|
139
|
+
|
|
140
|
+
**質問 2: 子表の値を nil にする。**
|
|
141
|
+
- 読めなかった・skip・固定・別ボリュームの子は `{名前 => nil}`。次回は「記録なし」として読み直す。今の「キャッシュに入れない」と同じ扱い。
|
|
142
|
+
- `--dump-cache` は今と同じ出力に保てる。木をたどって平らな記録に戻すのは 0.38 秒で、件数は 603,712 で一致(`fmt2.rb`)。ハードリンクの名前は `large_files` に戻して出す。
|
|
143
|
+
|
|
144
|
+
**質問 3:**
|
|
145
|
+
- 止まった docker: 実際には止めていない。存在しないソケットを指すと `docker info` は 0.65 秒で失敗した(実測)。先読みなら走査の裏に隠れる。ハングする場合は未確認。
|
|
146
|
+
- 今の機械: default が 2.64 秒、desktop-linux が 0.14 秒(実測)。
|
|
147
|
+
- Ctrl-C: 子を同じプロセスグループのままにすれば、端末の SIGINT は子にも届く。それ以外の終了は 3 の作りで始末する。
|
|
148
|
+
|
|
149
|
+
**質問 4: スレッドでの裏書きは取り下げ、fork に替える。**
|
|
150
|
+
- 実測(`fmt2.rb`、新形式): fork の呼び出しは 0.022 秒。子は 1.07 秒で書き終え、読み戻して中身が一致。
|
|
151
|
+
- 親が同時に Ruby の仕事と GC をすると、0.39 → 0.60 秒に延びた。差し引きで、書き込みの 0.9 秒(今の形式なら 1.5 秒)のうち 0.7 秒ほどが浮く。
|
|
152
|
+
- 未確認: スレッドと Fiddle を使った後の fork が macOS で安全か。
|
|
153
|
+
|
|
154
|
+
#### 2. 検証役への賛否
|
|
155
|
+
- 提案 1 の採用、提案 4 の取り下げ、対案 A・B、`GC.disable` に賛成。
|
|
156
|
+
- 見落としの指摘(7 日の期限、ハードリンクの帰属、docker images の同点)にも同意。
|
|
157
|
+
- 補足: 検証役の試作の `@pre[cmd] ||= Thread.new` は、複数スレッドから呼ぶので Mutex が要る。
|
|
158
|
+
- 対案 A の正しさ: リンク数が後から変わっても、今と同じ結果になるはず(推測)。フォルダーの mtime が変わらない限り、どちらも前回の分類を使うため。
|
|
159
|
+
|
|
160
|
+
#### 3. 実装の案(優先順)
|
|
161
|
+
|
|
162
|
+
1. **外部コマンドの先読み(提案 1 + 対案 B)**
|
|
163
|
+
- `Output` に、コマンドの配列をキーにしたジョブ表を持つ(Mutex 付き)。
|
|
164
|
+
- 各ジョブは、スレッドの中で子を起動し、stdout と stderr を別々のパイプで受け取る。
|
|
165
|
+
- `capture` は表にあれば結果を待つ。その時点で stderr と失敗の行をログに書く。子が直接ログに書かないので混ざらず、ログの順も今と同じになる。
|
|
166
|
+
- ジョブは pid を持つ。`CLI` の ensure で、終わっていない子に TERM を送って wait する。
|
|
167
|
+
- 始める順: `brew cleanup -n`、docker の連鎖、Ruby の版の問い合わせ(同時 4 個まで)、残り。
|
|
168
|
+
- 起点外の走査は、全部がキャッシュから使えたら保存を省く。
|
|
169
|
+
2. **`ScanCache.read` を `GC.disable` で囲む**(ensure で戻す)。
|
|
170
|
+
3. **形式 v2(提案 2 + 対案 A)**
|
|
171
|
+
- `{version: 2, large:, full_scan_at:, tree:}`
|
|
172
|
+
- ノードは `[mtime, small, 大きいファイル名|nil, [名前, ino, 実占有, ...]|nil, {名前 => 子|nil}|nil]`
|
|
173
|
+
- dev は持たない(別ボリュームには降りないので、起点と同じ)。
|
|
174
|
+
- 7 日の期限は `full_scan_at` で見る。全走査のときだけ更新する。
|
|
175
|
+
- 実測(`fmt2.rb`、ハードリンク込み): 読み込み 0.51〜0.70 秒(今 1.55 秒)、dump 0.64 秒 + gzip 0.29 秒(今 1.13 + 0.59 秒)、ファイル 13.2MB(今 18.8MB)。
|
|
176
|
+
- 走査の側は検証役の案どおり: Task が古いノードを持ち、1 ノードを書くのは 1 スレッドだけ。
|
|
177
|
+
4. **保存を fork した子で行う**(終了前に wait し、結果をログに書く)。安全性が確かめられたら。
|
|
178
|
+
|
|
179
|
+
見込み(足し算の推測): `~/src` の普段の実行で、読み込み −1.0 秒、走査 −0.9 秒、保存 −0.6〜−1.3 秒、外部コマンド −9 秒。
|
|
180
|
+
|
|
181
|
+
#### 4. 検証役への質問
|
|
182
|
+
1. 形式 v2 で走査を試作し、フィクスチャーと `~/src` で、合計と `--dump-cache` 相当の記録が今と一致するか。木を直接たどったときに走査の real がどうなるか。
|
|
183
|
+
2. 対案 A で、ハードリンクの inode を記録した後に、フォルダーの mtime を変えずに結果がずれる場合はあるか(片方のリンクだけ消す、pnpm の store の側を書き換える、など)。
|
|
184
|
+
3. fork での保存は、走査のスレッドと Fiddle、先読みの子プロセスがある状態で安全か。だめなら代わりの手はあるか。
|
|
185
|
+
4. Ruby の問い合わせ 41 個を同時 4 個にしたとき、1.83 秒がいくつになり、走査をどれだけ遅らせるか。
|
|
186
|
+
|
|
187
|
+
### 検証役 第 2 回
|
|
188
|
+
|
|
189
|
+
#### 1. 質問への答え(すべて実測)
|
|
190
|
+
|
|
191
|
+
**質問 1: 形式 v2 の走査は組めて、速い。**
|
|
192
|
+
- フィクスチャー: キャッシュ無し・ありとも、合計・dir_sizes・artifacts・vendor_ruby・big_files と、木を平らに戻した記録 30,321 件が元と一致した。キャッシュありは 0.21 → 0.17 秒。
|
|
193
|
+
- `~/src`(元と交互に 2 組): 8.56 → 6.71 秒、7.83 → 5.75 秒。user は 4.1 → 2.6 秒、sys は 13.7 → 9.9 秒。
|
|
194
|
+
- `~/src` の合計と、平らに戻した記録 625,106 件は一致した。平らに戻すのは 0.5〜0.8 秒。
|
|
195
|
+
- `~/src` の dir_sizes と artifacts は 2 組とも不一致だった。ハードリンクの帰属の揺れだと見ているが、差の中身は確かめていない。
|
|
196
|
+
- ロックなしの作り: 変わっていないフォルダーは古いノードをそのまま使う。ワーカーが作ったノードを親の子表につなぐのは、全ワーカーの終了後に `resolve` の中で親スレッドだけが行う。
|
|
197
|
+
|
|
198
|
+
**質問 2: ずれるのは「その場の書き換え」だけ。**(hlcase.rb、単位はバイト)
|
|
199
|
+
|
|
200
|
+
| 変更 | 元 | v2 | キャッシュ無し |
|
|
201
|
+
| --- | --- | --- | --- |
|
|
202
|
+
| 片方のリンクを消す | 16384 | 16384 | 16384 |
|
|
203
|
+
| ほかのリンクを全部消す | 16384 | 16384 | 16384 |
|
|
204
|
+
| store 側に 200KB 書き足す | 217088 | 16384 | 217088 |
|
|
205
|
+
| 普通のファイルに後からリンクを足す | 24576 | 24576 | 16384 |
|
|
206
|
+
|
|
207
|
+
- 3 行目は v2 だけが見逃す。小さいファイルと同じ扱いで、`full_scan_at` の期限で直る。
|
|
208
|
+
- 4 行目は元も v2 も二重に数える既存のバグ。古い側のフォルダーは mtime が変わらず、前回の small の合計に入ったままになる。
|
|
209
|
+
|
|
210
|
+
**質問 3: fork は試した範囲では安全。**
|
|
211
|
+
- 走査のスレッドが動いている最中で、Fiddle を使用済み、先読みの子がいる状態で 15 回試し、15 回とも書いた内容が一致した。fork の呼び出しは最大 0.003 秒。
|
|
212
|
+
- 子は必ず `exit!` で終える。`exit` だと CLI の ensure(「Saved:」の表示、先読みの子の kill)が子でも動く。
|
|
213
|
+
- 未確認: 100 万件での COW によるメモリーの増え方。CoreFoundation を読み込んだ後(FSEvents を使う場合)は危ない。
|
|
214
|
+
- 代わりの手としてスレッドで書くと、gzip は GVL をほぼ放すが(主スレッドの仕事 0.58 → 0.73 秒)、`Marshal.dump` は放さない。
|
|
215
|
+
|
|
216
|
+
**質問 4: 45 個の直列が 0.56 秒(温まった状態)、同時 4 個で 0.19 秒。** 同時 8 個でも同じ。初回の直列は 2.61 秒だった。走査への影響は測っていない(CPU 時間で 0.5 秒ぶんなので小さいはず、という推測)。
|
|
217
|
+
|
|
218
|
+
#### 2. 実装の案への判定
|
|
219
|
+
|
|
220
|
+
1. **先読み: 採る。** stdout と stderr を別のパイプで受け、`capture` の時点でログに書く形でよい。直す点は 2 つ。stderr を読み切らないと子が詰まるので、両方を同時に読む。pid の始末は `output.close` より前に行う。
|
|
221
|
+
2. **`GC.disable`: 採る。**
|
|
222
|
+
3. **形式 v2: 採る。** 走査が 2 秒前後、読み込みが約 1 秒縮む。平らな形式のまま対案 A だけ入れると、走査は約 1 秒で、読み込みは縮まない。前回の hl.rb では 8.2 → 6.9〜7.4 秒だった。走査の側の差分は試作で 100 行ほど。
|
|
223
|
+
- 直す点: `cache_dump.rb` は木から平らに戻す。件数のログ(`lib/reclaimable/scan_cache.rb:63`)は `dirs` から出す。ノードの配列の添字には定数で名前を付ける。
|
|
224
|
+
4. **fork の保存: 後回し。** 得は 0.7 秒で、v2 にすると書き込み自体が 0.9 秒になる。1〜3 を入れてから測って決める。
|
|
225
|
+
|
|
226
|
+
#### 3. 残る懸念
|
|
227
|
+
|
|
228
|
+
- **帰属の揺れ。** v2 にすると、ハードリンクを数える順が元と変わる。フォルダーごとの数字は元と一致しない(合計は一致)。これを「正しさを保つ」の範囲とするかを決める必要がある。
|
|
229
|
+
- **古い木の書き換え。** 途中で例外が出ると、半端な木が残る。その回は保存しないこと。
|
|
230
|
+
- **`full_scan_at` の扱い。** 起点外のキャッシュで「変化が無ければ保存を省く」ときも、期限の判定が正しく働くこと。
|
|
231
|
+
- **メモリー。** ホーム(101 万件)で、v2 の読み込み後の RSS は測っていない。
|
|
232
|
+
|
|
233
|
+
#### 4. 最後の質問
|
|
234
|
+
|
|
235
|
+
1. 帰属の揺れを決定的にする安い手はあるか(たとえば、パスの辞書順で最小のリンクに帰属させる)。無ければ、既存の挙動として文書に書くだけにするか。
|
|
236
|
+
2. ホームのキャッシュ相当(100 万件)で、v2 の読み込みの時間と RSS はいくつか。
|
|
237
|
+
3. v1 のキャッシュは捨てて全走査でよいか。初回だけ 22 秒以上かかる。
|
|
238
|
+
4. 入れる順は 1 → 2 → 3 で、4 は保留、で合意できるか。
|
|
239
|
+
|
|
240
|
+
---
|
|
241
|
+
|
|
242
|
+
## 3 往復目
|
|
243
|
+
|
|
244
|
+
### 提案役 第 3 回(決着)
|
|
245
|
+
|
|
246
|
+
#### 1. 最後の質問への答え
|
|
247
|
+
|
|
248
|
+
**質問 2(実測): ホームのキャッシュ(1,016,252 件)は、v2 で読み込みが 3 分の 1、メモリーが 4 割になる。**
|
|
249
|
+
|
|
250
|
+
各 2 回、別プロセスで測りました。v2 のファイルは、検証役の `V2.build` で作って作業場所に置いたものです。
|
|
251
|
+
|
|
252
|
+
| | 読み込み | 読み込み直後の RSS |
|
|
253
|
+
| --- | ---: | ---: |
|
|
254
|
+
| v1 | 3.29・3.55 秒 | 約 1,100MB |
|
|
255
|
+
| v1 + `GC.disable` | 2.09・2.15 秒 | 約 1,400MB |
|
|
256
|
+
| v2 | 1.11 秒 | 446MB |
|
|
257
|
+
| v2 + `GC.disable` | 0.87・0.91 秒 | 561MB |
|
|
258
|
+
|
|
259
|
+
- ファイルは 29.0MB → 22.5MB、書き込みは 1.33 秒。
|
|
260
|
+
- **v1 のままの `GC.disable` は、ホームではピークが 300MB 増える。** 検証役の「増えない」は `~/src` の値。v2 では得が 0.2 秒に減り、115MB 増える。
|
|
261
|
+
|
|
262
|
+
**質問 1: 安い手はあるが、今回は入れず、文書に書くだけにする。**
|
|
263
|
+
- 手: 走査中はハードリンクを足さずに `[ino, 実占有, フォルダー]` を集める。走査の後で、inode ごとにパスが辞書順で最小のフォルダーへ帰属させ、記録している祖先に足す。
|
|
264
|
+
- 見積もり(`attrib.rb`、`~/src` の 305,828 リンク・116,234 inode): 選ぶのに 0.05 秒、祖先に足すのに 0.24 秒。計 0.3 秒ほど増える。`@inode_lock` は要らなくなる。
|
|
265
|
+
- 入れない理由: 大きいハードリンク(`big_files`)も同じ扱いにする必要があり、走査の作りがもう一段変わる。合計は今も一定。
|
|
266
|
+
|
|
267
|
+
**質問 3: v1 は捨てて全走査でよい。** 期限を `full_scan_at` で見る以上、全走査した時刻の分からない v1 は引き継げない。
|
|
268
|
+
|
|
269
|
+
**質問 4: 合意。** 1 → 2 → 3 の順で、4 は保留。ただし 2 は上の表のとおり得が小さいので、3 と同時に測って、残すかを決める。
|
|
270
|
+
|
|
271
|
+
#### 2. 不一致は、ハードリンクの帰属の揺れだけ(実測)
|
|
272
|
+
|
|
273
|
+
`diffchk.rb` で、ハードリンクがいちばん多い `~/src/gitlab.com/KitaitiMakoto`(139,278 フォルダー、うち 3.2 万は読み直し)を、元と v2 で比べました。
|
|
274
|
+
- **1 スレッド: 完全に一致。** `dir_sizes` 3,519 件と `artifacts` 148 件で、差は 0。
|
|
275
|
+
- **8 スレッド: `dir_sizes` 12 件、`artifacts` 4 件が不一致。** 合計は一致。
|
|
276
|
+
- 不一致のフォルダーは、全部が配下にハードリンクを持つ。
|
|
277
|
+
- 差はどれも、配下のハードリンクのバイト数以内(最大 3.6MB)。
|
|
278
|
+
- 差の合計は、深さ 1・2・3 のどれでも 0。`artifacts` の差の合計も 0。
|
|
279
|
+
- ハードリンクの無い `~/src/github.com/AGRISMILE`(156,218 フォルダー)は、8 スレッドでも差が 0。
|
|
280
|
+
|
|
281
|
+
`~/src` 全体では確かめていません。
|
|
282
|
+
|
|
283
|
+
#### 3. 残る懸念への対処
|
|
284
|
+
- **帰属の揺れ**: 既存の挙動として `doc/performance.md` に書く。前後の突き合わせは、合計は 8 スレッドで、フォルダーごとの数字は 1 スレッドで行う、と決める。
|
|
285
|
+
- **半端な木**: 保存は `scan` が正常に戻ったときだけ(`lib/reclaimable/report.rb:103-105` の並びを保つ)。ワーカーの例外は join で親に届く。元のファイルは一時ファイル + rename なので壊れない。
|
|
286
|
+
- **`full_scan_at`**: キャッシュ無しで走査したときだけ今の時刻にし、使い回したときは引き継ぐ。期限はファイルの中の値で見るので、保存を省いても狂わない。
|
|
287
|
+
- 注意: これで 7 日ごとの全走査が実際に起きるようになる。利用者に見える変化なので、文書に書く。
|
|
288
|
+
- **メモリー**: 上の表のとおり、v2 で減る。
|
|
289
|
+
|
|
290
|
+
#### 4. 合意案
|
|
291
|
+
|
|
292
|
+
1. **外部コマンドの先読み**(Ruby の版の問い合わせを含む)
|
|
293
|
+
- 作り: Mutex 付きのジョブ表。stdout と stderr を同時に読む。ログは `capture` の時点で書く。未使用の子は `output.close` の前に TERM を送って wait する。子は同じプロセスグループのまま。
|
|
294
|
+
- 効果(検証役の実測): `-d fixture` で 21.8 → 12.0 秒。
|
|
295
|
+
- 確かめ方: 前後のレポートの差分が、所要時間の行と docker images の同点の並びだけであること。同点には決め手を足す。
|
|
296
|
+
2. **起点外の走査で、変化が無ければ保存を省く**(3 の `full_scan_at` と一緒に入れる)。
|
|
297
|
+
3. **形式 v2**(木 + 小さいハードリンクの `[名前, ino, 実占有]` + `full_scan_at`)
|
|
298
|
+
- 作り: 検証役の `v2.rb` を元にする。添字は定数にする。`cache_dump.rb` は木から平らに戻す。件数のログは `dirs` から出す。
|
|
299
|
+
- 効果: `~/src` の走査が 8.2 → 6 秒前後(検証役)、読み込みが 1.55 → 0.5〜0.7 秒。ホームの読み込みが 3.4 → 1.1 秒。
|
|
300
|
+
- 不変条件: 合計のバイト数が一致。平らに戻した記録が一致。1 スレッドなら `dir_sizes`・`artifacts`・`vendor_ruby`・`big_files` が一致。
|
|
301
|
+
- 見逃すもの: 小さいハードリンクのその場の書き換え。期限で直る。文書に書く。
|
|
302
|
+
4. **`GC.disable`**: 3 の後で測って決める。
|
|
303
|
+
5. **保留**: fork での保存、帰属を決定的にする後処理、FSEvents。数字を `doc/performance.md` に残す。
|
|
304
|
+
|
|
305
|
+
**合意できていない点はありません。**
|
|
306
|
+
|
|
307
|
+
未確認で残るもの:
|
|
308
|
+
- ホーム全体での v2 の走査時間
|
|
309
|
+
- 止まった docker がハングする場合
|
|
310
|
+
- 対案 B のうち、起点外の走査を先読みに入れる効果
|
|
311
|
+
|
|
312
|
+
### 検証役 第 3 回(最終)
|
|
313
|
+
|
|
314
|
+
#### 1. 合意案への判定
|
|
315
|
+
|
|
316
|
+
1. **先読み: 同意。** 条件は 3 の落とし穴 a〜c。
|
|
317
|
+
2. **保存を省く: 条件付き同意。** 省いてよいのは「全フォルダーをキャッシュから使えて、読めないフォルダーも増えていない」ときだけ。
|
|
318
|
+
3. **形式 v2: 同意。** 不変条件もそのままでよい。
|
|
319
|
+
4. **`GC.disable`: 同意。** ホームで 115MB 増えて得が 0.2 秒なら、入れない側に倒してよい。
|
|
320
|
+
5. **保留: 同意。**
|
|
321
|
+
|
|
322
|
+
#### 2. 7 日の期限: 今の 7 日のまま効かせる
|
|
323
|
+
|
|
324
|
+
- man page と site が「7 日より古いキャッシュは使わない」と書いている(`man/reclaimable.1.ronn:171`、`site/index.md:126`)。効いていない今のほうが、文書と違うバグ。
|
|
325
|
+
- 見逃しは溜まる一方で、ほかに直る機会が無い。mtime の変わらないフォルダーで、ログや DB がその場で大きくなった分は、全走査するまで合計にも巨大ファイルの一覧にも出ない。v2 では、小さいハードリンクの書き換えもこれに加わる。
|
|
326
|
+
- 代償は、週 1 回の `~/src` で 6 秒が 22 秒になる程度。
|
|
327
|
+
- 条件: 期限切れの全走査のとき、画面の文言が「まだキャッシュが無い」になる(`lib/reclaimable/report.rb:83-88`)。期限切れ用の文言を足す。訳は別の作業に回す。
|
|
328
|
+
|
|
329
|
+
#### 3. 実装の落とし穴
|
|
330
|
+
|
|
331
|
+
- **a. ジョブ表の競合。** 私の pre.rb は、docker の連鎖が登録する前に本体が `capture` に来ると、同じコマンドを 2 回動かす。「表に無ければその場で始める」までを 1 つの Mutex の中で行う。
|
|
332
|
+
- **b. キーに env を含める。** Ruby の版の問い合わせは `env: PROBE_ENV` 付き(`lib/reclaimable/ruby_abi.rb:35-36`)。
|
|
333
|
+
- **c. 起動の失敗。** コマンドが無いときの `SystemCallError` は、ジョブのスレッドの中で受けて nil にする(今の `lib/reclaimable/output.rb:86-88` と同じ扱い)。受けないと `value` で本体に飛ぶ。
|
|
334
|
+
- **d. 古い子ノードが残る。** v2.rb の `walk` は、子がフォルダーでなくなった・別ボリューム・skip のときに `next` するだけで、`kids[name]` に古いノードが残る。nil にしているのは固定したフォルダーだけ。`--dump-cache` の出力が元とずれるので、どの `next` でも nil にする。
|
|
335
|
+
- **e. 起点が読めないと `@tree` が nil。** 保存と件数のログで nil を扱う。
|
|
336
|
+
- **f. dev を持たない前提。** v2.rb の `fresh` では、`s.dev == @root_dev` のものだけをハードリンクの記録に入れている。これを落とさない。
|
|
337
|
+
- **g. 子表への代入。** `kids.each` の途中で書けるのは既にあるキーだけ。ワーカーのノードをつなぐのは `resolve` の中だけにする。
|
|
338
|
+
- **h. 読み書きはメインスレッドで。** 入れ子 1,200 段の木は、スレッドの中だと `Marshal` が `SystemStackError` になる(実測。600 段は通る。メインは 5,000 段まで通る)。`ScanCache#save` と `load` の rescue は `StandardError` だけ(`lib/reclaimable/scan_cache.rb:47,65`)。
|
|
339
|
+
- **i. ほかの利用箇所。** `scanner.cache` と平らな形式を使っているのは、`benchmark/run.rb:49-96`、`benchmark/experiments/verify_bulk_list.rb:19`、`lib/reclaimable/cache_dump.rb:39-69`。
|
|
340
|
+
- **j. 木はその場で書き換える。** 同じ木を 2 回の走査に渡して比べると、2 回目は 1 回目の結果を見る。ベンチマークの「scan (cached)」の繰り返しがこれに当たる。
|
|
341
|
+
|
|
342
|
+
#### 4. 実装後の確認
|
|
343
|
+
|
|
344
|
+
1. `bundle exec rake check`
|
|
345
|
+
2. `bundle exec rake "benchmark[after]"` と `bundle exec rake "benchmark:compare[before,after]"`。合計が一致すること。`BENCH_ROOT=~/src` でも、前後を交互に測る。
|
|
346
|
+
3. 元の Scanner(変更前のコミット)と新しいもので、フィクスチャーと `~/src` を突き合わせる。
|
|
347
|
+
- 8 スレッド: 合計と、平らに戻した記録が一致。
|
|
348
|
+
- `-j 1`: dir_sizes・artifacts・vendor_ruby・big_files も一致。
|
|
349
|
+
4. `--dump-cache json` の出力を、同じツリーで前後で diff する。
|
|
350
|
+
5. ハードリンクの場合分け(私の hlcase.rb の 4 通り)。3 番目だけ v2 が見逃すこと。
|
|
351
|
+
6. `XDG_CACHE_HOME=<作業場所> LC_ALL=C ruby -Ilib bin/reclaimable -d tmp/benchmark/fixture --no-save` を前後で diff する。差が所要時間の行だけであること。保存ありでも 1 回動かし、ログの行の順が同じことを見る。
|
|
352
|
+
7. Ctrl-C で止めて、`ps` に brew や docker の子が残らないこと。
|
|
353
|
+
8. キャッシュの `full_scan_at` を 8 日前にして、全走査になり、新しい文言が出ること。v1 のファイルを置いて、読み飛ばして全走査になること。
|
|
354
|
+
9. `doc/performance.md` に、数字・帰属の揺れ・見逃すものを書く。
|
|
355
|
+
|
|
356
|
+
#### 未確認
|
|
357
|
+
|
|
358
|
+
- 100 万件(ホーム全体)での v2 の走査時間。
|
|
359
|
+
- docker がハングする場合の動き。
|
|
360
|
+
- 落とし穴 d は、直した版をまだ動かしていない。
|
|
361
|
+
|
|
362
|
+
---
|
|
363
|
+
|
|
364
|
+
## 議論のあと、実装で合意と変えたところ
|
|
365
|
+
|
|
366
|
+
- **落とし穴 f(ハードリンクの記録は起点と同じ dev のものだけ)は、条件として書いていない。** 走査は別ボリュームのフォルダーに降りないので、
|
|
367
|
+
たどったフォルダーの中のファイルは、どれも起点と同じ dev にある。
|
|
368
|
+
- **保存を省く条件**は、「木を書き換えた回数が 0」(`Scanner#changed?`)にした。読めないフォルダーはノードを作らないので、
|
|
369
|
+
読めないフォルダーがあっても、ほかに変化が無ければ省く。起点の外だけでなく、起点のキャッシュにも同じ条件を使う。
|
|
370
|
+
- **Ruby の版の問い合わせ**は、同時 4 個に絞らず、全部を一度に始める。
|
|
371
|
+
- **確認の手順 4**(`--dump-cache json` の前後の diff)は、そのままでは行っていない。`large_files` の並びが変わるため。
|
|
372
|
+
代わりに、木を平らに直した記録を、名前を並べ替えたうえで変更前と突き合わせた。
|
|
373
|
+
- **キャッシュの読み書きを、ファイル全体で一度に行う形にした。** 議論には無かった変更。実装の確認中に、読み込みが 1 回
|
|
374
|
+
`Zlib::BufError` で失敗したため([06-round2.md](06-round2.md) の「途中で起きたこと」)。
|
|
@@ -0,0 +1,194 @@
|
|
|
1
|
+
# 06. 二巡目: 外部コマンドの先読みと、キャッシュの新しい形式
|
|
2
|
+
|
|
3
|
+
2026-11-16 に行った二巡目の高速化の記録。C 拡張と外部 gem は使わない、という条件で行った。
|
|
4
|
+
案は、二つのサブエージェント(提案役と検証役)に 3 往復議論させて絞った。それぞれが試作と計測をして、
|
|
5
|
+
相手の数字を測り直している。この文書は、その合意と、実装して測った結果をまとめたもの。
|
|
6
|
+
議論の各回の発言は [06-round2-discussion.md](06-round2-discussion.md) にある。
|
|
7
|
+
|
|
8
|
+
**結論: 2 つを採用した。**
|
|
9
|
+
|
|
10
|
+
| 施策 | 効果 | 実装 |
|
|
11
|
+
| --- | --- | --- |
|
|
12
|
+
| 外部コマンドを走査の前に裏で始める | `-d` で起点を絞った実行が 20〜21 秒 → 9 秒 | `Output#prefetch`・`Output#capture`、`Report#prefetch` |
|
|
13
|
+
| キャッシュを木の形にし、小さいハードリンクの inode を覚える | `~/src` で、キャッシュありの走査 7.4 → 5.7 秒、読み込み 1.8 → 0.5 秒、書き込み 1.5 → 0.7 秒 | `Scanner`、`ScanCache` |
|
|
14
|
+
|
|
15
|
+
## 1. 外部コマンドを走査の前に裏で始める
|
|
16
|
+
|
|
17
|
+
### 何が遅かったか
|
|
18
|
+
|
|
19
|
+
レポートの節は、`brew cleanup -n`・`docker`・`tmutil`・`xcrun` などの外部コマンドを、節の順に 1 つずつ動かしていた。
|
|
20
|
+
直列で 11.7 秒。そのうち `brew cleanup -n` が 7.9 秒、`docker info` が 2.7 秒(提案役の実測)。
|
|
21
|
+
ほかに、インストール済みの Ruby の版の問い合わせ(この機械で 45 個)が、初回 2.6 秒・温まった状態で 0.56 秒(検証役の実測)。
|
|
22
|
+
|
|
23
|
+
どれも走査の結果と関係なく決まるので、走査の間に済ませられる。
|
|
24
|
+
|
|
25
|
+
### 何を変えたか
|
|
26
|
+
|
|
27
|
+
- `Output#prefetch` で、コマンドを裏のスレッドで始める。`Output#capture` は、同じ引数のコマンドが始まっていれば
|
|
28
|
+
その結果を待って受け取り、無ければその場で始める。同じコマンドを 2 回は動かさない(「無ければ始める」をロックの中で行う)。
|
|
29
|
+
- `Report#prefetch` が、起動の直後(走査の前)に始める。docker は、context の一覧 → エンジンの応答 → 内訳、と
|
|
30
|
+
前の結果で次が決まるので、スレッドの中で順に始める。
|
|
31
|
+
- ログは `capture` が結果を受け取った時点で書く。子のエラー出力はパイプで受け取り、同じ時点で書く。
|
|
32
|
+
そのため、ログの並びは前と同じになる。
|
|
33
|
+
- 終了時(中断を含む)に、まだ動いている子に TERM を送って待つ(`Output#close`)。
|
|
34
|
+
|
|
35
|
+
### 結果
|
|
36
|
+
|
|
37
|
+
フィクスチャーを起点にして、コマンド全体の時間(`Took N s`)を、変更前と交互に測った。
|
|
38
|
+
|
|
39
|
+
```sh
|
|
40
|
+
LC_ALL=C ruby -Ilib bin/reclaimable -d tmp/benchmark/fixture --no-save
|
|
41
|
+
```
|
|
42
|
+
|
|
43
|
+
| | 変更前 | 変更後 |
|
|
44
|
+
| --- | ---: | ---: |
|
|
45
|
+
| 2 回目以降(キャッシュあり) | 20 秒・21 秒 | 9 秒・9 秒 |
|
|
46
|
+
|
|
47
|
+
ホーム全体や `~/src` を起点にした実行では、走査(6〜20 秒)と重なる。ただし重なっている間は互いに遅くなる。
|
|
48
|
+
検証役の実測で、`~/src` の走査は単独 8.1 秒 → 同時 10.6 秒、`brew cleanup -n` は 7.9 → 10.8 秒。
|
|
49
|
+
直列で約 20 秒だったものが約 11 秒になり、得は 9 秒前後。
|
|
50
|
+
|
|
51
|
+
### 確かめたこと
|
|
52
|
+
|
|
53
|
+
- レポートは、変更前と続けて動かして、所要時間の行と、下の docker images の並び以外は一致した。
|
|
54
|
+
- ログは、時間の行を除いて一致した。
|
|
55
|
+
- 実行中に INT・TERM で止めて、`brew cleanup -n` の子が残らないことを確かめた。
|
|
56
|
+
|
|
57
|
+
### あわせて直したこと
|
|
58
|
+
|
|
59
|
+
- `docker images` の、同じ大きさの行の並びを名前順に固定した。docker の出力順が呼ぶたびに変わり、
|
|
60
|
+
並べ替えに同点の決め手が無かったので、レポートの差分を取ると毎回ここが食い違っていた。
|
|
61
|
+
|
|
62
|
+
## 2. キャッシュを木の形にし、小さいハードリンクの inode を覚える
|
|
63
|
+
|
|
64
|
+
### 何が遅かったか
|
|
65
|
+
|
|
66
|
+
- **キャッシュの形。** `{ フルパス => [mtime, 小さいファイルの合計, 子フォルダー名, 大きいファイル名] }` という平らな Hash だった。
|
|
67
|
+
フルパスの文字列がフォルダーの数だけあり、`~/src`(60 万フォルダー)で、展開した大きさが 110MB、読み込みに 1.6〜1.8 秒かかっていた。
|
|
68
|
+
走査中は、フォルダーごとにこの Hash をフルパスで引いていた。
|
|
69
|
+
- **小さいハードリンク。** ハードリンクは、同じ inode を 1 回だけ数えるために、キャッシュがあっても毎回 `lstat` していた。
|
|
70
|
+
`~/src` では、毎回 `lstat` するファイル 309,653 個のうち 305,828 個が、10MB 未満のハードリンクだった(pnpm の `node_modules` など)。
|
|
71
|
+
フォルダーの `lstat`(60 万回)に、さらに 30 万回が上乗せされていた。
|
|
72
|
+
|
|
73
|
+
### 何を変えたか
|
|
74
|
+
|
|
75
|
+
走査結果を、フォルダーごとのノードをつないだ木で持つ。ノードは配列で、
|
|
76
|
+
`[mtime, 小さいファイルの合計, 大きいファイル名, 小さいハードリンク, 子フォルダー]`。
|
|
77
|
+
|
|
78
|
+
- **子フォルダー**は `{ 名前 => 子のノード }`。フルパスの文字列を持たない。走査は親のノードから子のノードを直接たどるので、検索も要らない。
|
|
79
|
+
- **小さいハードリンク**は `[名前, inode, 実占有, ...]` を覚える。次からは `lstat` せず、覚えた inode で重複を除く。
|
|
80
|
+
大きいファイル(10MB 以上)は、ハードリンクでも前と同じく毎回 `lstat` する。
|
|
81
|
+
- キャッシュの形式の版を 2 に上げた。前の版(1)のキャッシュは使わず、最初の 1 回だけ全部走査し直す。
|
|
82
|
+
- 走査は、渡された木をその場で書き換える。変わっていないフォルダーは前回のノードをそのまま使う。
|
|
83
|
+
ロックなしで済むよう、1 つのノードを書き換えるスレッドは 1 つだけにしている(`Scanner#attach` の説明を参照)。
|
|
84
|
+
- 何も変わっていなければ、キャッシュを書き直さない(`Scanner#changed?`)。
|
|
85
|
+
|
|
86
|
+
### 結果
|
|
87
|
+
|
|
88
|
+
`~/src`(63 万フォルダー)で、変更前と交互に 2 回ずつ測った。時間は秒(`real` の最小値、YJIT あり)。
|
|
89
|
+
|
|
90
|
+
| シナリオ | 変更前 | 変更後 | 比 |
|
|
91
|
+
| --- | ---: | ---: | ---: |
|
|
92
|
+
| scan (no cache) | 20.94・21.00 | 20.26・20.68 | x0.97〜0.98 |
|
|
93
|
+
| scan (cached) | 7.35・7.41 | 5.70・5.66 | **x0.77** |
|
|
94
|
+
| cache save | 1.50・1.51 | 0.71・0.70 | **x0.47** |
|
|
95
|
+
| cache load | 1.79・1.79 | 0.48・0.48 | **x0.27** |
|
|
96
|
+
|
|
97
|
+
フィクスチャー(3 万フォルダー):
|
|
98
|
+
|
|
99
|
+
| シナリオ | 変更前 | 変更後 | 比 |
|
|
100
|
+
| --- | ---: | ---: | ---: |
|
|
101
|
+
| scan (no cache) | 0.973 | 0.895 | x0.92 |
|
|
102
|
+
| scan (cached) | 0.255 | 0.193 | x0.76 |
|
|
103
|
+
| cache save | 0.043 | 0.013 | x0.30 |
|
|
104
|
+
| cache load | 0.033 | 0.010 | x0.30 |
|
|
105
|
+
|
|
106
|
+
結果のファイル: `round2-before`・`round2-after`(フィクスチャー)、`src-round2-before1`・`src-round2-after1`・
|
|
107
|
+
`src-round2-before2`・`src-round2-after2`(`~/src`)。
|
|
108
|
+
|
|
109
|
+
ふだんの実行(読み込み + キャッシュありの走査 + 書き込み)で見ると、`~/src` で 10.7 秒 → 6.9 秒になる。
|
|
110
|
+
|
|
111
|
+
ホームのキャッシュ(101 万フォルダー)では、提案役の実測で、読み込みが 3.3〜3.6 秒 → 1.1 秒、
|
|
112
|
+
読み込み直後のメモリー(RSS)が約 1,100MB → 446MB、ファイルが 29.0MB → 22.5MB。
|
|
113
|
+
ホーム全体での走査の時間は測っていない。
|
|
114
|
+
|
|
115
|
+
### 確かめたこと
|
|
116
|
+
|
|
117
|
+
変更前の `Scanner`(コミット f044d61)と、同じフォルダーを走査して突き合わせた。比べたのは、合計のバイト数、
|
|
118
|
+
フォルダーごとのサイズ(`dir_sizes`・`watched_sizes`)、ビルド成果物、`vendor_ruby`、巨大ファイル、読めなかった場所、
|
|
119
|
+
キャッシュの記録(木を平らに直したもの)。キャッシュ無しの走査と、その結果を使った走査の両方。
|
|
120
|
+
|
|
121
|
+
| 対象 | 1 スレッド | 8 スレッド |
|
|
122
|
+
| --- | --- | --- |
|
|
123
|
+
| フィクスチャー(3 万フォルダー) | 全部一致 | 全部一致 |
|
|
124
|
+
| `~/src/gitlab.com/KitaitiMakoto`(14 万フォルダー、ハードリンクが多い) | 全部一致 | 合計・キャッシュの記録・巨大ファイルなどは一致。`dir_sizes` と `artifacts` だけ不一致(下の「ハードリンクの帰属」) |
|
|
125
|
+
|
|
126
|
+
ほかに、作ったツリーの中身を変えながら(ファイルを足す、深いフォルダーを足す、フォルダーを消す、フォルダーをファイルに置き換える、
|
|
127
|
+
大きいファイルを消す、フォルダーを改名する)、木を使った走査がキャッシュ無しの走査と同じ結果になることを確かめた。
|
|
128
|
+
保存して読み直した木が同じであること、`--dump-cache` が動くことも確かめた。
|
|
129
|
+
|
|
130
|
+
### 変わった挙動
|
|
131
|
+
|
|
132
|
+
- **7 日の期限が、実際に効くようになった。** 前は「キャッシュのファイルの更新時刻が 7 日より古ければ使わない」だったが、
|
|
133
|
+
ファイルは実行のたびに書き直すので、週に 1 回以上動かしている限り期限が来なかった(man page の説明と違う不具合)。
|
|
134
|
+
今は「最後に全部走査した時刻」をキャッシュの中に持ち、それで見る。7 日に 1 回は、キャッシュ無しの走査になる
|
|
135
|
+
(`~/src` で 6 秒が 20 秒になる)。そのときは、画面にその旨を出す。
|
|
136
|
+
- **小さいハードリンクの、その場の書き換えを見逃す。** フォルダーの mtime が変わらないまま、小さいハードリンクの中身が
|
|
137
|
+
書き足されて大きくなった分は、次に全部走査し直すまで数えない。前は毎回 `lstat` していたので拾えていた。
|
|
138
|
+
ハードリンクでない小さいファイルは、前から同じ扱い。
|
|
139
|
+
- **`--dump-cache` の `large_files` の並び。** 大きいファイル、小さいハードリンクの順になる(前は、フォルダーの中での並び順)。
|
|
140
|
+
中身は同じ。
|
|
141
|
+
|
|
142
|
+
## 前からあり、今回は直していないもの
|
|
143
|
+
|
|
144
|
+
議論の中で見つかった、既存の挙動。
|
|
145
|
+
|
|
146
|
+
- **ハードリンクの帰属が、実行ごとに揺れる。** 同じ inode へのリンクが複数のフォルダーにあるとき、そのバイト数は
|
|
147
|
+
「最初に出会ったスレッドがたどっていたフォルダー」に付く。複数のスレッドで走査すると、どのフォルダーに付くかが実行ごとに変わりうる。
|
|
148
|
+
合計は変わらない。提案役の実測で、不一致のフォルダーは全部が配下にハードリンクを持ち、差は配下のハードリンクのバイト数以内(最大 3.6MB)、
|
|
149
|
+
深さごとの差の合計は 0 だった。
|
|
150
|
+
- 直す手はある: 走査の後で、inode ごとにパスが辞書順で最小のフォルダーへ付け直す。見積もりは `~/src` で 0.3 秒の増加。
|
|
151
|
+
大きいハードリンクも同じ扱いにする必要があり、走査の作りがもう一段変わるので、今回は入れなかった。
|
|
152
|
+
- 走査の結果を突き合わせるときは、合計は 8 スレッドで、フォルダーごとの数字は 1 スレッド(`-j 1`)で比べる。
|
|
153
|
+
- **普通のファイルに後からハードリンクを足すと、二重に数える。** 元のファイルのあるフォルダーは mtime が変わらないので、
|
|
154
|
+
前回の「小さいファイルの合計」に入ったまま。リンクを足した側のフォルダーでも数える。全部走査し直すと直る。
|
|
155
|
+
|
|
156
|
+
## 途中で起きたこと: キャッシュの読み込みの、まれな失敗
|
|
157
|
+
|
|
158
|
+
実装の確認中に 1 回、起動直後のキャッシュの読み込みが `Zlib::BufError: buffer error` で失敗し、全部走査し直した。
|
|
159
|
+
結果は正しいが、その回だけ遅くなる。
|
|
160
|
+
|
|
161
|
+
- 起きたのは、外部コマンドの先読みを入れた後。起動直後に子プロセスを 50 個ほど始めるのと、キャッシュの読み込みが重なる。
|
|
162
|
+
- 同じ手順を繰り返しても再現せず(3 回)、子プロセスを大量に起動しながら 40 回読む試験でも出なかった。**原因は特定できていない。**
|
|
163
|
+
- 対処として、キャッシュの読み書きを、`Zlib::GzipReader`・`Zlib::GzipWriter` で少しずつ行う形から、
|
|
164
|
+
ファイル全体を一度に読んで展開する・全体を圧縮してから一度に書く形に変えた。その後、同じ手順を 12 回繰り返して出ていない。
|
|
165
|
+
ただし、もともとまれな現象なので、これで直ったとは言い切れない。
|
|
166
|
+
- また起きたら、ログに `Not using the cache because it cannot be read: Zlib::BufError` が残る。
|
|
167
|
+
|
|
168
|
+
## 見送ったもの
|
|
169
|
+
|
|
170
|
+
どれも測ったうえで見送った。数字は議論の中での実測。
|
|
171
|
+
|
|
172
|
+
- **走査の Ruby 側を細かく軽くする**(`st.mtime` を 1 回にする、`drop(1)` をやめる、など)。フィクスチャーでは
|
|
173
|
+
0.209 → 0.147 秒になるが、`~/src` では real が縮まなかった(元 8.08・8.31 秒、軽い版 10.28・8.20 秒)。
|
|
174
|
+
木の形にしたことで、同じ種類の無駄はほぼ無くなっている。
|
|
175
|
+
- **キャッシュの読み込みの間、GC を止める**(`GC.disable`)。前の形式では 1.59 → 1.03 秒と効いたが、
|
|
176
|
+
木の形では得が 0.2 秒に減り、ホームのキャッシュでメモリーが 115MB 増える。
|
|
177
|
+
- **キャッシュの書き込みを、fork した子で行う。** 試した範囲では安全(走査のスレッドが動いている最中に 15 回試して、15 回とも中身が一致)で、
|
|
178
|
+
0.7 秒ほど浮く。木の形で書き込み自体が 0.7 秒になったので、複雑さに見合わない。
|
|
179
|
+
- **キャッシュの書き込みを、裏のスレッドで行う。** `Marshal.dump` は GVL を放さない。先読みを入れると、
|
|
180
|
+
その後の節に外部コマンドの待ちが無くなるので、重ねる相手がいない。
|
|
181
|
+
- **FSEvents の履歴で、変わったフォルダーだけを知る**(Fiddle で呼ぶ)。動く(キャッシュを作った後に変わった・消えた
|
|
182
|
+
10,465 フォルダーは、全部イベントに入っていた)。ただし履歴の読み出しが、直近 100 万 ID ぶんで 0.13 秒、
|
|
183
|
+
300 万 ID 以上では 7.4〜9.3 秒かかり、走査と変わらない。時刻からイベントの ID を引く関数が、どの時刻にも同じ値を返したので、
|
|
184
|
+
ふだんの 1 日ぶんの量は測れていない。
|
|
185
|
+
- **子フォルダーが k 個以上の親だけ、まとめ読みする。** `~/src` で、元 8.03・8.29 秒、k=5 で 7.67・8.21 秒、k=3 で 7.76・7.51 秒。
|
|
186
|
+
k=3 で子フォルダーの `lstat` は 73% 減っているのに、時間は変わらない。効いているのはシステムコールの回数ではなく、
|
|
187
|
+
inode の記録を引く回数だと考えると合う(小さいハードリンクの `lstat` を省くのが効いたのも、引く inode が 30 万減るから)。
|
|
188
|
+
- **スレッド数を減らす。** `~/src` のキャッシュありの走査で、4 スレッド 11.3 秒、6 スレッド 8.6 秒、8 スレッド 8.1 秒。
|
|
189
|
+
|
|
190
|
+
## 測っていないもの
|
|
191
|
+
|
|
192
|
+
- ホーム全体(101 万フォルダー)での、木の形の走査の時間。
|
|
193
|
+
- docker が応答しないまま止まる(ハングする)ときの動き。存在しないソケットを指した場合は 0.65 秒で失敗する。
|
|
194
|
+
- 起点の外の走査を、先読みに入れた場合の効果。
|
|
@@ -0,0 +1,46 @@
|
|
|
1
|
+
# 高速化のリポート
|
|
2
|
+
|
|
3
|
+
2026-11-16 に行った高速化の、施策ごとの記録。計測のしかたは [../README.md](../README.md)。
|
|
4
|
+
|
|
5
|
+
| リポート | 施策 | 結論 |
|
|
6
|
+
| --- | --- | --- |
|
|
7
|
+
| [00-baseline.md](00-baseline.md) | ベースラインと、時間のかかっている場所 | 時間の大半は走査の `lstat`。スレッドは実際のフォルダーでは効いている |
|
|
8
|
+
| [01-jit.md](01-jit.md) | JIT | YJIT を採用(走査で 6〜15%)。ZJIT は効果なし |
|
|
9
|
+
| [02-ractor.md](02-ractor.md) | Ractor | 採用しない(getattrlistbulk と併用できず、実際のフォルダーではそちらが速い) |
|
|
10
|
+
| [03-getattrlistbulk.md](03-getattrlistbulk.md) | フォルダーの直下をまとめて読む | 採用。キャッシュ無しの走査がおよそ半分に |
|
|
11
|
+
| [04-others.md](04-others.md) | そのほか | キャッシュの圧縮を速さ優先に(採用)。スレッド数を増やす(見送り)。今後の候補 |
|
|
12
|
+
| [05-outside-root.md](05-outside-root.md) | 起点の外の場所を、まとめて測ってキャッシュする | 採用。`-d` で絞ったときの 2 回目以降が 31 秒 → 21 秒 |
|
|
13
|
+
| [06-round2.md](06-round2.md) | 二巡目: 外部コマンドの先読みと、キャッシュの新しい形式 | 採用。`-d` で絞った実行が 20 → 9 秒、`~/src` のキャッシュありの走査が 7.4 → 5.7 秒 |
|
|
14
|
+
|
|
15
|
+
## 全体の結果
|
|
16
|
+
|
|
17
|
+
下の表は一巡目(00〜05)まで。二巡目の結果は [06](06-round2.md) にある。
|
|
18
|
+
|
|
19
|
+
時間は秒(`real` の最小値)。括弧の中は施策を入れる前に対する比。
|
|
20
|
+
|
|
21
|
+
フィクスチャー(3 万フォルダー、22 万ファイル。CPU 時間だけが出る):
|
|
22
|
+
|
|
23
|
+
| シナリオ | 前 | 後(JIT なし) | 後(YJIT。本体はこちらで動く) |
|
|
24
|
+
| --- | ---: | ---: | ---: |
|
|
25
|
+
| scan (no cache) | 2.372 | 1.130 (x0.48) | 0.984 (x0.41) |
|
|
26
|
+
| scan (cached) | 0.246 | 0.209 (x0.85) | 0.181 (x0.74) |
|
|
27
|
+
| cache save | 0.072 | 0.041 (x0.57) | 0.041 (x0.58) |
|
|
28
|
+
| cache load | 0.033 | 0.030 (x0.91) | 0.030 (x0.90) |
|
|
29
|
+
| cache dump (json) | 0.106 | 0.099 (x0.93) | 0.094 (x0.89) |
|
|
30
|
+
| startup (--help) | 0.143 | 0.136 (x0.95) | (走査しない実行では YJIT を有効にしない) |
|
|
31
|
+
|
|
32
|
+
`~/src`(62 万フォルダー、287GB。待ち時間が大半):
|
|
33
|
+
|
|
34
|
+
| シナリオ | 前 | 後(JIT なし) | YJIT の上乗せ |
|
|
35
|
+
| --- | ---: | ---: | --- |
|
|
36
|
+
| scan (no cache) | 43.02 | 22.27 (x0.52) | さらに 7〜9% |
|
|
37
|
+
| scan (cached) | 7.96 | 7.10 (x0.89) | さらに 5〜8% |
|
|
38
|
+
|
|
39
|
+
`~/src` の値は測った時間帯によって 1〜2 割ばらつくので、YJIT の上乗せは、続けて交互に測った値の比で示した([01](01-jit.md))。
|
|
40
|
+
|
|
41
|
+
まとめると:
|
|
42
|
+
|
|
43
|
+
- **初回や `--fresh` の走査は、およそ半分の時間になった。** 効いたのは getattrlistbulk。
|
|
44
|
+
- **ふだんの(キャッシュありの)走査は、1〜2 割の改善にとどまる。** 残っているのは、フォルダーごとに更新時刻を確かめる
|
|
45
|
+
`lstat` と、その待ち時間。ここを大きく縮めるには、作りを変える必要がある([04](04-others.md) の「今後の候補」)。
|
|
46
|
+
- 走査の結果(合計のバイト数、フォルダーごとの記録)は変わっていない([03](03-getattrlistbulk.md) の確認)。
|