reclaimable 0.1.0

This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
Files changed (85) hide show
  1. checksums.yaml +7 -0
  2. data/.claude/launch.json +11 -0
  3. data/.gitignore +11 -0
  4. data/.gitlab-ci.yml +16 -0
  5. data/AGENTS.md +88 -0
  6. data/CLAUDE.md +1 -0
  7. data/Gemfile +3 -0
  8. data/LICENSE +674 -0
  9. data/README.md +160 -0
  10. data/Rakefile +28 -0
  11. data/ai-skill/reclaimable/SKILL.md +94 -0
  12. data/benchmark/README.md +59 -0
  13. data/benchmark/experiments/lstat_scanner.rb +11 -0
  14. data/benchmark/experiments/ractor_scanner.rb +92 -0
  15. data/benchmark/experiments/verify_bulk_list.rb +34 -0
  16. data/benchmark/lib/fixture.rb +104 -0
  17. data/benchmark/lib/results.rb +62 -0
  18. data/benchmark/reports/00-baseline.md +75 -0
  19. data/benchmark/reports/01-jit.md +70 -0
  20. data/benchmark/reports/02-ractor.md +58 -0
  21. data/benchmark/reports/03-getattrlistbulk.md +84 -0
  22. data/benchmark/reports/04-others.md +52 -0
  23. data/benchmark/reports/05-outside-root.md +56 -0
  24. data/benchmark/reports/06-round2-discussion.md +374 -0
  25. data/benchmark/reports/06-round2.md +194 -0
  26. data/benchmark/reports/README.md +46 -0
  27. data/benchmark/results/baseline.yml +126 -0
  28. data/benchmark/results/bulk-list.yml +126 -0
  29. data/benchmark/results/final-yjit.yml +126 -0
  30. data/benchmark/results/final.yml +126 -0
  31. data/benchmark/results/ractor-exp.yml +38 -0
  32. data/benchmark/results/round2-after.yml +126 -0
  33. data/benchmark/results/round2-before.yml +126 -0
  34. data/benchmark/results/src-baseline.yml +32 -0
  35. data/benchmark/results/src-bulk-list.yml +32 -0
  36. data/benchmark/results/src-pair-none1.yml +38 -0
  37. data/benchmark/results/src-pair-none2.yml +38 -0
  38. data/benchmark/results/src-pair-yjit1.yml +38 -0
  39. data/benchmark/results/src-pair-yjit2.yml +38 -0
  40. data/benchmark/results/src-ractor-exp.yml +32 -0
  41. data/benchmark/results/src-round2-after1.yml +52 -0
  42. data/benchmark/results/src-round2-after2.yml +52 -0
  43. data/benchmark/results/src-round2-before1.yml +52 -0
  44. data/benchmark/results/src-round2-before2.yml +52 -0
  45. data/benchmark/results/yjit.yml +126 -0
  46. data/benchmark/results/zjit.yml +126 -0
  47. data/benchmark/run.rb +149 -0
  48. data/bin/reclaimable +10 -0
  49. data/doc/performance.md +179 -0
  50. data/lib/reclaimable/ai_skill.rb +138 -0
  51. data/lib/reclaimable/bulk_list.rb +91 -0
  52. data/lib/reclaimable/cache_dump.rb +125 -0
  53. data/lib/reclaimable/cli.rb +168 -0
  54. data/lib/reclaimable/cloud_files.rb +33 -0
  55. data/lib/reclaimable/config.rb +100 -0
  56. data/lib/reclaimable/i18n.rb +24 -0
  57. data/lib/reclaimable/locations.rb +89 -0
  58. data/lib/reclaimable/output.rb +154 -0
  59. data/lib/reclaimable/paths.rb +36 -0
  60. data/lib/reclaimable/report.rb +504 -0
  61. data/lib/reclaimable/ruby_abi.rb +69 -0
  62. data/lib/reclaimable/scan_cache.rb +97 -0
  63. data/lib/reclaimable/scanner.rb +440 -0
  64. data/lib/reclaimable/util.rb +34 -0
  65. data/lib/reclaimable.rb +42 -0
  66. data/locale/ja/LC_MESSAGES/reclaimable.mo +0 -0
  67. data/man/reclaimable.1.ronn +302 -0
  68. data/man/reclaimable.en.1 +234 -0
  69. data/man/reclaimable.ja.1 +452 -0
  70. data/po/ja/reclaimable-docs.po +668 -0
  71. data/po/ja/reclaimable.po +510 -0
  72. data/rakelib/benchmark.rake +22 -0
  73. data/rakelib/docs/japanese.rb +132 -0
  74. data/rakelib/docs/man_page.rb +73 -0
  75. data/rakelib/docs/site.rb +187 -0
  76. data/rakelib/docs/sources.rb +94 -0
  77. data/rakelib/docs/translation.rb +157 -0
  78. data/rakelib/docs.rake +62 -0
  79. data/rakelib/gettext.rake +30 -0
  80. data/rakelib/i18n.rake +199 -0
  81. data/reclaimable.gemspec +56 -0
  82. data/site/index.md +142 -0
  83. data/site/layout.html.erb +60 -0
  84. data/site/style.css +82 -0
  85. metadata +231 -0
@@ -0,0 +1,440 @@
1
+ require "io/console"
2
+
3
+ module Reclaimable
4
+ # ディレクトリツリーを 1 回たどって、各節に必要な情報をまとめて集める。
5
+ # 速くするための工夫は 3 つ。
6
+ # - まとめ読み: フォルダーの直下は、名前ごとに lstat せず getattrlistbulk で 1 度に読む(BulkList を参照)。
7
+ # - 並列化: 深さ split_depth のフォルダーから下を 1 つのタスクにして、複数のスレッドで同時にたどる。
8
+ # さらに、たどっている途中で手の空いたスレッドがあれば、子フォルダーを新しいタスクとして渡す
9
+ # (ファイル数の多いサブツリーが 1 つあると、それを 1 スレッドで読み終えるまで全体が終わらないため)。
10
+ # lstat は GVL を手放して実行されるので、ファイル数が多い場所ではスレッドを増やすほど速くなる。
11
+ # - キャッシュ: フォルダーの mtime が前回と同じなら直下の顔ぶれは変わっていないので、
12
+ # 一覧の読み直しと小さいファイルの lstat を省き、前回の合計を使い回す(listing を参照)。
13
+ #
14
+ # 走査結果(次回のキャッシュになる)は、フォルダーごとのノードをつないだ木で持つ。ノードは配列で、
15
+ # [フォルダーの mtime(ナノ秒), 小さいファイルの合計, 大きいファイル名, 小さいハードリンク, 子フォルダー]
16
+ # - 大きいファイル名: 毎回 lstat し直すファイルの名前の配列(無ければ nil)
17
+ # - 小さいハードリンク: [名前, inode, 実占有, 名前, inode, 実占有, ...] と平らに並べた配列(無ければ nil)。
18
+ # ハードリンクは同じ inode を 1 回だけ数えるために inode が要るが、覚えておけば lstat し直さずに済む
19
+ # (pnpm の node_modules のように、小さいハードリンクが数十万あることがある)
20
+ # - 子フォルダー: { 名前 => 子のノード } の Hash(無ければ nil)。読めなかった・降りなかった子は値が nil
21
+ # パスをキーにした平らな Hash で持つのに比べて、フルパスの文字列がフォルダーの数だけ要らなくなり、
22
+ # キャッシュの読み書きとメモリーが 3 分の 1 ほどになる。子のノードを親から直接たどれるので、走査中の検索も要らない。
23
+ class Scanner
24
+ include Util
25
+ include I18n
26
+
27
+ BigFile = Data.define(:path, :bytes, :apparent, :mtime)
28
+ Artifact = Data.define(:path, :bytes, :mtime)
29
+
30
+ # 1 スレッドぶんの集計結果。スレッド間でロックを取り合わないよう別々に持ち、最後にまとめる
31
+ Collector = Struct.new(:dir_sizes, :watched_sizes, :artifacts, :vendor_ruby, :big_files, :denied,
32
+ :cloud_only, :dirs, :reused, :changed, :timings, :node) do
33
+ # changed: 木を書き換えた回数(ノードを作った・子のつなぎを変えた)。0 なら前回の木のまま
34
+ # node: 直前の walk がたどったフォルダーのノード(walk の呼び出し元が受け取る。まとめるときは使わない)
35
+ def self.empty = new({}, {}, [], {}, [], [], [], 0, 0, 0, [], nil)
36
+
37
+ def merge!(other)
38
+ dir_sizes.merge!(other.dir_sizes)
39
+ watched_sizes.merge!(other.watched_sizes)
40
+ artifacts.concat(other.artifacts)
41
+ vendor_ruby.merge!(other.vendor_ruby)
42
+ big_files.concat(other.big_files)
43
+ denied.concat(other.denied)
44
+ cloud_only.concat(other.cloud_only)
45
+ self.dirs += other.dirs
46
+ self.reused += other.reused
47
+ self.changed += other.changed
48
+ timings.concat(other.timings)
49
+ self
50
+ end
51
+ end
52
+
53
+ # 別のスレッドに任せたサブツリー(Task)と、配下に Task を含むため合計がまだ決まらないフォルダー(Node)。
54
+ # Task の result はワーカーが書き込む(合計のバイト数か、さらに Task を含む Node)。
55
+ # 全ワーカーの終了後に、親スレッドが resolve で Node の合計を組み立てる。
56
+ # Task の old は前回の走査結果のうちそのフォルダーのノード、node は今回のノード(ワーカーが書き込む)。
57
+ # kids と name は、今回のノードをつなぐ先(親のノードの子フォルダーの Hash と、その中の名前)
58
+ Node = Struct.new(:path, :st, :depth, :artifact, :own, :children)
59
+ Task = Struct.new(:path, :st, :depth, :in_artifact, :artifact, :result, :old, :node, :kids, :name)
60
+
61
+ # 走査結果の木のノード(配列)の添字。中身はクラスの説明を参照
62
+ STAMP = 0
63
+ SMALL = 1
64
+ BIG = 2
65
+ LINKS = 3
66
+ KIDS = 4
67
+
68
+ # 再ビルド・再インストールで戻せる、プロジェクト内のビルド成果物・依存パッケージのフォルダー名
69
+ ARTIFACT_NAMES = Set["node_modules", ".venv", "venv", ".build", ".dart_tool"]
70
+
71
+ # 集計結果は、全スレッドぶんをまとめた Collector から読む
72
+ %i[dir_sizes watched_sizes artifacts vendor_ruby big_files denied cloud_only dirs reused timings].each do |name|
73
+ define_method(name) { @result.public_send(name) }
74
+ end
75
+
76
+ # 今回の走査結果の木(起点のノード)。次回の old_tree になる。起点を読めなかったときは nil
77
+ attr_reader :tree
78
+
79
+ # 前回の木から何か変わったか。変わっていなければ、キャッシュを書き直さなくてよい
80
+ def changed? = @result.changed.positive?
81
+
82
+ # watched: 深さに関係なくサイズを知りたいパス(既知のキャッシュ置き場など)
83
+ # big_threshold: これ以上の見かけサイズのファイルを記録する
84
+ # large: これ以上のファイルはキャッシュがあっても毎回 lstat し直す(その場で大きくなりうるため)
85
+ # record_depth: この深さまでのフォルダーはすべてサイズを記録する(内訳表示用)
86
+ # no_artifacts_in: この配下ではビルド成果物を探さない(Library などは別の節で扱うため)
87
+ # old_tree: 前回の走査結果の木(起点のノード)。無ければ nil。走査しながらその場で書き換え、tree として返す
88
+ # jobs: 並列にたどるスレッド数
89
+ # skip: 降りないフォルダー
90
+ # frozen: { パス => バイト数 }。降りずに、このサイズを使うフォルダー(Config の固定したフォルダー)
91
+ def initialize(root, big_threshold:, large: big_threshold, watched: Set.new, record_depth: 0,
92
+ no_artifacts_in: [], old_tree: nil, jobs: 1, split_depth: 3, progress: false, skip: [], frozen: {})
93
+ @root = root
94
+ @skip = skip
95
+ @frozen = frozen
96
+ @watched = watched
97
+ @big_threshold = big_threshold
98
+ @large = [large, big_threshold].min # 巨大ファイルは必ず毎回 lstat される側に入るようにする
99
+ @record_depth = record_depth
100
+ @no_artifacts_in = no_artifacts_in
101
+ @old_tree = old_tree
102
+ @jobs = jobs
103
+ @split_depth = split_depth
104
+ @progress = progress
105
+ @seen_inodes = Set.new
106
+ @inode_lock = Mutex.new
107
+ @task_lock = Mutex.new
108
+ end
109
+
110
+ # 起点配下の実占有バイト数を返す
111
+ def scan
112
+ root_st = File.stat(@root) # 起点自体はシンボリックリンクでもたどる(-d で指定された場所を調べたいので)
113
+ @root_dev = root_st.dev
114
+ @queue = Thread::Queue.new
115
+ @outstanding = 0 # 積まれてから終わっていないタスクの数
116
+ @seeded = false # 親スレッドが浅い階層をたどり終えたか
117
+ @cols = Array.new(@jobs + 1) { Collector.empty } # ワーカーごとに 1 つ、最後の 1 つは親スレッド用
118
+ @current = Array.new(@jobs)
119
+ # ワーカーは先に起動しておき、親スレッドが浅い階層をたどりながら積むタスクを順に処理させる
120
+ workers = Array.new(@jobs) { |i| Thread.new { work(i) } }
121
+ progress = start_progress
122
+ pending = walk(@root, root_st, 0, false, false, @cols.last, @old_tree, parent: true)
123
+ @tree = @cols.last.node
124
+ @old_tree = nil
125
+ # 親スレッドはもうタスクを積まない。終わっていないタスクも無ければ、ここで締め切る
126
+ # (タスクが残っていれば、最後のタスクを終えたワーカーが締め切る。finish_task を参照)
127
+ @task_lock.synchronize do
128
+ @seeded = true
129
+ @queue.close if @outstanding.zero?
130
+ end
131
+ workers.each(&:join)
132
+ total = resolve(pending, @cols.last)
133
+ if progress
134
+ progress.kill
135
+ $stderr.print("\r\e[K") # 進捗表示の行を消す
136
+ end
137
+ @result = @cols.reduce { |acc, col| acc.merge!(col) }
138
+ total
139
+ end
140
+
141
+ private
142
+
143
+ # ワーカースレッドの本体。タスク(サブツリー)を 1 つずつたどり、
144
+ # 遅い場所を後で突き止められるよう、タスクごとの所要時間も記録する。
145
+ # 所要時間は、そのタスクから別のスレッドに渡した子フォルダーのぶんを含まない
146
+ def work(i)
147
+ col = @cols[i]
148
+ while (task = @queue.pop)
149
+ begin
150
+ @current[i] = task.path
151
+ started = clock
152
+ task.result = walk(task.path, task.st, task.depth, task.in_artifact, task.artifact, col, task.old,
153
+ parent: false)
154
+ task.node = col.node
155
+ col.timings << [clock - started, task.path]
156
+ ensure
157
+ # 例外で抜けても数え上げは戻す。戻さないと締め切られず、ほかのワーカーが pop で待ち続ける
158
+ finish_task
159
+ end
160
+ end
161
+ @current[i] = nil
162
+ end
163
+
164
+ # 子フォルダーをタスクとして積む。数え上げは積む前に行い、締め切りの判定が先走らないようにする
165
+ def enqueue(task)
166
+ @task_lock.synchronize { @outstanding += 1 }
167
+ @queue << task
168
+ task
169
+ end
170
+
171
+ # タスクを 1 つ終えた。親スレッドが積み終えていて、ほかに終わっていないタスクも無ければ締め切る
172
+ # (締め切ると、待っているワーカーの pop が nil を返して終わる)。
173
+ # 子フォルダーを積むのは実行中のタスクだけで、その数え上げは自分の終了より前に済んでいるので、
174
+ # ここで 0 になったら、もう積まれることはない
175
+ def finish_task
176
+ @task_lock.synchronize do
177
+ @outstanding -= 1
178
+ @queue.close if @outstanding.zero? && @seeded
179
+ end
180
+ end
181
+
182
+ # 子フォルダーを別のスレッドに渡すかどうか。
183
+ # 親スレッドは深さ split_depth の子フォルダーを必ず渡し、それより浅いところは自分でたどる。
184
+ # ワーカーは、手が空いて待っているワーカーがいるときだけ渡す
185
+ def hand_off?(depth, parent)
186
+ parent ? depth >= @split_depth : @queue.num_waiting.positive?
187
+ end
188
+
189
+ # サブツリーを再帰的にたどり、配下の実占有バイト数を返す。
190
+ # 子の合計を親で足し合わせていくことで、du と同じ「フォルダーごとの合計」を 1 回の走査で得る。
191
+ # 配下の一部を別のスレッドに渡した場合は合計がまだ決まらないので、代わりに Node を返す(resolve で決める)。
192
+ # old は前回の走査結果のうちこのフォルダーのノード(無ければ nil)。今回のノードは col.node に置く
193
+ def walk(dir, st, depth, in_artifact, artifact, col, old, parent:)
194
+ col.dirs += 1
195
+ own = st.blocks * 512
196
+ pending = nil
197
+ node, bytes = listing(dir, st, col, old)
198
+ if node # nil なら読めなかったフォルダー
199
+ own += bytes
200
+ kids = node[KIDS]
201
+ kids&.each do |name, old_child|
202
+ path = File.join(dir, name)
203
+ sub_st = subdir_stat(path)
204
+ # 固定したフォルダーは中へ降りず、測ってあったサイズを使う。サイズの記録(内訳の表示用)は普通のフォルダーと同じ
205
+ if sub_st && (frozen = @frozen[path])
206
+ record_dir(col, path, depth + 1, frozen, sub_st, false)
207
+ own += frozen
208
+ sub_st = nil
209
+ end
210
+ unless sub_st
211
+ attach(kids, name, nil, col) # 降りなかったフォルダーの、前回の記録は残さない
212
+ next
213
+ end
214
+
215
+ sub_artifact = !in_artifact && artifact_dir?(path, name)
216
+ sub_in = in_artifact || sub_artifact
217
+ if hand_off?(depth + 1, parent)
218
+ # 渡した先のノードは、全ワーカーが終わってから resolve でつなぐ
219
+ (pending ||= []) << enqueue(Task.new(path, sub_st, depth + 1, sub_in, sub_artifact, nil, old_child, nil, kids, name))
220
+ next
221
+ end
222
+
223
+ child = walk(path, sub_st, depth + 1, sub_in, sub_artifact, col, old_child, parent:)
224
+ attach(kids, name, col.node, col)
225
+ if child.is_a?(Integer)
226
+ own += child
227
+ else
228
+ (pending ||= []) << child
229
+ end
230
+ end
231
+ end
232
+ col.node = node
233
+ return Node.new(dir, st, depth, artifact, own, pending) if pending
234
+
235
+ record_dir(col, dir, depth, own, st, artifact) if depth.positive?
236
+ own
237
+ end
238
+
239
+ # 合計の決まっていないフォルダーの合計を、自分のぶんと子(Node・Task・バイト数)の合計から求める。
240
+ # 別のスレッドがたどったサブツリーのノードも、ここで親のノードにつなぐ
241
+ def resolve(x, col)
242
+ case x
243
+ when Integer then x
244
+ when Task
245
+ attach(x.kids, x.name, x.node, col)
246
+ resolve(x.result, col)
247
+ else
248
+ size = x.own + x.children.sum { resolve(it, col) }
249
+ record_dir(col, x.path, x.depth, size, x.st, x.artifact) if x.depth.positive?
250
+ size
251
+ end
252
+ end
253
+
254
+ # 親のノードの子フォルダーの Hash に、子のノードをつなぐ(前回と同じノードなら何もしない)。
255
+ # 1 つの Hash を書き換えるスレッドは 1 つだけにして、ロックなしで済ませている。
256
+ # - 自分でたどったフォルダーの Hash は、たどったスレッドが書く
257
+ # - 別のスレッドに渡した子のぶんは、全ワーカーの終了後に親スレッドが書く(resolve)
258
+ # たどっている途中(each の最中)の Hash にも書くが、すでにあるキーへの代入だけなので問題ない
259
+ def attach(kids, name, node, col)
260
+ return if node.equal?(kids[name])
261
+
262
+ kids[name] = node
263
+ col.changed += 1
264
+ end
265
+
266
+ # フォルダーの直下のノードと、直下のファイルの実占有バイト数(子フォルダーのぶんは含まない)を返す。
267
+ # フォルダーの mtime は直下でファイルの追加・削除・改名があったときに変わるので、前回と同じなら
268
+ # 顔ぶれは同じとみなし、一覧の読み直しと小さいファイルの lstat を省いて前回のノードを使い回す。
269
+ # 小さいファイル(小さいハードリンクを含む)がその場で書き換わって大きくなった分は見逃すが、
270
+ # 容量調べには影響が小さく、キャッシュの期限が来て全部走査し直すときに直る。
271
+ # 読めないフォルダーは nil を返す(ノードを作らないので、次回も読めるか試す)
272
+ def listing(dir, st, col, old)
273
+ mtime = st.mtime
274
+ stamp = mtime.to_i * 1_000_000_000 + mtime.nsec
275
+ if old && old[STAMP] == stamp
276
+ col.reused += 1
277
+ bytes = old[SMALL]
278
+ bytes += large_bytes(dir, old[BIG], col) if old[BIG]
279
+ bytes += linked_bytes(old[LINKS]) if old[LINKS]
280
+ return [old, bytes]
281
+ end
282
+
283
+ begin
284
+ small, subdirs, large = read_dir(dir)
285
+ rescue Errno::EACCES, Errno::EPERM
286
+ col.denied << dir # TCC やパーミッションで読めない。集計漏れとして最後に報告する
287
+ return nil
288
+ rescue Errno::EDEADLK
289
+ col.cloud_only << dir # クラウド上にしか無い(CloudFiles でダウンロードを止めている)。手元の容量はほぼ 0
290
+ return nil
291
+ rescue SystemCallError
292
+ return nil # 走査中に消えた・置き換わったものなどは無視する
293
+ end
294
+
295
+ # 大きいファイルとハードリンクを lstat して数え、小さいハードリンクは inode と実占有を覚えておく
296
+ bytes = small
297
+ big = links = nil
298
+ large.each do |name|
299
+ path = File.join(dir, name)
300
+ s = (File.lstat(path) rescue nil)
301
+ if s&.file? && s.nlink > 1 && s.size < @large
302
+ (links ||= []).push(name, s.ino, s.blocks * 512)
303
+ else
304
+ (big ||= []) << name
305
+ end
306
+ bytes += file_bytes(path, s, col) if s&.file?
307
+ end
308
+ # フォルダー自体は変わっていても、中の変わっていない子フォルダーの記録は使い回す
309
+ old_kids = old && old[KIDS]
310
+ kids = subdirs.empty? ? nil : subdirs.to_h { [it, old_kids && old_kids[it]] }
311
+ col.changed += 1
312
+ [[stamp, small, big, links, kids], bytes]
313
+ end
314
+
315
+ # フォルダーの直下を読んで「小さいファイルの合計・子フォルダー名・大きいファイル名」にまとめる。
316
+ # macOS では getattrlistbulk でまとめて読む(BulkList を参照)。使えない環境や、
317
+ # 対応していないファイルシステムでは、名前を読んで 1 つずつ lstat する
318
+ def read_dir(dir)
319
+ return read_dir_by_lstat(dir) unless BulkList.available?
320
+
321
+ BulkList.read(dir, @large) { classify(dir, it) }
322
+ rescue Errno::ENOTSUP, Errno::EINVAL
323
+ read_dir_by_lstat(dir)
324
+ end
325
+
326
+ def read_dir_by_lstat(dir)
327
+ small = 0
328
+ subdirs = []
329
+ large = []
330
+ Dir.children(dir).each do |name|
331
+ case (found = classify(dir, name))
332
+ when :dir then subdirs << name
333
+ when :large then large << name
334
+ when Integer then small += found
335
+ end
336
+ end
337
+ [small, subdirs, large]
338
+ end
339
+
340
+ # 直下の 1 つを lstat で調べる。子フォルダーなら :dir、毎回 lstat し直す側に回すもの(大きいファイルと
341
+ # ハードリンク)なら :large、それ以外(小さいファイルやシンボリックリンク自体)なら実占有バイト数、
342
+ # 調べられなければ nil を返す
343
+ def classify(dir, name)
344
+ s = (File.lstat(File.join(dir, name)) rescue nil) # シンボリックリンクはたどらない
345
+ return nil unless s
346
+
347
+ if s.directory?
348
+ :dir
349
+ elsif s.file? && (s.size >= @large || s.nlink > 1)
350
+ :large
351
+ else
352
+ s.blocks * 512
353
+ end
354
+ end
355
+
356
+ # 大きいファイル(と、大きいハードリンク)は、その場での書き換えで大きさが変わりうるので毎回 lstat し直す
357
+ def large_bytes(dir, names, col)
358
+ names.sum do |name|
359
+ path = File.join(dir, name)
360
+ s = (File.lstat(path) rescue nil)
361
+ s&.file? ? file_bytes(path, s, col) : 0
362
+ end
363
+ end
364
+
365
+ # 覚えてある小さいハードリンクの実占有バイト数。file_bytes と同じく、同じ inode は最初の 1 回だけ数える。
366
+ # 別ボリュームには降りないので、デバイスは起点と同じ
367
+ def linked_bytes(links)
368
+ sum = 0
369
+ @inode_lock.synchronize do
370
+ i = 0
371
+ while i < links.size
372
+ sum += links[i + 2] if @seen_inodes.add?([@root_dev, links[i + 1]])
373
+ i += 3
374
+ end
375
+ end
376
+ sum
377
+ end
378
+
379
+ # 子フォルダーを lstat し、降りてよければその結果を返す(降りないなら nil)。
380
+ # 子の mtime を確かめる必要があるので、キャッシュを使う場合でも子フォルダーの lstat は毎回行う
381
+ def subdir_stat(path)
382
+ s = (File.lstat(path) rescue nil)
383
+ return nil unless s&.directory?
384
+ return nil if s.dev != @root_dev # 別ボリューム(外部ディスクなど)には降りない。du -x 相当
385
+ return nil if @skip.include?(path)
386
+
387
+ s
388
+ end
389
+
390
+ # ファイルの実占有バイト数。ハードリンクは du と同じく最初の 1 回だけ数える
391
+ # (複数のスレッドから同じ inode に出会いうるので、記録はロックを取って行う)。
392
+ # 巨大ファイルはここで記録しておき、後の節で使う
393
+ def file_bytes(path, st, col)
394
+ if st.nlink > 1
395
+ first = @inode_lock.synchronize { @seen_inodes.add?([st.dev, st.ino]) }
396
+ return 0 unless first
397
+ end
398
+
399
+ bytes = st.blocks * 512
400
+ if st.size >= @big_threshold
401
+ col.big_files << BigFile.new(path:, bytes:, apparent: st.size, mtime: st.mtime)
402
+ end
403
+ bytes
404
+ end
405
+
406
+ # ビルド成果物・依存パッケージのフォルダーかどうか。
407
+ # target は名前が一般的すぎるので、Cargo が置く CACHEDIR.TAG があるものだけに限る
408
+ def artifact_dir?(path, name)
409
+ return false if @no_artifacts_in.any? { under?(path, it) }
410
+
411
+ ARTIFACT_NAMES.include?(name) || (name == "target" && File.file?(File.join(path, "CACHEDIR.TAG")))
412
+ end
413
+
414
+ # 走査し終えたフォルダーのサイズを、用途ごとの入れ物に振り分けて覚えておく
415
+ def record_dir(col, path, depth, size, st, artifact)
416
+ col.dir_sizes[path] = size if depth <= @record_depth
417
+ col.watched_sizes[path] = size if @watched.include?(path)
418
+ col.artifacts << Artifact.new(path:, bytes: size, mtime: st.mtime) if artifact
419
+ # vendor/bundle/ruby/<ABI 版> は Ruby の版ごとに見たいので、版のフォルダー単位で覚える
420
+ col.vendor_ruby[path] = size if File.dirname(path).end_with?("/vendor/bundle/ruby")
421
+ end
422
+
423
+ # 端末で実行しているときだけ、走査済みのフォルダー数と、各スレッドが今たどっているサブツリーを
424
+ # 0.5 秒ごとに同じ行へ上書き表示する。どこで時間がかかっているかをその場で見られるようにするため
425
+ def start_progress
426
+ return nil unless @progress && $stderr.tty?
427
+
428
+ width = ($stderr.winsize[1] rescue 100) - 1
429
+ Thread.new do
430
+ loop do
431
+ sleep 0.5
432
+ current = @current.compact.map { tilde(it) }.join(" , ")
433
+ line = format(_("Scanning: %{dirs} folders (%{reused} reused) | %{current}"),
434
+ dirs: @cols.sum(&:dirs), reused: @cols.sum(&:reused), current:)
435
+ $stderr.print("\r\e[K#{fit(line, width)}")
436
+ end
437
+ end
438
+ end
439
+ end
440
+ end
@@ -0,0 +1,34 @@
1
+ module Reclaimable
2
+ # 表示とパスの小道具。どのクラスからも使うので、include して使えるモジュール関数にしておく
3
+ module Util
4
+ module_function
5
+
6
+ # 表示を短くするため、ホームのパスを ~ に縮める
7
+ HOME_PREFIX = %r{\A#{Regexp.escape(HOME)}(?=/|\z)}
8
+
9
+ # バイト数を K/M/G/T 表記に直す
10
+ def human(bytes)
11
+ units = %w[B K M G T]
12
+ v = bytes.to_f
13
+ i = 0
14
+ while v >= 1024 && i < units.size - 1
15
+ v /= 1024
16
+ i += 1
17
+ end
18
+ format("%.1f%s", v, units[i])
19
+ end
20
+
21
+ def tilde(path) = path.sub(HOME_PREFIX, "~")
22
+
23
+ # 端末の幅に収まるよう文字列を切り詰める。日本語は 2 桁ぶんとして数える(はみ出すと進捗表示の上書きが崩れるため)
24
+ def fit(str, width)
25
+ used = 0
26
+ str.each_char.take_while { used += it.bytesize > 1 ? 2 : 1; used <= width }.join
27
+ end
28
+
29
+ # path が dir 自身かその配下か。文字列の前方一致だけだと /a/bc を /a/b の配下と誤判定するので / を付けて比べる
30
+ def under?(path, dir) = path == dir || path.start_with?("#{dir}/")
31
+
32
+ def clock = Process.clock_gettime(Process::CLOCK_MONOTONIC)
33
+ end
34
+ end
@@ -0,0 +1,42 @@
1
+ # reclaimable — macOS のストレージ削除候補を洗い出して一覧表示する(Ruby 4.0 向け)
2
+ #
3
+ # 方針
4
+ # - 何も削除しない。調べて表示するだけで、消すかどうかは人が判断する。
5
+ # - sudo を使わない。ログインユーザーの権限で読める範囲だけを調べる。
6
+ # - ファイルシステムの走査は 1 回だけにして、その結果から全部の節を組み立てる
7
+ # (du や find を節ごとに呼ぶと、同じ場所を何度も走査することになるため)。
8
+ # - 実行時に依存する gem は gettext(文言の翻訳)だけにし、ほかは標準添付ライブラリーで済ませる。
9
+ # - 文言の原文は英語。訳は po/ にあり、言語は LC_ALL・LC_MESSAGES・LANG で決まる(i18n.rb を参照)。
10
+ #
11
+ # 使い方
12
+ # reclaimable [-n 件数] [-s 最小MB] [-d 起点ディレクトリ] [-j スレッド数] [-o 保存先] [--no-save] [--fresh]
13
+ # 既定で、レポートとログを <ログの置き場所>/<日時>.report.txt と .log にも保存する。
14
+ # 走査結果は <キャッシュの置き場所> にキャッシュし、次回は変わっていないフォルダーの読み直しを省く。
15
+ # 置き場所は paths.rb を参照(macOS では ~/Library/Logs/reclaimable と ~/Library/Caches/reclaimable)。
16
+ #
17
+ # 注意
18
+ # - Desktop・Documents・Downloads・Mail などは macOS のプライバシー保護(TCC)の対象で、
19
+ # ターミナルに「フルディスクアクセス」が無いと読めない。読めなかった場所は最後に列挙する。
20
+ # - サイズは原則「実際にディスクを占有している量」(ブロック数 × 512)。クラウド上にしか無い
21
+ # ファイル(Dropbox・iCloud のオンラインのみ)やスパースファイルは、見かけより小さく数えられる。
22
+ module Reclaimable
23
+ HOME = Dir.home
24
+ TRASH = File.join(HOME, ".Trash")
25
+ MB = 1024 * 1024
26
+ end
27
+
28
+ require_relative "reclaimable/i18n"
29
+ require_relative "reclaimable/util"
30
+ require_relative "reclaimable/output"
31
+ require_relative "reclaimable/paths"
32
+ require_relative "reclaimable/config"
33
+ require_relative "reclaimable/cloud_files"
34
+ require_relative "reclaimable/bulk_list"
35
+ require_relative "reclaimable/scanner"
36
+ require_relative "reclaimable/scan_cache"
37
+ require_relative "reclaimable/cache_dump"
38
+ require_relative "reclaimable/locations"
39
+ require_relative "reclaimable/ruby_abi"
40
+ require_relative "reclaimable/report"
41
+ require_relative "reclaimable/ai_skill"
42
+ require_relative "reclaimable/cli"