reclaimable 0.1.0
This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
- checksums.yaml +7 -0
- data/.claude/launch.json +11 -0
- data/.gitignore +11 -0
- data/.gitlab-ci.yml +16 -0
- data/AGENTS.md +88 -0
- data/CLAUDE.md +1 -0
- data/Gemfile +3 -0
- data/LICENSE +674 -0
- data/README.md +160 -0
- data/Rakefile +28 -0
- data/ai-skill/reclaimable/SKILL.md +94 -0
- data/benchmark/README.md +59 -0
- data/benchmark/experiments/lstat_scanner.rb +11 -0
- data/benchmark/experiments/ractor_scanner.rb +92 -0
- data/benchmark/experiments/verify_bulk_list.rb +34 -0
- data/benchmark/lib/fixture.rb +104 -0
- data/benchmark/lib/results.rb +62 -0
- data/benchmark/reports/00-baseline.md +75 -0
- data/benchmark/reports/01-jit.md +70 -0
- data/benchmark/reports/02-ractor.md +58 -0
- data/benchmark/reports/03-getattrlistbulk.md +84 -0
- data/benchmark/reports/04-others.md +52 -0
- data/benchmark/reports/05-outside-root.md +56 -0
- data/benchmark/reports/06-round2-discussion.md +374 -0
- data/benchmark/reports/06-round2.md +194 -0
- data/benchmark/reports/README.md +46 -0
- data/benchmark/results/baseline.yml +126 -0
- data/benchmark/results/bulk-list.yml +126 -0
- data/benchmark/results/final-yjit.yml +126 -0
- data/benchmark/results/final.yml +126 -0
- data/benchmark/results/ractor-exp.yml +38 -0
- data/benchmark/results/round2-after.yml +126 -0
- data/benchmark/results/round2-before.yml +126 -0
- data/benchmark/results/src-baseline.yml +32 -0
- data/benchmark/results/src-bulk-list.yml +32 -0
- data/benchmark/results/src-pair-none1.yml +38 -0
- data/benchmark/results/src-pair-none2.yml +38 -0
- data/benchmark/results/src-pair-yjit1.yml +38 -0
- data/benchmark/results/src-pair-yjit2.yml +38 -0
- data/benchmark/results/src-ractor-exp.yml +32 -0
- data/benchmark/results/src-round2-after1.yml +52 -0
- data/benchmark/results/src-round2-after2.yml +52 -0
- data/benchmark/results/src-round2-before1.yml +52 -0
- data/benchmark/results/src-round2-before2.yml +52 -0
- data/benchmark/results/yjit.yml +126 -0
- data/benchmark/results/zjit.yml +126 -0
- data/benchmark/run.rb +149 -0
- data/bin/reclaimable +10 -0
- data/doc/performance.md +179 -0
- data/lib/reclaimable/ai_skill.rb +138 -0
- data/lib/reclaimable/bulk_list.rb +91 -0
- data/lib/reclaimable/cache_dump.rb +125 -0
- data/lib/reclaimable/cli.rb +168 -0
- data/lib/reclaimable/cloud_files.rb +33 -0
- data/lib/reclaimable/config.rb +100 -0
- data/lib/reclaimable/i18n.rb +24 -0
- data/lib/reclaimable/locations.rb +89 -0
- data/lib/reclaimable/output.rb +154 -0
- data/lib/reclaimable/paths.rb +36 -0
- data/lib/reclaimable/report.rb +504 -0
- data/lib/reclaimable/ruby_abi.rb +69 -0
- data/lib/reclaimable/scan_cache.rb +97 -0
- data/lib/reclaimable/scanner.rb +440 -0
- data/lib/reclaimable/util.rb +34 -0
- data/lib/reclaimable.rb +42 -0
- data/locale/ja/LC_MESSAGES/reclaimable.mo +0 -0
- data/man/reclaimable.1.ronn +302 -0
- data/man/reclaimable.en.1 +234 -0
- data/man/reclaimable.ja.1 +452 -0
- data/po/ja/reclaimable-docs.po +668 -0
- data/po/ja/reclaimable.po +510 -0
- data/rakelib/benchmark.rake +22 -0
- data/rakelib/docs/japanese.rb +132 -0
- data/rakelib/docs/man_page.rb +73 -0
- data/rakelib/docs/site.rb +187 -0
- data/rakelib/docs/sources.rb +94 -0
- data/rakelib/docs/translation.rb +157 -0
- data/rakelib/docs.rake +62 -0
- data/rakelib/gettext.rake +30 -0
- data/rakelib/i18n.rake +199 -0
- data/reclaimable.gemspec +56 -0
- data/site/index.md +142 -0
- data/site/layout.html.erb +60 -0
- data/site/style.css +82 -0
- metadata +231 -0
|
@@ -0,0 +1,440 @@
|
|
|
1
|
+
require "io/console"
|
|
2
|
+
|
|
3
|
+
module Reclaimable
|
|
4
|
+
# ディレクトリツリーを 1 回たどって、各節に必要な情報をまとめて集める。
|
|
5
|
+
# 速くするための工夫は 3 つ。
|
|
6
|
+
# - まとめ読み: フォルダーの直下は、名前ごとに lstat せず getattrlistbulk で 1 度に読む(BulkList を参照)。
|
|
7
|
+
# - 並列化: 深さ split_depth のフォルダーから下を 1 つのタスクにして、複数のスレッドで同時にたどる。
|
|
8
|
+
# さらに、たどっている途中で手の空いたスレッドがあれば、子フォルダーを新しいタスクとして渡す
|
|
9
|
+
# (ファイル数の多いサブツリーが 1 つあると、それを 1 スレッドで読み終えるまで全体が終わらないため)。
|
|
10
|
+
# lstat は GVL を手放して実行されるので、ファイル数が多い場所ではスレッドを増やすほど速くなる。
|
|
11
|
+
# - キャッシュ: フォルダーの mtime が前回と同じなら直下の顔ぶれは変わっていないので、
|
|
12
|
+
# 一覧の読み直しと小さいファイルの lstat を省き、前回の合計を使い回す(listing を参照)。
|
|
13
|
+
#
|
|
14
|
+
# 走査結果(次回のキャッシュになる)は、フォルダーごとのノードをつないだ木で持つ。ノードは配列で、
|
|
15
|
+
# [フォルダーの mtime(ナノ秒), 小さいファイルの合計, 大きいファイル名, 小さいハードリンク, 子フォルダー]
|
|
16
|
+
# - 大きいファイル名: 毎回 lstat し直すファイルの名前の配列(無ければ nil)
|
|
17
|
+
# - 小さいハードリンク: [名前, inode, 実占有, 名前, inode, 実占有, ...] と平らに並べた配列(無ければ nil)。
|
|
18
|
+
# ハードリンクは同じ inode を 1 回だけ数えるために inode が要るが、覚えておけば lstat し直さずに済む
|
|
19
|
+
# (pnpm の node_modules のように、小さいハードリンクが数十万あることがある)
|
|
20
|
+
# - 子フォルダー: { 名前 => 子のノード } の Hash(無ければ nil)。読めなかった・降りなかった子は値が nil
|
|
21
|
+
# パスをキーにした平らな Hash で持つのに比べて、フルパスの文字列がフォルダーの数だけ要らなくなり、
|
|
22
|
+
# キャッシュの読み書きとメモリーが 3 分の 1 ほどになる。子のノードを親から直接たどれるので、走査中の検索も要らない。
|
|
23
|
+
class Scanner
|
|
24
|
+
include Util
|
|
25
|
+
include I18n
|
|
26
|
+
|
|
27
|
+
BigFile = Data.define(:path, :bytes, :apparent, :mtime)
|
|
28
|
+
Artifact = Data.define(:path, :bytes, :mtime)
|
|
29
|
+
|
|
30
|
+
# 1 スレッドぶんの集計結果。スレッド間でロックを取り合わないよう別々に持ち、最後にまとめる
|
|
31
|
+
Collector = Struct.new(:dir_sizes, :watched_sizes, :artifacts, :vendor_ruby, :big_files, :denied,
|
|
32
|
+
:cloud_only, :dirs, :reused, :changed, :timings, :node) do
|
|
33
|
+
# changed: 木を書き換えた回数(ノードを作った・子のつなぎを変えた)。0 なら前回の木のまま
|
|
34
|
+
# node: 直前の walk がたどったフォルダーのノード(walk の呼び出し元が受け取る。まとめるときは使わない)
|
|
35
|
+
def self.empty = new({}, {}, [], {}, [], [], [], 0, 0, 0, [], nil)
|
|
36
|
+
|
|
37
|
+
def merge!(other)
|
|
38
|
+
dir_sizes.merge!(other.dir_sizes)
|
|
39
|
+
watched_sizes.merge!(other.watched_sizes)
|
|
40
|
+
artifacts.concat(other.artifacts)
|
|
41
|
+
vendor_ruby.merge!(other.vendor_ruby)
|
|
42
|
+
big_files.concat(other.big_files)
|
|
43
|
+
denied.concat(other.denied)
|
|
44
|
+
cloud_only.concat(other.cloud_only)
|
|
45
|
+
self.dirs += other.dirs
|
|
46
|
+
self.reused += other.reused
|
|
47
|
+
self.changed += other.changed
|
|
48
|
+
timings.concat(other.timings)
|
|
49
|
+
self
|
|
50
|
+
end
|
|
51
|
+
end
|
|
52
|
+
|
|
53
|
+
# 別のスレッドに任せたサブツリー(Task)と、配下に Task を含むため合計がまだ決まらないフォルダー(Node)。
|
|
54
|
+
# Task の result はワーカーが書き込む(合計のバイト数か、さらに Task を含む Node)。
|
|
55
|
+
# 全ワーカーの終了後に、親スレッドが resolve で Node の合計を組み立てる。
|
|
56
|
+
# Task の old は前回の走査結果のうちそのフォルダーのノード、node は今回のノード(ワーカーが書き込む)。
|
|
57
|
+
# kids と name は、今回のノードをつなぐ先(親のノードの子フォルダーの Hash と、その中の名前)
|
|
58
|
+
Node = Struct.new(:path, :st, :depth, :artifact, :own, :children)
|
|
59
|
+
Task = Struct.new(:path, :st, :depth, :in_artifact, :artifact, :result, :old, :node, :kids, :name)
|
|
60
|
+
|
|
61
|
+
# 走査結果の木のノード(配列)の添字。中身はクラスの説明を参照
|
|
62
|
+
STAMP = 0
|
|
63
|
+
SMALL = 1
|
|
64
|
+
BIG = 2
|
|
65
|
+
LINKS = 3
|
|
66
|
+
KIDS = 4
|
|
67
|
+
|
|
68
|
+
# 再ビルド・再インストールで戻せる、プロジェクト内のビルド成果物・依存パッケージのフォルダー名
|
|
69
|
+
ARTIFACT_NAMES = Set["node_modules", ".venv", "venv", ".build", ".dart_tool"]
|
|
70
|
+
|
|
71
|
+
# 集計結果は、全スレッドぶんをまとめた Collector から読む
|
|
72
|
+
%i[dir_sizes watched_sizes artifacts vendor_ruby big_files denied cloud_only dirs reused timings].each do |name|
|
|
73
|
+
define_method(name) { @result.public_send(name) }
|
|
74
|
+
end
|
|
75
|
+
|
|
76
|
+
# 今回の走査結果の木(起点のノード)。次回の old_tree になる。起点を読めなかったときは nil
|
|
77
|
+
attr_reader :tree
|
|
78
|
+
|
|
79
|
+
# 前回の木から何か変わったか。変わっていなければ、キャッシュを書き直さなくてよい
|
|
80
|
+
def changed? = @result.changed.positive?
|
|
81
|
+
|
|
82
|
+
# watched: 深さに関係なくサイズを知りたいパス(既知のキャッシュ置き場など)
|
|
83
|
+
# big_threshold: これ以上の見かけサイズのファイルを記録する
|
|
84
|
+
# large: これ以上のファイルはキャッシュがあっても毎回 lstat し直す(その場で大きくなりうるため)
|
|
85
|
+
# record_depth: この深さまでのフォルダーはすべてサイズを記録する(内訳表示用)
|
|
86
|
+
# no_artifacts_in: この配下ではビルド成果物を探さない(Library などは別の節で扱うため)
|
|
87
|
+
# old_tree: 前回の走査結果の木(起点のノード)。無ければ nil。走査しながらその場で書き換え、tree として返す
|
|
88
|
+
# jobs: 並列にたどるスレッド数
|
|
89
|
+
# skip: 降りないフォルダー
|
|
90
|
+
# frozen: { パス => バイト数 }。降りずに、このサイズを使うフォルダー(Config の固定したフォルダー)
|
|
91
|
+
def initialize(root, big_threshold:, large: big_threshold, watched: Set.new, record_depth: 0,
|
|
92
|
+
no_artifacts_in: [], old_tree: nil, jobs: 1, split_depth: 3, progress: false, skip: [], frozen: {})
|
|
93
|
+
@root = root
|
|
94
|
+
@skip = skip
|
|
95
|
+
@frozen = frozen
|
|
96
|
+
@watched = watched
|
|
97
|
+
@big_threshold = big_threshold
|
|
98
|
+
@large = [large, big_threshold].min # 巨大ファイルは必ず毎回 lstat される側に入るようにする
|
|
99
|
+
@record_depth = record_depth
|
|
100
|
+
@no_artifacts_in = no_artifacts_in
|
|
101
|
+
@old_tree = old_tree
|
|
102
|
+
@jobs = jobs
|
|
103
|
+
@split_depth = split_depth
|
|
104
|
+
@progress = progress
|
|
105
|
+
@seen_inodes = Set.new
|
|
106
|
+
@inode_lock = Mutex.new
|
|
107
|
+
@task_lock = Mutex.new
|
|
108
|
+
end
|
|
109
|
+
|
|
110
|
+
# 起点配下の実占有バイト数を返す
|
|
111
|
+
def scan
|
|
112
|
+
root_st = File.stat(@root) # 起点自体はシンボリックリンクでもたどる(-d で指定された場所を調べたいので)
|
|
113
|
+
@root_dev = root_st.dev
|
|
114
|
+
@queue = Thread::Queue.new
|
|
115
|
+
@outstanding = 0 # 積まれてから終わっていないタスクの数
|
|
116
|
+
@seeded = false # 親スレッドが浅い階層をたどり終えたか
|
|
117
|
+
@cols = Array.new(@jobs + 1) { Collector.empty } # ワーカーごとに 1 つ、最後の 1 つは親スレッド用
|
|
118
|
+
@current = Array.new(@jobs)
|
|
119
|
+
# ワーカーは先に起動しておき、親スレッドが浅い階層をたどりながら積むタスクを順に処理させる
|
|
120
|
+
workers = Array.new(@jobs) { |i| Thread.new { work(i) } }
|
|
121
|
+
progress = start_progress
|
|
122
|
+
pending = walk(@root, root_st, 0, false, false, @cols.last, @old_tree, parent: true)
|
|
123
|
+
@tree = @cols.last.node
|
|
124
|
+
@old_tree = nil
|
|
125
|
+
# 親スレッドはもうタスクを積まない。終わっていないタスクも無ければ、ここで締め切る
|
|
126
|
+
# (タスクが残っていれば、最後のタスクを終えたワーカーが締め切る。finish_task を参照)
|
|
127
|
+
@task_lock.synchronize do
|
|
128
|
+
@seeded = true
|
|
129
|
+
@queue.close if @outstanding.zero?
|
|
130
|
+
end
|
|
131
|
+
workers.each(&:join)
|
|
132
|
+
total = resolve(pending, @cols.last)
|
|
133
|
+
if progress
|
|
134
|
+
progress.kill
|
|
135
|
+
$stderr.print("\r\e[K") # 進捗表示の行を消す
|
|
136
|
+
end
|
|
137
|
+
@result = @cols.reduce { |acc, col| acc.merge!(col) }
|
|
138
|
+
total
|
|
139
|
+
end
|
|
140
|
+
|
|
141
|
+
private
|
|
142
|
+
|
|
143
|
+
# ワーカースレッドの本体。タスク(サブツリー)を 1 つずつたどり、
|
|
144
|
+
# 遅い場所を後で突き止められるよう、タスクごとの所要時間も記録する。
|
|
145
|
+
# 所要時間は、そのタスクから別のスレッドに渡した子フォルダーのぶんを含まない
|
|
146
|
+
def work(i)
|
|
147
|
+
col = @cols[i]
|
|
148
|
+
while (task = @queue.pop)
|
|
149
|
+
begin
|
|
150
|
+
@current[i] = task.path
|
|
151
|
+
started = clock
|
|
152
|
+
task.result = walk(task.path, task.st, task.depth, task.in_artifact, task.artifact, col, task.old,
|
|
153
|
+
parent: false)
|
|
154
|
+
task.node = col.node
|
|
155
|
+
col.timings << [clock - started, task.path]
|
|
156
|
+
ensure
|
|
157
|
+
# 例外で抜けても数え上げは戻す。戻さないと締め切られず、ほかのワーカーが pop で待ち続ける
|
|
158
|
+
finish_task
|
|
159
|
+
end
|
|
160
|
+
end
|
|
161
|
+
@current[i] = nil
|
|
162
|
+
end
|
|
163
|
+
|
|
164
|
+
# 子フォルダーをタスクとして積む。数え上げは積む前に行い、締め切りの判定が先走らないようにする
|
|
165
|
+
def enqueue(task)
|
|
166
|
+
@task_lock.synchronize { @outstanding += 1 }
|
|
167
|
+
@queue << task
|
|
168
|
+
task
|
|
169
|
+
end
|
|
170
|
+
|
|
171
|
+
# タスクを 1 つ終えた。親スレッドが積み終えていて、ほかに終わっていないタスクも無ければ締め切る
|
|
172
|
+
# (締め切ると、待っているワーカーの pop が nil を返して終わる)。
|
|
173
|
+
# 子フォルダーを積むのは実行中のタスクだけで、その数え上げは自分の終了より前に済んでいるので、
|
|
174
|
+
# ここで 0 になったら、もう積まれることはない
|
|
175
|
+
def finish_task
|
|
176
|
+
@task_lock.synchronize do
|
|
177
|
+
@outstanding -= 1
|
|
178
|
+
@queue.close if @outstanding.zero? && @seeded
|
|
179
|
+
end
|
|
180
|
+
end
|
|
181
|
+
|
|
182
|
+
# 子フォルダーを別のスレッドに渡すかどうか。
|
|
183
|
+
# 親スレッドは深さ split_depth の子フォルダーを必ず渡し、それより浅いところは自分でたどる。
|
|
184
|
+
# ワーカーは、手が空いて待っているワーカーがいるときだけ渡す
|
|
185
|
+
def hand_off?(depth, parent)
|
|
186
|
+
parent ? depth >= @split_depth : @queue.num_waiting.positive?
|
|
187
|
+
end
|
|
188
|
+
|
|
189
|
+
# サブツリーを再帰的にたどり、配下の実占有バイト数を返す。
|
|
190
|
+
# 子の合計を親で足し合わせていくことで、du と同じ「フォルダーごとの合計」を 1 回の走査で得る。
|
|
191
|
+
# 配下の一部を別のスレッドに渡した場合は合計がまだ決まらないので、代わりに Node を返す(resolve で決める)。
|
|
192
|
+
# old は前回の走査結果のうちこのフォルダーのノード(無ければ nil)。今回のノードは col.node に置く
|
|
193
|
+
def walk(dir, st, depth, in_artifact, artifact, col, old, parent:)
|
|
194
|
+
col.dirs += 1
|
|
195
|
+
own = st.blocks * 512
|
|
196
|
+
pending = nil
|
|
197
|
+
node, bytes = listing(dir, st, col, old)
|
|
198
|
+
if node # nil なら読めなかったフォルダー
|
|
199
|
+
own += bytes
|
|
200
|
+
kids = node[KIDS]
|
|
201
|
+
kids&.each do |name, old_child|
|
|
202
|
+
path = File.join(dir, name)
|
|
203
|
+
sub_st = subdir_stat(path)
|
|
204
|
+
# 固定したフォルダーは中へ降りず、測ってあったサイズを使う。サイズの記録(内訳の表示用)は普通のフォルダーと同じ
|
|
205
|
+
if sub_st && (frozen = @frozen[path])
|
|
206
|
+
record_dir(col, path, depth + 1, frozen, sub_st, false)
|
|
207
|
+
own += frozen
|
|
208
|
+
sub_st = nil
|
|
209
|
+
end
|
|
210
|
+
unless sub_st
|
|
211
|
+
attach(kids, name, nil, col) # 降りなかったフォルダーの、前回の記録は残さない
|
|
212
|
+
next
|
|
213
|
+
end
|
|
214
|
+
|
|
215
|
+
sub_artifact = !in_artifact && artifact_dir?(path, name)
|
|
216
|
+
sub_in = in_artifact || sub_artifact
|
|
217
|
+
if hand_off?(depth + 1, parent)
|
|
218
|
+
# 渡した先のノードは、全ワーカーが終わってから resolve でつなぐ
|
|
219
|
+
(pending ||= []) << enqueue(Task.new(path, sub_st, depth + 1, sub_in, sub_artifact, nil, old_child, nil, kids, name))
|
|
220
|
+
next
|
|
221
|
+
end
|
|
222
|
+
|
|
223
|
+
child = walk(path, sub_st, depth + 1, sub_in, sub_artifact, col, old_child, parent:)
|
|
224
|
+
attach(kids, name, col.node, col)
|
|
225
|
+
if child.is_a?(Integer)
|
|
226
|
+
own += child
|
|
227
|
+
else
|
|
228
|
+
(pending ||= []) << child
|
|
229
|
+
end
|
|
230
|
+
end
|
|
231
|
+
end
|
|
232
|
+
col.node = node
|
|
233
|
+
return Node.new(dir, st, depth, artifact, own, pending) if pending
|
|
234
|
+
|
|
235
|
+
record_dir(col, dir, depth, own, st, artifact) if depth.positive?
|
|
236
|
+
own
|
|
237
|
+
end
|
|
238
|
+
|
|
239
|
+
# 合計の決まっていないフォルダーの合計を、自分のぶんと子(Node・Task・バイト数)の合計から求める。
|
|
240
|
+
# 別のスレッドがたどったサブツリーのノードも、ここで親のノードにつなぐ
|
|
241
|
+
def resolve(x, col)
|
|
242
|
+
case x
|
|
243
|
+
when Integer then x
|
|
244
|
+
when Task
|
|
245
|
+
attach(x.kids, x.name, x.node, col)
|
|
246
|
+
resolve(x.result, col)
|
|
247
|
+
else
|
|
248
|
+
size = x.own + x.children.sum { resolve(it, col) }
|
|
249
|
+
record_dir(col, x.path, x.depth, size, x.st, x.artifact) if x.depth.positive?
|
|
250
|
+
size
|
|
251
|
+
end
|
|
252
|
+
end
|
|
253
|
+
|
|
254
|
+
# 親のノードの子フォルダーの Hash に、子のノードをつなぐ(前回と同じノードなら何もしない)。
|
|
255
|
+
# 1 つの Hash を書き換えるスレッドは 1 つだけにして、ロックなしで済ませている。
|
|
256
|
+
# - 自分でたどったフォルダーの Hash は、たどったスレッドが書く
|
|
257
|
+
# - 別のスレッドに渡した子のぶんは、全ワーカーの終了後に親スレッドが書く(resolve)
|
|
258
|
+
# たどっている途中(each の最中)の Hash にも書くが、すでにあるキーへの代入だけなので問題ない
|
|
259
|
+
def attach(kids, name, node, col)
|
|
260
|
+
return if node.equal?(kids[name])
|
|
261
|
+
|
|
262
|
+
kids[name] = node
|
|
263
|
+
col.changed += 1
|
|
264
|
+
end
|
|
265
|
+
|
|
266
|
+
# フォルダーの直下のノードと、直下のファイルの実占有バイト数(子フォルダーのぶんは含まない)を返す。
|
|
267
|
+
# フォルダーの mtime は直下でファイルの追加・削除・改名があったときに変わるので、前回と同じなら
|
|
268
|
+
# 顔ぶれは同じとみなし、一覧の読み直しと小さいファイルの lstat を省いて前回のノードを使い回す。
|
|
269
|
+
# 小さいファイル(小さいハードリンクを含む)がその場で書き換わって大きくなった分は見逃すが、
|
|
270
|
+
# 容量調べには影響が小さく、キャッシュの期限が来て全部走査し直すときに直る。
|
|
271
|
+
# 読めないフォルダーは nil を返す(ノードを作らないので、次回も読めるか試す)
|
|
272
|
+
def listing(dir, st, col, old)
|
|
273
|
+
mtime = st.mtime
|
|
274
|
+
stamp = mtime.to_i * 1_000_000_000 + mtime.nsec
|
|
275
|
+
if old && old[STAMP] == stamp
|
|
276
|
+
col.reused += 1
|
|
277
|
+
bytes = old[SMALL]
|
|
278
|
+
bytes += large_bytes(dir, old[BIG], col) if old[BIG]
|
|
279
|
+
bytes += linked_bytes(old[LINKS]) if old[LINKS]
|
|
280
|
+
return [old, bytes]
|
|
281
|
+
end
|
|
282
|
+
|
|
283
|
+
begin
|
|
284
|
+
small, subdirs, large = read_dir(dir)
|
|
285
|
+
rescue Errno::EACCES, Errno::EPERM
|
|
286
|
+
col.denied << dir # TCC やパーミッションで読めない。集計漏れとして最後に報告する
|
|
287
|
+
return nil
|
|
288
|
+
rescue Errno::EDEADLK
|
|
289
|
+
col.cloud_only << dir # クラウド上にしか無い(CloudFiles でダウンロードを止めている)。手元の容量はほぼ 0
|
|
290
|
+
return nil
|
|
291
|
+
rescue SystemCallError
|
|
292
|
+
return nil # 走査中に消えた・置き換わったものなどは無視する
|
|
293
|
+
end
|
|
294
|
+
|
|
295
|
+
# 大きいファイルとハードリンクを lstat して数え、小さいハードリンクは inode と実占有を覚えておく
|
|
296
|
+
bytes = small
|
|
297
|
+
big = links = nil
|
|
298
|
+
large.each do |name|
|
|
299
|
+
path = File.join(dir, name)
|
|
300
|
+
s = (File.lstat(path) rescue nil)
|
|
301
|
+
if s&.file? && s.nlink > 1 && s.size < @large
|
|
302
|
+
(links ||= []).push(name, s.ino, s.blocks * 512)
|
|
303
|
+
else
|
|
304
|
+
(big ||= []) << name
|
|
305
|
+
end
|
|
306
|
+
bytes += file_bytes(path, s, col) if s&.file?
|
|
307
|
+
end
|
|
308
|
+
# フォルダー自体は変わっていても、中の変わっていない子フォルダーの記録は使い回す
|
|
309
|
+
old_kids = old && old[KIDS]
|
|
310
|
+
kids = subdirs.empty? ? nil : subdirs.to_h { [it, old_kids && old_kids[it]] }
|
|
311
|
+
col.changed += 1
|
|
312
|
+
[[stamp, small, big, links, kids], bytes]
|
|
313
|
+
end
|
|
314
|
+
|
|
315
|
+
# フォルダーの直下を読んで「小さいファイルの合計・子フォルダー名・大きいファイル名」にまとめる。
|
|
316
|
+
# macOS では getattrlistbulk でまとめて読む(BulkList を参照)。使えない環境や、
|
|
317
|
+
# 対応していないファイルシステムでは、名前を読んで 1 つずつ lstat する
|
|
318
|
+
def read_dir(dir)
|
|
319
|
+
return read_dir_by_lstat(dir) unless BulkList.available?
|
|
320
|
+
|
|
321
|
+
BulkList.read(dir, @large) { classify(dir, it) }
|
|
322
|
+
rescue Errno::ENOTSUP, Errno::EINVAL
|
|
323
|
+
read_dir_by_lstat(dir)
|
|
324
|
+
end
|
|
325
|
+
|
|
326
|
+
def read_dir_by_lstat(dir)
|
|
327
|
+
small = 0
|
|
328
|
+
subdirs = []
|
|
329
|
+
large = []
|
|
330
|
+
Dir.children(dir).each do |name|
|
|
331
|
+
case (found = classify(dir, name))
|
|
332
|
+
when :dir then subdirs << name
|
|
333
|
+
when :large then large << name
|
|
334
|
+
when Integer then small += found
|
|
335
|
+
end
|
|
336
|
+
end
|
|
337
|
+
[small, subdirs, large]
|
|
338
|
+
end
|
|
339
|
+
|
|
340
|
+
# 直下の 1 つを lstat で調べる。子フォルダーなら :dir、毎回 lstat し直す側に回すもの(大きいファイルと
|
|
341
|
+
# ハードリンク)なら :large、それ以外(小さいファイルやシンボリックリンク自体)なら実占有バイト数、
|
|
342
|
+
# 調べられなければ nil を返す
|
|
343
|
+
def classify(dir, name)
|
|
344
|
+
s = (File.lstat(File.join(dir, name)) rescue nil) # シンボリックリンクはたどらない
|
|
345
|
+
return nil unless s
|
|
346
|
+
|
|
347
|
+
if s.directory?
|
|
348
|
+
:dir
|
|
349
|
+
elsif s.file? && (s.size >= @large || s.nlink > 1)
|
|
350
|
+
:large
|
|
351
|
+
else
|
|
352
|
+
s.blocks * 512
|
|
353
|
+
end
|
|
354
|
+
end
|
|
355
|
+
|
|
356
|
+
# 大きいファイル(と、大きいハードリンク)は、その場での書き換えで大きさが変わりうるので毎回 lstat し直す
|
|
357
|
+
def large_bytes(dir, names, col)
|
|
358
|
+
names.sum do |name|
|
|
359
|
+
path = File.join(dir, name)
|
|
360
|
+
s = (File.lstat(path) rescue nil)
|
|
361
|
+
s&.file? ? file_bytes(path, s, col) : 0
|
|
362
|
+
end
|
|
363
|
+
end
|
|
364
|
+
|
|
365
|
+
# 覚えてある小さいハードリンクの実占有バイト数。file_bytes と同じく、同じ inode は最初の 1 回だけ数える。
|
|
366
|
+
# 別ボリュームには降りないので、デバイスは起点と同じ
|
|
367
|
+
def linked_bytes(links)
|
|
368
|
+
sum = 0
|
|
369
|
+
@inode_lock.synchronize do
|
|
370
|
+
i = 0
|
|
371
|
+
while i < links.size
|
|
372
|
+
sum += links[i + 2] if @seen_inodes.add?([@root_dev, links[i + 1]])
|
|
373
|
+
i += 3
|
|
374
|
+
end
|
|
375
|
+
end
|
|
376
|
+
sum
|
|
377
|
+
end
|
|
378
|
+
|
|
379
|
+
# 子フォルダーを lstat し、降りてよければその結果を返す(降りないなら nil)。
|
|
380
|
+
# 子の mtime を確かめる必要があるので、キャッシュを使う場合でも子フォルダーの lstat は毎回行う
|
|
381
|
+
def subdir_stat(path)
|
|
382
|
+
s = (File.lstat(path) rescue nil)
|
|
383
|
+
return nil unless s&.directory?
|
|
384
|
+
return nil if s.dev != @root_dev # 別ボリューム(外部ディスクなど)には降りない。du -x 相当
|
|
385
|
+
return nil if @skip.include?(path)
|
|
386
|
+
|
|
387
|
+
s
|
|
388
|
+
end
|
|
389
|
+
|
|
390
|
+
# ファイルの実占有バイト数。ハードリンクは du と同じく最初の 1 回だけ数える
|
|
391
|
+
# (複数のスレッドから同じ inode に出会いうるので、記録はロックを取って行う)。
|
|
392
|
+
# 巨大ファイルはここで記録しておき、後の節で使う
|
|
393
|
+
def file_bytes(path, st, col)
|
|
394
|
+
if st.nlink > 1
|
|
395
|
+
first = @inode_lock.synchronize { @seen_inodes.add?([st.dev, st.ino]) }
|
|
396
|
+
return 0 unless first
|
|
397
|
+
end
|
|
398
|
+
|
|
399
|
+
bytes = st.blocks * 512
|
|
400
|
+
if st.size >= @big_threshold
|
|
401
|
+
col.big_files << BigFile.new(path:, bytes:, apparent: st.size, mtime: st.mtime)
|
|
402
|
+
end
|
|
403
|
+
bytes
|
|
404
|
+
end
|
|
405
|
+
|
|
406
|
+
# ビルド成果物・依存パッケージのフォルダーかどうか。
|
|
407
|
+
# target は名前が一般的すぎるので、Cargo が置く CACHEDIR.TAG があるものだけに限る
|
|
408
|
+
def artifact_dir?(path, name)
|
|
409
|
+
return false if @no_artifacts_in.any? { under?(path, it) }
|
|
410
|
+
|
|
411
|
+
ARTIFACT_NAMES.include?(name) || (name == "target" && File.file?(File.join(path, "CACHEDIR.TAG")))
|
|
412
|
+
end
|
|
413
|
+
|
|
414
|
+
# 走査し終えたフォルダーのサイズを、用途ごとの入れ物に振り分けて覚えておく
|
|
415
|
+
def record_dir(col, path, depth, size, st, artifact)
|
|
416
|
+
col.dir_sizes[path] = size if depth <= @record_depth
|
|
417
|
+
col.watched_sizes[path] = size if @watched.include?(path)
|
|
418
|
+
col.artifacts << Artifact.new(path:, bytes: size, mtime: st.mtime) if artifact
|
|
419
|
+
# vendor/bundle/ruby/<ABI 版> は Ruby の版ごとに見たいので、版のフォルダー単位で覚える
|
|
420
|
+
col.vendor_ruby[path] = size if File.dirname(path).end_with?("/vendor/bundle/ruby")
|
|
421
|
+
end
|
|
422
|
+
|
|
423
|
+
# 端末で実行しているときだけ、走査済みのフォルダー数と、各スレッドが今たどっているサブツリーを
|
|
424
|
+
# 0.5 秒ごとに同じ行へ上書き表示する。どこで時間がかかっているかをその場で見られるようにするため
|
|
425
|
+
def start_progress
|
|
426
|
+
return nil unless @progress && $stderr.tty?
|
|
427
|
+
|
|
428
|
+
width = ($stderr.winsize[1] rescue 100) - 1
|
|
429
|
+
Thread.new do
|
|
430
|
+
loop do
|
|
431
|
+
sleep 0.5
|
|
432
|
+
current = @current.compact.map { tilde(it) }.join(" , ")
|
|
433
|
+
line = format(_("Scanning: %{dirs} folders (%{reused} reused) | %{current}"),
|
|
434
|
+
dirs: @cols.sum(&:dirs), reused: @cols.sum(&:reused), current:)
|
|
435
|
+
$stderr.print("\r\e[K#{fit(line, width)}")
|
|
436
|
+
end
|
|
437
|
+
end
|
|
438
|
+
end
|
|
439
|
+
end
|
|
440
|
+
end
|
|
@@ -0,0 +1,34 @@
|
|
|
1
|
+
module Reclaimable
|
|
2
|
+
# 表示とパスの小道具。どのクラスからも使うので、include して使えるモジュール関数にしておく
|
|
3
|
+
module Util
|
|
4
|
+
module_function
|
|
5
|
+
|
|
6
|
+
# 表示を短くするため、ホームのパスを ~ に縮める
|
|
7
|
+
HOME_PREFIX = %r{\A#{Regexp.escape(HOME)}(?=/|\z)}
|
|
8
|
+
|
|
9
|
+
# バイト数を K/M/G/T 表記に直す
|
|
10
|
+
def human(bytes)
|
|
11
|
+
units = %w[B K M G T]
|
|
12
|
+
v = bytes.to_f
|
|
13
|
+
i = 0
|
|
14
|
+
while v >= 1024 && i < units.size - 1
|
|
15
|
+
v /= 1024
|
|
16
|
+
i += 1
|
|
17
|
+
end
|
|
18
|
+
format("%.1f%s", v, units[i])
|
|
19
|
+
end
|
|
20
|
+
|
|
21
|
+
def tilde(path) = path.sub(HOME_PREFIX, "~")
|
|
22
|
+
|
|
23
|
+
# 端末の幅に収まるよう文字列を切り詰める。日本語は 2 桁ぶんとして数える(はみ出すと進捗表示の上書きが崩れるため)
|
|
24
|
+
def fit(str, width)
|
|
25
|
+
used = 0
|
|
26
|
+
str.each_char.take_while { used += it.bytesize > 1 ? 2 : 1; used <= width }.join
|
|
27
|
+
end
|
|
28
|
+
|
|
29
|
+
# path が dir 自身かその配下か。文字列の前方一致だけだと /a/bc を /a/b の配下と誤判定するので / を付けて比べる
|
|
30
|
+
def under?(path, dir) = path == dir || path.start_with?("#{dir}/")
|
|
31
|
+
|
|
32
|
+
def clock = Process.clock_gettime(Process::CLOCK_MONOTONIC)
|
|
33
|
+
end
|
|
34
|
+
end
|
data/lib/reclaimable.rb
ADDED
|
@@ -0,0 +1,42 @@
|
|
|
1
|
+
# reclaimable — macOS のストレージ削除候補を洗い出して一覧表示する(Ruby 4.0 向け)
|
|
2
|
+
#
|
|
3
|
+
# 方針
|
|
4
|
+
# - 何も削除しない。調べて表示するだけで、消すかどうかは人が判断する。
|
|
5
|
+
# - sudo を使わない。ログインユーザーの権限で読める範囲だけを調べる。
|
|
6
|
+
# - ファイルシステムの走査は 1 回だけにして、その結果から全部の節を組み立てる
|
|
7
|
+
# (du や find を節ごとに呼ぶと、同じ場所を何度も走査することになるため)。
|
|
8
|
+
# - 実行時に依存する gem は gettext(文言の翻訳)だけにし、ほかは標準添付ライブラリーで済ませる。
|
|
9
|
+
# - 文言の原文は英語。訳は po/ にあり、言語は LC_ALL・LC_MESSAGES・LANG で決まる(i18n.rb を参照)。
|
|
10
|
+
#
|
|
11
|
+
# 使い方
|
|
12
|
+
# reclaimable [-n 件数] [-s 最小MB] [-d 起点ディレクトリ] [-j スレッド数] [-o 保存先] [--no-save] [--fresh]
|
|
13
|
+
# 既定で、レポートとログを <ログの置き場所>/<日時>.report.txt と .log にも保存する。
|
|
14
|
+
# 走査結果は <キャッシュの置き場所> にキャッシュし、次回は変わっていないフォルダーの読み直しを省く。
|
|
15
|
+
# 置き場所は paths.rb を参照(macOS では ~/Library/Logs/reclaimable と ~/Library/Caches/reclaimable)。
|
|
16
|
+
#
|
|
17
|
+
# 注意
|
|
18
|
+
# - Desktop・Documents・Downloads・Mail などは macOS のプライバシー保護(TCC)の対象で、
|
|
19
|
+
# ターミナルに「フルディスクアクセス」が無いと読めない。読めなかった場所は最後に列挙する。
|
|
20
|
+
# - サイズは原則「実際にディスクを占有している量」(ブロック数 × 512)。クラウド上にしか無い
|
|
21
|
+
# ファイル(Dropbox・iCloud のオンラインのみ)やスパースファイルは、見かけより小さく数えられる。
|
|
22
|
+
module Reclaimable
|
|
23
|
+
HOME = Dir.home
|
|
24
|
+
TRASH = File.join(HOME, ".Trash")
|
|
25
|
+
MB = 1024 * 1024
|
|
26
|
+
end
|
|
27
|
+
|
|
28
|
+
require_relative "reclaimable/i18n"
|
|
29
|
+
require_relative "reclaimable/util"
|
|
30
|
+
require_relative "reclaimable/output"
|
|
31
|
+
require_relative "reclaimable/paths"
|
|
32
|
+
require_relative "reclaimable/config"
|
|
33
|
+
require_relative "reclaimable/cloud_files"
|
|
34
|
+
require_relative "reclaimable/bulk_list"
|
|
35
|
+
require_relative "reclaimable/scanner"
|
|
36
|
+
require_relative "reclaimable/scan_cache"
|
|
37
|
+
require_relative "reclaimable/cache_dump"
|
|
38
|
+
require_relative "reclaimable/locations"
|
|
39
|
+
require_relative "reclaimable/ruby_abi"
|
|
40
|
+
require_relative "reclaimable/report"
|
|
41
|
+
require_relative "reclaimable/ai_skill"
|
|
42
|
+
require_relative "reclaimable/cli"
|
|
Binary file
|