reclaimable 0.1.0

This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
Files changed (85) hide show
  1. checksums.yaml +7 -0
  2. data/.claude/launch.json +11 -0
  3. data/.gitignore +11 -0
  4. data/.gitlab-ci.yml +16 -0
  5. data/AGENTS.md +88 -0
  6. data/CLAUDE.md +1 -0
  7. data/Gemfile +3 -0
  8. data/LICENSE +674 -0
  9. data/README.md +160 -0
  10. data/Rakefile +28 -0
  11. data/ai-skill/reclaimable/SKILL.md +94 -0
  12. data/benchmark/README.md +59 -0
  13. data/benchmark/experiments/lstat_scanner.rb +11 -0
  14. data/benchmark/experiments/ractor_scanner.rb +92 -0
  15. data/benchmark/experiments/verify_bulk_list.rb +34 -0
  16. data/benchmark/lib/fixture.rb +104 -0
  17. data/benchmark/lib/results.rb +62 -0
  18. data/benchmark/reports/00-baseline.md +75 -0
  19. data/benchmark/reports/01-jit.md +70 -0
  20. data/benchmark/reports/02-ractor.md +58 -0
  21. data/benchmark/reports/03-getattrlistbulk.md +84 -0
  22. data/benchmark/reports/04-others.md +52 -0
  23. data/benchmark/reports/05-outside-root.md +56 -0
  24. data/benchmark/reports/06-round2-discussion.md +374 -0
  25. data/benchmark/reports/06-round2.md +194 -0
  26. data/benchmark/reports/README.md +46 -0
  27. data/benchmark/results/baseline.yml +126 -0
  28. data/benchmark/results/bulk-list.yml +126 -0
  29. data/benchmark/results/final-yjit.yml +126 -0
  30. data/benchmark/results/final.yml +126 -0
  31. data/benchmark/results/ractor-exp.yml +38 -0
  32. data/benchmark/results/round2-after.yml +126 -0
  33. data/benchmark/results/round2-before.yml +126 -0
  34. data/benchmark/results/src-baseline.yml +32 -0
  35. data/benchmark/results/src-bulk-list.yml +32 -0
  36. data/benchmark/results/src-pair-none1.yml +38 -0
  37. data/benchmark/results/src-pair-none2.yml +38 -0
  38. data/benchmark/results/src-pair-yjit1.yml +38 -0
  39. data/benchmark/results/src-pair-yjit2.yml +38 -0
  40. data/benchmark/results/src-ractor-exp.yml +32 -0
  41. data/benchmark/results/src-round2-after1.yml +52 -0
  42. data/benchmark/results/src-round2-after2.yml +52 -0
  43. data/benchmark/results/src-round2-before1.yml +52 -0
  44. data/benchmark/results/src-round2-before2.yml +52 -0
  45. data/benchmark/results/yjit.yml +126 -0
  46. data/benchmark/results/zjit.yml +126 -0
  47. data/benchmark/run.rb +149 -0
  48. data/bin/reclaimable +10 -0
  49. data/doc/performance.md +179 -0
  50. data/lib/reclaimable/ai_skill.rb +138 -0
  51. data/lib/reclaimable/bulk_list.rb +91 -0
  52. data/lib/reclaimable/cache_dump.rb +125 -0
  53. data/lib/reclaimable/cli.rb +168 -0
  54. data/lib/reclaimable/cloud_files.rb +33 -0
  55. data/lib/reclaimable/config.rb +100 -0
  56. data/lib/reclaimable/i18n.rb +24 -0
  57. data/lib/reclaimable/locations.rb +89 -0
  58. data/lib/reclaimable/output.rb +154 -0
  59. data/lib/reclaimable/paths.rb +36 -0
  60. data/lib/reclaimable/report.rb +504 -0
  61. data/lib/reclaimable/ruby_abi.rb +69 -0
  62. data/lib/reclaimable/scan_cache.rb +97 -0
  63. data/lib/reclaimable/scanner.rb +440 -0
  64. data/lib/reclaimable/util.rb +34 -0
  65. data/lib/reclaimable.rb +42 -0
  66. data/locale/ja/LC_MESSAGES/reclaimable.mo +0 -0
  67. data/man/reclaimable.1.ronn +302 -0
  68. data/man/reclaimable.en.1 +234 -0
  69. data/man/reclaimable.ja.1 +452 -0
  70. data/po/ja/reclaimable-docs.po +668 -0
  71. data/po/ja/reclaimable.po +510 -0
  72. data/rakelib/benchmark.rake +22 -0
  73. data/rakelib/docs/japanese.rb +132 -0
  74. data/rakelib/docs/man_page.rb +73 -0
  75. data/rakelib/docs/site.rb +187 -0
  76. data/rakelib/docs/sources.rb +94 -0
  77. data/rakelib/docs/translation.rb +157 -0
  78. data/rakelib/docs.rake +62 -0
  79. data/rakelib/gettext.rake +30 -0
  80. data/rakelib/i18n.rake +199 -0
  81. data/reclaimable.gemspec +56 -0
  82. data/site/index.md +142 -0
  83. data/site/layout.html.erb +60 -0
  84. data/site/style.css +82 -0
  85. metadata +231 -0
@@ -0,0 +1,154 @@
1
+ require "stringio"
2
+ require "open3"
3
+ require "fileutils"
4
+
5
+ module Reclaimable
6
+ # 画面とファイルの両方へ書き出す出力先。レポートを組み立てる側は puts をそのまま使い、
7
+ # 同じ内容をファイルにも残せる
8
+ class Tee
9
+ def initialize(*ios) = @ios = ios
10
+
11
+ def write(*args)
12
+ @ios.each { it.write(*args) }
13
+ args.sum { it.to_s.bytesize }
14
+ end
15
+
16
+ # puts・print の改行や配列の扱いは IO と同じにしたいので、StringIO に一度書かせてから流す
17
+ def puts(*args) = write(StringIO.new.tap { it.puts(*args) }.string)
18
+ def print(*args) = write(StringIO.new.tap { it.print(*args) }.string)
19
+ def flush = @ios.each(&:flush)
20
+ # 書き込み先はどれも開いた直後に sync = true にしているので、ここでは常に同期済みとして振る舞う
21
+ def sync = true
22
+
23
+ def sync=(_); end
24
+ end
25
+
26
+ # レポートとログの書き出し先と、外部コマンドの実行をまとめて受け持つ。
27
+ # 外部コマンドのエラー出力や失敗はログに残すので、ここに置く
28
+ class Output
29
+ include Util
30
+ include I18n
31
+ extend I18n # self.open でも使う
32
+
33
+ # レポートとログのファイルを開く。ファイル名に実行日時を入れて、実行ごとに別ファイルにする
34
+ # (前回の結果と比べたり、時間をかけて走査した結果をあとで見返したりできるようにするため)。
35
+ # 保存先を作れないときは、調査そのものは続けたいので保存だけあきらめる
36
+ def self.open(save:, dir:)
37
+ return new unless save
38
+
39
+ FileUtils.mkdir_p(dir)
40
+ base = File.join(dir, Time.now.strftime("%Y%m%d-%H%M%S"))
41
+ new(File.open("#{base}.report.txt", "w"), File.open("#{base}.log", "w"))
42
+ rescue SystemCallError => e
43
+ warn format(_("Cannot prepare the save location, so nothing will be saved to files: %{error}"), error: e.message)
44
+ new
45
+ end
46
+
47
+ # レポートを書く先(画面だけ、または画面とファイル)
48
+ attr_reader :report
49
+
50
+ def initialize(report_file = nil, log_file = nil)
51
+ @report_file = report_file
52
+ @log_file = log_file
53
+ # 途中で中断(Ctrl-C など)しても、そこまでの内容がファイルに残るよう即時に書き出す
54
+ [$stdout, report_file, log_file].compact.each { it.sync = true }
55
+ @report = report_file ? Tee.new($stdout, report_file) : $stdout
56
+ @jobs = {} # [env, コマンド] => Job
57
+ @jobs_lock = Mutex.new
58
+ end
59
+
60
+ # 動いたままの外部コマンドを止めてからファイルを閉じ、どこに保存したかを知らせる
61
+ def close
62
+ stop_jobs
63
+ [@report_file, @log_file].compact.each do
64
+ it.close
65
+ $stderr.puts format(_("Saved: %{path}"), path: tilde(it.path))
66
+ end
67
+ end
68
+
69
+ # ログファイルに時刻付きで 1 行書く。保存しない設定のときは何もしない。
70
+ # 画面には出さない細かい情報(失敗したコマンド、読めなかった場所の全件など)をここに残す
71
+ def log(msg) = @log_file&.puts("#{Time.now.strftime('%F %T')} #{msg}")
72
+
73
+ # 利用者に知らせたいメッセージは、画面(標準エラー)とログの両方に出す
74
+ def notice(msg)
75
+ warn msg
76
+ log(msg)
77
+ end
78
+
79
+ # 外部コマンドを実行して標準出力を返す。コマンドが無い・失敗したときは nil。
80
+ # シェルを介さず配列で渡すので、パスに空白があっても壊れない。
81
+ # コマンドのエラー出力は画面を汚さないようログファイルへ流し(保存しないときは捨てる)、
82
+ # 失敗したことも書き残して、あとで「なぜその節が空だったか」を追えるようにする。
83
+ # env: 子プロセスの環境変数に上書きするもの(値が nil の変数は消す)
84
+ #
85
+ # prefetch で先に始めてあれば、その結果を受け取るだけ(終わっていなければ待つ)。
86
+ # ログはここで書くので、先に始めたかどうかによらず、ログの並びは capture を呼んだ順になる。
87
+ # 同じコマンド(と env)は 1 回しか実行せず、2 回目からは同じ結果を返す
88
+ def capture(*cmd, env: {})
89
+ result = job(cmd, env).result
90
+ @log_file&.write(result.stderr) unless result.stderr.empty?
91
+ if result.error
92
+ log format(_("Cannot run command: %{command} (%{error})"), command: cmd.first, error: result.error.class)
93
+ return nil
94
+ end
95
+ return result.stdout if result.status.success?
96
+
97
+ log format(_("Command failed (exit status %{status}): %{command}"), status: result.status.exitstatus,
98
+ command: cmd.join(" "))
99
+ nil
100
+ end
101
+
102
+ # 外部コマンドを裏で始めておく。結果は、あとで同じ引数の capture が受け取る。
103
+ # 時間のかかるコマンド(brew cleanup -n など)を走査の前に始めて、走査と並行して進めるためのもの。
104
+ # 返す Job の stdout で、ログを書かずに結果を待てる(続けて始めるコマンドを決めるのに使う)
105
+ def prefetch(*cmd, env: {}) = job(cmd, env)
106
+
107
+ private
108
+
109
+ # 外部コマンド 1 回ぶんの結果。error は起動できなかったときの例外
110
+ Result = Data.define(:stdout, :stderr, :status, :error)
111
+
112
+ # 裏で動いている(か、もう終わった)外部コマンド。pid は起動できるまで nil
113
+ Job = Struct.new(:thread, :pid) do
114
+ def result = thread.value
115
+
116
+ # 標準出力。起動できなかった・失敗したときは nil
117
+ def stdout = result.then { it.stdout if it.status&.success? }
118
+ end
119
+
120
+ # コマンドごとの Job を返す。無ければその場で始める。
121
+ # 「無ければ始める」をロックの中で行うので、先読みと capture が同時に来ても 2 回は実行しない
122
+ def job(cmd, env)
123
+ @jobs_lock.synchronize { @jobs[[env, cmd]] ||= start(cmd, env) }
124
+ end
125
+
126
+ # 子プロセスを起動し、標準出力とエラー出力を別々に受け取る。
127
+ # 片方だけ読んでいると、もう片方のパイプが詰まって子が止まるので、エラー出力は別のスレッドで読む。
128
+ # 子は同じプロセスグループのままにして、端末の Ctrl-C が子にも届くようにする
129
+ def start(cmd, env)
130
+ job = Job.new
131
+ job.thread = Thread.new do
132
+ Open3.popen3(env, *cmd) do |stdin, stdout, stderr, waiter|
133
+ job.pid = waiter.pid
134
+ stdin.close
135
+ err = Thread.new { stderr.read }
136
+ Result.new(stdout: stdout.read, stderr: err.value, status: waiter.value, error: nil)
137
+ end
138
+ rescue SystemCallError => e
139
+ Result.new(stdout: nil, stderr: "", status: nil, error: e)
140
+ end
141
+ job
142
+ end
143
+
144
+ # 先に始めたまま使われなかった(か、中断で使われなくなった)子プロセスを止める
145
+ def stop_jobs
146
+ @jobs_lock.synchronize { @jobs.values }.each do |job|
147
+ next unless job.thread.alive?
148
+
149
+ Process.kill("TERM", job.pid) if job.pid rescue nil
150
+ job.thread.join(2) || job.thread.kill
151
+ end
152
+ end
153
+ end
154
+ end
@@ -0,0 +1,36 @@
1
+ module Reclaimable
2
+ # 設定ファイル・走査結果のキャッシュ・レポートとログの置き場所。どれも次の順で決める。
3
+ # 1. XDG Base Directory の環境変数(XDG_CONFIG_HOME・XDG_CACHE_HOME・XDG_STATE_HOME)が設定されていれば、その下。
4
+ # わざわざ設定しているのは、そこに置いてほしいという利用者の意思表示なので、OS の規約より優先する。
5
+ # 仕様に従い、絶対パスでない値は設定されていないものとみなす。
6
+ # 2. macOS では Apple の規約の場所(~/Library の下)。
7
+ # 3. ほか(Linux など)では XDG Base Directory の既定の場所(~/.config などの下)。
8
+ module Paths
9
+ NAME = "reclaimable"
10
+
11
+ # 種類ごとの [XDG の環境変数, macOS の場所, XDG の既定の場所](場所はホームからの相対パス)
12
+ KINDS = {
13
+ config: ["XDG_CONFIG_HOME", "Library/Application Support", ".config"],
14
+ cache: ["XDG_CACHE_HOME", "Library/Caches", ".cache"],
15
+ # レポートとログ。XDG では実行のたびに増えていく記録は state に置く。macOS ではログの置き場所に置く
16
+ # (Console.app でも見られる)
17
+ log: ["XDG_STATE_HOME", "Library/Logs", ".local/state"],
18
+ }.freeze
19
+
20
+ module_function
21
+
22
+ def config_dir = dir(:config)
23
+ def cache_dir = dir(:cache)
24
+ def log_dir = dir(:log)
25
+
26
+ def dir(kind)
27
+ var, mac, xdg = KINDS.fetch(kind)
28
+ base = ENV[var]
29
+ base = nil unless base&.start_with?("/")
30
+ base ||= File.join(HOME, mac? ? mac : xdg)
31
+ File.join(base, NAME)
32
+ end
33
+
34
+ def mac? = RUBY_PLATFORM.include?("darwin")
35
+ end
36
+ end