bootsnap 1.1.8 → 1.4.0

checksums.yaml

@@ -1,7 +1,7 @@
 ---
-SHA1:
-  metadata.gz: a6f66d96dbadca08e5c50985c45319350f1e85ca
-  data.tar.gz: c1227f8f8c6ed542abe582c221ccf45318655e87
+SHA256:
+  metadata.gz: 40694ca2512ff7861584a4f9cee05e424c3d9319f3b36c7f4f45f9196d2d9f19
+  data.tar.gz: '087c4f2dafdd51a6a3d0a69d31aadabfe6ef90bf2ab12b861f2a288d7b16c04a'
 SHA512:
-  metadata.gz: fa366476bf324d6eda9415e7170d67e31eb4a01d08758ff51d9e83c7661db8160cfa334ef9df67777ef059887de24a3f8a7da49b1675f3a1b0bf7704ecf42620
-  data.tar.gz: '06758fb4f8445d041816330983799684a3b79e6ec82ac1e21cf087544d377744b0bb8bc20012146d529876fac6398e1053821eea2468be60c8194c6c07855312'
+  metadata.gz: ecbabde06c5f871702a000128e4dbc15d60fe0e16ab7adb4a8bb40b1c3b5b5f54b39c6927dc5aea9e49242d7e7f5deb596c42c44f8c2b8f998f835ec5b058b47
+  data.tar.gz: d566ffe7c3048f57c3c4fcd925d5e8ff5a722fc2622628e26571361e7a0fbdb5cbe8c724d45f2fc8ba09d0de614c5fad87f1875ecc99a08a34aab3afa7665fe1

data/.travis.yml

@@ -1,4 +1,24 @@
 language: ruby
-rvm: ruby-2.4.1
-before_script: rake
-script: bin/testunit
+sudo: false
+
+os:
+  - linux
+  - osx
+
+rvm:
+  - ruby-2.4
+  - ruby-2.5
+  - ruby-head
+
+matrix:
+  allow_failures:
+    - rvm: ruby-head
+  include:
+    - rvm: jruby
+      os: linux
+      env: MINIMAL_SUPPORT=1
+    - rvm: truffleruby
+      os: linux
+      env: MINIMAL_SUPPORT=1
+
+script: bin/ci

data/CHANGELOG.md

@@ -1,3 +1,38 @@
+# 1.4.0
+
+* When running in development mode, always fall back to a full path scan on LoadError, making
+  bootsnap more able to detect newly-created files. (#230)
+* Respect `$LOADED_FEATURES.delete` in order to support code reloading, for integration with
+  Zeitwerk. (#230)
+* Minor performance improvement: flow-control exceptions no longer generate backtraces.
+* Better support for requiring from environments where some features are not supported (especially
+  JRuby). (#226)k
+* More robust handling of OS errors when creating files. (#225)
+
+# 1.3.2
+
+* Fix Spring + Bootsnap incompatibility when there are files with similar names.
+* Fix `YAML.load_file` monkey patch to keep accepting File objects as arguments.
+* Fix the API for `ActiveSupport::Dependencies#autoloadable_module?`.
+* Some performance improvements.
+
+# 1.3.1
+
+* Change load path scanning to more correctly follow symlinks.
+
+# 1.3.0
+
+* Handle cases where load path entries are symlinked (https://github.com/Shopify/bootsnap/pull/136)
+
+# 1.2.1
+
+* Fix method visibility of `Kernel#require`.
+
+# 1.2.0
+
+* Add `LoadedFeaturesIndex` to preserve fix a common bug related to `LOAD_PATH` modifications after
+  loading bootsnap.
+
 # 1.1.8
 
 * Don't cache YAML documents with `!ruby/object`

data/README.jp.md

@@ -0,0 +1,231 @@
+# Bootsnap [![Build Status](https://travis-ci.org/Shopify/bootsnap.svg?branch=master)](https://travis-ci.org/Shopify/bootsnap)
+
+Bootsnap は RubyVM におけるバイトコード生成やファイルルックアップ等の時間のかかる処理を最適化するためのライブラリです。ActiveSupport や YAML もサポートしています。[内部動作](#内部動作)もご覧ください。
+
+注意書き: このライブラリは英語話者によって管理されています。この README は日本語ですが、日本語でのサポートはしておらず、リクエストにお答えすることもできません。バイリンガルの方がサポートをサポートしてくださる場合はお知らせください！:)
+
+### パフォーマンス
+
+* [Discourse](https://github.com/discourse/discourse) では、約6秒から3秒まで、約50%の起動時間短縮が確認されています。
+* 小さなアプリケーションでも、50%の改善（3.6秒から1.8秒）が確認されています。
+* 非常に巨大でモノリシックなアプリである Shopify のプラットフォームでは、約25秒から6.5秒へと約75％短縮されました。
+
+## 使用方法
+
+この gem は macOS と Linux で作動します。まずは、`bootsnap` を `Gemfile` に追加します:
+
+```ruby
+gem 'bootsnap', require: false
+```
+
+Rails を使用している場合は、以下のコードを、`config/boot.rb` 内にある `require 'bundler/setup'` の直後に追加してください。
+
+```ruby
+require 'bootsnap/setup'
+```
+
+単に `gem 'bootsnap', require: 'bootsnap/setup'` と指定することも技術的には可能ですが、最大限のパフォーマンス改善を得るためには Bootsnap をできるだけ早く読み込むことが重要です。
+
+この require の仕組みは[こちら](https://github.com/Shopify/bootsnap/blob/master/lib/bootsnap/setup.rb)で確認できます。
+
+Rails を使用していない場合、または、より多くの設定を変更したい場合は、以下のコードを `require 'bundler/setup'` の直後に追加してください(早く読み込まれるほど、より多くのものを最適化することができます）。
+
+```ruby
+require 'bootsnap'
+env = ENV['RAILS_ENV'] || "development"
+Bootsnap.setup(
+  cache_dir:            'tmp/cache',          # キャッシュファイルを保存する path
+  development_mode:     env == 'development', # 現在の作業環境、例えば RACK_ENV, RAILS_ENV など。
+  load_path_cache:      true,                 # キャッシュで LOAD_PATH を最適化する。
+  autoload_paths_cache: true,                 # キャッシュで ActiveSupport による autoload を行う。
+  disable_trace:        true,                 # (アルファ) `RubyVM::InstructionSequence.compile_option = { trace_instruction: false }`をセットする。
+  compile_cache_iseq:   true,                 # ISeq キャッシュをコンパイルする
+  compile_cache_yaml:   true                  # YAML キャッシュをコンパイルする
+)
+```
+
+**ヒント**: `require 'bootsnap'` を `BootLib::Require.from_gem('bootsnap', 'bootsnap')` で、 [こちらのトリック](https://github.com/Shopify/bootsnap/wiki/Bootlib::Require)を使って置き換えることができます。こうすると、巨大な`$LOAD_PATH`がある場合でも、起動時間を最短化するのに役立ちます。
+
+注意: Bootsnap と [Spring](https://github.com/rails/spring) は別領域の問題を扱うツールです。Bootsnap は個々のソースファイルの読み込みを高速化します。一方で、Spring は起動されたRailsプロセスのコピーを保持して次回の起動時に起動プロセスの一部を完全にスキップします。2つのツールはうまく連携しており、どちらも新しく生成された Rails アプリケーションにデフォルトで含まれています。
+
+### 環境
+Bootsnapのすべての機能はセットアップ時の設定に従って開発、テスト、プロダクション、および他のすべての環境で有効化されます。Shopify では、この gem を問題なくすべての環境で安全に使用しています。
+
+特定の環境で機能を無効にする場合は、必要に応じて適切な ENV 変数または設定を考慮して設定を変更することをおすすめします。
+
+## 内部動作
+
+Bootsnap は、処理に時間のかかるメソッドの結果をキャッシュすることで最適化しています。これは、大きく分けて2つのカテゴリに分けられます。
+
+* [Path Pre-Scanning](#path-pre-scanning)
+  * `Kernel#require` と `Kernel#load` を `$LOAD_PATH` フルスキャンを行わないように変更します。
+  * `ActiveSupport::Dependencies.{autoloadable_module?,load_missing_constant,depend_on}` を `ActiveSupport::Dependencies.autoload_paths` のフルスキャンを行わないようにオーバーライドします。
+* [Compilation caching](#compilation-caching)
+  * Ruby バイトコードのコンパイル結果をキャッシュするためのメソッド `RubyVM::InstructionSequence.load_iseq` が実装されています。
+  * `YAML.load_file` を YAML オブジェクトのロード結果を MessagePack でキャッシュするように変更します。 MessagePack でサポートされていないタイプが使われている場合は Marshal が使われます。
+
+### Path Pre-Scanning
+
+_(このライブラリは [bootscale](https://github.com/byroot/bootscale) という別のライブラリを元に開発されました)_
+
+Bootsnap の初期化時、あるいはパス(例えば、`$LOAD_PATH`)の変更時に、`Bootsnap::LoadPathCache` がキャッシュから必要なエントリーのリストを読み込みます。または、必要に応じてフルスキャンを実行し結果をキャッシュします。
+その後、たとえば `require 'foo'` を評価する場合, Ruby は `$LOAD_PATH` `['x', 'y', ...]` のすべてのエントリーを繰り返し評価することで `x/foo.rb`, `y/foo.rb` などを探索します。これに対して Bootsnap は、キャッシュされた require 可能なファイルと `$LOAD_PATH` を見ることで、Rubyが最終的に選択するであろうパスで置き換えます。
+
+この動作によって生成された syscall を見ると、最終的な結果は以前なら次のようになります。
+
+```
+open  x/foo.rb # (fail)
+# (imagine this with 500 $LOAD_PATH entries instead of two)
+open  y/foo.rb # (success)
+close y/foo.rb
+open  y/foo.rb
+...
+```
+
+これが、次のようになります:
+
+```
+open y/foo.rb
+...
+```
+
+`autoload_paths_cache` オプションが `Bootsnap.setup` に与えられている場合、`ActiveSupport::Dependencies.autoload_paths` をトラバースする方法にはまったく同じ最適化が使用されます。
+
+`*_path_cache` を機能させるオーバーライドを図にすると、次のようになります。
+
+![Bootsnapの説明図](https://cloud.githubusercontent.com/assets/3074765/24532120/eed94e64-158b-11e7-9137-438d759b2ac8.png)
+
+Bootsnap は、 `$LOAD_PATH` エントリを安定エントリと不安定エントリの2つのカテゴリに分類します。不安定エントリはアプリケーションが起動するたびにスキャンされ、そのキャッシュは30秒間だけ有効になります。安定エントリーに期限切れはありません。コンテンツがスキャンされると、決して変更されないものとみなされます。
+
+安定していると考えられる唯一のディレクトリは、Rubyのインストールプレフィックス (`RbConfig::CONFIG['prefix']`, または `/usr/local/ruby` や `~/.rubies/x.y.z`)下にあるものと、`Gem.path` (たとえば　`~/.gem/ruby/x.y.z`) や `Bundler.bundle_path` 下にあるものです。他のすべては不安定エントリと分類されます。
+
+[`Bootsnap::LoadPathCache::Cache`](https://github.com/Shopify/bootsnap/blob/master/lib/bootsnap/load_path_cache/cache.rb) に加えて次の図では、エントリの解決がどのように機能するかを理解するのに役立つかもしれません。経路探索は以下のようになります。
+
+![パス探索の仕組み](https://cloud.githubusercontent.com/assets/3074765/25388270/670b5652-299b-11e7-87fb-975647f68981.png)
+
+また、`LoadError` のスキャンがどれほど重いかに注意を払うことも大切です。もし Ruby が `require 'something'` を評価し、そのファイルが `$LOAD_PATH` にない場合は、それを知るために `2 * $LOAD_PATH.length` のファイルシステムアスセスが必要になります。Bootsnap は、ファイルシステムにまったく触れずに `LoadError` を投げ、この結果をキャッシュします。
+
+## Compilation Caching
+
+*（このコンセプトのより分かりやすい解説は [yomikomu](https://github.com/ko1/yomikomu) をお読み下さい。)*
+
+Ruby には複雑な文法が実装されており、構文解析は簡単なオペレーションではありません。1.9以降、Ruby は Ruby ソースを内部のバイトコードに変換した後、Ruby VM によって実行してきました。2.3.0 以降、[RubyはAPIを公開し](https://ruby-doc.org/core-2.3.0/RubyVM/InstructionSequence.html)、そのバイトコードをキャッシュすることができるようになりました。これにより、同じファイルが複数ロードされた時の、比較的時間のかかる部分をバイパスすることができます。
+
+また、アプリケーションの起動時に YAML ドキュメントの読み込みに多くの時間を費やしていることを発見しました。そして、 MessagePack と Marshal は deserialization にあたって YAML よりもはるかに高速であるということに気付きました。そこで、YAML ドキュメントを、Ruby バイトコードと同じコンパイルキャッシングの最適化を施すことで、高速化しています。Ruby の "バイトコード" フォーマットに相当するものは MessagePack ドキュメント (あるいは、MessagePack をサポートしていないタイプの YAML ドキュメントの場合は、Marshal stream)になります。
+
+これらのコンパイル結果は、入力ファイル（FNV1a-64）のフルパスのハッシュを取って生成されたファイル名で、キャッシュディレクトリに保存されます。
+
+Bootsnap 無しでは、ファイルを `require` するために生成された syscall の順序は次のようになっていました:
+
+```
+open    /c/foo.rb -> m
+fstat64 m
+close   m
+open    /c/foo.rb -> o
+fstat64 o
+fstat64 o
+read    o
+read    o
+...
+close   o
+```
+
+しかし Bootsnap では、次のようになります:
+
+```
+open      /c/foo.rb -> n
+fstat64   n
+close     n
+open      /c/foo.rb -> n
+fstat64   n
+open      (cache) -> m
+read      m
+read      m
+close     m
+close     n
+```
+
+これは一見劣化していると思われるかもしれませんが、性能に大きな違いがあります。
+
+*（両方のリストの最初の3つの syscalls -- `open`, `fstat64`, `close` -- は本質的に有用ではありません。[このRubyパッチ](https://bugs.ruby-lang.org/issues/13378)は、Boosnap と組み合わせることによって、それらを最適化しています）*
+
+Bootsnap は、64バイトのヘッダーとそれに続くキャッシュの内容を含んだキャッシュファイルを書き込みます。ヘッダーは、次のいくつかのフィールドで構成されるキャッシュキーです。
+
+- `version`、Bootsnapにハードコードされる基本的なスキーマのバージョン
+- `os_version`、(macOS, BSDの) 現在のカーネルバージョンか 、(Linuxの) glibc のバージョンのハッシュ
+- `compile_option`、`RubyVM::InstructionSequence.compile_option` の返り値
+- `ruby_revision`、コンパイルされたRubyのバージョン
+- `size`、ソースファイルのサイズ
+- `mtime`、コンパイル時のソースファイルの最終変更タイムスタンプ
+- `data_size`、バッファに読み込む必要のあるヘッダーに続くバイト数。
+
+キーが有効な場合、キャッシュがファイルからロードされます。そうでない場合、キャッシュは再生成され、現在のキャッシュを破棄します。
+
+# 最終的なキャッシュ結果
+
+次のファイル構造があるとします。
+
+```
+/
+├── a
+├── b
+└── c
+    └── foo.rb
+```
+
+そして、このような `$LOAD_PATH` があるとします。
+
+```
+["/a", "/b", "/c"]
+```
+
+Bootsnap なしで `require 'foo'` を呼び出すと、Ruby は次の順序で syscalls を生成します:
+
+```
+open    /a/foo.rb -> -1
+open    /b/foo.rb -> -1
+open    /c/foo.rb -> n
+close   n
+open    /c/foo.rb -> m
+fstat64 m
+close   m
+open    /c/foo.rb -> o
+fstat64 o
+fstat64 o
+read    o
+read    o
+...
+close   o
+```
+
+しかし Bootsnap では、次のようになります:
+
+```
+open      /c/foo.rb -> n
+fstat64   n
+close     n
+open      /c/foo.rb -> n
+fstat64   n
+open      (cache) -> m
+read      m
+read      m
+close     m
+close     n
+```
+
+Bootsnap なしで `require 'nope'` を呼び出すと、次のようになります:
+
+```
+open    /a/nope.rb -> -1
+open    /b/nope.rb -> -1
+open    /c/nope.rb -> -1
+open    /a/nope.bundle -> -1
+open    /b/nope.bundle -> -1
+open    /c/nope.bundle -> -1
+```
+
+...そして、Bootsnap で `require 'nope'` を呼び出すと、次のようになります...
+
+```
+# (nothing!)
+```

data/README.md

@@ -10,7 +10,7 @@ to optimize and cache expensive computations. See [How Does This Work](#how-does
 
 ## Usage
 
-This gem works on MacOS and Linux.
+This gem works on macOS and Linux.
 
 Add `bootsnap` to your `Gemfile`:
 
@@ -24,6 +24,9 @@ If you are using Rails, add this to `config/boot.rb` immediately after `require
 require 'bootsnap/setup'
 ```
 
+It's technically possible to simply specify `gem 'bootsnap', require: 'bootsnap/setup'`, but it's
+important to load Bootsnap as early as possible to get maximum performance improvement.
+
 You can see how this require works [here](https://github.com/Shopify/bootsnap/blob/master/lib/bootsnap/setup.rb).
 
 If you are not using Rails, or if you are but want more control over things, add this to your

data/Rakefile

@@ -1,4 +1,5 @@
-require 'rake/extensiontask'
+require('rake/extensiontask')
+require('bundler/gem_tasks')
 
 gemspec = Gem::Specification.load('bootsnap.gemspec')
 Rake::ExtensionTask.new do |ext|

data/bin/ci

@@ -0,0 +1,10 @@
+#!/bin/bash
+
+set -euxo pipefail
+
+if [[ "${MINIMAL_SUPPORT-0}" -eq 1 ]]; then
+  exec bin/test-minimal-support
+else
+  rake
+  exec bin/testunit
+fi

data/bin/console

@@ -1,7 +1,7 @@
 #!/usr/bin/env ruby
 
-require "bundler/setup"
-require "bootsnap"
+require("bundler/setup")
+require("bootsnap")
 
 # You can add fixtures and/or initialization code here to make experimenting
 # with your gem easier. You can also use a different console, if you like.
@@ -10,5 +10,5 @@ require "bootsnap"
 # require "pry"
 # Pry.start
 
-require "irb"
+require("irb")
 IRB.start(__FILE__)

data/bin/test-minimal-support

@@ -0,0 +1,7 @@
+#!/bin/bash
+
+set -euxo pipefail
+
+cd test/minimal_support
+bundle
+BOOTSNAP_CACHE_DIR=/tmp bundle exec ruby -w -I ../../lib bootsnap_setup.rb

data/bootsnap.gemspec

@@ -1,7 +1,7 @@
 # coding: utf-8
 lib = File.expand_path('../lib', __FILE__)
 $LOAD_PATH.unshift(lib) unless $LOAD_PATH.include?(lib)
-require 'bootsnap/version'
+require('bootsnap/version')
 
 Gem::Specification.new do |spec|
   spec.name          = "bootsnap"
@@ -15,10 +15,16 @@ Gem::Specification.new do |spec|
   spec.description   = spec.summary
   spec.homepage      = "https://github.com/Shopify/bootsnap"
 
-  spec.files = `git ls-files -z`.split("\x0").reject do |f|
+  spec.metadata = {
+    'bug_tracker_uri' => 'https://github.com/Shopify/bootsnap/issues',
+    'changelog_uri' => 'https://github.com/Shopify/bootsnap/blob/master/CHANGELOG.md',
+    'source_code_uri' => 'https://github.com/Shopify/bootsnap',
+  }
+
+  spec.files = %x(git ls-files -z).split("\x0").reject do |f|
     f.match(%r{^(test|spec|features)/})
   end
-  spec.require_paths = ["lib"]
+  spec.require_paths = %w(lib)
 
   spec.required_ruby_version = '>= 2.0.0'
 
@@ -29,11 +35,11 @@ Gem::Specification.new do |spec|
     spec.extensions  = ['ext/bootsnap/extconf.rb']
   end
 
-  spec.add_development_dependency "bundler", '~> 1'
-  spec.add_development_dependency 'rake', '~> 10.0'
-  spec.add_development_dependency 'rake-compiler', '~> 0'
-  spec.add_development_dependency "minitest", "~> 5.0"
-  spec.add_development_dependency "mocha", "~> 1.2"
+  spec.add_development_dependency("bundler")
+  spec.add_development_dependency('rake', '~> 10.0')
+  spec.add_development_dependency('rake-compiler', '~> 0')
+  spec.add_development_dependency("minitest", "~> 5.0")
+  spec.add_development_dependency("mocha", "~> 1.2")
 
-  spec.add_runtime_dependency "msgpack", "~> 1.0"
+  spec.add_runtime_dependency("msgpack", "~> 1.0")
 end

data/dev.yml

@@ -2,7 +2,7 @@ env:
   BOOTSNAP_PEDANTIC: '1'
 
 up:
-  - ruby: 2.3.3
+  - ruby: 2.6.0
   - bundler
 commands:
   build: rake compile

data/ext/bootsnap/bootsnap.c

@@ -94,7 +94,6 @@ static int cache_key_equal(struct bs_cache_key * k1, struct bs_cache_key * k2);
 static VALUE bs_fetch(char * path, VALUE path_v, char * cache_path, VALUE handler);
 static int open_current_file(char * path, struct bs_cache_key * key, char ** errno_provenance);
 static int fetch_cached_data(int fd, ssize_t data_size, VALUE handler, VALUE * output_data, int * exception_tag, char ** errno_provenance);
-static VALUE prot_exception_for_errno(VALUE err);
 static uint32_t get_ruby_platform(void);
 
 /*
@@ -270,6 +269,8 @@ cache_key_equal(struct bs_cache_key * k1, struct bs_cache_key * k2)
 static VALUE
 bs_rb_fetch(VALUE self, VALUE cachedir_v, VALUE path_v, VALUE handler)
 {
+  FilePathValue(path_v);
+
   Check_Type(cachedir_v, T_STRING);
   Check_Type(path_v, T_STRING);
 
@@ -520,22 +521,6 @@ atomic_write_cache_file(char * path, struct bs_cache_key * key, VALUE data, char
   return ret;
 }
 
-/*
- * Given an errno value (converted to a ruby Fixnum), return the corresponding
- * Errno::* constant. If none is found, return StandardError instead.
- */
-static VALUE
-prot_exception_for_errno(VALUE err)
-{
-  if (err != INT2FIX(0)) {
-    VALUE mErrno = rb_const_get(rb_cObject, rb_intern("Errno"));
-    VALUE constants = rb_funcall(mErrno, rb_intern("constants"), 0);
-    VALUE which = rb_funcall(constants, rb_intern("[]"), 1, err);
-    return rb_funcall(mErrno, rb_intern("const_get"), 1, which);
-  }
-  return rb_eStandardError;
-}
-
 
 /* Read contents from an fd, whose contents are asserted to be +size+ bytes
  * long, into a buffer */
@@ -689,11 +674,7 @@ succeed:
   return output_data;
 fail_errno:
   CLEANUP;
-  exception = rb_protect(prot_exception_for_errno, INT2FIX(errno), &res);
-  if (res) exception = rb_eStandardError;
-  if (errno_provenance != NULL) {
-    exception = rb_exc_new_str(exception, rb_str_new2(errno_provenance));
-  }
+  exception = rb_syserr_new(errno, errno_provenance);
   rb_exc_raise(exception);
   __builtin_unreachable();
 raise: