store_agent 1.0.0

data/Rakefile

@@ -0,0 +1,2 @@
+require "bundler/gem_tasks"
+

data/lib/store_agent.rb

@@ -0,0 +1,31 @@
+#--
+# Copyright 2015 realglobe, Inc.
+#
+# Licensed under the Apache License, Version 2.0 (the "License");
+# you may not use this file except in compliance with the License.
+# You may obtain a copy of the License at
+#
+#     http://www.apache.org/licenses/LICENSE-2.0
+#
+# Unless required by applicable law or agreed to in writing, software
+# distributed under the License is distributed on an "AS IS" BASIS,
+# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
+# See the License for the specific language governing permissions and
+# limitations under the License.
+#++
+
+require "forwardable"
+require "oj"
+require "store_agent/version"
+require "store_agent/config"
+require "store_agent/exceptions"
+require "store_agent/validator"
+require "store_agent/user"
+require "store_agent/workspace"
+require "store_agent/node"
+require "store_agent/version_manager"
+require "store_agent/data_encoder"
+
+# https://github.com/realglobe-Inc/store_agent も参照。
+module StoreAgent
+end

data/lib/store_agent/config.rb

@@ -0,0 +1,152 @@
+#--
+# Copyright 2015 realglobe, Inc.
+#
+# Licensed under the Apache License, Version 2.0 (the "License");
+# you may not use this file except in compliance with the License.
+# You may obtain a copy of the License at
+#
+#     http://www.apache.org/licenses/LICENSE-2.0
+#
+# Unless required by applicable law or agreed to in writing, software
+# distributed under the License is distributed on an "AS IS" BASIS,
+# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
+# See the License for the specific language governing permissions and
+# limitations under the License.
+#++
+
+module StoreAgent
+  module_function
+
+  # 設定を変更するメソッド
+  #   StoreAgent.configure do |c|
+  #     c.storage_root = "/path/to/storage/root"
+  #     c.version_manager = StoreAgent::VersionManager::RuggedGit
+  #   end
+  # 変更可能な項目は config メソッドを参照
+  def configure
+    yield config
+  end
+
+  # 設定を参照するメソッド
+  #   c = StoreAgent.config # => #<StoreAgent::Configuration:...>
+  #   c.storage_root        # => "/path/to/storage/root"
+  #   c.storage_dirname     # => "/storage"
+  # 各設定と初期値は以下
+  # [storage_root]
+  #   ライブラリがファイルやメタデータを保存するディレクトリのパス。
+  #     c.storage_root # => "/tmp/store_agent"
+  # [storage_dirname]
+  #   ワークスペース内で、ファイルの実体を保存するディレクトリ名。
+  #     c.storage_dirname # => "/storage"
+  # [metadata_dirname]
+  #   ワークスペース内で、ファイルのメタデータを保存するディレクトリ名。
+  #     c.metadata_dirname # => "/metadata"
+  # [permission_dirname]
+  #   ワークスペース内で、ファイルの権限情報を保存するディレクトリ名。
+  #     c.permission_dirname # => "/permission"
+  # [metadata_extension]
+  #   メタデータファイルの拡張子。<br>
+  #   名前の末尾がこの拡張子と一致する場合、ファイルやディレクトリは作成できない。
+  #     c.metadata_extension # => ".meta"
+  # [permission_extension]
+  #   権限情報ファイルの拡張子。<br>
+  #   名前の末尾がこの拡張子と一致する場合、ファイルやディレクトリは作成できない。
+  #     c.permission_extension # => ".perm"
+  # [superuser_identifier]
+  #   スーパーユーザーのユーザーID。
+  #     c.superuser_identifier # => "root"
+  # [guest_identifier]
+  #   ゲストユーザーのユーザーID。
+  #     c.guest_identifier # => "nobody"
+  # [version_manager]
+  #   バージョン管理に使用するクラスの名前。
+  #     c.version_manager # => StoreAgent::VersionManager
+  # [storage_data_encoders]
+  #   ファイルの実体をエンコードするのに使用するインスタンスの配列。<br>
+  #   配列が複数要素を含む場合、各インスタンスのencode/decodeメソッドが順に呼ばれる。
+  #     c.storage_data_encoders # => []
+  # [attachment_data_encoders]
+  #   ファイルのメタデータ/権限情報をエンコードするのに使用するインスタンスの配列。<br>
+  #   配列が複数要素を含む場合、各インスタンスのencode/decodeメソッドが順に呼ばれる。
+  #     c.attachment_data_encoders # => []
+  # [reserved_filenames]
+  #   システムが予約しているファイル名の配列。<br>
+  #   名前が含まれている場合、ファイルやディレクトリは作成できない。
+  #     c.reserved_filenames # => [".", ".."]
+  # [lock_timeout]
+  #   ファイル読み書き時のロックのタイムアウト秒数。
+  #     c.lock_timeout # => 0.1
+  # [default_directory_bytesize_limit]
+  #   現在のバージョンでは使用していない。
+  # [json_indent_level]
+  #   メタデータ/権限情報をJSON形式で保存する際、半角スペース何個でインデントするかの指定。
+  #     c.json_indent_level # => 2
+  # [default_owner_permission]
+  #   ファイルやディレクトリの作成者にデフォルトで付与される権限。<br>
+  #   現在のバージョンでは read、write、chown、chmod の4種類が権限として使用できる。
+  #     c.default_owner_permission
+  #     # =>
+  #     # {
+  #     #   "read" => true,
+  #     #   "write" => true,
+  #     #   "execute" => true
+  #     # }
+  # [default_guest_permission]
+  #   権限情報が登録されていないユーザーやゲストユーザーに対して付与される権限。
+  #     c.default_guest_permission # => {}
+  def config
+    @config ||= StoreAgent::Configuration.new
+  end
+
+  def reserved_filenames # :nodoc:
+    config.reserved_filenames | config.version_manager.reserved_filenames
+  end
+
+  # 設定を保持するためのクラス<br>
+  # 設定可能な項目は、StoreAgent.config を参照
+  class Configuration
+    # :enddoc:
+    attr_accessor :storage_root
+    attr_accessor :storage_dirname
+    attr_accessor :metadata_dirname
+    attr_accessor :permission_dirname
+    attr_accessor :metadata_extension
+    attr_accessor :permission_extension
+    attr_accessor :superuser_identifier
+    attr_accessor :guest_identifier
+    attr_accessor :version_manager
+    attr_accessor :storage_data_encoders
+    attr_accessor :attachment_data_encoders
+    attr_accessor :reserved_filenames
+    attr_accessor :lock_timeout
+    attr_accessor :default_directory_bytesize_limit
+    attr_accessor :json_indent_level
+    attr_accessor :default_owner_permission
+    attr_accessor :default_guest_permission
+
+    def initialize # :nodoc:
+      @storage_root = "/tmp/store_agent"
+      @storage_dirname = "/storage"
+      @metadata_dirname = "/metadata"
+      @permission_dirname = "/permission"
+      @metadata_extension = ".meta"
+      @permission_extension = ".perm"
+      @superuser_identifier = "root"
+      @guest_identifier = "nobody"
+      @version_manager = StoreAgent::VersionManager
+      @storage_data_encoders = []
+      @attachment_data_encoders = []
+      @reserved_filenames = %w(. ..)
+      @lock_timeout = 0.1
+      @default_directory_bytesize_limit = 2 ** 30
+      @default_owner_permission = {
+        "read" => true,
+        "write" => true,
+        "execute" => true,
+        "chown" => true,
+        "chmod" => true
+      }
+      @default_guest_permission = {}
+    end
+  end
+end

data/lib/store_agent/data_encoder.rb

@@ -0,0 +1,32 @@
+#--
+# Copyright 2015 realglobe, Inc.
+#
+# Licensed under the Apache License, Version 2.0 (the "License");
+# you may not use this file except in compliance with the License.
+# You may obtain a copy of the License at
+#
+#     http://www.apache.org/licenses/LICENSE-2.0
+#
+# Unless required by applicable law or agreed to in writing, software
+# distributed under the License is distributed on an "AS IS" BASIS,
+# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
+# See the License for the specific language governing permissions and
+# limitations under the License.
+#++
+
+require "store_agent/data_encoder/gzip_encoder"
+require "store_agent/data_encoder/openssl_aes_256_cbc_encoder"
+
+module StoreAgent
+  # データを保存する際に使用するエンコーダ<br>
+  # このクラス自体は継承して使用するためのインターフェースなので、そのままでは使用できない
+  class DataEncoder
+    def encode(*, &block)
+      yield.force_encoding("UTF-8")
+    end
+
+    def decode(*, &block)
+      yield.force_encoding("UTF-8")
+    end
+  end
+end

data/lib/store_agent/data_encoder/gzip_encoder.rb

@@ -0,0 +1,50 @@
+#--
+# Copyright 2015 realglobe, Inc.
+#
+# Licensed under the Apache License, Version 2.0 (the "License");
+# you may not use this file except in compliance with the License.
+# You may obtain a copy of the License at
+#
+#     http://www.apache.org/licenses/LICENSE-2.0
+#
+# Unless required by applicable law or agreed to in writing, software
+# distributed under the License is distributed on an "AS IS" BASIS,
+# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
+# See the License for the specific language governing permissions and
+# limitations under the License.
+#++
+
+require "zlib"
+
+module StoreAgent
+  class DataEncoder
+    # データをgzip圧縮して保存するためのエンコーダ<br>
+    # 使用する際には StoreAgent.configure で初期化時に指定する
+    #   StoreAgent.configure do |c|
+    #     c.storage_data_encoders = [StoreAgent::DataEncoder::GzipEncoder.new]
+    #   end
+    class GzipEncoder < DataEncoder
+      def encode(data, **_)
+        super do
+          StringIO.open("", "r+") do |sio|
+            Zlib::GzipWriter.wrap(sio) do |gz|
+              gz.write(data)
+              gz.finish
+            end
+            sio.rewind
+            sio.read
+          end
+        end
+      end
+
+      def decode(encrypted_data, **_)
+        super do
+          sio = StringIO.new(encrypted_data, "r")
+          Zlib::GzipReader.wrap(sio) do |gz|
+            gz.read
+          end
+        end
+      end
+    end
+  end
+end

data/lib/store_agent/data_encoder/openssl_aes_256_cbc_encoder.rb

@@ -0,0 +1,65 @@
+#--
+# Copyright 2015 realglobe, Inc.
+#
+# Licensed under the Apache License, Version 2.0 (the "License");
+# you may not use this file except in compliance with the License.
+# You may obtain a copy of the License at
+#
+#     http://www.apache.org/licenses/LICENSE-2.0
+#
+# Unless required by applicable law or agreed to in writing, software
+# distributed under the License is distributed on an "AS IS" BASIS,
+# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
+# See the License for the specific language governing permissions and
+# limitations under the License.
+#++
+
+module StoreAgent
+  class DataEncoder
+    # データを OpenSSL AES-256-CBC で暗号化して保存するためのエンコーダ
+    #   StoreAgent.configure do |c|
+    #     c.storage_data_encoders = [StoreAgent::DataEncoder::OpensslAes256CbcEncoder]
+    #   end
+    # 暗号化にパスワードを使用する場合、環境変数で指定する
+    #   $ env STORE_AGENT_DATA_ENCODER_PASSWORD=password ruby-command
+    # 指定が無い場合には空文字列をパスワードとして使用する
+    class OpensslAes256CbcEncoder < DataEncoder
+      def initialize # :nodoc:
+        @password = ENV["STORE_AGENT_DATA_ENCODER_PASSWORD"] || ""
+        @encryptor = OpenSSL::Cipher::AES.new(256, "CBC")
+      end
+
+      def encode(data, password: @password, **_)
+        super do
+          @encryptor.encrypt
+          salt = OpenSSL::Random.random_bytes(8)
+          encrypted_data = crypt(data: data, password: password, salt: salt)
+          "Salted__#{salt}#{encrypted_data}"
+        end
+      end
+
+      def decode(encrypted_data, password: @password, **_)
+        super do
+          @encryptor.decrypt
+          encrypted_data.force_encoding("ASCII-8BIT")
+          salt = encrypted_data[8..15]
+          data = encrypted_data[16..-1]
+          crypt(data: data, password: password, salt: salt)
+        end
+      end
+
+      private
+
+      def crypt(data: "", password: "", salt: "")
+        md5_base = "#{password}#{salt}".force_encoding("ASCII-8BIT")
+        md5_digest1 = OpenSSL::Digest::MD5.new(md5_base).digest
+        md5_digest2 = OpenSSL::Digest::MD5.new("#{md5_digest1}#{md5_base}").digest
+        md5_digest3 = OpenSSL::Digest::MD5.new("#{md5_digest2}#{md5_base}").digest
+        @encryptor.padding = 1
+        @encryptor.key = "#{md5_digest1}#{md5_digest2}"
+        @encryptor.iv = md5_digest3
+        @encryptor.update(data) + @encryptor.final
+      end
+    end
+  end
+end

data/lib/store_agent/exceptions.rb

@@ -0,0 +1,87 @@
+#--
+# Copyright 2015 realglobe, Inc.
+#
+# Licensed under the Apache License, Version 2.0 (the "License");
+# you may not use this file except in compliance with the License.
+# You may obtain a copy of the License at
+#
+#     http://www.apache.org/licenses/LICENSE-2.0
+#
+# Unless required by applicable law or agreed to in writing, software
+# distributed under the License is distributed on an "AS IS" BASIS,
+# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
+# See the License for the specific language governing permissions and
+# limitations under the License.
+#++
+
+module StoreAgent
+  # 引数として渡されたパスが不正な場合に発生する例外クラス
+  #   workspace.directory("invalid/directory/path").create
+  #   # => 既にディレクトリがある場合、例外が発生する
+  #   workspace.file("invalid/file/path").delete
+  #   # => 指定したパスにファイルが存在しない場合、例外が発生する
+  class InvalidPathError < StandardError
+  end
+
+  # ファイルのコピー/移動時に、コピー元とコピー先の種類が違う場合に発生する例外クラス
+  #   workspace.directory("path/to/directory").copy("path/to/file")
+  #   # => ディレクトリのコピー先にファイルが存在する場合、例外が発生する
+  class InvalidNodeTypeError < StandardError
+    attr_reader :src_object, :dest_object # :nodoc:
+
+    def initialize(src_object: nil, dest_object: nil)
+      @src_object = src_object
+      @dest_object = dest_object
+    end
+
+    def to_s # :nodoc:
+      if @src_object && @dest_object
+        "invalid node type: '#{@src_object.path}' is #{@src_object.filetype}, '#{@dest_object.path}' is #{@dest_object.filetype}"
+      else
+        "invalid node type"
+      end
+    end
+  end
+
+  # 権限が無いユーザーでファイルの読み書きなどを行った場合に発生する例外クラス
+  #   guest_user.workspace("wc").file("file").create("file body")
+  #   # => ファイルの書き込み権限が無い場合、例外が発生する
+  class PermissionDeniedError < StandardError
+    attr_reader :errors, :object, :permission # :nodoc:
+
+    # 操作対象が1つの場合には object と permission を渡す。<br>
+    # ディレクトリの削除時など、操作対象が複数ある場合には errors に例外の配列を渡す。
+    def initialize(errors: nil, object: nil, permission: "")
+      @errors = errors
+      @object = object
+      @permission = permission
+    end
+
+    def to_s # :nodoc:
+      if @errors
+        "permission denied: user=#{@errors.first.object.current_user.identifiers} " +
+        @errors.map do |e|
+          "workspace=#{e.object.workspace.namespace} permission=#{e.permission} object=#{e.object.path}"
+        end.join(", ")
+      else
+        "permission denied: user=#{object.current_user.identifiers} workspace=#{object.workspace.namespace} permission=#{permission} object=#{object.path}"
+      end
+    end
+  end
+
+  # バージョン管理時に、不正なリビジョンが指定された場合に発生する例外クラス
+  #   workspace.file("path/to/file").read(revision: "invalid revision")
+  #   # => 存在しないリビジョンを指定した場合、例外が発生する
+  class InvalidRevisionError < StandardError
+    attr_reader :path, :revision # :nodoc:
+
+    def initialize(path: "", revision: "")
+      @path = path
+      @revision = revision
+    end
+
+    def to_s # :nodoc:
+      "invalid revision: path=#{path} revision=#{revision}"
+    end
+  end
+end

data/lib/store_agent/node.rb

@@ -0,0 +1,26 @@
+#--
+# Copyright 2015 realglobe, Inc.
+#
+# Licensed under the Apache License, Version 2.0 (the "License");
+# you may not use this file except in compliance with the License.
+# You may obtain a copy of the License at
+#
+#     http://www.apache.org/licenses/LICENSE-2.0
+#
+# Unless required by applicable law or agreed to in writing, software
+# distributed under the License is distributed on an "AS IS" BASIS,
+# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
+# See the License for the specific language governing permissions and
+# limitations under the License.
+#++
+
+require "store_agent/node/prepend_module/path_validator"
+require "store_agent/node/prepend_module/permission_checker"
+require "store_agent/node/prepend_module/locker"
+require "store_agent/node/object"
+require "store_agent/node/object/virtual_object"
+require "store_agent/node/object/directory_object"
+require "store_agent/node/object/file_object"
+require "store_agent/node/attachment"
+require "store_agent/node/attachment/metadata"
+require "store_agent/node/attachment/permission"