ruby-dnn 0.6.7 → 0.6.8

checksums.yaml

@@ -1,7 +1,7 @@
 ---
 SHA256:
-  metadata.gz: 5aeb8ad44e4e4bd11c91c64f2a019234f0f0c346c1efca4d7a0439674aeec9c1
-  data.tar.gz: 197d78045cebfc7e3b4eb3d24e7fce633a6b9e2d6fbe7de2611fc893ea24ac61
+  metadata.gz: 95749384aa75b235acbae6d8be2ff595120eef4e4737470ade303c610ea448f4
+  data.tar.gz: fdaff7544dbfbb8ef7d8f7cdb6676d33fc99d88f4d7f79f8c6f4c7564ecb58c5
 SHA512:
-  metadata.gz: a76966c0a8872049b181ab762cd3c3cd8ab1ab4cc804bf5fe9c6c4fe34c346f01c7b8d340d2a509674eda96804993b9291136f5fda902691cc6b18d0b008b575
-  data.tar.gz: '08370ee3035f15947a527255336de5671c0ebe03a76d2e458c692ed149e2318a6475d714c078dabc8ea28d20d8411b651150598c72cbe81e8aa48b01a7469a9a'
+  metadata.gz: e537e7a795c39f61933af29730256e9f523879620075fccf125260b61f8ccd623b3ddc6a0bca5e0d5d07ad1f5aeee1129ad60ece5359211d25e98cbc92b13ade
+  data.tar.gz: 89ffc6e14c02476f683eb4057c1192c9e80a1a8f79b08a577378cef8f7b58c62992351ab01680d64a6c0339e853a5f0131037621bba975d590493dce0e98507a

data/API-Reference.ja.md

@@ -2,7 +2,7 @@
 ruby-dnnのAPIリファレンスです。このリファレンスでは、APIを利用するうえで必要となるクラスとメソッドしか記載していません。
 そのため、プログラムの詳細が必要な場合は、ソースコードを参照してください。
 
-最終更新バージョン:0.6.7
+最終更新バージョン:0.6.8
 
 # module DNN
 ruby-dnnの名前空間をなすモジュールです。
@@ -757,18 +757,36 @@ RMSPropによるオプティマイザです。
 
 ## 【Properties】
 
-## attr_accessor :muse
-Float muse  
+## attr_accessor :alpha
+Float alpha  
 指数平均移動のための係数。
 
 ## 【Instance methods】
 
-## def initialize(learning_rate = 0.001, muse = 0.9)
+## def initialize(learning_rate = 0.001, alpha: 0.9)
 コンストラクタ。
 ### arguments
 * Float learning_rate  
   学習率。
-* Float muse  
+* Float alpha  
+  指数平均移動のための係数。
+
+
+# class AdaDelta < Optimizer
+AdaDeltaによるオプティマイザです。
+
+## 【Properties】
+
+## attr_accessor :rho
+Float rho  
+指数平均移動のための係数。
+
+## 【Instance methods】
+
+## def initialize(rho: 0.95)
+コンストラクタ。
+### arguments
+* Float rho  
   指数平均移動のための係数。
 
 
@@ -787,7 +805,7 @@ Float beta2
 
 ## 【Instance methods】
 
-## def initialize(learning_rate = 0.001, beta1 = 0.9, beta2 = 0.999)
+## def initialize(learning_rate = 0.001, beta1: 0.9, beta2: 0.999)
 コンストラクタ。
 ### arguments
 * Float beta1

data/examples/mnist_conv2d_example.rb

@@ -2,7 +2,6 @@ require "dnn"
 require "dnn/lib/mnist"
 #require "numo/linalg/autoloader"
 
-include Numo
 include DNN::Layers
 include DNN::Activations
 include DNN::Optimizers

data/examples/mnist_lstm_example.rb

@@ -2,7 +2,6 @@ require "dnn"
 require "dnn/lib/mnist"
 #require "numo/linalg/autoloader"
 
-include Numo
 include DNN::Layers
 include DNN::Activations
 include DNN::Optimizers

data/examples/xor_example.rb

@@ -1,6 +1,5 @@
 require "dnn"
 
-include Numo
 include DNN::Layers
 include DNN::Activations
 include DNN::Optimizers

data/lib/dnn/core/optimizers.rb

@@ -95,15 +95,15 @@ module DNN
     
     
     class RMSProp < Optimizer
-      attr_accessor :muse
+      attr_accessor :alpha
 
       def self.load_hash(hash)
-        self.new(hash[:learning_rate], hash[:muse])
+        self.new(hash[:learning_rate], alpha: hash[:alpha])
       end
     
-      def initialize(learning_rate = 0.001, muse = 0.9)
+      def initialize(learning_rate = 0.001, alpha: 0.9)
         super(learning_rate)
-        @muse = muse
+        @alpha = alpha
         @g = {}
       end
     
@@ -111,13 +111,46 @@ module DNN
         @g[layer] ||= {}
         layer.params.each_key do |key|
           @g[layer][key] ||= 0
-          @g[layer][key] = @muse * @g[layer][key] + (1 - @muse) * layer.grads[key]**2
+          @g[layer][key] = @alpha * @g[layer][key] + (1 - @alpha) * layer.grads[key]**2
           layer.params[key] -= (@learning_rate / Xumo::NMath.sqrt(@g[layer][key] + 1e-7)) * layer.grads[key]
         end
       end
 
       def to_hash
-        super({muse: @muse})
+        super({alpha: @alpha})
+      end
+    end
+
+
+    class AdaDelta < Optimizer
+      attr_accessor :rho
+
+      def self.load_hash(hash)
+        self.new(rho: hash[:rho])
+      end
+
+      def initialize(rho: 0.95)
+        super(nil)
+        @rho = rho
+        @h = {}
+        @s = {}
+      end
+
+      def update(layer)
+        @h[layer] ||= {}
+        @s[layer] ||= {}
+        layer.params.each_key do |key|
+          @h[layer][key] ||= Xumo::SFloat.zeros(*layer.params[key].shape)
+          @s[layer][key] ||= Xumo::SFloat.zeros(*layer.params[key].shape)
+          @h[layer][key] = @rho * @h[layer][key] + (1 - @rho) * layer.grads[key]**2
+          v = (Xumo::NMath.sqrt(@s[layer][key] + 1e-6) / Xumo::NMath.sqrt(@h[layer][key] + 1e-6)) * layer.grads[key]
+          @s[layer][key] = @rho * @s[layer][key] + (1 - @rho) * v**2
+          layer.params[key] -= v
+        end
+      end
+
+      def to_hash
+        super({rho: @rho})
       end
     end
 
@@ -125,8 +158,12 @@ module DNN
     class Adam < Optimizer
       attr_accessor :beta1
       attr_accessor :beta2
+      
+      def self.load_hash(hash)
+        self.new(hash[:learning_rate], beta1: hash[:beta1], beta2: hash[:beta2])
+      end
 
-      def initialize(learning_rate = 0.001, beta1 = 0.9, beta2 = 0.999)
+      def initialize(learning_rate = 0.001, beta1: 0.9, beta2: 0.999)
         super(learning_rate)
         @beta1 = beta1
         @beta2 = beta2
@@ -135,10 +172,6 @@ module DNN
         @v = {}
       end
 
-      def self.load_hash(hash)
-        self.new(hash[:learning_rate], hash[:beta1], hash[:beta2])
-      end
-
       def update(layer)
         @iter += 1
         @m[layer] ||= {}

data/lib/dnn/version.rb

@@ -1,3 +1,3 @@
 module DNN
-  VERSION = "0.6.7"
+  VERSION = "0.6.8"
 end

metadata

@@ -1,14 +1,14 @@
 --- !ruby/object:Gem::Specification
 name: ruby-dnn
 version: !ruby/object:Gem::Version
-  version: 0.6.7
+  version: 0.6.8
 platform: ruby
 authors:
 - unagiootoro
 autorequire: 
 bindir: exe
 cert_chain: []
-date: 2018-08-25 00:00:00.000000000 Z
+date: 2018-09-01 00:00:00.000000000 Z
 dependencies:
 - !ruby/object:Gem::Dependency
   name: numo-narray