ruby-dnn 0.5.11 → 0.5.12

checksums.yaml

@@ -1,7 +1,7 @@
 ---
 SHA256:
-  metadata.gz: 7042e521d632ba478fe494c644e5fa9c525f0dbc98ff168a39cafc0d7990db78
-  data.tar.gz: 624f38a50832523e0bbb42d7b392d7e77b0c926d6cd28258ba158ce50a4be56b
+  metadata.gz: 96c9ff5d01c5d85fc4aff092d5985db64e8848d8e0ce2da952afb28c49794d7c
+  data.tar.gz: 7860cf4b52fa8742fe01b42039a91b183efe6b0d50a41c14533e844d3c687c95
 SHA512:
-  metadata.gz: 6aa33554d27f1f1b126e4dc65a191d84f3e5f96648a0b14368fa456aa703214c60f568d37416b2d09478e6ea9f03dc819c61e18663f5c523dcdb3e47a20a9ae9
-  data.tar.gz: 12efc285e47702e6134518a13c582354329344b0e6a754f73e760794d1952b1d381848c534a4e0e571c26afc38ee98cb4e381b22040f26849bce4292aaf88997
+  metadata.gz: d5df63c654235145dcecc470b1510c2ad920c3fae83559888e79a30932cc0aea53cda0d11f6c4b732cece9a58dded024e5a9c8baf1f6df4433bb580dbd8f3139
+  data.tar.gz: a73018f21c4432062ff7cac5fc4317667d28ee78607e9cf80573c8dc8d884cf98314cfd8f7eb284e5d26d623129541c2e3b9b2b89bf477f543748b4c245767c0

data/API-Reference.ja.md

@@ -2,7 +2,7 @@
 ruby-dnnのAPIリファレンスです。このリファレンスでは、APIを利用するうえで必要となるクラスとメソッドしか記載していません。
 そのため、プログラムの詳細が必要な場合は、ソースコードを参照してください。
 
-最終更新バージョン:0.5.11
+最終更新バージョン:0.5.12
 
 # module DNN
 ruby-dnnの名前空間をなすモジュールです。
@@ -395,8 +395,8 @@ Array
 Arrayで指定する場合、[Integer height, Integer width]の形式で指定します。
 
 
-# class SimpleRNN < HasParamLayer
-リカレントニューラルネットワークのレイヤーを扱うクラスです。
+# class RNN < HasParamLayer
+全てのリカレントニューラルネットワークのレイヤーのスーパークラスです。
 
 ## 【Properties】
 
@@ -419,6 +419,31 @@ Float
 ### arguments
 * Integer num_nodes  
 レイヤーのノード数を設定します。
+* bool stateful  
+trueを設定すると、一つ前に計算した中間層の値を使用して学習を行うことができます。
+* bool return_sequences
+trueを設定すると、時系列ネットワークの中間層全てを出力します。  
+falseを設定すると、時系列ネットワークの中間層の最後のみを出力します。
+* Initializer weight_initializer: nil  
+重みの初期化に使用するイニシャライザーを設定します。
+nilを指定すると、RandomNormalイニシャライザーが使用されます。  
+* Initializer bias_initializer: nil  
+バイアスの初期化に使用するイニシャライザーを設定します。
+nilを指定すると、Zerosイニシャライザーが使用されます。
+* Float weight_decay: 0
+重み減衰の係数を設定します。
+
+
+# class SimpleRNN < RNN
+シンプルなRNNレイヤーを扱うクラスです。
+
+## 【Instance methods】
+
+## def initialize(num_nodes, stateful: false, return_sequences: true,  activation: nil, weight_initializer: nil, bias_initializer: nil, weight_decay: 0)
+コンストラクタ。
+### arguments
+* Integer num_nodes  
+レイヤーのノード数を設定します。
 * bool stateful
 trueを設定すると、一つ前に計算した中間層の値を使用して学習を行うことができます。
 * bool return_sequences
@@ -437,6 +462,10 @@ nilを指定すると、Zerosイニシャライザーが使用されます。
 重み減衰の係数を設定します。
 
 
+# class LSTM < RNN
+LSTMレイヤーを扱うクラスです。
+
+
 # class Flatten
 N次元のデータを平坦化します。
 

data/lib/dnn/core/rnn_layers.rb

@@ -1,6 +1,65 @@
 module DNN
   module Layers
 
+    # Super class of all RNN classes.
+    class RNN < HasParamLayer
+      include Initializers
+      include Activations
+
+      attr_reader :num_nodes
+      attr_reader :stateful
+      attr_reader :weight_decay
+
+      def initialize(num_nodes,
+                     stateful: false,
+                     return_sequences: true,
+                     weight_initializer: nil,
+                     bias_initializer: nil,
+                     weight_decay: 0)
+      super()
+      @num_nodes = num_nodes
+      @stateful = stateful
+      @return_sequences = return_sequences
+      @weight_initializer = (weight_initializer || RandomNormal.new)
+      @bias_initializer = (bias_initializer || Zeros.new)
+      @weight_decay = weight_decay
+      @layers = []
+      @h = nil
+      end
+
+      def to_hash(merge_hash = nil)
+        hash = {
+          name: self.class.name,
+          num_nodes: @num_nodes,
+          stateful: @stateful,
+          return_sequences: @return_sequences,
+          activation: @activation.to_hash,
+          weight_initializer: @weight_initializer.to_hash,
+          bias_initializer: @bias_initializer.to_hash,
+          weight_decay: @weight_decay,
+        }
+        hash.merge!(merge_hash) if merge_hash
+        hash
+      end
+
+      def shape
+        @return_sequences ? [@time_length, @num_nodes] : [@num_nodes]
+      end
+
+      def ridge
+        if @weight_decay > 0
+          0.5 * (@weight_decay * (@params[:weight]**2).sum + @weight_decay * (@params[:weight]**2).sum)
+        else
+          0
+        end
+      end
+
+      def init_params
+        @time_length = prev_layer.shape[0]
+      end
+    end
+
+
     class SimpleRNN_Dense
       def initialize(params, grads, activation)
         @params = params
@@ -27,14 +86,7 @@ module DNN
     end
 
 
-    class SimpleRNN < HasParamLayer
-      include Initializers
-      include Activations
-
-      attr_reader :num_nodes
-      attr_reader :stateful
-      attr_reader :weight_decay
-
+    class SimpleRNN < RNN
       def self.load_hash(hash)
         self.new(hash[:num_nodes],
                  stateful: hash[:stateful],
@@ -52,16 +104,13 @@ module DNN
                      weight_initializer: nil,
                      bias_initializer: nil,
                      weight_decay: 0)
-        super()
-        @num_nodes = num_nodes
-        @stateful = stateful
-        @return_sequences = return_sequences
+        super(num_nodes,
+              stateful: stateful,
+              return_sequences: return_sequences,
+              weight_initializer: weight_initializer,
+              bias_initializer: bias_initializer,
+              weight_decay: weight_decay)
         @activation = (activation || Tanh.new)
-        @weight_initializer = (weight_initializer || RandomNormal.new)
-        @bias_initializer = (bias_initializer || Zeros.new)
-        @weight_decay = weight_decay
-        @layers = []
-        @h = nil
       end
 
       def forward(xs)
@@ -96,32 +145,14 @@ module DNN
         dxs
       end
 
-      def shape
-        @return_sequences ? [@time_length, @num_nodes] : [@num_nodes]
-      end
-
-      def ridge
-        if @weight_decay > 0
-          0.5 * (@weight_decay * (@params[:weight]**2).sum + @weight_decay * (@params[:weight]**2).sum)
-        else
-          0
-        end
-      end
-
       def to_hash
-        super({num_nodes: @num_nodes,
-               stateful: @stateful,
-               return_sequences: @return_sequences,
-               activation: @activation.to_hash,
-               weight_initializer: @weight_initializer.to_hash,
-               bias_initializer: @bias_initializer.to_hash,
-               weight_decay: @weight_decay})
+        super({activation: @activation.to_hash})
       end
 
       private
     
       def init_params
-        @time_length = prev_layer.shape[0]
+        super()
         num_prev_nodes = prev_layer.shape[1]
         @params[:weight] = Xumo::SFloat.new(num_prev_nodes, @num_nodes)
         @params[:weight2] = Xumo::SFloat.new(@num_nodes, @num_nodes)
@@ -187,15 +218,7 @@ module DNN
     end
 
 
-    # In development
-    class LSTM < HasParamLayer
-      include Initializers
-      include Activations
-
-      attr_reader :num_nodes
-      attr_reader :stateful
-      attr_reader :weight_decay
-
+    class LSTM < RNN
       def self.load_hash(hash)
         self.new(hash[:num_nodes],
                  stateful: hash[:stateful],
@@ -211,16 +234,7 @@ module DNN
                      weight_initializer: nil,
                      bias_initializer: nil,
                      weight_decay: 0)
-        super()
-        @num_nodes = num_nodes
-        @stateful = stateful
-        @return_sequences = return_sequences
-        @weight_initializer = (weight_initializer || RandomNormal.new)
-        @bias_initializer = (bias_initializer || Zeros.new)
-        @weight_decay = weight_decay
-        @layers = []
-        @h = nil
-        @cell = nil
+        super
       end
 
       def forward(xs)
@@ -264,31 +278,10 @@ module DNN
         dxs
       end
 
-      def shape
-        @return_sequences ? [@time_length, @num_nodes] : [@num_nodes]
-      end
-
-      def ridge
-        if @weight_decay > 0
-          0.5 * (@weight_decay * (@params[:weight]**2).sum + @weight_decay * (@params[:weight]**2).sum)
-        else
-          0
-        end
-      end
-
-      def to_hash
-        super({num_nodes: @num_nodes,
-               stateful: @stateful,
-               return_sequences: @return_sequences,
-               weight_initializer: @weight_initializer.to_hash,
-               bias_initializer: @bias_initializer.to_hash,
-               weight_decay: @weight_decay})
-      end
-
       private
     
       def init_params
-        @time_length = prev_layer.shape[0] 
+        super()
         num_prev_nodes = prev_layer.shape[1]
         @params[:weight] = Xumo::SFloat.new(num_prev_nodes, @num_nodes * 4)
         @params[:weight2] = Xumo::SFloat.new(@num_nodes, @num_nodes * 4)

data/lib/dnn/version.rb

@@ -1,3 +1,3 @@
 module DNN
-  VERSION = "0.5.11"
+  VERSION = "0.5.12"
 end

metadata

@@ -1,14 +1,14 @@
 --- !ruby/object:Gem::Specification
 name: ruby-dnn
 version: !ruby/object:Gem::Version
-  version: 0.5.11
+  version: 0.5.12
 platform: ruby
 authors:
 - unagiootoro
 autorequire: 
 bindir: exe
 cert_chain: []
-date: 2018-08-14 00:00:00.000000000 Z
+date: 2018-08-15 00:00:00.000000000 Z
 dependencies:
 - !ruby/object:Gem::Dependency
   name: numo-narray