ruby-dnn 0.5.5 → 0.5.6

checksums.yaml

@@ -1,7 +1,7 @@
 ---
 SHA256:
-  metadata.gz: c8f2e9e1ed8484a0c44c9f09f5215ff85cb05216f87965c5ce9691223d89247a
-  data.tar.gz: 2974f71d2b573d584b9238a574b69721230f19a1ff3558a59852d94168471bdd
+  metadata.gz: 4e54e26acfc92ade6be07da5c62e340b8d8c021a69b390a3a3bba21853ee6f3d
+  data.tar.gz: b111ee117a07e554d7166512756caf0da329ca70a9241495b268761597a48d98
 SHA512:
-  metadata.gz: 9ff44365ec20680b547161c43a525c5d76cc8b0f07c9394bd4e836e1ca188a327067126048b6788a1127e5d52ae3734f39f6f6e67d89985bcbdf98dac2086cc2
-  data.tar.gz: a1cd8a85e491a9668f0f4401dde8fc0b35d4db8fc1d81bdad7c4a4cb9df5317dd816cd864717a6f9a7d0d2908715c43252dd08be8400aa3f8d9944ebc760757a
+  metadata.gz: 82877266a1b2e01478e545fbf04071bd12a4c8ab07b13c2f11dc413aa7a6842d50a75206e7359ead5fd13a734bc3eccf9e7fb0122af3b20f92a989574c7e0741
+  data.tar.gz: 69c4999978dd9b4c2b4d7d2fbc3d4d6784b6894e606cee50eaaa1e1235542ca46f188a2f69c3d9ff7efb61a1e238660c2529424d2b9642d16d573b30eecce587

data/API-Reference.ja.md

@@ -2,7 +2,7 @@
 ruby-dnnのAPIリファレンスです。このリファレンスでは、APIを利用するうえで必要となるクラスとメソッドしか記載していません。
 そのため、プログラムの詳細が必要な場合は、ソースコードを参照してください。
 
-最終更新バージョン:0.5.3
+最終更新バージョン:0.5.6
 
 # module DNN
 ruby-dnnの名前空間をなすモジュールです。
@@ -387,6 +387,45 @@ Array
 Arrayで指定する場合、[Integer height, Integer width]の形式で指定します。
 
 
+# class SimpleRNN < HasParamLayer
+リカレントニューラルネットワークのレイヤーを扱うクラスです。
+
+## 【Properties】
+
+## attr_reader :num_nodes
+Integer  
+レイヤーのノード数を取得します。
+
+## attr_reader :stateful
+bool  
+レイヤーがステートフルであるか否かを返します。
+
+## attr_reader :weight_decay
+Float  
+重み減衰の係数を取得します。
+
+## 【Instance methods】
+
+## def initialize(num_nodes, stateful: false, weight_initializer: nil, bias_initializer: nil, weight_decay: 0)
+コンストラクタ。
+### arguments
+* Integer num_nodes  
+レイヤーのノード数を設定します。
+* bool stateful
+trueを設定すると、一つ前に計算した中間層の値を使用して学習を行うことができます。
+* Layer activation
+リカレントニューラルネットワークにおいて、使用する活性化関数を設定します。
+nilを指定すると、Tanhが使用されます。
+* Initializer weight_initializer: nil  
+重みの初期化に使用するイニシャライザーを設定します。
+nilを指定すると、RandomNormalイニシャライザーが使用されます。  
+* Initializer bias_initializer: nil  
+バイアスの初期化に使用するイニシャライザーを設定します。
+nilを指定すると、Zerosイニシャライザーが使用されます。
+* Float weight_decay: 0
+重み減衰の係数を設定します。
+
+
 # class Flatten
 N次元のデータを平坦化します。
 

data/lib/dnn.rb

@@ -11,7 +11,8 @@ require "dnn/core/error"
 require "dnn/core/model"
 require "dnn/core/initializers"
 require "dnn/core/layers"
-require "dnn/core/cnn_layers"
 require "dnn/core/activations"
+require "dnn/core/cnn_layers"
+require "dnn/core/rnn_layers"
 require "dnn/core/optimizers"
 require "dnn/core/util"

data/lib/dnn/core/activations.rb

@@ -107,6 +107,39 @@ module DNN
         (@out - y).abs.sum / batch_size + ridge
       end
     end
+
+
+    class IdentityHuber < Layers::OutputLayer
+      def forward(x)
+        @out = x
+      end
+
+      def loss(y)
+        loss = loss_l1(y)
+        @loss = loss > 1 ? loss : loss_l2(y)
+      end
+
+      def backward(y)
+        dout = @out - y
+        if @loss > 1
+          dout[dout >= 0] = 1
+          dout[dout < 0] = -1
+        end
+        dout
+      end
+
+      private
+
+      def loss_l1(y)
+        batch_size = y.shape[0]
+        (@out - y).abs.sum / batch_size
+      end
+
+      def loss_l2(y)
+        batch_size = y.shape[0]
+        0.5 * ((@out - y)**2).sum / batch_size
+      end
+    end
     
     
     class SoftmaxWithLoss < Layers::OutputLayer

data/lib/dnn/core/cnn_layers.rb

@@ -130,6 +130,14 @@ module DNN
         [*@out_size, @num_filters]
       end
 
+      def ridge
+        if @weight_decay > 0
+          0.5 * @weight_decay * (@params[:weight]**2).sum
+        else
+          0
+        end
+      end
+
       def to_hash
         super({num_filters: @num_filters,
                filter_size: @filter_size,

data/lib/dnn/core/layers.rb

@@ -142,6 +142,14 @@ module DNN
         [@num_nodes]
       end
 
+      def ridge
+        if @weight_decay > 0
+          0.5 * @weight_decay * (@params[:weight]**2).sum
+        else
+          0
+        end
+      end
+
       def to_hash
         super({num_nodes: @num_nodes,
                weight_initializer: @weight_initializer.to_hash,
@@ -209,8 +217,8 @@ module DNN
       private
     
       def ridge
-        0.5 * @model.layers.select { |layer| layer.respond_to?(:weight_decay) }
-                           .reduce(0) { |sum, layer| layer.weight_decay * (layer.params[:weight]**2).sum }
+        @model.layers.select { |layer| layer.respond_to?(:ridge) }
+                     .reduce(0) { |sum, layer| sum + layer.ridge }
       end
     end
     

data/lib/dnn/core/rnn_layers.rb

@@ -0,0 +1,104 @@
+module DNN
+  module Layers
+
+    class SimpleRNN < HasParamLayer
+      include Initializers
+      include Activations
+
+      attr_reader :num_nodes
+      attr_reader :stateful
+      attr_reader :weight_decay
+
+      def self.load_hash(hash)
+        self.new(hash[:num_nodes],
+                 stateful: hash[:stateful],
+                 activation: Util.load_hash(hash[:activation]),
+                 weight_initializer: Util.load_hash(hash[:weight_initializer]),
+                 bias_initializer: Util.load_hash(hash[:bias_initializer]),
+                 weight_decay: hash[:weight_decay])
+      end
+
+      def initialize(num_nodes,
+                     stateful: false,
+                     activation: nil,
+                     weight_initializer: nil,
+                     bias_initializer: nil,
+                     weight_decay: 0)
+        super()
+        @num_nodes = num_nodes
+        @stateful = stateful
+        @activation = (activation || Tanh.new)
+        @weight_initializer = (weight_initializer || RandomNormal.new)
+        @bias_initializer = (bias_initializer || Zeros.new)
+        @weight_decay = weight_decay
+        @h = nil
+      end
+
+      def forward(xs)
+        @xs = xs
+        @hs = SFloat.zeros(xs.shape[0], *shape)
+        h = (@stateful && @h) ? @h : SFloat.zeros(xs.shape[0], @num_nodes)
+        xs.shape[1].times do |t|
+          x = xs[true, t, false]
+          h = x.dot(@params[:weight]) + h.dot(@params[:weight2]) + @params[:bias]
+          h = @activation.forward(h)
+          @hs[true, t, false] = h
+        end
+        @h = h
+        @hs
+      end
+
+      def backward(douts)
+        @grads[:weight] = SFloat.zeros(*@params[:weight].shape)
+        @grads[:weight2] = SFloat.zeros(*@params[:weight2].shape)
+        dxs = SFloat.zeros(@xs.shape)
+        (0...douts.shape[1]).to_a.reverse.each do |t|
+          dout = douts[true, t, false]
+          x = @xs[true, t, false]
+          h = @hs[true, t, false]
+          dout = @activation.backward(dout)
+          @grads[:weight] += x.transpose.dot(dout)
+          @grads[:weight2] += h.transpose.dot(dout)
+          dxs[true, t, false] = dout.dot(@params[:weight].transpose)
+        end
+        @grads[:bias] = douts.sum(0).sum(0)
+        dxs
+      end
+
+      def shape
+        [@time_length, @num_nodes]
+      end
+
+      def ridge
+        if @weight_decay > 0
+          0.5 * (@weight_decay * (@params[:weight]**2).sum + @weight_decay * (@params[:weight]**2).sum)
+        else
+          0
+        end
+      end
+
+      def to_hash
+        super({num_nodes: @num_nodes,
+               stateful: @stateful,
+               activation: @activation.to_hash,
+               weight_initializer: @weight_initializer.to_hash,
+               bias_initializer: @bias_initializer.to_hash,
+               weight_decay: @weight_decay})
+      end
+
+      private
+    
+      def init_params
+        @time_length = prev_layer.shape[0] 
+        num_prev_nodes = prev_layer.shape[1]
+        @params[:weight] = SFloat.new(num_prev_nodes, @num_nodes)
+        @params[:weight2] = SFloat.new(@num_nodes, @num_nodes)
+        @params[:bias] = SFloat.new(@num_nodes)
+        @weight_initializer.init_param(self, :weight)
+        @weight_initializer.init_param(self, :weight2)
+        @bias_initializer.init_param(self, :bias)
+      end
+    end
+
+  end
+end

data/lib/dnn/version.rb

@@ -1,3 +1,3 @@
 module DNN
-  VERSION = "0.5.5"
+  VERSION = "0.5.6"
 end

metadata

@@ -1,14 +1,14 @@
 --- !ruby/object:Gem::Specification
 name: ruby-dnn
 version: !ruby/object:Gem::Version
-  version: 0.5.5
+  version: 0.5.6
 platform: ruby
 authors:
 - unagiootoro
 autorequire: 
 bindir: exe
 cert_chain: []
-date: 2018-08-05 00:00:00.000000000 Z
+date: 2018-08-06 00:00:00.000000000 Z
 dependencies:
 - !ruby/object:Gem::Dependency
   name: numo-narray
@@ -112,6 +112,7 @@ files:
 - lib/dnn/core/layers.rb
 - lib/dnn/core/model.rb
 - lib/dnn/core/optimizers.rb
+- lib/dnn/core/rnn_layers.rb
 - lib/dnn/core/util.rb
 - lib/dnn/ext/cifar10_loader/cifar10_loader.c
 - lib/dnn/ext/cifar10_loader/extconf.rb