ruby-dnn 0.1.8 → 0.2.0

checksums.yaml

@@ -1,7 +1,7 @@
 ---
 SHA256:
-  metadata.gz: a9bd42ca5cbea3b4a3abd984157df19cf87ca2a6ba80a3a76cf155e020582508
-  data.tar.gz: 2be2b617347618bf18d140e1ed4b5ede5d3a0f6540d6bc18217ae9b86c22aa2d
+  metadata.gz: c62e4bbbd5aa1e89dbff3e112c161f14fef9b4165721fed81815b6103af184f5
+  data.tar.gz: d5b46dfde07d33f9309adb4af6256fa404218b9ad1d1cfc82a79b6752fc4549e
 SHA512:
-  metadata.gz: 9077ebdf09fbc33d5b163c9ef2bd9ec4bb6681b87e5f638db25d6fbc46603ba50a8a6cb81123a42e07984636d2055fae3ed54712f11df815d856854a5845973d
-  data.tar.gz: 5b3c56027727a7dee1f1cbae31c6ddd887d5ea7cf015c1d111942e6c518579ffc607c8c38c13702e77f86ad9b4428d27296287fd3c2b13e02a77992b5360900b
+  metadata.gz: 49515dd6ed15f07b551b88d3b724c280f417a07b12c869974d5b4f34a2c2bc6ff4747ba6c853840588b365e3d77ee50cebded9d82f739e79142aebaf505313b5
+  data.tar.gz: dbd7084f28a5a1c9b5675eadb9c20e76c42897ba32a20a552ed183ada75dc83aa7953718e853a9a658dcdb794317943c56f4e46ebeedf8d6a663eb02f90832c0

data/API-Reference.ja.md

@@ -2,7 +2,7 @@
 ruby-dnnのAPIリファレンスです。このリファレンスでは、APIを利用するうえで必要となるクラスとメソッドしか記載していません。
 そのため、プログラムの詳細が必要な場合は、ソースコードを参照してください。
 
-対応バージョン:0.1.7
+対応バージョン:0.2.0
 
 # module DNN
 ruby-dnnの名前空間をなすモジュールです。
@@ -90,7 +90,15 @@ Model
 ### return
 なし。
 
-## def train(x, y, epochs, batch_size: 1, batch_proc: nil, verbose: true, &epoch_proc)
+## def compiled?
+モデルがコンパイル済みであるか否かを取得します。
+### arguments
+なし。
+### return
+bool  
+モデルがコンパイル済みであるか否か。
+
+## def train(x, y, epochs, batch_size: 1, test: nil, verbose: true, batch_proc: nil, &epoch_proc)
 コンパイルしたモデルを用いて学習を行います。
 ### arguments
 * SFloat x  
@@ -101,10 +109,12 @@ Model
 学習回数。
 * Integer batch_size: 1  
 学習に使用するミニバッチの数。
-* Proc batch_proc: nil  
-一度のバッチ学習が行われる前に呼び出されるprocを登録します。
+* Array test: nil  
+[テスト用入力データ, テスト用出力データ]の形式で設定すると、1エポックごとにテストを行います。
 * bool verbose: true
 trueを設定すると、学習ログを出力します。
+* Proc batch_proc: nil  
+一度のバッチ学習が行われる前に呼び出されるprocを登録します。
 ### block
 epoch_proc  
 1エポックの学習が終了するたびに呼び出されます。
@@ -126,23 +136,8 @@ epoch_proc
 Integer  
 損失関数の値を返します。
 
-## def test(x, y, batch_size = nil, &batch_proc)
-学習結果をもとにテストを行います。
-### arguments
-* SFloat x  
-テスト用入力データ。
-* SFloat y  
-テスト用出力データ。
-* batch_size  
-ミニバッチの数。学習を行っていないモデルのテストを行いたい場合等に使用します。
-### block
-一度のバッチ学習が行われる前に呼び出されます。
-### return
-Float  
-テスト結果の認識率を返します。
-
 ## def accurate(x, y, batch_size = nil, &batch_proc)
-学習結果をもとに認識を返します。
+学習結果をもとに認識率を返します。
 ### arguments
 * SFloat x  
 テスト用入力データ。
@@ -175,14 +170,22 @@ SFloat
 
 ## 【Instance methods】
 
-## def init(model)
-モデルのコンパイル時に、レイヤーを初期化するために使用されます。
+## def build(model)
+モデルのコンパイル時に、レイヤーをビルドするために使用されます。
 ### arguments
 * Model model  
 レイヤーを持つモデルを登録します。
 ### return
 なし。
 
+## def builded?
+レイヤーがビルド済みであるか否かを取得します。
+### arguments
+なし。
+### return
+bool  
+レイヤーがビルド済みであるか否か。
+
 ## abstruct def forward(x)  
 順方向伝搬を行うメソッドです。Layerクラスを継承するクラスは、このメソッドを実装する必要があります。
 ### arguments
@@ -274,15 +277,15 @@ nilを指定すると、Zerosイニシャライザーが使用されます。
 畳み込みレイヤーを扱うクラスです。
 
 ## 【Instance methods】
-## def initialize(num_filters, filter_height, filter_width, weight_initializer: nil, bias_initializer: nil, strides: [1, 1], padding 0, weight_decay: 0)
+## def initialize(num_filters, filter_width, filter_height, weight_initializer: nil, bias_initializer: nil, strides: [1, 1], padding false, weight_decay: 0)
 コンストラクタ。
 ### arguments
 * Integer num_filters  
 出力するフィルターの枚数
-* Integer filter_height  
-フィルターの縦の長さ
 * Integer filter_width
 フィルターの横の長さ
+* Integer filter_height  
+フィルターの縦の長さ
 * Initializer weight_initializer: nil  
 重みの初期化に使用するイニシャライザーを設定します
 nilを指定すると、RandomNormalイニシャライザーが使用されます。  
@@ -290,8 +293,9 @@ nilを指定すると、RandomNormalイニシャライザーが使用されま
 バイアスの初期化に使用するイニシャライザーを設定します。
 * Array<Integer> strides: [1, 1]  
 畳み込みを行う際のストライドの単位を指定します。配列の要素0でy軸方向のストライドを設定し、要素1でx軸方向のストライドを設定します。
-* Integer padding: 0  
-イメージに対してゼロパディングを行う単位を指定します。
+* bool padding: true  
+イメージに対してゼロパディングを行うか否かを設定します。trueを設定すると、出力されるイメージのサイズが入力されたイメージと同じになるように
+ゼロパディングを行います。
 * Float weight_decay: 0  
 重み減衰を行うL2正則化項の強さを設定します。
 
@@ -300,17 +304,18 @@ nilを指定すると、RandomNormalイニシャライザーが使用されま
 maxプーリングを行うレイヤーです。
 
 ## 【Instance methods】
-## def initialize(pool_height, pool_width, strides: nil, padding: 0)
+## def initialize(pool_width, pool_height, strides: nil, padding: false)
 コンストラクタ。
 ### arguments
-* Integer pool_height  
-プーリングを行う縦の長さ。
 * Integer pool_width  
 プーリングを行う横の長さ。
+* Integer pool_height  
+プーリングを行う縦の長さ。
 * Array<Integer> strides: nil  
-畳み込みを行う際のストライドの単位を指定します。配列の要素0でy軸方向のストライドを設定し、要素1でx軸方向のストライドを設定します。なお、nilが設定された場合は、[pool_height, pool_width]がstridesの値となります。
-* Integer padding: 0
-イメージに対してゼロパディングを行う単位を指定します。
+畳み込みを行う際のストライドの単位を指定します。配列の要素0でy軸方向のストライドを設定し、要素1でx軸方向のストライドを設定します。なお、nilが設定された場合は、[pool_width, pool_height]がstridesの値となります。
+* bool padding: true  
+イメージに対してゼロパディングを行うか否かを設定します。trueを設定すると、出力されるイメージのサイズが入力されたイメージと同じになるように
+ゼロパディングを行います。
 
 
 # class Flatten

data/LIB-API-Reference.ja.md

@@ -54,7 +54,7 @@ CIFAR-10を扱うモジュールです。
 Array  
 [イメージデータ, ラベルデータ]の形式で取得します。
 * イメージデータ
-  UInt8の[50000, 32, 32, 3]の形式
+  UInt8の[50000, 3, 32, 32]の形式
 * テストデータ
   UInt8の[50000]の形式
 
@@ -66,7 +66,7 @@ Array
 Array  
 [イメージデータ, ラベルデータ]の形式で取得します。
 * イメージデータ
-  UInt8の[10000, 32, 32, 3]の形式
+  UInt8の[10000, 3, 32, 32]の形式
 * テストデータ
   UInt8の[10000]の形式
 

data/examples/cifar10_example.rb

@@ -12,8 +12,8 @@ CIFAR10 = DNN::CIFAR10
 x_train, y_train = CIFAR10.load_train
 x_test, y_test = CIFAR10.load_test
 
-x_train = SFloat.cast(x_train).reshape(x_train.shape[0], 32, 32, 3).transpose(0, 3, 2, 1)
-x_test = SFloat.cast(x_test).reshape(x_test.shape[0], 32, 32, 3).transpose(0, 3, 2, 1)
+x_train = SFloat.cast(x_train).transpose(0, 2, 3, 1)
+x_test = SFloat.cast(x_test).transpose(0, 2, 3, 1)
 
 x_train /= 255
 x_test /= 255
@@ -23,23 +23,23 @@ y_test = DNN::Util.to_categorical(y_test, 10)
 
 model = Model.new
 
-model << InputLayer.new([3, 32, 32])
+model << InputLayer.new([32, 32, 3])
 
-model << Conv2D.new(16, 5, 5)
+model << Conv2D.new(16, 5, 5, padding: true)
 model << BatchNormalization.new
 model << ReLU.new
 
-model << Conv2D.new(16, 5, 5)
+model << Conv2D.new(16, 5, 5, padding: true)
 model << BatchNormalization.new
 model << ReLU.new
 
 model << MaxPool2D.new(2, 2)
 
-model << Conv2D.new(32, 5, 5)
+model << Conv2D.new(32, 5, 5, padding: true)
 model << BatchNormalization.new
 model << ReLU.new
 
-model << Conv2D.new(32, 5, 5)
+model << Conv2D.new(32, 5, 5, padding: true)
 model << BatchNormalization.new
 model << ReLU.new
 
@@ -55,8 +55,4 @@ model << SoftmaxWithLoss.new
 
 model.compile(Adam.new)
 
-model.train(x_train, y_train, 20, batch_size: 100) do
-  model.test(x_test, y_test)
-end
-
-model.save("trained_cifar10.marshal")
+model.train(x_train, y_train, 10, batch_size: 100, test: [x_test, y_test])

data/examples/mnist_example.rb

@@ -38,6 +38,4 @@ model << SoftmaxWithLoss.new
 
 model.compile(RMSProp.new)
 
-model.train(x_train, y_train, 10, batch_size: 100) do
-  model.test(x_test, y_test)
-end
+model.train(x_train, y_train, 10, batch_size: 100, test: [x_test, y_test])

data/examples/mnist_example2.rb

@@ -12,8 +12,8 @@ MNIST = DNN::MNIST
 x_train, y_train = MNIST.load_train
 x_test, y_test = MNIST.load_test
 
-x_train = SFloat.cast(x_train).reshape(x_train.shape[0], 1, 28, 28)
-x_test = SFloat.cast(x_test).reshape(x_test.shape[0], 1, 28, 28)
+x_train = SFloat.cast(x_train).reshape(x_train.shape[0], 28, 28, 1)
+x_test = SFloat.cast(x_test).reshape(x_test.shape[0], 28, 28, 1)
 
 x_train /= 255
 x_test /= 255
@@ -23,7 +23,7 @@ y_test = DNN::Util.to_categorical(y_test, 10)
 
 model = Model.new
 
-model << InputLayer.new([1, 28, 28])
+model << InputLayer.new([28, 28, 1])
 
 model << Conv2D.new(16, 5, 5)
 model << BatchNormalization.new
@@ -47,6 +47,4 @@ model << SoftmaxWithLoss.new
 
 model.compile(Adam.new)
 
-model.train(x_train, y_train, 10, batch_size: 100) do
-  model.test(x_test, y_test)
-end
+model.train(x_train, y_train, 10, batch_size: 100, test: [x_test, y_test])

data/lib/dnn/core/layers.rb

@@ -5,11 +5,20 @@ module DNN
     class Layer
       include Numo
 
+      def initialize
+        @builded = false
+      end
+
       #Initialize layer when model is compiled.
-      def init(model)
+      def build(model)
+        @builded = true
         @model = model
       end
 
+      def builded?
+        @builded
+      end
+
       #Forward propagation.
       def forward() end
 
@@ -42,7 +51,7 @@ module DNN
         @grads = {}
       end
     
-      def init(model)
+      def build(model)
         super
         init_params
       end
@@ -153,46 +162,58 @@ module DNN
     module Convert
       private
 
-      def im2col(img, out_h, out_w, fh, fw, strides)
-        bs, fn = img.shape[0..1]
-        col = SFloat.zeros(bs, fn, fh, fw, out_h, out_w)
-        (0...fh).each do |i|
-          i_range = (i...(i + strides[0] * out_h)).step(strides[0]).to_a
-          (0...fw).each do |j|
-            j_range = (j...(j + strides[1] * out_w)).step(strides[1]).to_a
-            col[true, true, i, j, true, true] = img[true, true, i_range, j_range]
+      def im2col(img, out_w, out_h, fil_w, fil_h, strides)
+        bsize = img.shape[0]
+        ch = img.shape[3]
+        col = SFloat.zeros(bsize, ch, fil_w, fil_h, out_w, out_h)
+        img = img.transpose(0, 3, 1, 2)
+        (0...fil_h).each do |i|
+          i_range = (i...(i + strides[1] * out_h)).step(strides[1]).to_a
+          (0...fil_w).each do |j|
+            j_range = (j...(j + strides[0] * out_w)).step(strides[0]).to_a
+            col[true, true, j, i, true, true] = img[true, true, j_range, i_range]
           end
         end
-        col.transpose(0, 4, 5, 1, 2, 3).reshape(bs * out_h * out_w, fn * fh * fw)
+        col.transpose(0, 4, 5, 2, 3, 1).reshape(bsize * out_w * out_h, fil_w * fil_h * ch)
       end
-      
-      def col2im(col, img_shape, out_h, out_w, fh, fw, strides)
-        bs, fn, ih, iw = img_shape
-        col = col.reshape(bs, out_h, out_w, fn, fh, fw).transpose(0, 3, 4, 5, 1, 2)
-        img = SFloat.zeros(bs, fn, ih, iw)
-        (0...fh).each do |i|
-          i_range = (i...(i + strides[0] * out_h)).step(strides[0]).to_a
-          (0...fw).each do |j|
-            j_range = (j...(j + strides[1] * out_w)).step(strides[1]).to_a
-            img[true, true, i_range, j_range] += col[true, true, i, j, true, true]
+
+      def col2im(col, img_shape, out_w, out_h, fil_w, fil_h, strides)
+        bsize, img_w, img_h, ch = img_shape
+        col = col.reshape(bsize, out_w, out_h, fil_w, fil_h, ch).transpose(0, 5, 3, 4, 1, 2)
+        img = SFloat.zeros(bsize, ch, img_w, img_h)
+        (0...fil_h).each do |i|
+          i_range = (i...(i + strides[1] * out_h)).step(strides[1]).to_a
+          (0...fil_w).each do |j|
+            j_range = (j...(j + strides[0] * out_w)).step(strides[0]).to_a
+            img[true, true, j_range, i_range] += col[true, true, j, i, true, true]
           end
         end
-        img
+        img.transpose(0, 2, 3, 1)
       end
 
       def padding(img, pad)
-        bs, c, ih, iw = img.shape
-        ih2 = ih + pad * 2
-        iw2 = iw + pad * 2
-        img2 = SFloat.zeros(bs, c, ih2, iw2)
-        img2[true, true, pad...(ih + pad), pad...(iw + pad)] = img
+        bsize, img_w, img_h, ch = img.shape
+        img2 = SFloat.zeros(bsize, img_w + pad[0], img_h + pad[1], ch)
+        i_begin = pad[1] / 2
+        i_end = i_begin + img_h
+        j_begin = pad[0] / 2
+        j_end = j_begin + img_w
+        img2[true, j_begin...j_end, i_begin...i_end, true] = img
         img2
       end
 
       def back_padding(img, pad)
-        i_end = img.shape[2] - pad
-        j_end = img.shape[3] - pad
-        img[true, true, pad...i_end, pad...j_end]
+        i_begin = pad[1] / 2
+        i_end = img.shape[2] - (pad[1] / 2.0).round
+        j_begin = pad[0] / 2
+        j_end = img.shape[1] - (pad[0] / 2.0).round
+        img[true, j_begin...j_end, i_begin...i_end, true]
+      end
+
+      def out_size(prev_w, prev_h, fil_w, fil_h, strides)
+        out_w = (prev_w - fil_w) / strides[1] + 1
+        out_h = (prev_h - fil_h) / strides[0] + 1
+        [out_w, out_h]
       end
     end
     
@@ -201,16 +222,16 @@ module DNN
       include Initializers
       include Convert
     
-      def initialize(num_filters, filter_height, filter_width,
+      def initialize(num_filters, filter_width, filter_height,
                      weight_initializer: nil,
                      bias_initializer: nil,
                      strides: [1, 1],
-                     padding: 0,
+                     padding: false,
                      weight_decay: 0)
         super()
         @num_filters = num_filters
-        @filter_height = filter_height
         @filter_width = filter_width
+        @filter_height = filter_height
         @weight_initializer = (weight_initializer || RandomNormal.new)
         @bias_initializer = (bias_initializer || Zeros.new)
         @strides = strides
@@ -219,31 +240,34 @@ module DNN
       end
 
       def self.load_hash(hash)
-        Conv2D.new(hash[:num_filters], hash[:filter_height], hash[:filter_width],
+        Conv2D.new(hash[:num_filters], hash[:filter_width], hash[:filter_height],
                    weight_initializer: Util.load_hash(hash[:weight_initializer]),
                    bias_initializer: Util.load_hash(hash[:bias_initializer]),
                    strides: hash[:strides],
                    padding: hash[:padding],
                    weight_decay: hash[:weight_decay])
       end
-    
-      def init(model)
+
+      def build(model)
         super
-        prev_height, prev_width = prev_layer.shape[1], prev_layer.shape[2]
-        @out_height = (prev_height + @padding * 2 - @filter_height) / @strides[0] + 1
-        @out_width = (prev_width + @padding * 2 - @filter_width) / @strides[1] + 1
+        prev_width, prev_height = prev_layer.shape[0..1]
+        @out_width, @out_height = out_size(prev_width, prev_height, @filter_width, @filter_height, @strides)
+        if @padding
+          @pad = [prev_width - @out_width, prev_height - @out_height]
+          @out_width = prev_width
+          @out_height = prev_height
+        end
       end
-    
+
       def forward(x)
-        x = padding(x, 2) if @padding > 0
+        x = padding(x, @pad) if @padding
         @x_shape = x.shape
-        @col = im2col(x, @out_height, @out_width, @filter_height, @filter_width, @strides)
+        @col = im2col(x, @out_width, @out_height, @filter_width, @filter_height, @strides)
         out = @col.dot(@params[:weight])
-        out.reshape(@model.batch_size, @out_height, @out_width, out.shape[3]).transpose(0, 3, 1, 2)
+        out.reshape(x.shape[0], @out_width, @out_height, out.shape[3])
       end
-    
+
       def backward(dout)
-        dout = dout.transpose(0, 2, 3, 1)
         dout = dout.reshape(dout.shape[0..2].reduce(:*), dout.shape[3])
         @grads[:weight] = @col.transpose.dot(dout)
         if @weight_decay > 0
@@ -252,20 +276,20 @@ module DNN
         end
         @grads[:bias] = dout.sum(0)
         dcol = dout.dot(@params[:weight].transpose)
-        dx = col2im(dcol, @x_shape, @out_height, @out_width, @filter_height, @filter_width, @strides)
-        @padding ? back_padding(dx, @padding) : dx
+        dx = col2im(dcol, @x_shape, @out_width, @out_height, @filter_width, @filter_height, @strides)
+        @padding ? back_padding(dx, @pad) : dx
       end
-    
+
       def shape
-        [@num_filters, @out_height, @out_width]
+        [@out_width, @out_height, @num_filters]
       end
 
       def to_hash
         {
           name: self.class.name,
           num_filters: @num_filters,
-          filter_height: @filter_height,
           filter_width: @filter_width,
+          filter_height: @filter_height,
           weight_initializer: @weight_initializer.to_hash,
           bias_initializer: @bias_initializer.to_hash,
           strides: @strides,
@@ -277,8 +301,8 @@ module DNN
       private
     
       def init_params
-        num_prev_filter = prev_layer.shape[0]
-        @params[:weight] = SFloat.new(num_prev_filter * @filter_height * @filter_height, @num_filters)
+        num_prev_filter = prev_layer.shape[2]
+        @params[:weight] = SFloat.new(num_prev_filter * @filter_width * @filter_height, @num_filters)
         @params[:bias] = SFloat.new(@num_filters)
         @weight_initializer.init_param(self, :weight)
         @bias_initializer.init_param(self, :bias)
@@ -289,49 +313,52 @@ module DNN
     class MaxPool2D < Layer
       include Convert
 
-      def initialize(pool_height, pool_width, strides: nil, padding: 0)
-        @pool_height = pool_height
+      def initialize(pool_width, pool_height, strides: nil, padding: false)
         @pool_width = pool_width
-        @strides = strides ? strides : [@pool_height, @pool_width]
+        @pool_height = pool_height
+        @strides = strides ? strides : [@pool_width, @pool_height]
         @padding = padding
-      end
-    
-      def init(model)
+      end 
+
+      def build(model)
         super
-        prev_height, prev_width = prev_layer.shape[1], prev_layer.shape[2]
-        @num_channel = prev_layer.shape[0]
-        @out_height = (prev_height + @padding * 2 - @pool_height) / @strides[0] + 1
-        @out_width = (prev_width + @padding * 2 - @pool_width) / @strides[1] + 1
+        prev_width, prev_height = prev_layer.shape[0..1]
+        @num_channel = prev_layer.shape[2]
+        @out_width, @out_height = out_size(prev_width, prev_height, @pool_width, @pool_height, @strides)
+        if @padding
+          @pad = [prev_width - @out_width, prev_height - @out_height]
+          @out_width = prev_width
+          @out_height = prev_height
+        end
       end
-    
+
       def forward(x)
-        x = padding(x, 2) if @padding > 0
+        x = padding(x, @pad) if @padding
         @x_shape = x.shape
-        col = im2col(x, @out_height, @out_width, @pool_height, @pool_width, @strides)
-        col = col.reshape(x.shape[0] * @out_height * @out_width * x.shape[1], @pool_height * @pool_width)
+        col = im2col(x, @out_width, @out_height, @pool_width, @pool_height, @strides)
+        col = col.reshape(x.shape[0] * @out_width * @out_height * x.shape[3], @pool_width * @pool_height)
         @max_index = col.max_index(1)
-        col.max(1).reshape(x.shape[0], @out_height, @out_width, x.shape[1]).transpose(0, 3, 1, 2)
+        col.max(1).reshape(x.shape[0], @out_width, @out_height, x.shape[3])#.transpose(0, 3, 1, 2)
       end
-    
+
       def backward(dout)
-        dout = dout.transpose(0, 2, 3, 1)
-        pool_size = @pool_height * @pool_width
+        pool_size = @pool_width * @pool_height
         dmax = SFloat.zeros(dout.size * pool_size)
         dmax[@max_index] = dout.flatten
         dcol = dmax.reshape(dout.shape[0..2].reduce(:*), dout.shape[3] * pool_size)
-        dx = col2im(dcol, @x_shape, @out_height, @out_width, @pool_height, @pool_width, @strides)
-        @padding ? back_padding(dx, @padding) : dx
+        dx = col2im(dcol, @x_shape, @out_width, @out_height, @pool_width, @pool_height, @strides)
+        @padding ? back_padding(dx, @pad) : dx
       end
-    
+
       def shape
-        [@num_channel, @out_height, @out_width]
+        [@out_width, @out_height, @num_channel]
       end
 
       def to_hash
         {
           name: self.class.name,
-          pool_height: @pool_height,
           pool_width: @pool_width,
+          pool_height: @pool_height,
           strides: @strides,
           padding: @padding,
         }

data/lib/dnn/core/model.rb

@@ -14,6 +14,7 @@ module DNN
       @layers = []
       @optimizer = nil
       @batch_size = nil
+      @compiled = false
     end
 
     def self.load(file_name)
@@ -73,18 +74,24 @@ module DNN
       unless optimizer.is_a?(Optimizers::Optimizer)
         raise DNN_TypeError.new("optimizer is not an instance of the DNN::Optimizers::Optimizer class.")
       end
+      @compiled = true
       layers_check
       @optimizer = optimizer
       @layers.each do |layer|
-        layer.init(self)
+        layer.build(self)
       end
       layers_shape_check
     end
+
+    def compiled?
+      @compiled
+    end
   
     def train(x, y, epochs,
               batch_size: 1,
-              batch_proc: nil,
+              test: nil,
               verbose: true,
+              batch_proc: nil,
               &epoch_proc)
       @batch_size = batch_size
       num_train_data = x.shape[0]
@@ -110,6 +117,10 @@ module DNN
           log << "  #{num_trained_data}/#{num_train_data} loss: #{loss}"
           print log if verbose
         end
+        if verbose && test
+          acc = accurate(test[0], test[1], batch_size,&batch_proc)
+          print "  accurate: #{acc}"
+        end
         puts "" if verbose
         epoch_proc.call(epoch) if epoch_proc
       end
@@ -124,13 +135,6 @@ module DNN
       @layers[-1].loss(y)
     end
   
-    def test(x, y, batch_size = nil, &batch_proc)
-      @batch_size = batch_size if batch_size
-      acc = accurate(x, y, @batch_size, &batch_proc)
-      puts "accurate: #{acc}"
-      acc
-    end
-  
     def accurate(x, y, batch_size = nil, &batch_proc)
       @batch_size = batch_size if batch_size
       correct = 0
@@ -156,8 +160,6 @@ module DNN
       forward(x, false)
     end
   
-    private
-  
     def forward(x, training)
       @training = training
       @layers.each do |layer|
@@ -171,8 +173,11 @@ module DNN
       @layers[0..-1].reverse.each do |layer|
         dout = layer.backward(dout)
       end
+      dout
     end
 
+    private
+
     def layers_check
       unless @layers.first.is_a?(Layers::InputLayer)
         raise DNN_Error.new("The first layer is not an InputLayer.")

data/lib/dnn/core/version.rb

@@ -1,3 +1,3 @@
 module DNN
-  VERSION = "0.1.8"
+  VERSION = "0.2.0"
 end

metadata

@@ -1,7 +1,7 @@
 --- !ruby/object:Gem::Specification
 name: ruby-dnn
 version: !ruby/object:Gem::Version
-  version: 0.1.8
+  version: 0.2.0
 platform: ruby
 authors:
 - unagiootoro