ruby-dnn 0.8.8 → 0.9.0

checksums.yaml

@@ -1,7 +1,7 @@
 ---
 SHA256:
-  metadata.gz: f7fe476037a4238a20708637ccd5c7fcd8e31d824e23019ba9d779a905eb5539
-  data.tar.gz: 2f6a78ab7fdd95cb73992b43f9f40868af838d58ca53b489e48f1bdff4ca3dbb
+  metadata.gz: c11d1f0246f81a299edfaa8be69ef8ba6ccdb940a2b185e3b0ab77b56e9ec8ad
+  data.tar.gz: 47441a8cef420dcb120c955cf9e30ef32848763e3301ddbe75abf08a657f5777
 SHA512:
-  metadata.gz: 8a86bbe0fdc6cf4a572b33f6ec03256fee9ed61cba365c639e108efba60572752ff8fc5d0ccf76401f9885599e269423a5e0aadbf32fff08cf4f25ab002732ec
-  data.tar.gz: cd4615a5f1bcd4b495b9583d672dcbe248245ba26de5bc6fe768cd5e98a0ba1dce3570b266c5a15360fd45879325af6ad79a6a2620f1927f2ef1e03a9478bdb2
+  metadata.gz: e643a3daaafebedb496d21084db402a5701787cbced23735b224b040556a7835e889d4458018b47351efce991606906bd89f3c878d8ab88fd9a99a98f89441e5
+  data.tar.gz: 9387a6e092ec219e11deb884164fac8364d2a25794791a7a086760dda920910c9157c9207a4c76e4a1cfd74eb3564897b9380654635b211651eee8611499be64

data/API-Reference.ja.md

@@ -2,7 +2,7 @@
 ruby-dnnのAPIリファレンスです。このリファレンスでは、APIを利用するうえで必要となるクラスとメソッドしか記載していません。
 そのため、プログラムの詳細が必要な場合は、ソースコードを参照してください。
 
-最終更新バージョン:0.8.7
+最終更新バージョン:0.9.0
 
 # module DNN
 ruby-dnnの名前空間をなすモジュールです。
@@ -65,7 +65,7 @@ Model
 なし。
 
 ## def to_json
-モデルをjson文字列に変換します。
+モデルをjson文字列に変換します。 
 変換したjson文字列には学習パラメータの情報は含まれません。
 学習パラメータの情報を取得したい場合は、params_to_jsonを使用してください。
 ### arguments
@@ -83,28 +83,39 @@ String
 学習パラメータを変換して生成したjson文字列。
 
 ## def <<(layer)
-モデルにレイヤーまたはモデルを追加します。
+モデルにレイヤー追加します。
 ### arguments
-* Layer | Model layer  
-追加するレイヤーまたはモデル。
+* Layer  
+追加するレイヤー。
 ### return
 Model  
 自身のモデルのインスタンス。
 
 ## def optimizer
 モデルのオプティマイザーを取得します。
-モデルにオプティマイザーが存在しない場合は、上位のモデルのオプティマイザーを取得します。
+
 ### arguments
 なし。
 ### return
 Optimizer  
 モデルのオプティマイザー。
 
-## def compile(optimizer)
+## def loss
+モデルの損失関数を取得します。
+
+### arguments
+なし。
+### return
+Loss  
+モデルの損失関数。
+
+## def compile(optimizer, loss)
 モデルをコンパイルします。
 ### arguments
 * Optimizer optimizer
 モデルが学習に使用するオプティマイザー。
+* Loss loss
+モデルが学習に使用する損失関数。
 ### return
 なし。
 
@@ -233,11 +244,11 @@ Array
 
 ## 【Instance methods】
 
-## def build(model)
+## def build(input_shape)
 モデルのコンパイル時に、レイヤーをビルドするために使用されます。
 ### arguments
-* Model model  
-レイヤーを持つモデルを登録します。
+* Array input_shape  
+入力されるNArrayの形状。
 ### return
 なし。
 
@@ -550,26 +561,7 @@ N次元のデータを平坦化します。
 データの形状を変更するshapeです。
 
 
-# class OutputLayer < Layer
-出力層に該当するレイヤーです。出力層の活性化関数は、全てこのクラスを継承する必要があります。
-
-## 【Instance methods】
 
-## abstruct def backward(y)
-出力層の活性化関数と損失関数を合わせたものを微分した導関数を用いて、教師データの出力データを逆方向に伝搬します。
-### arguments
-Numo::SFloat y
-出力データ。
-### return
-出力層の活性化関数と損失関数の微分値。
-
-## abstruct def loss
-損失関数の値を取得します。
-### arguments
-Numo::SFloat y  
-出力データ。
-### return
-損失関数の値。
 
 
 # class Dropout
@@ -668,22 +660,6 @@ Float alpha
 出力値が負のときの傾き。
 
 
-# class IdentityMSE < OutputLayer
-恒等関数と二乗誤差関数を合わせた出力層のレイヤーです。
-
-
-# class IdentityMAE < OutputLayer
-恒等関数と平均絶対誤差関数を合わせた出力層のレイヤーです。
-
-
-# class SoftmaxWithLoss < OutputLayer
-ソフトマックス関数とクロスエントロピー誤差関数を合わせた出力層のレイヤーです。
-
-
-# class SigmoidWithLoss < OutputLayer
-シグモイド関数とバイナリクロスエントロピー誤差関数を合わせた出力層のレイヤーです。
-
-
 # module Initializers
 全てのInitializerの名前空間をなすモジュールです。
 
@@ -894,7 +870,7 @@ Float beta2
   指数平均移動のための係数2。
 
 
-# module Util
+# module Utils
 ユーティリティ関数を提供します。
 
 ## 【Singleton methods】
@@ -924,3 +900,64 @@ Array
 ### return
 NArray  
 カテゴライズされたNArrayのインスタンス。
+
+## def self.sigmoid(x)
+xのシグモイド関数の値を返します。
+### arguments
+* Numo::SFloat x  
+シグモイド関数の引数の値。
+### return
+Numo::SFloat  
+シグモイド関数の値。
+
+## def self.softmax(x)
+xのソフトマックス関数の値を返します。
+### arguments
+* Numo::SFloat x  
+ソフトマックス関数の引数の値。
+### return
+Numo::SFloat  
+ソフトマックス関数の値。
+
+
+
+# module Losses
+損失関数のレイヤーの名前空間をなすモジュールです。
+
+# class Loss
+出力層に該当するレイヤーです。出力層の活性化関数は、全てこのクラスを継承する必要があります。
+
+## 【Instance methods】
+## abstruct def forward(out, y)
+損失関数の順伝搬を行います。全ての損失関数のクラスは、このメソッドを実装する必要があります。
+
+### arguments
+Numo::SFloat out
+ニューラルネットワークの出力値。
+Numo::SFloat y
+教師データの値。
+### return
+損失関数の値。
+
+## abstruct def loss
+損失関数の値を取得します。
+### arguments
+Numo::SFloat y  
+出力データ。
+### return
+損失関数の値。
+
+# class MeanSquaredError < OutputLayer
+二乗誤差の損失関数です。
+
+
+# class IdentityMAE < OutputLayer
+平均絶対誤差の損失関数です。
+
+
+# class SoftmaxCrossEntropy < OutputLayer
+ソフトマックス関数とクロスエントロピー誤差を合わせた損失関数です。
+
+
+# class SigmoidCrossEntropy < OutputLayer
+シグモイド関数とクロスエントロピー誤差を合わせた損失関数です。

data/examples/cifar10_example.rb

@@ -1,10 +1,11 @@
 require "dnn"
 require "dnn/lib/cifar10"
-#require "numo/linalg/autoloader"
+# require "numo/linalg/autoloader"
 
 include DNN::Layers
 include DNN::Activations
 include DNN::Optimizers
+include DNN::Losses
 Model = DNN::Model
 CIFAR10 = DNN::CIFAR10
 
@@ -17,8 +18,8 @@ x_test = Numo::SFloat.cast(x_test)
 x_train /= 255
 x_test /= 255
 
-y_train = DNN::Util.to_categorical(y_train, 10, Numo::SFloat)
-y_test = DNN::Util.to_categorical(y_test, 10, Numo::SFloat)
+y_train = DNN::Utils.to_categorical(y_train, 10, Numo::SFloat)
+y_test = DNN::Utils.to_categorical(y_test, 10, Numo::SFloat)
 
 model = Model.new
 
@@ -60,8 +61,7 @@ model << ReLU.new
 model << Dropout.new(0.5)
 
 model << Dense.new(10)
-model << SoftmaxWithLoss.new
 
-model.compile(Adam.new)
+model.compile(Adam.new, SoftmaxCrossEntropy.new)
 
 model.train(x_train, y_train, 10, batch_size: 100, test: [x_test, y_test])

data/examples/mnist_conv2d_example.rb

@@ -1,10 +1,11 @@
 require "dnn"
 require "dnn/lib/mnist"
-#require "numo/linalg/autoloader"
+# require "numo/linalg/autoloader"
 
 include DNN::Layers
 include DNN::Activations
 include DNN::Optimizers
+include DNN::Losses
 Model = DNN::Model
 MNIST = DNN::MNIST
 
@@ -17,8 +18,8 @@ x_test = Numo::SFloat.cast(x_test).reshape(x_test.shape[0], 28, 28, 1)
 x_train /= 255
 x_test /= 255
 
-y_train = DNN::Util.to_categorical(y_train, 10, Numo::SFloat)
-y_test = DNN::Util.to_categorical(y_test, 10, Numo::SFloat)
+y_train = DNN::Utils.to_categorical(y_train, 10, Numo::SFloat)
+y_test = DNN::Utils.to_categorical(y_test, 10, Numo::SFloat)
 
 model = Model.new
 
@@ -42,8 +43,7 @@ model << ReLU.new
 model << Dropout.new(0.5)
 
 model << Dense.new(10)
-model << SoftmaxWithLoss.new
 
-model.compile(Adam.new)
+model.compile(Adam.new, SoftmaxCrossEntropy.new)
 
 model.train(x_train, y_train, 10, batch_size: 100, test: [x_test, y_test])

data/examples/mnist_example.rb

@@ -1,10 +1,11 @@
 require "dnn"
 require "dnn/lib/mnist"
-#require "numo/linalg/autoloader"
+# require "numo/linalg/autoloader"
 
 include DNN::Layers
 include DNN::Activations
 include DNN::Optimizers
+include DNN::Losses
 Model = DNN::Model
 MNIST = DNN::MNIST
 
@@ -17,8 +18,8 @@ x_test = Numo::SFloat.cast(x_test).reshape(x_test.shape[0], 784)
 x_train /= 255
 x_test /= 255
 
-y_train = DNN::Util.to_categorical(y_train, 10, Numo::SFloat)
-y_test = DNN::Util.to_categorical(y_test, 10, Numo::SFloat)
+y_train = DNN::Utils.to_categorical(y_train, 10, Numo::SFloat)
+y_test = DNN::Utils.to_categorical(y_test, 10, Numo::SFloat)
 
 model = Model.new
 
@@ -33,8 +34,7 @@ model << BatchNormalization.new
 model << ReLU.new
 
 model << Dense.new(10)
-model << SoftmaxWithLoss.new
 
-model.compile(RMSProp.new)
+model.compile(RMSProp.new, SoftmaxCrossEntropy.new)
 
 model.train(x_train, y_train, 10, batch_size: 100, test: [x_test, y_test])

data/examples/mnist_lstm_example.rb

@@ -1,10 +1,11 @@
 require "dnn"
 require "dnn/lib/mnist"
-#require "numo/linalg/autoloader"
+# require "numo/linalg/autoloader"
 
 include DNN::Layers
 include DNN::Activations
 include DNN::Optimizers
+include DNN::Losses
 Model = DNN::Model
 MNIST = DNN::MNIST
 
@@ -17,8 +18,8 @@ x_test = Numo::SFloat.cast(x_test).reshape(x_test.shape[0], 28, 28)
 x_train /= 255
 x_test /= 255
 
-y_train = DNN::Util.to_categorical(y_train, 10, Numo::SFloat)
-y_test = DNN::Util.to_categorical(y_test, 10, Numo::SFloat)
+y_train = DNN::Utils.to_categorical(y_train, 10, Numo::SFloat)
+y_test = DNN::Utils.to_categorical(y_test, 10, Numo::SFloat)
 
 model = Model.new
 
@@ -28,8 +29,7 @@ model << LSTM.new(200)
 model << LSTM.new(200, return_sequences: false)
 
 model << Dense.new(10)
-model << SoftmaxWithLoss.new
 
-model.compile(Adam.new)
+model.compile(Adam.new, SoftmaxCrossEntropy.new)
 
 model.train(x_train, y_train, 10, batch_size: 100, test: [x_test, y_test])

data/examples/xor_example.rb

@@ -3,7 +3,9 @@ require "dnn"
 include DNN::Layers
 include DNN::Activations
 include DNN::Optimizers
+include DNN::Losses
 Model = DNN::Model
+Utils = DNN::Utils
 
 x = Numo::SFloat[[0, 0], [1, 0], [0, 1], [1, 1]]
 y = Numo::SFloat[[0], [1], [1], [0]]
@@ -14,10 +16,9 @@ model << InputLayer.new(2)
 model << Dense.new(16)
 model << ReLU.new
 model << Dense.new(1)
-model << SigmoidWithLoss.new
 
-model.compile(SGD.new)
+model.compile(SGD.new, SigmoidCrossEntropy.new)
 
 model.train(x, y, 20000, batch_size: 4, verbose: false)
 
-p model.predict(x)
+p Utils.sigmoid(model.predict(x))

data/lib/dnn.rb

@@ -5,18 +5,18 @@ else
   Xumo = Numo
 end
 
-Xumo::SFloat.srand(rand(2**64))
-
 module DNN; end
 
 require_relative "dnn/version"
 require_relative "dnn/core/error"
 require_relative "dnn/core/model"
 require_relative "dnn/core/param"
+require_relative "dnn/core/dataset"
 require_relative "dnn/core/initializers"
 require_relative "dnn/core/layers"
 require_relative "dnn/core/activations"
+require_relative "dnn/core/losses"
 require_relative "dnn/core/cnn_layers"
 require_relative "dnn/core/rnn_layers"
 require_relative "dnn/core/optimizers"
-require_relative "dnn/core/util"
+require_relative "dnn/core/utils"

data/lib/dnn/core/activations.rb

@@ -2,10 +2,8 @@ module DNN
   module Activations
 
     class Sigmoid < Layers::Layer
-      NMath = Xumo::NMath
-
       def forward(x)
-        @out = 1 / (1 + NMath.exp(-x))
+        @out = Utils.sigmoid(x)
       end
     
       def backward(dout)
@@ -150,114 +148,5 @@ module DNN
       end
     end
 
-
-    class IdentityMSE < Layers::OutputLayer
-      def forward(x)
-        @out = x
-      end
-    
-      def backward(y)
-        @out - y
-      end
-    
-      def loss(y)
-        batch_size = y.shape[0]
-        0.5 * ((@out - y)**2).sum / batch_size + lasso + ridge
-      end
-    end
-
-
-    class IdentityMAE < Layers::OutputLayer
-      def forward(x)
-        @out = x
-      end
-    
-      def backward(y)
-        dout = @out - y
-        dout[dout >= 0] = 1
-        dout[dout < 0] = -1
-        dout
-      end
-    
-      def loss(y)
-        batch_size = y.shape[0]
-        (@out - y).abs.sum / batch_size + lasso + ridge
-      end
-    end
-
-
-    class IdentityHuber < Layers::OutputLayer
-      def forward(x)
-        @out = x
-      end
-
-      def loss(y)
-        loss = loss_l1(y)
-        loss = loss > 1 ? loss : loss_l2(y)
-        @loss = loss + lasso + ridge
-      end
-
-      def backward(y)
-        dout = @out - y
-        if @loss > 1
-          dout[dout >= 0] = 1
-          dout[dout < 0] = -1
-        end
-        dout
-      end
-
-      private
-
-      def loss_l1(y)
-        batch_size = y.shape[0]
-        (@out - y).abs.sum / batch_size
-      end
-
-      def loss_l2(y)
-        batch_size = y.shape[0]
-        0.5 * ((@out - y)**2).sum / batch_size
-      end
-    end
-    
-    
-    class SoftmaxWithLoss < Layers::OutputLayer
-      NMath = Xumo::NMath
-
-      def forward(x)
-        @out = NMath.exp(x) / NMath.exp(x).sum(1).reshape(x.shape[0], 1)
-      end
-    
-      def backward(y)
-        @out - y
-      end
-    
-      def loss(y)
-        batch_size = y.shape[0]
-        -(y * NMath.log(@out + 1e-7)).sum / batch_size + lasso + ridge
-      end
-    end
-
-
-    class SigmoidWithLoss < Layers::OutputLayer
-      NMath = Xumo::NMath
-
-      def initialize
-        @sigmoid = Sigmoid.new
-      end
-
-      def forward(x)
-        @out = @sigmoid.forward(x)
-      end
-
-      def backward(y)
-        @out - y
-      end
-
-      def loss(y)
-        batch_size = y.shape[0]
-        -(y * NMath.log(@out + 1e-7) + (1 - y) * NMath.log(1 - @out + 1e-7)).sum / batch_size + lasso + ridge
-      end
-    end
-
   end
 end