ruby-dnn 0.6.8 → 0.6.9

checksums.yaml

@@ -1,7 +1,7 @@
 ---
 SHA256:
-  metadata.gz: 95749384aa75b235acbae6d8be2ff595120eef4e4737470ade303c610ea448f4
-  data.tar.gz: fdaff7544dbfbb8ef7d8f7cdb6676d33fc99d88f4d7f79f8c6f4c7564ecb58c5
+  metadata.gz: ba833ada1d4ff38437a7319ed1aac960fab4e10addaa5a92160fbe6620105156
+  data.tar.gz: b1775f07517e57a72bff10a34f153b1275a51a8ce293de1f6f416f1e65782b6b
 SHA512:
-  metadata.gz: e537e7a795c39f61933af29730256e9f523879620075fccf125260b61f8ccd623b3ddc6a0bca5e0d5d07ad1f5aeee1129ad60ece5359211d25e98cbc92b13ade
-  data.tar.gz: 89ffc6e14c02476f683eb4057c1192c9e80a1a8f79b08a577378cef8f7b58c62992351ab01680d64a6c0339e853a5f0131037621bba975d590493dce0e98507a
+  metadata.gz: 6ba3b2733b99454f681aaec13f4f01a8307a438aee82a7b3654ccf80da0ae1d89f6aac9c816aedafb87611eb04eb77e00636c5d3ba56a42a1df0084ceed7fc73
+  data.tar.gz: e478533285aa1f499ac74d30a44189862625a0fdfc2832cc6f810e348e853365ea7b28123cd6a475f1326c2086d2bdd0ecf69e9552b143f5b8031fd0a1fce785

data/API-Reference.ja.md

@@ -2,7 +2,7 @@
 ruby-dnnのAPIリファレンスです。このリファレンスでは、APIを利用するうえで必要となるクラスとメソッドしか記載していません。
 そのため、プログラムの詳細が必要な場合は、ソースコードを参照してください。
 
-最終更新バージョン:0.6.8
+最終更新バージョン:0.6.9
 
 # module DNN
 ruby-dnnの名前空間をなすモジュールです。
@@ -595,6 +595,10 @@ softsign関数のレイヤーです。
 softplus関数のレイヤーです。
 
 
+# class Swish < Layer
+swish関数のレイヤーです。
+
+
 # class ReLU < Layer
 ランプ関数のレイヤーです。
 
@@ -616,6 +620,23 @@ Float alpha
 出力値が負のときの傾き。
 
 
+# class ELU < Layer
+eLU関数のレイヤーです。
+
+## 【Properties】
+## attr_reader :alpha
+Float alpha  
+出力値が負のときの傾き。
+
+## 【Instance methods】
+
+## def initialize(alpha)
+コンストラクタ。
+### arguments
+* Float alpha  
+出力値が負のときの傾き。
+
+
 # class IdentityMSE < OutputLayer
 恒等関数と二乗誤差関数を合わせた出力層のレイヤーです。
 

data/README.md

@@ -33,7 +33,7 @@ To install this gem onto your local machine, run `bundle exec rake install`. To
 
 ## Contributing
 
-Bug reports and pull requests are welcome on GitHub at https://github.com/[USERNAME]/dnn. This project is intended to be a safe, welcoming space for collaboration, and contributors are expected to adhere to the [Contributor Covenant](http://contributor-covenant.org) code of conduct.
+Bug reports and pull requests are welcome on GitHub at https://github.com/unagiootoro/ruby-dnn. This project is intended to be a safe, welcoming space for collaboration, and contributors are expected to adhere to the [Contributor Covenant](http://contributor-covenant.org) code of conduct.
 
 ## License
 

data/lib/dnn/core/activations.rb

@@ -21,6 +21,42 @@ module DNN
         dout * (1 - @out**2)
       end
     end
+
+
+    class Softsign < Layers::Layer
+      def forward(x)
+        @x = x
+        x / (1 + x.abs)
+      end
+
+      def backward(dout)
+        dout * (1 / (1 + @x.abs)**2)
+      end
+    end
+
+
+    class Softplus < Layers::Layer
+      def forward(x)
+        @x = x
+        Xumo::NMath.log(1 + Xumo::NMath.exp(x))
+      end
+
+      def backward(dout)
+        dout * (1 / (1 + Xumo::NMath.exp(-@x)))
+      end
+    end
+
+
+    class Swish < Layers::Layer
+      def forward(x)
+        @x = x
+        @out = x * (1 / (1 + Xumo::NMath.exp(-x)))
+      end
+    
+      def backward(dout)
+        dout * (@out + (1 / (1 + Xumo::NMath.exp(-@x))) * (1 - @out))
+      end
+    end
     
     
     class ReLU < Layers::Layer
@@ -68,26 +104,39 @@ module DNN
     end
 
 
-    class Softsign < Layers::Layer
-      def forward(x)
-        @x = x
-        x / (1 + x.abs)
-      end
+    class ELU < Layers::Layer
+      attr_reader :alpha
 
-      def backward(dout)
-        dout * (1 / (1 + @x.abs)**2)
+      def self.load_hash(hash)
+        self.new(hash[:alpha])
       end
-    end
 
+      def initialize(alpha = 1.0)
+        @alpha = alpha
+      end
 
-    class Softplus < Layers::Layer
       def forward(x)
         @x = x
-        Xumo::NMath.log(1 + Xumo::NMath.exp(x))
+        x1 = Xumo::SFloat.zeros(x.shape)
+        x1[x >= 0] = 1
+        x1 *= x
+        x2 = Xumo::SFloat.zeros(x.shape)
+        x2[x < 0] = 1
+        x2 *= @alpha * Xumo::NMath.exp(x) - @alpha
+        x1 + x2
       end
 
       def backward(dout)
-        dout * (1 / (1 + Xumo::NMath.exp(-@x)))
+        dx = Xumo::SFloat.ones(@x.shape)
+        dx[@x < 0] = 0
+        dx2 = Xumo::SFloat.zeros(@x.shape)
+        dx2[@x < 0] = 1
+        dx2 *= @alpha * Xumo::NMath.exp(@x)
+        dout * (dx + dx2)
+      end
+
+      def to_hash
+        {class: self.class.name, alpha: @alpha}
       end
     end
 

data/lib/dnn/version.rb

@@ -1,3 +1,3 @@
 module DNN
-  VERSION = "0.6.8"
+  VERSION = "0.6.9"
 end

metadata

@@ -1,14 +1,14 @@
 --- !ruby/object:Gem::Specification
 name: ruby-dnn
 version: !ruby/object:Gem::Version
-  version: 0.6.8
+  version: 0.6.9
 platform: ruby
 authors:
 - unagiootoro
 autorequire: 
 bindir: exe
 cert_chain: []
-date: 2018-09-01 00:00:00.000000000 Z
+date: 2018-09-02 00:00:00.000000000 Z
 dependencies:
 - !ruby/object:Gem::Dependency
   name: numo-narray