ruby-dnn 0.1.6 → 0.1.7

checksums.yaml

@@ -1,7 +1,7 @@
 ---
 SHA256:
-  metadata.gz: 634ecbbfbad30f1660a3f04adc9e3a3835d54b93dc84eb765962406111243f46
-  data.tar.gz: 7b00ad63ddf17e95df2e852b29005fdb35671b2bed12e951d8c54fcc3415abe7
+  metadata.gz: d86f8c32dcd08b4a71ae4ce3892e0a4f0677d04ac32c0090b72c8f7fe008b591
+  data.tar.gz: 4003068dfacd2739426e6c8d19411a47b9401aaf2c7c09f214962de3cdf57986
 SHA512:
-  metadata.gz: fba18cc2365d798e27fc3fa8be1f296664d23ef2b04d0e6d8db635189b4cf591675e29c8314437b00e8dc122d143ec956486915ed84a37e8b19b0952687a6467
-  data.tar.gz: f2d7f67c6331db0d58a01b3dbbc3f9b136fc692900811e88251e0a6865a0b0790e4291621296155f3f7778051ac0323a727ae6d1e812baebf76096a25b9ee0d9
+  metadata.gz: 1699c885afb1494981784e435dd93c5f06c7f2041412eefacf0c2f24e700ab1a134a155dfc3babe6791b15c4936f15083463d32f3bd02f181c0f457273f4d4bd
+  data.tar.gz: '09b397dba80f67bf9dc5a66a557d3e358b11c397776cad73b7cd4d2a1fbe601d93b1df0d5dfa9a3675736e4e3ab7386ad59bf71825689714439c5480c85feb3a'

data/API-Reference.ja.md

@@ -2,7 +2,7 @@
 ruby-dnnのAPIリファレンスです。このリファレンスでは、APIを利用するうえで必要となるクラスとメソッドしか記載していません。
 そのため、プログラムの詳細が必要な場合は、ソースコードを参照してください。
 
-対応バージョン:0.1.6
+対応バージョン:0.1.7
 
 # module DNN
 ruby-dnnの名前空間をなすモジュールです。

data/LIB-API-Reference.ja.md

@@ -0,0 +1,97 @@
+# LIB-APIリファレンス
+ruby-dnnの付属ライブラリのリファレンスです。  
+対応バージョン:0.1.6
+
+
+# dnn/lib/mnist
+MNISTデータセットを扱うライブラリです。初回利用時は、データセットのダウンロードを行うため、時間がかかります。
+
+
+# module MNIST
+MNISTを扱うモジュールです。
+
+## 【Singleton methods】
+
+## def self.load_train
+トレーニング用データを取得します。
+### arguments
+なし。
+### return
+Array  
+[イメージデータ, ラベルデータ]の形式で取得します。
+* イメージデータ
+  UInt8の[60000, 28, 28]の形式
+* テストデータ
+  UInt8の[60000]の形式
+
+## def self.load_test
+テスト用データを取得します。
+### arguments
+なし。
+### return
+Array  
+[イメージデータ, ラベルデータ]の形式で取得します。
+* イメージデータ
+  UInt8の[10000, 28, 28]の形式
+* テストデータ
+  UInt8の[10000]の形式
+
+
+# dnn/lib/cifar10
+CIFAR-10データセットを扱うライブラリです。初回利用時は、データセットのダウンロードを行うため、時間がかかります。
+
+
+# module CIFAR10
+CIFAR-10を扱うモジュールです。
+
+## 【Singleton methods】
+
+## def self.load_train
+トレーニング用データを取得します。
+### arguments
+なし。
+### return
+Array  
+[イメージデータ, ラベルデータ]の形式で取得します。
+* イメージデータ
+  UInt8の[50000, 32, 32, 3]の形式
+* テストデータ
+  UInt8の[50000]の形式
+
+## def self.load_test
+テスト用データを取得します。
+### arguments
+なし。
+### return
+Array  
+[イメージデータ, ラベルデータ]の形式で取得します。
+* イメージデータ
+  UInt8の[10000, 32, 32, 3]の形式
+* テストデータ
+  UInt8の[10000]の形式
+
+
+# dnn/lib/image_io
+画像のin/outを行うライブラリです。内部でstb_imageとstb_image_writeを使用しています。
+
+
+# module ImageIO
+
+## def self.read(file_name)
+画像をNumo::UInt8形式で読み込みます。
+### arguments
+* String file_name  
+読み込む画像のファイル名。
+### return
+Numo::UInt8  
+[width, height, rgb]のNumo::UInt8配列。
+
+## def self.write(file_name, nary, quality: 100)
+Numo::UInt8形式の画像を書き込みます。
+### arguments
+* String file_name  
+書き込む画像のファイル名。
+* Numo::UInt8  
+[width, height, rgb]のNumo::UInt8配列。
+* Integer quality: 100
+画像をJPEGで書き込む場合のクオリティ。

data/Rakefile

@@ -7,16 +7,12 @@ Rake::TestTask.new(:test) do |t|
   t.test_files = FileList["test/**/*_test.rb"]
 end
 
-task :build_mnist do
-  sh "cd lib/dnn/ext/mnist; ruby extconf.rb; make"
-end
-
-task :build_cifar10 do
-  sh "cd lib/dnn/ext/cifar10; ruby extconf.rb; make"
+task :build_dataset_loader do
+  sh "cd lib/dnn/ext/dataset_loader; ruby extconf.rb; make"
 end
 
 task :build_image_io do
   sh "cd lib/dnn/ext/image_io; ruby extconf.rb; make"
 end
 
-task :default => [:test, :build_mnist, :build_cifar10, :build_image_io]
+task :default => [:test, :build_dataset_loader, :build_image_io]

data/lib/dnn/core/version.rb

@@ -1,3 +1,3 @@
 module DNN
-  VERSION = "0.1.6"
+  VERSION = "0.1.7"
 end

data/lib/dnn/ext/dataset_loader/dataset_loader.c

@@ -0,0 +1,90 @@
+#include <ruby.h>
+#include <stdlib.h>
+#include "numo/narray.h"
+
+#define CIFAR10_WIDTH 32
+#define CIFAR10_HEIGHT 32
+#define CIFAR10_CHANNEL 3
+
+VALUE mnist_load_images(VALUE self, VALUE rb_bin, VALUE rb_num_images, VALUE rb_cols, VALUE rb_rows) {
+  char* bin = StringValuePtr(rb_bin);
+  int num_images = FIX2INT(rb_num_images);
+  int cols = FIX2INT(rb_cols);
+  int rows = FIX2INT(rb_rows);
+  int i;
+  int j;
+  char script[64];
+  VALUE rb_na;
+  narray_data_t* na_data;
+
+  sprintf(script, "Numo::UInt8.zeros(%d, %d, %d)", num_images, cols, rows);
+  rb_na = rb_eval_string(&script[0]);
+  na_data = RNARRAY_DATA(rb_na);
+
+  for (i = 0; i < num_images; i++) {
+    j = i * cols * rows;
+    memcpy(&na_data->ptr[j], &bin[j], cols * rows);
+  }
+  return rb_na;
+}
+
+VALUE mnist_load_labels(VALUE self, VALUE rb_bin, VALUE rb_num_labels) {
+  char* bin = StringValuePtr(rb_bin);
+  int num_labels = FIX2INT(rb_num_labels);
+  char script[64];
+  VALUE rb_na;
+  narray_data_t* na_data;
+
+  sprintf(script, "Numo::UInt8.zeros(%d)", num_labels);
+  rb_na = rb_eval_string(&script[0]);
+  na_data = RNARRAY_DATA(rb_na);
+
+  memcpy(na_data->ptr, bin, num_labels);
+  return rb_na;
+}
+
+VALUE cifar10_load(VALUE self, VALUE rb_bin, VALUE rb_num_datas) {
+  char* bin = StringValuePtr(rb_bin);
+  int num_datas = FIX2INT(rb_num_datas);
+  char script[64];
+  VALUE rb_na_x;
+  VALUE rb_na_y;
+  VALUE rb_xy;
+  narray_data_t* na_data_x;
+  narray_data_t* na_data_y;
+  int i;
+  int j = 0;
+  int k = 0;
+  int size = CIFAR10_WIDTH * CIFAR10_HEIGHT * CIFAR10_CHANNEL;
+
+  sprintf(script, "Numo::UInt8.zeros(%d, %d, %d, %d)", num_datas, CIFAR10_CHANNEL, CIFAR10_WIDTH, CIFAR10_HEIGHT);
+  rb_na_x = rb_eval_string(&script[0]);
+  na_data_x = RNARRAY_DATA(rb_na_x);
+  for(i = 0; i < 64; i++) {
+    script[i] = 0;
+  }
+  sprintf(script, "Numo::UInt8.zeros(%d)", num_datas);
+  rb_na_y = rb_eval_string(&script[0]);
+  na_data_y = RNARRAY_DATA(rb_na_y);
+
+  for (i = 0; i < num_datas; i++) {
+    na_data_y->ptr[i] = bin[j];
+    j++;
+    memcpy(&na_data_x->ptr[k], &bin[j], size);
+    j += size;
+    k += size;
+  }
+
+  rb_xy = rb_ary_new3(2, rb_na_x, rb_na_y);
+  return rb_xy;
+}
+
+void Init_dataset_loader() {
+  VALUE rb_dnn = rb_define_module("DNN");
+  VALUE rb_mnist = rb_define_module_under(rb_dnn, "MNIST");
+  VALUE rb_cifar10 = rb_define_module_under(rb_dnn, "CIFAR10");
+
+  rb_define_singleton_method(rb_mnist, "_mnist_load_images", mnist_load_images, 4);
+  rb_define_singleton_method(rb_mnist, "_mnist_load_labels", mnist_load_labels, 2); 
+  rb_define_singleton_method(rb_cifar10, "_cifar10_load", cifar10_load, 2);
+}

data/lib/dnn/ext/dataset_loader/extconf.rb

@@ -0,0 +1,3 @@
+require "mkmf"
+
+create_makefile("dataset_loader")

data/lib/dnn/lib/cifar10.rb

@@ -1,5 +1,5 @@
 require "dnn"
-require "dnn/ext/cifar10/cifar10_ext"
+require "dnn/ext/dataset_loader/dataset_loader"
 require "open-uri"
 require "zlib"
 require "archive/tar/minitar"
@@ -21,11 +21,14 @@ module DNN
       puts "Now downloading..."
       open(URL_CIFAR10, "rb") do |f|
         File.binwrite(cifar10_binary_file_name, f.read)
-        Zlib::GzipReader.open(cifar10_binary_file_name) do |gz|
-          Archive::Tar::Minitar::unpack(gz, __dir__)
+        begin
+          Zlib::GzipReader.open(cifar10_binary_file_name) do |gz|
+            Archive::Tar::Minitar::unpack(gz, __dir__)
+          end
+        ensure
+          File.unlink(cifar10_binary_file_name)
         end
       end
-      File.delete(cifar10_binary_file_name)
       puts "The download has ended."
     rescue => ex
       raise DNN_CIFAR10_DownloadError.new(ex.message)

data/lib/dnn/lib/image_io.rb

@@ -22,6 +22,8 @@ module DNN
       when /\.jpg$/
         _write_jpg(file_name, nary, quality)
       end
+    rescue => ex
+      raise ImageIO::WriteError.new(ex.message)
     end
   end
 

data/lib/dnn/lib/mnist.rb

@@ -1,7 +1,7 @@
 require "open-uri"
 require "zlib"
 require "dnn/core/error"
-require "dnn/ext/mnist/mnist_ext"
+require "dnn/ext/dataset_loader/dataset_loader"
 
 module DNN
   module MNIST

data/ruby-dnn.gemspec

@@ -13,7 +13,7 @@ Gem::Specification.new do |spec|
   spec.description   = %q{ruby-dnn is a ruby deep learning library.}
   spec.homepage      = "https://github.com/unagiootoro/ruby-dnn.git"
   spec.license       = "MIT"
-  spec.extensions    = ["lib/dnn/ext/mnist/extconf.rb", "lib/dnn/ext/cifar10/extconf.rb", "lib/dnn/ext/image_io/extconf.rb"]
+  spec.extensions    = ["lib/dnn/ext/dataset_loader/extconf.rb", "lib/dnn/ext/image_io/extconf.rb"]
 
   spec.add_dependency "numo-narray"
   spec.add_dependency "archive-tar-minitar"

metadata

@@ -1,14 +1,14 @@
 --- !ruby/object:Gem::Specification
 name: ruby-dnn
 version: !ruby/object:Gem::Version
-  version: 0.1.6
+  version: 0.1.7
 platform: ruby
 authors:
 - unagiootoro
 autorequire: 
 bindir: exe
 cert_chain: []
-date: 2018-07-07 00:00:00.000000000 Z
+date: 2018-07-09 00:00:00.000000000 Z
 dependencies:
 - !ruby/object:Gem::Dependency
   name: numo-narray
@@ -85,8 +85,7 @@ email:
 - ootoro838861@outlook.jp
 executables: []
 extensions:
-- lib/dnn/ext/mnist/extconf.rb
-- lib/dnn/ext/cifar10/extconf.rb
+- lib/dnn/ext/dataset_loader/extconf.rb
 - lib/dnn/ext/image_io/extconf.rb
 extra_rdoc_files: []
 files:
@@ -95,6 +94,7 @@ files:
 - API-Reference.ja.md
 - CODE_OF_CONDUCT.md
 - Gemfile
+- LIB-API-Reference.ja.md
 - LICENSE.txt
 - README.md
 - Rakefile
@@ -113,37 +113,37 @@ files:
 - lib/dnn/core/optimizers.rb
 - lib/dnn/core/util.rb
 - lib/dnn/core/version.rb
-- lib/dnn/ext/cifar10/cifar10_ext.c
-- lib/dnn/ext/cifar10/extconf.rb
-- lib/dnn/ext/cifar10/numo/compat.h
-- lib/dnn/ext/cifar10/numo/extconf.h
-- lib/dnn/ext/cifar10/numo/intern.h
-- lib/dnn/ext/cifar10/numo/narray.h
-- lib/dnn/ext/cifar10/numo/ndloop.h
-- lib/dnn/ext/cifar10/numo/template.h
-- lib/dnn/ext/cifar10/numo/types/bit.h
-- lib/dnn/ext/cifar10/numo/types/complex.h
-- lib/dnn/ext/cifar10/numo/types/complex_macro.h
-- lib/dnn/ext/cifar10/numo/types/dcomplex.h
-- lib/dnn/ext/cifar10/numo/types/dfloat.h
-- lib/dnn/ext/cifar10/numo/types/float_def.h
-- lib/dnn/ext/cifar10/numo/types/float_macro.h
-- lib/dnn/ext/cifar10/numo/types/int16.h
-- lib/dnn/ext/cifar10/numo/types/int32.h
-- lib/dnn/ext/cifar10/numo/types/int64.h
-- lib/dnn/ext/cifar10/numo/types/int8.h
-- lib/dnn/ext/cifar10/numo/types/int_macro.h
-- lib/dnn/ext/cifar10/numo/types/real_accum.h
-- lib/dnn/ext/cifar10/numo/types/robj_macro.h
-- lib/dnn/ext/cifar10/numo/types/robject.h
-- lib/dnn/ext/cifar10/numo/types/scomplex.h
-- lib/dnn/ext/cifar10/numo/types/sfloat.h
-- lib/dnn/ext/cifar10/numo/types/uint16.h
-- lib/dnn/ext/cifar10/numo/types/uint32.h
-- lib/dnn/ext/cifar10/numo/types/uint64.h
-- lib/dnn/ext/cifar10/numo/types/uint8.h
-- lib/dnn/ext/cifar10/numo/types/uint_macro.h
-- lib/dnn/ext/cifar10/numo/types/xint_macro.h
+- lib/dnn/ext/dataset_loader/dataset_loader.c
+- lib/dnn/ext/dataset_loader/extconf.rb
+- lib/dnn/ext/dataset_loader/numo/compat.h
+- lib/dnn/ext/dataset_loader/numo/extconf.h
+- lib/dnn/ext/dataset_loader/numo/intern.h
+- lib/dnn/ext/dataset_loader/numo/narray.h
+- lib/dnn/ext/dataset_loader/numo/ndloop.h
+- lib/dnn/ext/dataset_loader/numo/template.h
+- lib/dnn/ext/dataset_loader/numo/types/bit.h
+- lib/dnn/ext/dataset_loader/numo/types/complex.h
+- lib/dnn/ext/dataset_loader/numo/types/complex_macro.h
+- lib/dnn/ext/dataset_loader/numo/types/dcomplex.h
+- lib/dnn/ext/dataset_loader/numo/types/dfloat.h
+- lib/dnn/ext/dataset_loader/numo/types/float_def.h
+- lib/dnn/ext/dataset_loader/numo/types/float_macro.h
+- lib/dnn/ext/dataset_loader/numo/types/int16.h
+- lib/dnn/ext/dataset_loader/numo/types/int32.h
+- lib/dnn/ext/dataset_loader/numo/types/int64.h
+- lib/dnn/ext/dataset_loader/numo/types/int8.h
+- lib/dnn/ext/dataset_loader/numo/types/int_macro.h
+- lib/dnn/ext/dataset_loader/numo/types/real_accum.h
+- lib/dnn/ext/dataset_loader/numo/types/robj_macro.h
+- lib/dnn/ext/dataset_loader/numo/types/robject.h
+- lib/dnn/ext/dataset_loader/numo/types/scomplex.h
+- lib/dnn/ext/dataset_loader/numo/types/sfloat.h
+- lib/dnn/ext/dataset_loader/numo/types/uint16.h
+- lib/dnn/ext/dataset_loader/numo/types/uint32.h
+- lib/dnn/ext/dataset_loader/numo/types/uint64.h
+- lib/dnn/ext/dataset_loader/numo/types/uint8.h
+- lib/dnn/ext/dataset_loader/numo/types/uint_macro.h
+- lib/dnn/ext/dataset_loader/numo/types/xint_macro.h
 - lib/dnn/ext/image_io/extconf.rb
 - lib/dnn/ext/image_io/image_io_ext.c
 - lib/dnn/ext/image_io/numo/compat.h
@@ -177,37 +177,6 @@ files:
 - lib/dnn/ext/image_io/numo/types/xint_macro.h
 - lib/dnn/ext/image_io/stb_image.h
 - lib/dnn/ext/image_io/stb_image_write.h
-- lib/dnn/ext/mnist/extconf.rb
-- lib/dnn/ext/mnist/mnist_ext.c
-- lib/dnn/ext/mnist/numo/compat.h
-- lib/dnn/ext/mnist/numo/extconf.h
-- lib/dnn/ext/mnist/numo/intern.h
-- lib/dnn/ext/mnist/numo/narray.h
-- lib/dnn/ext/mnist/numo/ndloop.h
-- lib/dnn/ext/mnist/numo/template.h
-- lib/dnn/ext/mnist/numo/types/bit.h
-- lib/dnn/ext/mnist/numo/types/complex.h
-- lib/dnn/ext/mnist/numo/types/complex_macro.h
-- lib/dnn/ext/mnist/numo/types/dcomplex.h
-- lib/dnn/ext/mnist/numo/types/dfloat.h
-- lib/dnn/ext/mnist/numo/types/float_def.h
-- lib/dnn/ext/mnist/numo/types/float_macro.h
-- lib/dnn/ext/mnist/numo/types/int16.h
-- lib/dnn/ext/mnist/numo/types/int32.h
-- lib/dnn/ext/mnist/numo/types/int64.h
-- lib/dnn/ext/mnist/numo/types/int8.h
-- lib/dnn/ext/mnist/numo/types/int_macro.h
-- lib/dnn/ext/mnist/numo/types/real_accum.h
-- lib/dnn/ext/mnist/numo/types/robj_macro.h
-- lib/dnn/ext/mnist/numo/types/robject.h
-- lib/dnn/ext/mnist/numo/types/scomplex.h
-- lib/dnn/ext/mnist/numo/types/sfloat.h
-- lib/dnn/ext/mnist/numo/types/uint16.h
-- lib/dnn/ext/mnist/numo/types/uint32.h
-- lib/dnn/ext/mnist/numo/types/uint64.h
-- lib/dnn/ext/mnist/numo/types/uint8.h
-- lib/dnn/ext/mnist/numo/types/uint_macro.h
-- lib/dnn/ext/mnist/numo/types/xint_macro.h
 - lib/dnn/lib/cifar10.rb
 - lib/dnn/lib/image_io.rb
 - lib/dnn/lib/mnist.rb