red-datasets 0.1.9 → 0.2.1

checksums.yaml

@@ -1,7 +1,7 @@
 ---
 SHA256:
-  metadata.gz: 01ddaa57da3c64de47cfd9eb2ca9ae2ec3cbcb5d35138fdd74f74009f062358f
-  data.tar.gz: 431dba2c0e41bc25a4e2716ed20936ee2022c2b04c49683bb7d0d2e2aaa2f99e
+  metadata.gz: b902b34e223bc1fe0d52138006497a9eb8052829cfef85f75a62d2ef7d984165
+  data.tar.gz: 4fd686319f25079ca48cb78a9cfbba6b1846532bf7b3d54919379d91142f17fd
 SHA512:
-  metadata.gz: ab12e9783e4a23b81f9bd1be22c31704f9095026cb27185a6fe985e106320982fb999e1cf2348f6b18b509a7f1a6a5b58d405ece5d541e8ddbe43cd08f252a80
-  data.tar.gz: 157df5fffd3ba8fd021cdef3933c0a9e99a0fa7f173771e2177d1a86e79788c3250b12453f06084e24afcf624ec3283e702e6bd7595f08e2cf2b5a7dd404065c
+  metadata.gz: 9cfa887b557b22c5371e8785a487853ad8394f44c82d7e303bce8cbdb604b56915ea215c765c74c3ca8902e582c94c5c16bb1ebd71ca4ca69e284b293106127e
+  data.tar.gz: 2243686a23b77a2552c6bf80fe2dfcefba2232cdd83b36a717442e226c8b867c089e315f01eff7b592ea4b0d49354beddaadbd82a0bbb5cbb37dd9ecdbf50a1d

data/Gemfile

@@ -3,3 +3,9 @@
 source "https://rubygems.org/"
 
 gemspec
+
+# add steep and typeprof to development dependencies
+group :development do
+  gem "steep", require: false
+  gem "typeprof"
+end

data/Rakefile

@@ -27,7 +27,7 @@ task default: :test
 
 desc "Run tests"
 task :test do
-  ruby("test/run-test.rb")
+  ruby("test/run.rb")
 end
 
 desc "Generate an artifact for GitHub Pages"

data/doc/text/news.md

@@ -1,5 +1,42 @@
 # News
 
+## 0.2.1 - 2025-10-14
+
+### Improvements
+
+  * `Datasets::Downloader`: Ensured using the system certifications on
+    HTTPS download.
+
+    * [GH-248](https://github.com/red-data-tools/red-datasets/issues/248)
+
+### Fixes
+
+  * `Datasets::Downloader`: Avoided duplicate downloads.
+
+    * [GH-242](https://github.com/red-data-tools/red-datasets/issues/242)
+
+    * [GH-243](https://github.com/red-data-tools/red-datasets/issues/243)
+
+    * Patch by Tsutomu Katsube
+
+  * `Datasets::Downloader`: Fixed lock validation logic.
+
+    * [GH-246](https://github.com/red-data-tools/red-datasets/issues/246)
+
+    * Patch by kojix2
+
+### Thanks
+
+  * Tsutomu Katsube
+
+  * kojix2
+
+## 0.2.0 - 2025-04-13
+
+### Fixes
+
+  * `Datasets::MNIST`: Fixed a bug that dataset can't be downloaded.
+
 ## 0.1.9 - 2025-04-08
 
 ### Improvements

data/lib/datasets/downloader.rb

@@ -20,13 +20,12 @@ module Datasets
     end
 
     def download(output_path, &block)
-      if output_path.exist?
-        yield_chunks(output_path, &block) if block_given?
-        return
-      end
+      return if use_cache(output_path, &block)
 
       partial_output_path = Pathname.new("#{output_path}.partial")
       synchronize(output_path, partial_output_path) do
+        return if use_cache(output_path, &block)
+
         output_path.parent.mkpath
 
         n_retries = 0
@@ -94,6 +93,15 @@ module Datasets
       url
     end
 
+    private def use_cache(output_path, &block)
+      if output_path.exist?
+        yield_chunks(output_path, &block) if block_given?
+        true
+      else
+        false
+      end
+    end
+
     private def synchronize(output_path, partial_output_path)
       begin
         Process.getpgid(Process.pid)
@@ -114,7 +122,7 @@ module Datasets
             # The process that acquired the lock will be exited before
             # it stores its process ID.
             elapsed_time = Time.now - lock_path.mtime
-            valid_lock_path = (elapsed_time > 10)
+            valid_lock_path = (elapsed_time < 10)
           else
             begin
               Process.getpgid(pid)
@@ -150,6 +158,11 @@ module Datasets
       http = Net::HTTP.new(url.hostname, url.port)
       # http.set_debug_output($stderr)
       http.use_ssl = (url.scheme == "https")
+      if http.use_ssl?
+        store = OpenSSL::X509::Store.new
+        store.set_default_paths
+        http.cert_store = store
+      end
       http.start do
         path = url.path
         path += "?#{url.query}" if url.query
@@ -168,6 +181,12 @@ module Datasets
         else
           request = Net::HTTP::Get.new(path, headers)
         end
+        if url.scheme == "https" and url.host == "api.github.com"
+          gh_token = ENV["GH_TOKEN"]
+          if gh_token
+            headers = headers.merge("Authorization" => "Bearer #{gh_token}")
+          end
+        end
         http.request(request) do |response|
           case response
           when Net::HTTPSuccess, Net::HTTPPartialContent
@@ -177,7 +196,8 @@ module Datasets
             $stderr.puts "Redirect to #{url}"
             return start_http(url, fallback_urls, headers, limit - 1, &block)
           else
-            if response.is_a?(Net::HTTPForbidden)
+            case response
+            when Net::HTTPForbidden, Net::HTTPNotFound
               next_url, *rest_fallback_urls = fallback_urls
               if next_url
                 message = "#{response.code}: #{response.message}: " +

data/lib/datasets/mnist.rb

@@ -54,7 +54,6 @@ module Datasets
     private
     def base_urls
       [
-        "http://yann.lecun.com/exdb/mnist/",
         "https://ossci-datasets.s3.amazonaws.com/mnist/",
       ]
     end

data/lib/datasets/version.rb

@@ -1,3 +1,3 @@
 module Datasets
-  VERSION = "0.1.9"
+  VERSION = "0.2.1"
 end

data/test/test-aozora-bunko.rb

@@ -1,3 +1,5 @@
+require_relative "helper"
+
 class AozoraBunkoTest < Test::Unit::TestCase
   include Helper::PathRestorable
 

data/test/test-cifar.rb

@@ -1,3 +1,5 @@
+require_relative "helper"
+
 class CIFARTest < Test::Unit::TestCase
   include Helper::Sandbox
 

data/test/test-cldr-plurals.rb

@@ -14,7 +14,7 @@ class CLDRPluralsTest < Test::Unit::TestCase
   test("#each") do
     locales = @dataset.each.to_a
     assert_equal([
-                   220,
+                   227,
                    locale("bm",
                           [
                             rule("other",

data/test/test-dataset.rb

@@ -1,3 +1,5 @@
+require_relative "helper"
+
 class TestDataset < Test::Unit::TestCase
   sub_test_case("#clear_cache!") do
     include Helper::PathRestorable

data/test/test-downloader.rb

@@ -1,3 +1,5 @@
+require_relative "helper"
+
 class DownloaderTest < Test::Unit::TestCase
   include Helper::Sandbox
 

data/test/test-house-of-councillor.rb

@@ -71,47 +71,47 @@ class HouseOfCouncillorTest < Test::Unit::TestCase
     test("#each") do
       records = @dataset.each.to_a
       assert_equal([
-                     10,
-                     record(Date.parse("2024-01-26"),
+                     11,
+                     record(Date.parse("2025-08-01"),
                             "自由民主党",
                             "自民",
-                            Date.parse("2024-05-25"),
-                            115,
-                            24,
-                            Date.parse("2025-07-28"),
+                            Date.parse("2025-08-11"),
+                            100,
                             19,
-                            5,
-                            33,
-                            6,
-                            52,
-                            11,
                             Date.parse("2028-07-25"),
                             18,
                             5,
-                            45,
-                            8,
-                            63,
-                            13),
-                     record(Date.parse("2024-01-26"),
+                            43,
+                            7,
+                            61,
+                            12,
+                            Date.parse("2031-07-28"),
+                            12,
+                            3,
+                            27,
+                            4,
+                            39,
+                            7),
+                     record(Date.parse("2025-08-01"),
                             "各派に属しない議員",
                             "無所属",
-                            Date.parse("2024-05-25"),
-                            12,
+                            Date.parse("2025-08-11"),
+                            9,
                             4,
-                            Date.parse("2025-07-28"),
-                            1,
-                            0,
-                            7,
-                            2,
-                            8,
-                            2,
                             Date.parse("2028-07-25"),
                             1,
                             0,
                             3,
-                            2,
+                            1,
                             4,
-                            2),
+                            1,
+                            Date.parse("2031-07-28"),
+                            1,
+                            0,
+                            4,
+                            3,
+                            5,
+                            3),
                    ],
                    [
                      records.size,
@@ -133,20 +133,20 @@ class HouseOfCouncillorTest < Test::Unit::TestCase
     test("#each") do
       records = @dataset.each.to_a
       assert_equal([
-                     247,
-                     record("足立　敏之",
+                     248,
+                     record("青木　愛",
                             nil,
-                            "https://www.sangiin.go.jp/japanese/joho1/kousei/giin/profile/7016001.htm",
-                            "あだち　としゆき",
-                            "自民",
+                            "https://www.sangiin.go.jp/japanese/joho1/kousei/giin/profile/7007006.htm",
+                            "あおき　あい",
+                            "立憲",
                             "比例",
                             Date.parse("2028-07-25"),
-                            "https://www.sangiin.go.jp/japanese/joho1/kousei/giin/photo/g7016001.jpg",
-                            [2016, 2022],
-                            2,
-                            "財政金融委員会（長）",
-                            Date.parse("2024-05-25"),
-                            "昭和29年5月20日兵庫県西宮市生まれ。（本籍地・京都府福知山市）昭和48年和歌山県立桐蔭高等学校卒業、昭和52年京都大学工学部土木工学科卒業、昭和54年京都大学大学院工学研究科修士課程修了、同年建設省入省後、兵庫県庁、東北及び関東地方整備局、河川局河川計画課河川事業調整官、内閣官房（安全保障・危機管理担当）等を経て、平成15年近畿地方整備局企画部長、平成18年河川局河川計画課長、平成21年四国地方整備局長、平成23年中部地方整備局長、平成24年水管理・国土保全局長、平成25年技監、平成26年国土交通省を退職。平成28年第24回参議院議員通常選挙で初当選○参議院予算委員会理事、災害対策特別委員会理事○著書「激甚化する水害」「いいね！建設産業本当の魅力」（日経BP社）",
+                            "https://www.sangiin.go.jp/japanese/joho1/kousei/giin/photo/g7007006.jpg",
+                            [2007, 2016, 2022],
+                            3,
+                            "環境委員会、決算委員会（理）",
+                            Date.parse("2025-08-11"),
+                            "昭和40年8月18日東京都墨田区生まれ。千葉大学教育学部卒業、千葉大学大学院教育学研究科修了、東京芸術大学音楽研究科研究生。社会福祉法人櫻の会理事、ゆうひが丘保育園保育士。平成15年11月衆議院議員選挙初当選。平成19年7月参議院議員選挙初当選。衆議院厚労理事、文科委員ほか。衆議院消費者問題特別委員長。民主党千葉12区総支部長、同参議院比例区総支部長。同東京12区総支部長、同副幹事長。国民の生活が第一、日本未来の党、生活の党、自由党、国民民主党、立憲民主党。その間、国土交通委員会筆頭理事、環境委員会筆頭理事。東日本大震災復興特別委員長ほか○現在立憲民主党、行政監視委員長○衆議院議員3期",
                             Date.parse("2022-11-30")),
                      record("渡辺　猛之",
                             nil,
@@ -158,8 +158,8 @@ class HouseOfCouncillorTest < Test::Unit::TestCase
                             "https://www.sangiin.go.jp/japanese/joho1/kousei/giin/photo/g7010055.jpg",
                             [2010, 2016, 2022],
                             3,
-                            "経済産業委員会、議院運営委員会（理）",
-                            Date.parse("2024-05-25"),
+                            "法務委員会（理）、議院運営委員会、政治倫理審査会（幹）",
+                            Date.parse("2025-08-11"),
                             "昭和43年4月18日生、岐阜県加茂郡八百津町出身。岐阜県立加茂高等学校、名古屋大学経済学部卒業。平成4年、財団法人松下政経塾入塾（第13期生）。平成7年、同塾卒業後、26歳で岐阜県議会議員に初当選。以後通算4期当選。在任中は、自民党岐阜県連副幹事長、岐阜県商工会青年部連合会会長、岐阜県商工政治連盟会長、県監査委員、県政自民クラブ幹事長を歴任。平成22年7月、参議院議員初当選○農林水産委員長、政治倫理の確立及び選挙制度に関する特別委員長、参議院自民党筆頭副幹事長、国土交通副大臣兼内閣府副大臣兼復興副大臣を歴任○現在議院運営委員会筆頭理事。環境委員",
                             Date.parse("2022-11-30")),
                    ],
@@ -183,7 +183,7 @@ class HouseOfCouncillorTest < Test::Unit::TestCase
     test("#each") do
       records = @dataset.each.to_a
       assert_equal([
-                     7739,
+                     8218,
                      record(1,
                             1,
                             "食生活安定に関する質問主意書",
@@ -198,20 +198,20 @@ class HouseOfCouncillorTest < Test::Unit::TestCase
                             Date.parse("1947-06-23"),
                             Date.parse("1947-06-28"),
                             nil),
-                     record(213,
-                            145,
-                            "地方自治体職員の国籍に関する質問主意書",
-                            "神谷　宗幣",
+                     record(218,
+                            24,
+                            "オスプレイの安全性並びにオスプレイを含めた防衛装備品の調達及びプロジェクト管理に関する質問主意書",
+                            "青木　愛",
                             1,
+                            "https://www.sangiin.go.jp/japanese/joho1/kousei/syuisyo/218/syuh/s218024.htm",
                             nil,
+                            "https://www.sangiin.go.jp/japanese/joho1/kousei/syuisyo/218/syup/s218024.pdf",
                             nil,
+                            "https://www.sangiin.go.jp/japanese/joho1/kousei/syuisyo/218/meisai/m218024.htm",
+                            Date.parse("2025-08-05"),
+                            Date.parse("2025-08-05"),
                             nil,
-                            nil,
-                            "https://www.sangiin.go.jp/japanese/joho1/kousei/syuisyo/213/meisai/m213145.htm",
-                            Date.parse("2024-05-23"),
-                            nil,
-                            nil,
-                            nil),
+                            "8月8日内閣から通知書受領（8月15日まで答弁延期）"),
                    ],
                    [
                      records.size,

data/test/test-rdataset.rb

@@ -48,7 +48,7 @@ class RdatasetTest < Test::Unit::TestCase
       test("without package_name") do
         records = @dataset.each.to_a
         assert_equal([
-                       2293,
+                       3485,
                        {
                          package: "AER",
                          dataset: "Affairs",

metadata

@@ -1,14 +1,14 @@
 --- !ruby/object:Gem::Specification
 name: red-datasets
 version: !ruby/object:Gem::Version
-  version: 0.1.9
+  version: 0.2.1
 platform: ruby
 authors:
 - tomisuker
 - Kouhei Sutou
 bindir: bin
 cert_chain: []
-date: 2025-04-08 00:00:00.000000000 Z
+date: 1980-01-02 00:00:00.000000000 Z
 dependencies:
 - !ruby/object:Gem::Dependency
   name: csv
@@ -192,7 +192,7 @@ files:
 - red-datasets.gemspec
 - test/helper.rb
 - test/japanese-date-parser-test.rb
-- test/run-test.rb
+- test/run.rb
 - test/test-adult.rb
 - test/test-afinn.rb
 - test/test-aozora-bunko.rb
@@ -252,13 +252,13 @@ required_rubygems_version: !ruby/object:Gem::Requirement
     - !ruby/object:Gem::Version
       version: '0'
 requirements: []
-rubygems_version: 3.6.2
+rubygems_version: 3.6.9
 specification_version: 4
 summary: Red Datasets provides classes that provide common datasets such as iris dataset.
 test_files:
 - test/helper.rb
 - test/japanese-date-parser-test.rb
-- test/run-test.rb
+- test/run.rb
 - test/test-adult.rb
 - test/test-afinn.rb
 - test/test-aozora-bunko.rb