red-datasets 0.2.0 → 0.2.1

checksums.yaml

@@ -1,7 +1,7 @@
 ---
 SHA256:
-  metadata.gz: f550440e4e909e368257c125ad39507aca47ad7c232b8134c984eea05de1a49e
-  data.tar.gz: 0a5617cf2f1de8953d4aa79649df6389e33c77115e52ce0b27798b1e0b9fa049
+  metadata.gz: b902b34e223bc1fe0d52138006497a9eb8052829cfef85f75a62d2ef7d984165
+  data.tar.gz: 4fd686319f25079ca48cb78a9cfbba6b1846532bf7b3d54919379d91142f17fd
 SHA512:
-  metadata.gz: 9ce66a006fac20552681255204a5ea3d08a6cb37e07d648083d757e5f77e8c20d789b4117882b282846c28321579629848e5eb0b0b9d46fca129500d1ac6ece1
-  data.tar.gz: 70b72119a5c22309c90059057d195d4a036b1b4b13c7c8cc0cb82a26580dd16c3402d1d8c40a27bbdc0aa89c3713eafc8e7dc35fa644c2bec439321caf365db3
+  metadata.gz: 9cfa887b557b22c5371e8785a487853ad8394f44c82d7e303bce8cbdb604b56915ea215c765c74c3ca8902e582c94c5c16bb1ebd71ca4ca69e284b293106127e
+  data.tar.gz: 2243686a23b77a2552c6bf80fe2dfcefba2232cdd83b36a717442e226c8b867c089e315f01eff7b592ea4b0d49354beddaadbd82a0bbb5cbb37dd9ecdbf50a1d

data/Gemfile

@@ -3,3 +3,9 @@
 source "https://rubygems.org/"
 
 gemspec
+
+# add steep and typeprof to development dependencies
+group :development do
+  gem "steep", require: false
+  gem "typeprof"
+end

data/Rakefile

@@ -27,7 +27,7 @@ task default: :test
 
 desc "Run tests"
 task :test do
-  ruby("test/run-test.rb")
+  ruby("test/run.rb")
 end
 
 desc "Generate an artifact for GitHub Pages"

data/doc/text/news.md

@@ -1,5 +1,36 @@
 # News
 
+## 0.2.1 - 2025-10-14
+
+### Improvements
+
+  * `Datasets::Downloader`: Ensured using the system certifications on
+    HTTPS download.
+
+    * [GH-248](https://github.com/red-data-tools/red-datasets/issues/248)
+
+### Fixes
+
+  * `Datasets::Downloader`: Avoided duplicate downloads.
+
+    * [GH-242](https://github.com/red-data-tools/red-datasets/issues/242)
+
+    * [GH-243](https://github.com/red-data-tools/red-datasets/issues/243)
+
+    * Patch by Tsutomu Katsube
+
+  * `Datasets::Downloader`: Fixed lock validation logic.
+
+    * [GH-246](https://github.com/red-data-tools/red-datasets/issues/246)
+
+    * Patch by kojix2
+
+### Thanks
+
+  * Tsutomu Katsube
+
+  * kojix2
+
 ## 0.2.0 - 2025-04-13
 
 ### Fixes

data/lib/datasets/downloader.rb

@@ -20,13 +20,12 @@ module Datasets
     end
 
     def download(output_path, &block)
-      if output_path.exist?
-        yield_chunks(output_path, &block) if block_given?
-        return
-      end
+      return if use_cache(output_path, &block)
 
       partial_output_path = Pathname.new("#{output_path}.partial")
       synchronize(output_path, partial_output_path) do
+        return if use_cache(output_path, &block)
+
         output_path.parent.mkpath
 
         n_retries = 0
@@ -94,6 +93,15 @@ module Datasets
       url
     end
 
+    private def use_cache(output_path, &block)
+      if output_path.exist?
+        yield_chunks(output_path, &block) if block_given?
+        true
+      else
+        false
+      end
+    end
+
     private def synchronize(output_path, partial_output_path)
       begin
         Process.getpgid(Process.pid)
@@ -114,7 +122,7 @@ module Datasets
             # The process that acquired the lock will be exited before
             # it stores its process ID.
             elapsed_time = Time.now - lock_path.mtime
-            valid_lock_path = (elapsed_time > 10)
+            valid_lock_path = (elapsed_time < 10)
           else
             begin
               Process.getpgid(pid)
@@ -150,6 +158,11 @@ module Datasets
       http = Net::HTTP.new(url.hostname, url.port)
       # http.set_debug_output($stderr)
       http.use_ssl = (url.scheme == "https")
+      if http.use_ssl?
+        store = OpenSSL::X509::Store.new
+        store.set_default_paths
+        http.cert_store = store
+      end
       http.start do
         path = url.path
         path += "?#{url.query}" if url.query

data/lib/datasets/version.rb

@@ -1,3 +1,3 @@
 module Datasets
-  VERSION = "0.2.0"
+  VERSION = "0.2.1"
 end

data/test/test-aozora-bunko.rb

@@ -1,3 +1,5 @@
+require_relative "helper"
+
 class AozoraBunkoTest < Test::Unit::TestCase
   include Helper::PathRestorable
 

data/test/test-cifar.rb

@@ -1,3 +1,5 @@
+require_relative "helper"
+
 class CIFARTest < Test::Unit::TestCase
   include Helper::Sandbox
 

data/test/test-cldr-plurals.rb

@@ -14,7 +14,7 @@ class CLDRPluralsTest < Test::Unit::TestCase
   test("#each") do
     locales = @dataset.each.to_a
     assert_equal([
-                   222,
+                   227,
                    locale("bm",
                           [
                             rule("other",

data/test/test-dataset.rb

@@ -1,3 +1,5 @@
+require_relative "helper"
+
 class TestDataset < Test::Unit::TestCase
   sub_test_case("#clear_cache!") do
     include Helper::PathRestorable

data/test/test-downloader.rb

@@ -1,3 +1,5 @@
+require_relative "helper"
+
 class DownloaderTest < Test::Unit::TestCase
   include Helper::Sandbox
 

data/test/test-house-of-councillor.rb

@@ -71,47 +71,47 @@ class HouseOfCouncillorTest < Test::Unit::TestCase
     test("#each") do
       records = @dataset.each.to_a
       assert_equal([
-                     10,
-                     record(Date.parse("2025-01-24"),
+                     11,
+                     record(Date.parse("2025-08-01"),
                             "自由民主党",
                             "自民",
-                            Date.parse("2025-04-11"),
-                            113,
-                            22,
-                            Date.parse("2025-07-28"),
+                            Date.parse("2025-08-11"),
+                            100,
                             19,
-                            5,
-                            33,
-                            5,
-                            52,
-                            10,
                             Date.parse("2028-07-25"),
                             18,
                             5,
                             43,
                             7,
                             61,
-                            12),
-                     record(Date.parse("2025-01-24"),
+                            12,
+                            Date.parse("2031-07-28"),
+                            12,
+                            3,
+                            27,
+                            4,
+                            39,
+                            7),
+                     record(Date.parse("2025-08-01"),
                             "各派に属しない議員",
                             "無所属",
-                            Date.parse("2025-04-11"),
+                            Date.parse("2025-08-11"),
                             9,
                             4,
-                            Date.parse("2025-07-28"),
+                            Date.parse("2028-07-25"),
                             1,
                             0,
-                            5,
-                            3,
-                            6,
                             3,
-                            Date.parse("2028-07-25"),
                             1,
-                            0,
-                            2,
+                            4,
                             1,
+                            Date.parse("2031-07-28"),
+                            1,
+                            0,
+                            4,
                             3,
-                            1),
+                            5,
+                            3),
                    ],
                    [
                      records.size,
@@ -133,20 +133,20 @@ class HouseOfCouncillorTest < Test::Unit::TestCase
     test("#each") do
       records = @dataset.each.to_a
       assert_equal([
-                     240,
-                     record("阿達　雅志",
+                     248,
+                     record("青木　愛",
                             nil,
-                            "https://www.sangiin.go.jp/japanese/joho1/kousei/giin/profile/7014002.htm",
-                            "あだち　まさし",
-                            "自民",
+                            "https://www.sangiin.go.jp/japanese/joho1/kousei/giin/profile/7007006.htm",
+                            "あおき　あい",
+                            "立憲",
                             "比例",
                             Date.parse("2028-07-25"),
-                            "https://www.sangiin.go.jp/japanese/joho1/kousei/giin/photo/g7014002.jpg",
-                            [2014, 2016, 2022],
+                            "https://www.sangiin.go.jp/japanese/joho1/kousei/giin/photo/g7007006.jpg",
+                            [2007, 2016, 2022],
                             3,
-                            "総務委員会、国家基本政策委員会、災害対策特別委員会",
-                            Date.parse("2025-04-11"),
-                            "昭和34年9月27日京都市生まれ、福井県、大阪府で育つ。私立洛星中学・高校を経て、昭和58年東京大学法学部卒業。同年住友商事株式会社入社。鉄道車輌の輸出営業、米国車輌工場勤務後、ニューヨーク大学ロー・スクールにて比較法修士（MCJ）、法学修士（LLM）を取得。平成5年米国ニューヨーク州弁護士登録。その後同社法務部、北京駐在勤務後、平成12年退職。衆議院議員佐藤信二氏秘書。平成16年ポール・ワイス外国法事務弁護士事務所勤務。日本大学法科大学院非常勤講師、東京大学大学院情報学環特任研究員を歴任。平成26年12月繰上げ当選。平成28年9月党外交部会長（2期連続）。平成30年10月国土交通大臣政務官兼内閣府大臣政務官、令和2年内閣総理大臣補佐官（経済・外交担当）○著書「世界パラダイム・シフト」「政治家になった父から18歳の息子へ（わが家の主権者教育）」",
+                            "環境委員会、決算委員会（理）",
+                            Date.parse("2025-08-11"),
+                            "昭和40年8月18日東京都墨田区生まれ。千葉大学教育学部卒業、千葉大学大学院教育学研究科修了、東京芸術大学音楽研究科研究生。社会福祉法人櫻の会理事、ゆうひが丘保育園保育士。平成15年11月衆議院議員選挙初当選。平成19年7月参議院議員選挙初当選。衆議院厚労理事、文科委員ほか。衆議院消費者問題特別委員長。民主党千葉12区総支部長、同参議院比例区総支部長。同東京12区総支部長、同副幹事長。国民の生活が第一、日本未来の党、生活の党、自由党、国民民主党、立憲民主党。その間、国土交通委員会筆頭理事、環境委員会筆頭理事。東日本大震災復興特別委員長ほか○現在立憲民主党、行政監視委員長○衆議院議員3期",
                             Date.parse("2022-11-30")),
                      record("渡辺　猛之",
                             nil,
@@ -158,8 +158,8 @@ class HouseOfCouncillorTest < Test::Unit::TestCase
                             "https://www.sangiin.go.jp/japanese/joho1/kousei/giin/photo/g7010055.jpg",
                             [2010, 2016, 2022],
                             3,
-                            "法務委員会（理）、議院運営委員会",
-                            Date.parse("2025-04-11"),
+                            "法務委員会（理）、議院運営委員会、政治倫理審査会（幹）",
+                            Date.parse("2025-08-11"),
                             "昭和43年4月18日生、岐阜県加茂郡八百津町出身。岐阜県立加茂高等学校、名古屋大学経済学部卒業。平成4年、財団法人松下政経塾入塾（第13期生）。平成7年、同塾卒業後、26歳で岐阜県議会議員に初当選。以後通算4期当選。在任中は、自民党岐阜県連副幹事長、岐阜県商工会青年部連合会会長、岐阜県商工政治連盟会長、県監査委員、県政自民クラブ幹事長を歴任。平成22年7月、参議院議員初当選○農林水産委員長、政治倫理の確立及び選挙制度に関する特別委員長、参議院自民党筆頭副幹事長、国土交通副大臣兼内閣府副大臣兼復興副大臣を歴任○現在議院運営委員会筆頭理事。環境委員",
                             Date.parse("2022-11-30")),
                    ],
@@ -183,7 +183,7 @@ class HouseOfCouncillorTest < Test::Unit::TestCase
     test("#each") do
       records = @dataset.each.to_a
       assert_equal([
-                     8042,
+                     8218,
                      record(1,
                             1,
                             "食生活安定に関する質問主意書",
@@ -198,20 +198,20 @@ class HouseOfCouncillorTest < Test::Unit::TestCase
                             Date.parse("1947-06-23"),
                             Date.parse("1947-06-28"),
                             nil),
-                     record(217,
-                            95,
-                            "石綿健康被害救済法による特別遺族給付金の認定に係る旧国鉄元職員の遺族及びJR元職員の遺族間の権衡に関する再質問主意書",
-                            "福島　みずほ",
+                     record(218,
+                            24,
+                            "オスプレイの安全性並びにオスプレイを含めた防衛装備品の調達及びプロジェクト管理に関する質問主意書",
+                            "青木　愛",
                             1,
+                            "https://www.sangiin.go.jp/japanese/joho1/kousei/syuisyo/218/syuh/s218024.htm",
                             nil,
+                            "https://www.sangiin.go.jp/japanese/joho1/kousei/syuisyo/218/syup/s218024.pdf",
                             nil,
+                            "https://www.sangiin.go.jp/japanese/joho1/kousei/syuisyo/218/meisai/m218024.htm",
+                            Date.parse("2025-08-05"),
+                            Date.parse("2025-08-05"),
                             nil,
-                            nil,
-                            "https://www.sangiin.go.jp/japanese/joho1/kousei/syuisyo/217/meisai/m217095.htm",
-                            Date.parse("2025-04-11"),
-                            nil,
-                            nil,
-                            nil),
+                            "8月8日内閣から通知書受領（8月15日まで答弁延期）"),
                    ],
                    [
                      records.size,

data/test/test-rdataset.rb

@@ -48,7 +48,7 @@ class RdatasetTest < Test::Unit::TestCase
       test("without package_name") do
         records = @dataset.each.to_a
         assert_equal([
-                       2536,
+                       3485,
                        {
                          package: "AER",
                          dataset: "Affairs",

metadata

@@ -1,14 +1,14 @@
 --- !ruby/object:Gem::Specification
 name: red-datasets
 version: !ruby/object:Gem::Version
-  version: 0.2.0
+  version: 0.2.1
 platform: ruby
 authors:
 - tomisuker
 - Kouhei Sutou
 bindir: bin
 cert_chain: []
-date: 2025-04-13 00:00:00.000000000 Z
+date: 1980-01-02 00:00:00.000000000 Z
 dependencies:
 - !ruby/object:Gem::Dependency
   name: csv
@@ -192,7 +192,7 @@ files:
 - red-datasets.gemspec
 - test/helper.rb
 - test/japanese-date-parser-test.rb
-- test/run-test.rb
+- test/run.rb
 - test/test-adult.rb
 - test/test-afinn.rb
 - test/test-aozora-bunko.rb
@@ -252,13 +252,13 @@ required_rubygems_version: !ruby/object:Gem::Requirement
     - !ruby/object:Gem::Version
       version: '0'
 requirements: []
-rubygems_version: 3.6.2
+rubygems_version: 3.6.9
 specification_version: 4
 summary: Red Datasets provides classes that provide common datasets such as iris dataset.
 test_files:
 - test/helper.rb
 - test/japanese-date-parser-test.rb
-- test/run-test.rb
+- test/run.rb
 - test/test-adult.rb
 - test/test-afinn.rb
 - test/test-aozora-bunko.rb