red-datasets 0.1.9 → 0.2.0

This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
Files changed (9) hide show
  1. checksums.yaml +4 -4
  2. data/doc/text/news.md +6 -0
  3. data/lib/datasets/downloader.rb +8 -1
  4. data/lib/datasets/mnist.rb +0 -1
  5. data/lib/datasets/version.rb +1 -1
  6. data/test/test-cldr-plurals.rb +1 -1
  7. data/test/test-house-of-councillor.rb +39 -39
  8. data/test/test-rdataset.rb +1 -1
  9. metadata +2 -2
checksums.yaml CHANGED
@@ -1,7 +1,7 @@
1
1
  ---
2
2
  SHA256:
3
- metadata.gz: 01ddaa57da3c64de47cfd9eb2ca9ae2ec3cbcb5d35138fdd74f74009f062358f
4
- data.tar.gz: 431dba2c0e41bc25a4e2716ed20936ee2022c2b04c49683bb7d0d2e2aaa2f99e
3
+ metadata.gz: f550440e4e909e368257c125ad39507aca47ad7c232b8134c984eea05de1a49e
4
+ data.tar.gz: 0a5617cf2f1de8953d4aa79649df6389e33c77115e52ce0b27798b1e0b9fa049
5
5
  SHA512:
6
- metadata.gz: ab12e9783e4a23b81f9bd1be22c31704f9095026cb27185a6fe985e106320982fb999e1cf2348f6b18b509a7f1a6a5b58d405ece5d541e8ddbe43cd08f252a80
7
- data.tar.gz: 157df5fffd3ba8fd021cdef3933c0a9e99a0fa7f173771e2177d1a86e79788c3250b12453f06084e24afcf624ec3283e702e6bd7595f08e2cf2b5a7dd404065c
6
+ metadata.gz: 9ce66a006fac20552681255204a5ea3d08a6cb37e07d648083d757e5f77e8c20d789b4117882b282846c28321579629848e5eb0b0b9d46fca129500d1ac6ece1
7
+ data.tar.gz: 70b72119a5c22309c90059057d195d4a036b1b4b13c7c8cc0cb82a26580dd16c3402d1d8c40a27bbdc0aa89c3713eafc8e7dc35fa644c2bec439321caf365db3
data/doc/text/news.md CHANGED
@@ -1,5 +1,11 @@
1
1
  # News
2
2
 
3
+ ## 0.2.0 - 2025-04-13
4
+
5
+ ### Fixes
6
+
7
+ * `Datasets::MNIST`: Fixed a bug that dataset can't be downloaded.
8
+
3
9
  ## 0.1.9 - 2025-04-08
4
10
 
5
11
  ### Improvements
data/lib/datasets/downloader.rb CHANGED
@@ -168,6 +168,12 @@ module Datasets
168
168
  else
169
169
  request = Net::HTTP::Get.new(path, headers)
170
170
  end
171
+ if url.scheme == "https" and url.host == "api.github.com"
172
+ gh_token = ENV["GH_TOKEN"]
173
+ if gh_token
174
+ headers = headers.merge("Authorization" => "Bearer #{gh_token}")
175
+ end
176
+ end
171
177
  http.request(request) do |response|
172
178
  case response
173
179
  when Net::HTTPSuccess, Net::HTTPPartialContent
@@ -177,7 +183,8 @@ module Datasets
177
183
  $stderr.puts "Redirect to #{url}"
178
184
  return start_http(url, fallback_urls, headers, limit - 1, &block)
179
185
  else
180
- if response.is_a?(Net::HTTPForbidden)
186
+ case response
187
+ when Net::HTTPForbidden, Net::HTTPNotFound
181
188
  next_url, *rest_fallback_urls = fallback_urls
182
189
  if next_url
183
190
  message = "#{response.code}: #{response.message}: " +
data/lib/datasets/mnist.rb CHANGED
@@ -54,7 +54,6 @@ module Datasets
54
54
  private
55
55
  def base_urls
56
56
  [
57
- "http://yann.lecun.com/exdb/mnist/",
58
57
  "https://ossci-datasets.s3.amazonaws.com/mnist/",
59
58
  ]
60
59
  end
data/lib/datasets/version.rb CHANGED
@@ -1,3 +1,3 @@
1
1
  module Datasets
2
- VERSION = "0.1.9"
2
+ VERSION = "0.2.0"
3
3
  end
data/test/test-cldr-plurals.rb CHANGED
@@ -14,7 +14,7 @@ class CLDRPluralsTest < Test::Unit::TestCase
14
14
  test("#each") do
15
15
  locales = @dataset.each.to_a
16
16
  assert_equal([
17
- 220,
17
+ 222,
18
18
  locale("bm",
19
19
  [
20
20
  rule("other",
data/test/test-house-of-councillor.rb CHANGED
@@ -72,46 +72,46 @@ class HouseOfCouncillorTest < Test::Unit::TestCase
72
72
  records = @dataset.each.to_a
73
73
  assert_equal([
74
74
  10,
75
- record(Date.parse("2024-01-26"),
75
+ record(Date.parse("2025-01-24"),
76
76
  "自由民主党",
77
77
  "自民",
78
- Date.parse("2024-05-25"),
79
- 115,
80
- 24,
78
+ Date.parse("2025-04-11"),
79
+ 113,
80
+ 22,
81
81
  Date.parse("2025-07-28"),
82
82
  19,
83
83
  5,
84
84
  33,
85
- 6,
85
+ 5,
86
86
  52,
87
- 11,
87
+ 10,
88
88
  Date.parse("2028-07-25"),
89
89
  18,
90
90
  5,
91
- 45,
92
- 8,
93
- 63,
94
- 13),
95
- record(Date.parse("2024-01-26"),
91
+ 43,
92
+ 7,
93
+ 61,
94
+ 12),
95
+ record(Date.parse("2025-01-24"),
96
96
  "各派に属しない議員",
97
97
  "無所属",
98
- Date.parse("2024-05-25"),
99
- 12,
98
+ Date.parse("2025-04-11"),
99
+ 9,
100
100
  4,
101
101
  Date.parse("2025-07-28"),
102
102
  1,
103
103
  0,
104
- 7,
105
- 2,
106
- 8,
107
- 2,
104
+ 5,
105
+ 3,
106
+ 6,
107
+ 3,
108
108
  Date.parse("2028-07-25"),
109
109
  1,
110
110
  0,
111
- 3,
112
111
  2,
113
- 4,
114
- 2),
112
+ 1,
113
+ 3,
114
+ 1),
115
115
  ],
116
116
  [
117
117
  records.size,
@@ -133,20 +133,20 @@ class HouseOfCouncillorTest < Test::Unit::TestCase
133
133
  test("#each") do
134
134
  records = @dataset.each.to_a
135
135
  assert_equal([
136
- 247,
137
- record("足立　敏之",
136
+ 240,
137
+ record("阿達　雅志",
138
138
  nil,
139
- "https://www.sangiin.go.jp/japanese/joho1/kousei/giin/profile/7016001.htm",
140
- "あだち　としゆき",
139
+ "https://www.sangiin.go.jp/japanese/joho1/kousei/giin/profile/7014002.htm",
140
+ "あだち　まさし",
141
141
  "自民",
142
142
  "比例",
143
143
  Date.parse("2028-07-25"),
144
- "https://www.sangiin.go.jp/japanese/joho1/kousei/giin/photo/g7016001.jpg",
145
- [2016, 2022],
146
- 2,
147
- "財政金融委員会（長）",
148
- Date.parse("2024-05-25"),
149
- "昭和29年5月20日兵庫県西宮市生まれ。（本籍地・京都府福知山市）昭和48年和歌山県立桐蔭高等学校卒業、昭和52年京都大学工学部土木工学科卒業、昭和54年京都大学大学院工学研究科修士課程修了、同年建設省入省後、兵庫県庁、東北及び関東地方整備局、河川局河川計画課河川事業調整官、内閣官房（安全保障・危機管理担当）等を経て、平成15年近畿地方整備局企画部長、平成18年河川局河川計画課長、平成21年四国地方整備局長、平成23年中部地方整備局長、平成24年水管理・国土保全局長、平成25年技監、平成26年国土交通省を退職。平成28年第24回参議院議員通常選挙で初当選○参議院予算委員会理事、災害対策特別委員会理事○著書「激甚化する水害」「いいね！建設産業本当の魅力」（日経BP社）",
144
+ "https://www.sangiin.go.jp/japanese/joho1/kousei/giin/photo/g7014002.jpg",
145
+ [2014, 2016, 2022],
146
+ 3,
147
+ "総務委員会、国家基本政策委員会、災害対策特別委員会",
148
+ Date.parse("2025-04-11"),
149
+ "昭和34年9月27日京都市生まれ、福井県、大阪府で育つ。私立洛星中学・高校を経て、昭和58年東京大学法学部卒業。同年住友商事株式会社入社。鉄道車輌の輸出営業、米国車輌工場勤務後、ニューヨーク大学ロー・スクールにて比較法修士（MCJ）、法学修士（LLM）を取得。平成5年米国ニューヨーク州弁護士登録。その後同社法務部、北京駐在勤務後、平成12年退職。衆議院議員佐藤信二氏秘書。平成16年ポール・ワイス外国法事務弁護士事務所勤務。日本大学法科大学院非常勤講師、東京大学大学院情報学環特任研究員を歴任。平成26年12月繰上げ当選。平成28年9月党外交部会長（2期連続）。平成30年10月国土交通大臣政務官兼内閣府大臣政務官、令和2年内閣総理大臣補佐官（経済・外交担当）○著書「世界パラダイム・シフト」「政治家になった父から18歳の息子へ（わが家の主権者教育）」",
150
150
  Date.parse("2022-11-30")),
151
151
  record("渡辺　猛之",
152
152
  nil,
@@ -158,8 +158,8 @@ class HouseOfCouncillorTest < Test::Unit::TestCase
158
158
  "https://www.sangiin.go.jp/japanese/joho1/kousei/giin/photo/g7010055.jpg",
159
159
  [2010, 2016, 2022],
160
160
  3,
161
- "経済産業委員会、議院運営委員会（理）",
162
- Date.parse("2024-05-25"),
161
+ "法務委員会（理）、議院運営委員会",
162
+ Date.parse("2025-04-11"),
163
163
  "昭和43年4月18日生、岐阜県加茂郡八百津町出身。岐阜県立加茂高等学校、名古屋大学経済学部卒業。平成4年、財団法人松下政経塾入塾（第13期生）。平成7年、同塾卒業後、26歳で岐阜県議会議員に初当選。以後通算4期当選。在任中は、自民党岐阜県連副幹事長、岐阜県商工会青年部連合会会長、岐阜県商工政治連盟会長、県監査委員、県政自民クラブ幹事長を歴任。平成22年7月、参議院議員初当選○農林水産委員長、政治倫理の確立及び選挙制度に関する特別委員長、参議院自民党筆頭副幹事長、国土交通副大臣兼内閣府副大臣兼復興副大臣を歴任○現在議院運営委員会筆頭理事。環境委員",
164
164
  Date.parse("2022-11-30")),
165
165
  ],
@@ -183,7 +183,7 @@ class HouseOfCouncillorTest < Test::Unit::TestCase
183
183
  test("#each") do
184
184
  records = @dataset.each.to_a
185
185
  assert_equal([
186
- 7739,
186
+ 8042,
187
187
  record(1,
188
188
  1,
189
189
  "食生活安定に関する質問主意書",
@@ -198,17 +198,17 @@ class HouseOfCouncillorTest < Test::Unit::TestCase
198
198
  Date.parse("1947-06-23"),
199
199
  Date.parse("1947-06-28"),
200
200
  nil),
201
- record(213,
202
- 145,
203
- "地方自治体職員の国籍に関する質問主意書",
204
- "神谷　宗幣",
201
+ record(217,
202
+ 95,
203
+ "石綿健康被害救済法による特別遺族給付金の認定に係る旧国鉄元職員の遺族及びJR元職員の遺族間の権衡に関する再質問主意書",
204
+ "福島　みずほ",
205
205
  1,
206
206
  nil,
207
207
  nil,
208
208
  nil,
209
209
  nil,
210
- "https://www.sangiin.go.jp/japanese/joho1/kousei/syuisyo/213/meisai/m213145.htm",
211
- Date.parse("2024-05-23"),
210
+ "https://www.sangiin.go.jp/japanese/joho1/kousei/syuisyo/217/meisai/m217095.htm",
211
+ Date.parse("2025-04-11"),
212
212
  nil,
213
213
  nil,
214
214
  nil),
data/test/test-rdataset.rb CHANGED
@@ -48,7 +48,7 @@ class RdatasetTest < Test::Unit::TestCase
48
48
  test("without package_name") do
49
49
  records = @dataset.each.to_a
50
50
  assert_equal([
51
- 2293,
51
+ 2536,
52
52
  {
53
53
  package: "AER",
54
54
  dataset: "Affairs",
metadata CHANGED
@@ -1,14 +1,14 @@
1
1
  --- !ruby/object:Gem::Specification
2
2
  name: red-datasets
3
3
  version: !ruby/object:Gem::Version
4
- version: 0.1.9
4
+ version: 0.2.0
5
5
  platform: ruby
6
6
  authors:
7
7
  - tomisuker
8
8
  - Kouhei Sutou
9
9
  bindir: bin
10
10
  cert_chain: []
11
- date: 2025-04-08 00:00:00.000000000 Z
11
+ date: 2025-04-13 00:00:00.000000000 Z
12
12
  dependencies:
13
13
  - !ruby/object:Gem::Dependency
14
14
  name: csv