dratools 0.0.1 → 0.0.2

checksums.yaml

@@ -1,7 +1,7 @@
 ---
 SHA256:
-  metadata.gz: 48f8f5324602da01372e8590c74a22ae9a3474b125c96c3d2bf8de501e80160a
-  data.tar.gz: 9980db4882cefe19b2143496262ec785a6994e04d3c75ac6edc23deb0607f226
+  metadata.gz: 2890dc54bae2a8fe0c715daa8c778794d20292714d5d13d658ec538a0e95bb92
+  data.tar.gz: 409192a8111f7152f33c8ea586ac6db9cea775a1643151d70c4e5adce288ff66
 SHA512:
-  metadata.gz: 687ca0459f6bead0d1ca7d4349fcb023b1c142b05e4b2e4e1eda461b54a42209a3ac7cec08d8552522921c691da38ffe89d367270859dd15cefc17af9bf99210
-  data.tar.gz: e2ea8839bcb20737af0880e20694d266c0fc1ee9ab0a2f77e6b027fbe4750b09bba2e9f42ae839a4492d94dbb6f22ed4118ff3ffb72ebe206bd2689ce9e6d795
+  metadata.gz: 17f69d78de301843fb5d43b53fa800528f6404d5e8974f9764e875c2e7489e0691e4b51a10e74638c3d353d7eab2ed9df52e12b12bd3158f42bf36a02a21738e
+  data.tar.gz: c49a56c178b3f55be5b980ad3c7ebd0d4d76df33c55a160b943148206380c1853a8b40ffa790529ee0893f0d8ed6f7b359ac30fbe0ee0ddd5e9535f155ac0728

data/README.md

@@ -1,7 +1,9 @@
 # dratools
 
 [![CI](https://github.com/kojix2/dratools/actions/workflows/ci.yml/badge.svg)](https://github.com/kojix2/dratools/actions/workflows/ci.yml)
+[![Gem Version](https://badge.fury.io/rb/dratools.svg)](https://badge.fury.io/rb/dratools)
 [![Lines of Code](https://img.shields.io/endpoint?url=https%3A%2F%2Ftokei.kojix2.net%2Fbadge%2Fgithub%2Fkojix2%2Fdratools%2Flines)](https://tokei.kojix2.net/github/kojix2/dratools)
+[![DOI](https://zenodo.org/badge/1281844096.svg)](https://doi.org/10.5281/zenodo.20967539)
 
 [dratools](https://github.com/kojix2/dratools) は、日本国内の [DDBJ](https://www.ddbj.nig.ac.jp) からゲノムデータをダウンロードするためのツールです。
 
@@ -13,7 +15,7 @@ dratools は非公式のツールです。DDBJ や国立遺伝学研究所が提
 
 必要なものは次のとおりです。
 
-- [ruby](https://www.ruby-lang.org/)
+- [ruby](https://www.ruby-lang.org/) 3.0 以上
 - [curl](https://curl.se/) または [wget](https://www.gnu.org/software/wget/)
 
 Rubyのgemとしてインストールできます。
@@ -80,7 +82,7 @@ printf 'DRR000001\nDRR000002\n' | dratools get -O ~/Downloads
 dratools probe DRR000001                          # URL の到達性だけ確認する
 dratools url --json DRR000001                     # URL 情報を JSON で表示する
 dratools url --tsv DRR000001                      # run/type/url/size/md5 を TAB 区切りで
-dratools meta --json DRR000001                    # resource JSON を表示する
+dratools meta --json DRR000001                    # entry JSON を表示する
 dratools runs PRJNA341783 | dratools get -O ~/Downloads # run 一覧をダウンロードへ渡す
 dratools size --bytes PRJNA341783                 # 合計サイズをバイト数で表示する
 dratools size --per-run DRX000001                 # 親 accession を run ごとに集計する
@@ -89,7 +91,7 @@ dratools get --skip-existing -O ~/Downloads DRR000001  # 既存ファイルは
 
 詳しくは [使い方](docs/usage.md) をご覧ください。親 accession を扱うときの設定は [環境変数](docs/environment.md) にまとめています。
 
-実際のファイル転送には `curl` または `wget` を使います。ダウンロード中は進捗表示を端末にそのまま流します。md5 が得られる場合だけ、ダウンロード後に照合します。
+実際のファイル転送には通常 `curl` または `wget` を使います。`aria2c` も環境変数で明示した場合だけ使えます。ダウンロード中は進捗表示を端末にそのまま流します。同名のファイルが既にある場合は、サーバのファイルサイズと比べて再取得の要否を判断します。md5 が得られる場合は md5 で照合します。
 
 ツールは全てコーディングエージェントによって実装されました。
 
@@ -102,11 +104,9 @@ dratools get --skip-existing -O ~/Downloads DRR000001  # 既存ファイルは
 
 ## お役立ちノート
 
-海外からゲノムデータをダウンロードするのは大変な作業です。
-日本国内のサーバーからゲノムデータをダウンロードすると作業が楽になります。
+海外のサーバーからゲノムデータをダウンロードするのは大変です。日本国内のサーバーを使うと作業が楽になります。
 
-なるべく手間をかけずに、寝ている間にデータをダウンロードしたい方は「NASに課金する」という手段もあります。
-NASの付属ソフトにURLを入力すると、何もしなくても自動でダウンロードが進むのでストレスが少ないです。
+手間をかけずにダウンロードする方法として、NAS を使う方法があります。まず `dratools url` で URL の一覧を出します。次に NAS の付属ソフトの GUI 画面に、その URL をまとめて貼り付けます。あとは放置します。ダウンロードは自動で進みます。
 
 ## 開発
 

data/docs/design.md

@@ -12,24 +12,33 @@ accession から URL までの流れは次のとおりです。
 
 ```text
 accession
-  -> DDBJ Search resource JSON
+  -> DDBJ Search entry JSON (/search/api/entries/{type}/{id}.json)
   -> sra-run record
-  -> downloadUrl
+  -> distribution
   -> https / ftp URL
 ```
 
+`/resource/{type}/{id}.json` は DDBJ Search の後方互換入口です。現在は
+`/search/entry/{type}/{id}.json` へリダイレクトされ、さらに nginx で
+`/search/api/entries/{type}/{id}.json` へ rewrite されます。dratools は
+リダイレクトを避けるため、正規の `/search/api/entries` endpoint を直接使います。
+
+run 一覧だけが必要な場合は DBLinks endpoint を使います。多数の run record が必要な
+場合は Bulk endpoint を使います。どちらも同じ DDBJ Search API サーバーの機能です。
+
 ## ダウンロード確認
 
 ゲノムデータはサイズが大きいです。`probe` は完全なダウンロードを行いません。
 
 - `curl` がある場合: `--range 0-0` と `--max-time` を使う
 - `wget` がある場合: `--spider` と `--timeout` を使う
+- `aria2c` がある場合: `--dry-run=true` と `--timeout` を使う
 
 これは URL が使えるかどうかを短時間で確認するためです。完全な整合性の確認ではありません。
 
 ## サイズ確認
 
-`size` は resource JSON のサイズ情報を使いません。実レコードにはサイズや md5 が含まれないことが多いためです。代わりに、解決した URL に HTTP `HEAD` を送ります。`Content-Length` を合計します。
+`size` は entry JSON のサイズ情報を使いません。実レコードにはサイズや md5 が含まれないことが多いためです。代わりに、解決した URL に HTTP `HEAD` を送ります。`Content-Length` を合計します。
 
 FASTQ はディレクトリ URL で返ることがあります。その場合はディレクトリ一覧を取得します。`*.fastq*` のリンクを取り出します。各ファイルに `HEAD` を送ります。取得できないものは失敗にしません。`unresolved` として数えます。
 
@@ -37,12 +46,17 @@ FASTQ はディレクトリ URL で返ることがあります。その場合は
 
 ## 実ダウンロード
 
-実ダウンロードでは総時間の上限を設けません。数十 GB のファイルでは長時間かかるためです。代わりに、接続のタイムアウトと失速検知を `curl` / `wget` に渡します。
+実ダウンロードでは総時間の上限を設けません。数十 GB のファイルでは長時間かかるためです。代わりに、接続のタイムアウトと失速検知を `curl` / `wget` / `aria2c` に渡します。
 
 - `curl`: `--connect-timeout`, `--speed-limit`, `--speed-time`, `--retry`
 - `wget`: `--connect-timeout`, `--read-timeout`, `--tries`, `--waitretry`
+- `aria2c`: `--connect-timeout`, `--timeout`, `--lowest-speed-limit`, `--max-tries`, `--retry-wait`
+
+`aria2c` は分割ダウンロードができますが、既定では `--split=1` と `--max-connection-per-server=1` で単一接続にします。公共アーカイブへの負荷を既定で増やさないためです。
+
+`DRATOOLS_DOWNLOAD_RETRY_COUNT` はリトライ回数として扱います。`curl --retry` はリトライ回数ですが、`wget --tries` と `aria2c --max-tries` は総試行回数なので、外部コマンドには `DRATOOLS_DOWNLOAD_RETRY_COUNT + 1` を渡します。
 
-ダウンロードは `system(*command)` で実行します。`Open3.capture3` は使いません。`curl` / `wget` の進捗を端末にそのまま表示するためです。失敗した場合は、コマンド行と終了ステータスを `CommandError` にします。
+ダウンロードは `system(*command)` で実行します。`Open3.capture3` は使いません。外部コマンドの進捗を端末にそのまま表示するためです。失敗した場合は、コマンド行と終了ステータスを `CommandError` にします。
 
 ## チェックサムと既存ファイル
 
@@ -53,7 +67,7 @@ md5 が得られる候補では、ダウンロード後に `Digest::MD5.file`
 1. `--force` があれば既存ファイルを使わず再取得する
 2. `--skip-existing` があれば md5 を見ずに既存ファイルを使う
 3. md5 があり、既存ファイルの md5 が一致すれば再取得せず `Skipped` にする
-4. それ以外は `curl --continue-at -` または `wget --continue` でレジュームを試みる
+4. それ以外は `curl --continue-at -`, `wget --continue`, `aria2c --continue=true` でレジュームを試みる
 
 md5 が無い候補では、既定では既存ファイルをスキップしません。SRA ファイルとしての検証は dratools の既定動作には含めません。
 
@@ -69,7 +83,7 @@ Ruby 側の依存は増やしません。次の標準ライブラリを使いま
 - `digest/md5`
 - `minitest`
 
-実ファイルの転送だけは外部コマンドに任せます。環境にある `curl` または `wget` を使います。
+実ファイルの転送だけは外部コマンドに任せます。自動選択では環境にある `curl` または `wget` を使います。`aria2c` は `DRATOOLS_DOWNLOAD_COMMAND=aria2c` で明示指定された場合だけ使います。
 
 ## 今後の候補
 

data/docs/environment.md

@@ -15,15 +15,20 @@
 
 ## ダウンロード開始と失速検知
 
-`get` は大きいファイルを扱います。このため、総ダウンロード時間の上限を設けません。代わりに、接続タイムアウト、失速検知、リトライの設定を `curl` / `wget` に渡します。
+`get` は大きいファイルを扱います。このため、総ダウンロード時間の上限を設けません。代わりに、接続タイムアウト、失速検知、リトライの設定を `curl` / `wget` / `aria2c` に渡します。
 
 | 環境変数 | 既定値 | 役割 |
 | --- | ---: | --- |
 | `DRATOOLS_DOWNLOAD_CONNECT_TIMEOUT` | `30` | 接続確立のタイムアウト秒数 |
 | `DRATOOLS_DOWNLOAD_STALL_TIMEOUT` | `60` | この秒数のあいだ転送速度が閾値を下回ると失速扱いにする |
-| `DRATOOLS_DOWNLOAD_STALL_SPEED` | `1024` | 失速判定に使う最低転送速度。単位は bytes/sec |
-| `DRATOOLS_DOWNLOAD_RETRY_COUNT` | `3` | ダウンロード失敗時のリトライ回数。`0` も指定可能 |
-| `DRATOOLS_DOWNLOAD_RETRY_WAIT` | `5` | `wget` のリトライ待ち秒数 |
+| `DRATOOLS_DOWNLOAD_STALL_SPEED` | `1024` | `curl` / `aria2c` の失速判定に使う最低転送速度。単位は bytes/sec |
+| `DRATOOLS_DOWNLOAD_RETRY_COUNT` | `3` | ダウンロード失敗時のリトライ回数。`0` はリトライなし |
+| `DRATOOLS_DOWNLOAD_RETRY_WAIT` | `5` | `wget` / `aria2c` のリトライ待ち秒数 |
+| `DRATOOLS_DOWNLOAD_COMMAND` | 自動 | 実ダウンロードと `probe` に使う外部コマンド。`curl`, `wget`, `aria2c` のいずれか |
+
+`DRATOOLS_DOWNLOAD_COMMAND` を指定しない場合は、`curl`, `wget` の順で PATH にあるものを使います。`aria2c` は自動探索しません。`aria2c` を使う場合は `DRATOOLS_DOWNLOAD_COMMAND=aria2c` を指定してください。指定した場合はそのコマンドだけを使います。見つからない場合は、別のコマンドへ自動では切り替えません。
+
+`DRATOOLS_DOWNLOAD_RETRY_COUNT` は、初回の試行を含まない「リトライ回数」です。`curl` にはそのまま渡します。`wget` と `aria2c` は総試行回数を受け取るため、内部で `リトライ回数 + 1` に変換します。
 
 ## 例
 
@@ -62,6 +67,18 @@ DRATOOLS_DOWNLOAD_RETRY_COUNT=0 \
 dratools get --no-verify -O ~/Downloads DRR000001
 ```
 
+`wget` を明示してダウンロードする:
+
+```sh
+DRATOOLS_DOWNLOAD_COMMAND=wget dratools get -O ~/Downloads DRR000001
+```
+
+`aria2c` を明示してダウンロードする:
+
+```sh
+DRATOOLS_DOWNLOAD_COMMAND=aria2c dratools get -O ~/Downloads DRR000001
+```
+
 ## 注意
 
 これらは上級の設定です。上限を大きくすると、DDBJ Search API へのリクエスト数が増えます。`size` の HTTP `HEAD` の回数も増えます。

data/docs/usage.md

@@ -35,7 +35,7 @@ bundle exec rake install
 
 ## メタ情報を表示する (`meta`)
 
-`meta` は DDBJ Search の resource JSON を要約して表示します。
+`meta` は DDBJ Search の entry JSON を要約して表示します。
 
 ```sh
 dratools meta DRR300000
@@ -158,7 +158,7 @@ dratools url --json DRR000001
 
 ## 接続確認 (`probe`)
 
-`probe` は接続確認だけを行います。ファイルを最後までダウンロードしません。
+`probe` は接続確認だけを行います。ファイルをダウンロードしません。
 
 ```sh
 dratools probe --timeout 5 DRR000001
@@ -190,29 +190,30 @@ direct run を多数持つ親 accession では、`tree` は各 run を個別取
 dratools get -O ~/Downloads DRR000001
 ```
 
-ダウンロード中は `curl` または `wget` の進捗が標準エラーに出ます。取得したファイルは `Downloaded<TAB>PATH` と表示します。既存ファイルを再利用した場合は `Skipped<TAB>PATH` と表示します。これらは標準エラーに出ます。最後に `dratools get: N downloaded, M skipped` のサマリを出します。状態とパスは TAB 区切りです。パスだけを取り出すには `cut -f2` を使います。
+ダウンロード中は `curl`, `wget`, `aria2c` のいずれかの進捗が標準エラーに出ます。取得したファイルは `Downloaded<TAB>PATH` と表示します。既存ファイルを再利用した場合は `Skipped<TAB>PATH` と表示します。これらは標準エラーに出ます。最後に `dratools get: N downloaded, M skipped` のサマリを出します。状態とパスは TAB 区切りです。パスだけを取り出すには `cut -f2` を使います。
 
-### ダウンロード時の検証と既存ファイル
+### 既存ファイルの扱い
 
-md5 が得られる場合、`get` はダウンロード後に照合します。md5 が無い場合、既定では既存ファイルをスキップしません。
+DDBJ のメタデータに md5 が含まれることは多くありません。ほとんどの場合、md5 は得られません。以下では、まず md5 が無い場合の動作を示します。
 
-検証を省略する場合は `--no-verify` を付けます。
+同名のファイルが既にある場合、`get` はサーバにファイルサイズを問い合わせます。それをローカルのファイルサイズと比べます。
 
-```sh
-dratools get --no-verify -O ~/Downloads DRR000001
-```
+- サイズが同じなら、再取得しません。`Skipped` と表示します。
+- ローカルのほうが小さいなら、再取得します。途中で中断したファイルが対象です。
+- ローカルのほうが大きいなら、エラーになります。別物の可能性があるためです。`--force` で上書きできます。
 
-同名のファイルが既にある場合を考えます。その md5 が DDBJ の値と一致すれば、再ダウンロードしません。`Skipped` と表示します。
+md5 が得られる場合は、サイズではなく md5 で判定します。既存ファイルの md5 が一致すれば `Skipped` と表示します。ダウンロード後にも md5 を照合します。
 
-既存ファイルがあっても必ず再取得する場合は `--force` を付けます。
-
-```sh
-dratools get --force -O ~/Downloads DRR000001
-```
+### オプション
 
-md5 を確認せずに既存ファイルを再取得しない場合は `--skip-existing` を付けます。
+| オプション | 動作 |
+| --- | --- |
+| `--force` | 既存ファイルがあっても再取得します。 |
+| `--skip-existing` | 同名のファイルがあれば、確認せずスキップします。サーバへの問い合わせを省きます。 |
+| `--no-verify` | ダウンロード後の md5 照合を省きます。md5 が無い場合は照合しないので、効果はありません。 |
 
 ```sh
+dratools get --force -O ~/Downloads DRR000001
 dratools get --skip-existing -O ~/Downloads DRR000001
 ```
 

data/lib/dratools/accession_resolver.rb

@@ -72,12 +72,39 @@ module Dratools
       @client.fetch_resource_record(resource_type, accession)
     end
 
+    def direct_run_accessions_for(accession)
+      accession = accession.to_s.upcase
+      resource_type = resource_type_for(accession)
+      return [accession] if resource_type == DdbjRecordFields::SRA_RUN_RESOURCE_TYPE
+
+      @client.fetch_db_links(
+        resource_type,
+        accession,
+        target: DdbjRecordFields::SRA_RUN_RESOURCE_TYPE
+      ).filter_map { |xref| xref_accession(xref) }
+    end
+
+    def direct_run_count_for(accession)
+      accession = accession.to_s.upcase
+      resource_type = resource_type_for(accession)
+      return 1 if resource_type == DdbjRecordFields::SRA_RUN_RESOURCE_TYPE
+
+      counts = @client.fetch_db_link_counts([{ type: resource_type, id: accession }])
+      counts.fetch([resource_type, accession], {}).fetch(DdbjRecordFields::SRA_RUN_RESOURCE_TYPE, 0)
+    end
+
     def resource_type_for(accession)
       @resource_type_classifier.resource_type_for(accession)
     end
 
     private
 
+    def xref_accession(xref)
+      xref[DdbjRecordFields::IDENTIFIER_KEY] ||
+        xref[DdbjRecordFields::ID_KEY] ||
+        xref[DdbjRecordFields::ACCESSION_KEY]
+    end
+
     def attach_downloads(node, file_type:)
       if node.run? && node.record
         downloads = @download_candidate_builder.build_from_run_record(node.record)

data/lib/dratools/accession_resource_type_classifier.rb

@@ -4,14 +4,14 @@ require_relative 'ddbj_record_fields'
 require_relative 'errors'
 
 module Dratools
-  # accession の接頭辞から DDBJ resource API の type を判定する。
+  # accession の接頭辞から DDBJ Search entry type を判定する。
   class AccessionResourceTypeClassifier
     RUN_PREFIXES = /\A[DES]RR\d+\z/
     EXPERIMENT_PREFIXES = /\A[DES]RX\d+\z/
     SAMPLE_PREFIXES = /\A[DES]RS\d+\z/
     STUDY_PREFIXES = /\A[DES]RP\d+\z/
     SUBMISSION_PREFIXES = /\A[DES]RA\d+\z/
-    BIOPROJECT_PREFIXES = /\APRJ(?:DA|DB|NA|EB)\d+\z/
+    BIOPROJECT_PREFIXES = /\APRJ[DEN][A-Z]\d+\z/
     BIOSAMPLE_PREFIXES = /\ASAM(?:D|N|EA|EG)?\d+\z/
 
     TYPE_BY_ACCESSION = [

data/lib/dratools/command_line_interface.rb

@@ -124,12 +124,7 @@ module Dratools
         stream.puts format('  %-7<name>s %<summary>s', name: name, summary: summary)
       end
       stream.puts ''
-      stream.puts 'Aliases:'
-      SUBCOMMAND_ALIASES.each do |alias_name, canonical|
-        stream.puts format('  %-7<a>s -> %<c>s', a: alias_name, c: canonical)
-      end
-      stream.puts ''
-      stream.puts "Run '#{COMMAND_NAME} <command> --help' for command options."
+      stream.puts "各コマンドのオプションは '#{COMMAND_NAME} <command> --help' で確認できます。"
       stream.puts ''
       stream.puts 'Examples:'
       USAGE_EXAMPLES.each { |example| stream.puts "  #{example}" }

data/lib/dratools/commands/meta_command.rb

@@ -6,7 +6,7 @@ require_relative 'base_command'
 
 module Dratools
   module Commands
-    # DDBJ resource JSON のメタ情報を要約表示する。
+    # DDBJ Search entry JSON のメタ情報を要約表示する。
     class MetaCommand < BaseCommand
       LABEL_WIDTH = 18
 
@@ -21,7 +21,7 @@ module Dratools
       end
 
       def configure_parser(parser)
-        parser.on('--json', '生の resource JSON を整形して表示する') { @options[:json] = true }
+        parser.on('--json', '生の entry JSON を整形して表示する') { @options[:json] = true }
       end
 
       def usage_examples

data/lib/dratools/commands/runs_command.rb

@@ -6,8 +6,6 @@ module Dratools
   module Commands
     # accession を run accession のフラットな一覧に展開する。
     class RunsCommand < BaseCommand
-      XREF_URL_PATTERN = %r{/(?:resource|search/entry)/sra-run/([^/?#.]+)}
-
       private
 
       def command_name
@@ -41,29 +39,7 @@ module Dratools
       end
 
       def direct_run_accessions_for(accession)
-        record = @resolver.fetch_record_for(accession)
-        if record[DdbjRecordFields::TYPE_KEY] == DdbjRecordFields::SRA_RUN_RESOURCE_TYPE
-          return [record_accession(record)].compact
-        end
-
-        record.fetch(DdbjRecordFields::DB_XREFS_KEY, []).filter_map do |xref|
-          next unless xref[DdbjRecordFields::TYPE_KEY] == DdbjRecordFields::SRA_RUN_RESOURCE_TYPE
-
-          xref[DdbjRecordFields::IDENTIFIER_KEY] ||
-            xref[DdbjRecordFields::ID_KEY] ||
-            run_accession_from_url(xref[DdbjRecordFields::URL_KEY])
-        end
-      end
-
-      def record_accession(record)
-        record[DdbjRecordFields::ACCESSION_KEY] ||
-          record[DdbjRecordFields::IDENTIFIER_KEY] ||
-          record[DdbjRecordFields::ID_KEY] ||
-          record[DdbjRecordFields::PRIMARY_ID_KEY]
-      end
-
-      def run_accession_from_url(url)
-        url.to_s.match(XREF_URL_PATTERN)&.[](1)
+        @resolver.direct_run_accessions_for(accession)
       end
     end
   end

data/lib/dratools/commands/size_command.rb

@@ -140,19 +140,20 @@ module Dratools
 
       def fetch_record_for_size(accession)
         max_direct_runs = Config.size_max_direct_runs
-        ddbj_record = @resolver.fetch_record_for(accession)
-        validate_direct_run_expansion_size!(accession, ddbj_record, max_direct_runs)
-        ddbj_record
+        validate_direct_run_expansion_count!(accession, max_direct_runs)
+        @resolver.fetch_record_for(accession)
       end
 
-      def validate_direct_run_expansion_size!(accession, ddbj_record, max_direct_runs)
+      def validate_direct_run_expansion_count!(accession, max_direct_runs)
         return unless max_direct_runs
 
-        direct_run_count = ddbj_record.fetch(DdbjRecordFields::DB_XREFS_KEY, []).count do |xref|
-          xref[DdbjRecordFields::TYPE_KEY] == DdbjRecordFields::SRA_RUN_RESOURCE_TYPE
-        end
+        direct_run_count = @resolver.direct_run_count_for(accession)
         return if direct_run_count <= max_direct_runs
 
+        raise_direct_run_limit_error(accession, direct_run_count, max_direct_runs)
+      end
+
+      def raise_direct_run_limit_error(accession, direct_run_count, max_direct_runs)
         raise InvalidRecordError,
               "#{accession.to_s.upcase} has #{direct_run_count} direct runs; " \
               "size expands at most #{max_direct_runs} direct runs from one parent accession. " \

data/lib/dratools/commands/url_command.rb

@@ -73,19 +73,20 @@ module Dratools
 
       def fetch_record_for_url(accession)
         max_direct_runs = Config.url_max_direct_runs
-        ddbj_record = @resolver.fetch_record_for(accession)
-        validate_direct_run_expansion_size!(accession, ddbj_record, max_direct_runs)
-        ddbj_record
+        validate_direct_run_expansion_count!(accession, max_direct_runs)
+        @resolver.fetch_record_for(accession)
       end
 
-      def validate_direct_run_expansion_size!(accession, ddbj_record, max_direct_runs)
+      def validate_direct_run_expansion_count!(accession, max_direct_runs)
         return unless max_direct_runs
 
-        direct_run_count = ddbj_record.fetch(DdbjRecordFields::DB_XREFS_KEY, []).count do |xref|
-          xref[DdbjRecordFields::TYPE_KEY] == DdbjRecordFields::SRA_RUN_RESOURCE_TYPE
-        end
+        direct_run_count = @resolver.direct_run_count_for(accession)
         return if direct_run_count <= max_direct_runs
 
+        raise_direct_run_limit_error(accession, direct_run_count, max_direct_runs)
+      end
+
+      def raise_direct_run_limit_error(accession, direct_run_count, max_direct_runs)
         raise InvalidRecordError,
               "#{accession.to_s.upcase} has #{direct_run_count} direct runs; " \
               "url expands at most #{max_direct_runs} direct runs from one parent accession. " \

data/lib/dratools/config.rb

@@ -14,6 +14,7 @@ module Dratools
     DOWNLOAD_STALL_SPEED_ENV = 'DRATOOLS_DOWNLOAD_STALL_SPEED'
     DOWNLOAD_RETRY_COUNT_ENV = 'DRATOOLS_DOWNLOAD_RETRY_COUNT'
     DOWNLOAD_RETRY_WAIT_ENV = 'DRATOOLS_DOWNLOAD_RETRY_WAIT'
+    DOWNLOAD_COMMAND_ENV = 'DRATOOLS_DOWNLOAD_COMMAND'
 
     DEFAULT_MAX_RECURSIVE_NON_RUN_XREFS = 100
     DEFAULT_TREE_MAX_DIRECT_RUNS = 50
@@ -24,6 +25,7 @@ module Dratools
     DEFAULT_DOWNLOAD_STALL_SPEED_BYTES_PER_SECOND = 1024
     DEFAULT_DOWNLOAD_RETRY_COUNT = 3
     DEFAULT_DOWNLOAD_RETRY_WAIT_SECONDS = 5
+    SUPPORTED_DOWNLOAD_COMMANDS = %w[curl wget aria2c].freeze
     UNLIMITED_VALUE = 'unlimited'
 
     module_function
@@ -70,6 +72,18 @@ module Dratools
       positive_integer(DOWNLOAD_RETRY_WAIT_ENV, DEFAULT_DOWNLOAD_RETRY_WAIT_SECONDS)
     end
 
+    def download_command
+      value = ENV.fetch(DOWNLOAD_COMMAND_ENV, '').strip
+      return nil if value.empty?
+      return value if SUPPORTED_DOWNLOAD_COMMANDS.include?(value)
+
+      invalid_environment_value!(
+        DOWNLOAD_COMMAND_ENV,
+        value,
+        SUPPORTED_DOWNLOAD_COMMANDS.join(' or ')
+      )
+    end
+
     def positive_integer_or_unlimited(name, default)
       value = ENV.fetch(name, '').strip
       return default if value.empty?

data/lib/dratools/ddbj_record_fields.rb

@@ -1,7 +1,7 @@
 # frozen_string_literal: true
 
 module Dratools
-  # DDBJ Search resource JSON で使う resource type とキー名をまとめる。
+  # DDBJ Search entry JSON で使う resource type とキー名をまとめる。
   module DdbjRecordFields
     SRA_RUN_RESOURCE_TYPE = 'sra-run'
     SRA_EXPERIMENT_RESOURCE_TYPE = 'sra-experiment'
@@ -18,18 +18,13 @@ module Dratools
     DB_XREFS_KEY = 'dbXrefs'
     CHILD_BIOPROJECTS_KEY = 'childBioProjects'
     TYPE_KEY = 'type'
-    URL_KEY = 'url'
-    FTP_URL_KEY = 'ftpUrl'
     ID_KEY = 'id'
     IDENTIFIER_KEY = 'identifier'
     ACCESSION_KEY = 'accession'
     PRIMARY_ID_KEY = 'primaryId'
-    DOWNLOAD_URL_KEY = 'downloadUrl'
     DISTRIBUTION_KEY = 'distribution'
     CONTENT_URL_KEY = 'contentUrl'
     CONTENT_SIZE_KEY = 'contentSize'
-    SIZE_KEY = 'size'
-    FILE_SIZE_KEY = 'fileSize'
     MD5_KEY = 'md5'
     MD5_SUM_KEY = 'md5sum'
     ENCODING_FORMAT_KEY = 'encodingFormat'

data/lib/dratools/ddbj_resource_client.rb

@@ -7,12 +7,17 @@ require 'uri'
 
 require_relative 'errors'
 require_relative 'version'
+require_relative 'ddbj_record_fields'
 
 module Dratools
-  # DDBJ resource API を呼び出す薄い HTTP クライアント。
+  # DDBJ Search API を呼び出す薄い HTTP クライアント。
   class DdbjResourceClient
-    DDBJ_RESOURCE_BASE_URL = 'https://ddbj.nig.ac.jp/resource'
-    RESOURCE_RECORD_EXTENSION = '.json'
+    DDBJ_SEARCH_API_BASE_URL = 'https://ddbj.nig.ac.jp/search/api'
+    ENTRIES_PATH = 'entries'
+    DBLINK_PATH = 'dblink'
+    ENTRY_RECORD_EXTENSION = '.json'
+    BULK_MAX_IDS = 1000
+    DBLINK_COUNTS_MAX_ITEMS = 100
     HTTPS_SCHEME = 'https'
     HTTP_LOCATION_HEADER = 'location'
     USER_AGENT_HEADER = 'User-Agent'
@@ -20,7 +25,7 @@ module Dratools
     DEFAULT_OPEN_TIMEOUT_SECONDS = 10
     DEFAULT_READ_TIMEOUT_SECONDS = 30
 
-    def initialize(base_url: DDBJ_RESOURCE_BASE_URL, open_timeout: DEFAULT_OPEN_TIMEOUT_SECONDS,
+    def initialize(base_url: DDBJ_SEARCH_API_BASE_URL, open_timeout: DEFAULT_OPEN_TIMEOUT_SECONDS,
                    read_timeout: DEFAULT_READ_TIMEOUT_SECONDS)
       @base_url = base_url.delete_suffix('/')
       @open_timeout = open_timeout
@@ -28,32 +33,93 @@ module Dratools
     end
 
     def fetch_resource_record(type, accession)
-      fetch_json("#{@base_url}/#{type}/#{accession}#{RESOURCE_RECORD_EXTENSION}")
+      fetch_json("#{@base_url}/#{ENTRIES_PATH}/#{type}/#{accession}#{ENTRY_RECORD_EXTENSION}")
+    end
+
+    def fetch_db_links(type, accession, target: nil)
+      request_uri = URI("#{@base_url}/#{DBLINK_PATH}/#{type}/#{accession}")
+      request_uri.query = URI.encode_www_form(target: target) if target
+      fetch_json(request_uri.to_s).fetch(DdbjRecordFields::DB_XREFS_KEY, [])
+    end
+
+    def fetch_resource_records_bulk(type, accessions, include_db_xrefs: false)
+      accessions.each_slice(BULK_MAX_IDS).with_object({}) do |chunk, records|
+        records.merge!(
+          fetch_resource_records_bulk_chunk(type, chunk, include_db_xrefs: include_db_xrefs)
+        )
+      end
+    end
+
+    def fetch_db_link_counts(items)
+      items.each_slice(DBLINK_COUNTS_MAX_ITEMS).with_object({}) do |chunk, counts|
+        counts.merge!(fetch_db_link_counts_chunk(chunk))
+      end
     end
 
     private
 
+    def fetch_db_link_counts_chunk(items)
+      request_url = "#{@base_url}/#{DBLINK_PATH}/counts"
+      payload = post_json(request_url, items: items)
+      payload.fetch('items', []).to_h do |item|
+        [[item['type'], item[DdbjRecordFields::IDENTIFIER_KEY]], item.fetch('counts', {})]
+      end
+    end
+
+    def fetch_resource_records_bulk_chunk(type, accessions, include_db_xrefs:)
+      request_uri = URI("#{@base_url}/#{ENTRIES_PATH}/#{type}/bulk")
+      request_uri.query = URI.encode_www_form(includeDbXrefs: include_db_xrefs)
+      payload = post_json(request_uri.to_s, ids: accessions)
+      payload.fetch('entries', []).to_h do |record|
+        accession = record[DdbjRecordFields::IDENTIFIER_KEY] ||
+                    record[DdbjRecordFields::ACCESSION_KEY] ||
+                    record[DdbjRecordFields::ID_KEY] ||
+                    record[DdbjRecordFields::PRIMARY_ID_KEY]
+        [accession, record]
+      end
+    end
+
     def fetch_json(request_url, redirects_remaining = DEFAULT_REDIRECT_LIMIT)
-      request_uri = URI(request_url)
-      response = get_http_response(request_uri)
-
-      case response
-      when Net::HTTPSuccess
-        JSON.parse(response.body)
-      when Net::HTTPRedirection
-        raise NetworkError, "too many redirects: #{request_url}" if redirects_remaining <= 0
-
-        location = response[HTTP_LOCATION_HEADER]
-        raise NetworkError, "redirect without location: #{request_url}" if location.to_s.empty?
-
-        fetch_json(URI.join(request_uri, location).to_s, redirects_remaining - 1)
-      when Net::HTTPNotFound
-        raise NotFoundError, "not found: #{request_url}"
-      else
+      with_network_errors(request_url) do
+        request_uri = URI(request_url)
+        response = get_http_response(request_uri)
+
+        case response
+        when Net::HTTPSuccess
+          parse_json_response(response, request_url)
+        when Net::HTTPRedirection
+          raise NetworkError, "too many redirects: #{request_url}" if redirects_remaining <= 0
+
+          location = response[HTTP_LOCATION_HEADER]
+          raise NetworkError, "redirect without location: #{request_url}" if location.to_s.empty?
+
+          fetch_json(URI.join(request_uri, location).to_s, redirects_remaining - 1)
+        when Net::HTTPNotFound
+          raise NotFoundError, "not found: #{request_url}"
+        else
+          raise NetworkError, "HTTP #{response.code}: #{request_url}"
+        end
+      end
+    end
+
+    def post_json(request_url, payload)
+      with_network_errors(request_url) do
+        response = post_http_response(URI(request_url), payload)
+        return parse_json_response(response, request_url) if response.is_a?(Net::HTTPSuccess)
+        raise NotFoundError, "not found: #{request_url}" if response.is_a?(Net::HTTPNotFound)
+
         raise NetworkError, "HTTP #{response.code}: #{request_url}"
       end
+    end
+
+    def parse_json_response(response, request_url)
+      JSON.parse(response.body)
     rescue JSON::ParserError => error
       raise NetworkError, "invalid JSON from #{request_url}: #{error.message}", cause: error
+    end
+
+    def with_network_errors(request_url)
+      yield
     rescue Timeout::Error, IOError, SocketError, SystemCallError => error
       message = "failed to fetch #{request_url}: #{error.class}: #{error.message}"
       raise NetworkError, message, cause: error
@@ -71,6 +137,21 @@ module Dratools
       end
     end
 
+    def post_http_response(request_uri, payload)
+      Net::HTTP.start(
+        request_uri.host,
+        request_uri.port,
+        use_ssl: request_uri.scheme == HTTPS_SCHEME,
+        open_timeout: @open_timeout,
+        read_timeout: @read_timeout
+      ) do |http|
+        request = Net::HTTP::Post.new(request_uri.request_uri, USER_AGENT_HEADER => user_agent)
+        request['Content-Type'] = 'application/json'
+        request.body = JSON.generate(payload)
+        http.request(request)
+      end
+    end
+
     def user_agent
       "#{NAME}/#{VERSION}"
     end

data/lib/dratools/download_candidate_builder.rb

@@ -4,12 +4,12 @@ require_relative 'ddbj_record_fields'
 require_relative 'download_candidate'
 
 module Dratools
-  # DDBJ run レコードの downloadUrl/distribution から DownloadCandidate を作る。
+  # DDBJ run レコードの distribution から DownloadCandidate を作る。
   class DownloadCandidateBuilder
     def build_from_run_record(run_record)
       run_accession = run_accession_from(run_record)
       downloads = download_items_from(run_record).filter_map do |download_item|
-        build_from_download_item(run_accession, download_item)
+        build_from_distribution_item(run_accession, download_item)
       end
       downloads.uniq { |download| download_key(download) }
     end
@@ -24,21 +24,12 @@ module Dratools
     end
 
     def download_items_from(ddbj_record)
-      ddbj_record.fetch(DdbjRecordFields::DOWNLOAD_URL_KEY, []) +
-        ddbj_record.fetch(DdbjRecordFields::DISTRIBUTION_KEY, [])
+      Array(ddbj_record[DdbjRecordFields::DISTRIBUTION_KEY])
     end
 
-    def build_from_download_item(run_accession, download_item)
+    def build_from_distribution_item(run_accession, download_item)
       return unless download_item.is_a?(Hash)
 
-      if download_item[DdbjRecordFields::CONTENT_URL_KEY]
-        build_from_distribution_item(run_accession, download_item)
-      else
-        build_from_download_url_item(run_accession, download_item)
-      end
-    end
-
-    def build_from_distribution_item(run_accession, download_item)
       file_type = file_type_from_distribution(download_item)
       return unless file_type
 
@@ -52,28 +43,10 @@ module Dratools
       )
     end
 
-    def build_from_download_url_item(run_accession, download_item)
-      file_type = file_type_from_download_url(download_item)
-      return unless file_type
-
-      DownloadCandidate.new(
-        run_accession: run_accession,
-        type: file_type,
-        url: download_item[DdbjRecordFields::URL_KEY],
-        ftp_url: download_item[DdbjRecordFields::FTP_URL_KEY],
-        size: download_item[DdbjRecordFields::SIZE_KEY] || download_item[DdbjRecordFields::FILE_SIZE_KEY],
-        md5: download_item[DdbjRecordFields::MD5_KEY] || download_item[DdbjRecordFields::MD5_SUM_KEY]
-      )
-    end
-
     def file_type_from_distribution(download_item)
       file_type_from(download_item[DdbjRecordFields::ENCODING_FORMAT_KEY])
     end
 
-    def file_type_from_download_url(download_item)
-      file_type_from(download_item[DdbjRecordFields::TYPE_KEY])
-    end
-
     def file_type_from(value)
       case value.to_s.downcase
       when DdbjRecordFields::FILE_TYPE_SRA

data/lib/dratools/external_command_runner.rb

@@ -8,77 +8,146 @@ require_relative 'config'
 require_relative 'errors'
 
 module Dratools
-  # curl か wget を使って URL の確認とダウンロードを行うラッパー。
+  # curl, wget, aria2c のいずれかを使って URL の確認とダウンロードを行うラッパー。
   #
   # probe は短時間・無出力で済ませ、download は外部コマンドの進捗を端末へ流す。
   # 巨大ファイルを扱うため、download には総時間制限ではなく失速検知を使う。
   class ExternalCommandRunner
     CURL_COMMAND = 'curl'
     WGET_COMMAND = 'wget'
-    SUPPORTED_COMMANDS = [CURL_COMMAND, WGET_COMMAND].freeze
+    ARIA2_COMMAND = 'aria2c'
+    AUTO_COMMANDS = [CURL_COMMAND, WGET_COMMAND].freeze
+    SUPPORTED_COMMANDS = [*AUTO_COMMANDS, ARIA2_COMMAND].freeze
+
     COMMAND_NOT_FOUND_MESSAGE = 'curl または wget が見つかりません'
+    PREFERRED_COMMAND_NOT_FOUND_MESSAGE = '指定されたダウンロードコマンドが見つかりません'
+    UNSUPPORTED_COMMAND_MESSAGE = '未対応のダウンロードコマンドです'
     DEFAULT_PROBE_TIMEOUT_SECONDS = 5
     PROBE_BYTE_RANGE = '0-0'
     SINGLE_ATTEMPT_COUNT = 1
 
+    # リダイレクト、HTTP エラー、静かな probe、範囲取得。
     CURL_PROBE_OPTIONS = ['--location', '--fail', '--silent', '--show-error', '--range'].freeze
+    # probe 全体のタイムアウト。
     CURL_TIMEOUT_OPTION = '--max-time'
     CURL_CONNECT_TIMEOUT_OPTION = '--connect-timeout'
+    # 失速判定に使う最低転送速度。
     CURL_SPEED_LIMIT_OPTION = '--speed-limit'
+    # 最低速度を下回ってよい秒数。
     CURL_SPEED_TIME_OPTION = '--speed-time'
     CURL_RETRY_OPTION = '--retry'
     CURL_OUTPUT_OPTION = '--output'
+    # 部分ファイルがあれば続きから再開。
     CURL_DOWNLOAD_OPTIONS = ['--location', '--fail', '--continue-at', '-'].freeze
 
+    # probe でファイルを保存しない。
     WGET_PROBE_OPTIONS = ['--spider'].freeze
+    # probe 全体のタイムアウト。
     WGET_TIMEOUT_OPTION = '--timeout'
     WGET_CONNECT_TIMEOUT_OPTION = '--connect-timeout'
+    # wget で失速検知に近い意味で使う。
     WGET_READ_TIMEOUT_OPTION = '--read-timeout'
+    # probe では 1 回だけにする。
     WGET_TRIES_OPTION = '--tries'
     WGET_WAITRETRY_OPTION = '--waitretry'
+    # 部分ファイルがあれば続きから再開。
     WGET_CONTINUE_OPTION = '--continue'
     WGET_OUTPUT_OPTION = '--output-document'
 
-    def initialize(preferred: nil)
+    # probe で保存せず、通常出力も抑える。
+    ARIA2_PROBE_OPTIONS = ['--dry-run=true', '--quiet=true'].freeze
+    ARIA2_CONNECT_TIMEOUT_OPTION = '--connect-timeout'
+    # aria2c で失速検知に近い意味で使う。
+    ARIA2_TIMEOUT_OPTION = '--timeout'
+    # curl の --speed-limit に相当する最低転送速度。
+    ARIA2_LOWEST_SPEED_LIMIT_OPTION = '--lowest-speed-limit'
+    ARIA2_MAX_TRIES_OPTION = '--max-tries'
+    ARIA2_RETRY_WAIT_OPTION = '--retry-wait'
+    # 部分ファイルがあれば続きから再開。
+    ARIA2_CONTINUE_OPTION = '--continue=true'
+    # aria2c は保存先をディレクトリとファイル名に分ける。
+    ARIA2_DIR_OPTION = '--dir'
+    ARIA2_OUT_OPTION = '--out'
+    # 既定では並列取得しない。
+    ARIA2_SINGLE_CONNECTION_OPTIONS = ['--split=1', '--max-connection-per-server=1'].freeze
+
+    def initialize(preferred: Config.download_command)
       @preferred = preferred
     end
 
     def available_command
-      candidates = [@preferred, *SUPPORTED_COMMANDS].compact
+      candidates = @preferred ? [@preferred] : AUTO_COMMANDS
       candidates.find { |command_name| executable_command?(command_name) }
     end
 
     def probe_url(url, timeout: DEFAULT_PROBE_TIMEOUT_SECONDS)
-      tool = available_command || raise(CommandError, COMMAND_NOT_FOUND_MESSAGE)
+      tool = available_command || raise(CommandError, command_not_found_message)
       # 巨大ファイルを落とさないよう、短時間・最小範囲の確認に留める。
       command =
-        if File.basename(tool) == CURL_COMMAND
+        case File.basename(tool)
+        when CURL_COMMAND
+          # 例: curl --location --fail --silent --show-error --range 0-0
+          #          --max-time 5 --output /dev/null URL
           [tool, *CURL_PROBE_OPTIONS, PROBE_BYTE_RANGE, CURL_TIMEOUT_OPTION, timeout.to_s,
            CURL_OUTPUT_OPTION, null_device, url]
-        else
+        when WGET_COMMAND
+          # 例: wget --spider --timeout=5 --tries=1 URL
           [tool, *WGET_PROBE_OPTIONS, "#{WGET_TIMEOUT_OPTION}=#{timeout}",
            "#{WGET_TRIES_OPTION}=#{SINGLE_ATTEMPT_COUNT}", url]
+        when ARIA2_COMMAND
+          # 例: aria2c --dry-run=true --quiet=true --connect-timeout=5 --timeout=5 --max-tries=1 URL
+          [tool, *ARIA2_PROBE_OPTIONS,
+           "#{ARIA2_CONNECT_TIMEOUT_OPTION}=#{timeout}",
+           "#{ARIA2_TIMEOUT_OPTION}=#{timeout}",
+           "#{ARIA2_MAX_TRIES_OPTION}=#{SINGLE_ATTEMPT_COUNT}", url]
+        else
+          unsupported_command!(tool)
         end
       run_quietly(command)
     end
 
     def download_url(url, output_path)
-      tool = available_command || raise(CommandError, COMMAND_NOT_FOUND_MESSAGE)
+      tool = available_command || raise(CommandError, command_not_found_message)
       command =
-        if File.basename(tool) == CURL_COMMAND
+        case File.basename(tool)
+        when CURL_COMMAND
+          # curl の低速検知は「指定秒数のあいだ指定速度を下回ったら失敗」。
+          # ネットワークが完全に切れず低速で固まるケースを、総時間制限なしで検出する。
+          # 例: curl --location --fail --continue-at - --connect-timeout 30
+          #          --speed-limit 1024 --speed-time 60 --retry 3 --output OUT URL
           [tool, *CURL_DOWNLOAD_OPTIONS,
            CURL_CONNECT_TIMEOUT_OPTION, Config.download_connect_timeout_seconds.to_s,
            CURL_SPEED_LIMIT_OPTION, Config.download_stall_speed_bytes_per_second.to_s,
            CURL_SPEED_TIME_OPTION, Config.download_stall_timeout_seconds.to_s,
            CURL_RETRY_OPTION, Config.download_retry_count.to_s,
            CURL_OUTPUT_OPTION, output_path, url]
-        else
+        when WGET_COMMAND
+          # wget では --read-timeout を失速検知に近い意味で使う。
+          # --continue は部分ファイルの続きから再開し、--output-document は保存先を固定する。
+          # 例: wget --continue --connect-timeout=30 --read-timeout=60
+          #          --tries=4 --waitretry=5 --output-document OUT URL
           [tool, WGET_CONTINUE_OPTION,
            "#{WGET_CONNECT_TIMEOUT_OPTION}=#{Config.download_connect_timeout_seconds}",
            "#{WGET_READ_TIMEOUT_OPTION}=#{Config.download_stall_timeout_seconds}",
-           "#{WGET_TRIES_OPTION}=#{Config.download_retry_count}",
+           "#{WGET_TRIES_OPTION}=#{download_attempt_count}",
            "#{WGET_WAITRETRY_OPTION}=#{Config.download_retry_wait_seconds}",
            WGET_OUTPUT_OPTION, output_path, url]
+        when ARIA2_COMMAND
+          # aria2c は保存先をディレクトリとファイル名に分けて指定する。
+          # --continue=true は部分ファイルがあれば続きから再開する。
+          # 例: aria2c --continue=true --split=1 --max-connection-per-server=1
+          #          --connect-timeout=30 --timeout=60 --lowest-speed-limit=1024
+          #          --max-tries=4 --retry-wait=5 --dir DIR --out FILE URL
+          [tool, ARIA2_CONTINUE_OPTION, *ARIA2_SINGLE_CONNECTION_OPTIONS,
+           "#{ARIA2_CONNECT_TIMEOUT_OPTION}=#{Config.download_connect_timeout_seconds}",
+           "#{ARIA2_TIMEOUT_OPTION}=#{Config.download_stall_timeout_seconds}",
+           "#{ARIA2_LOWEST_SPEED_LIMIT_OPTION}=#{Config.download_stall_speed_bytes_per_second}",
+           "#{ARIA2_MAX_TRIES_OPTION}=#{download_attempt_count}",
+           "#{ARIA2_RETRY_WAIT_OPTION}=#{Config.download_retry_wait_seconds}",
+           "#{ARIA2_DIR_OPTION}=#{File.dirname(output_path)}",
+           "#{ARIA2_OUT_OPTION}=#{File.basename(output_path)}", url]
+        else
+          unsupported_command!(tool)
         end
       run_streaming(command)
     end
@@ -93,7 +162,7 @@ module Dratools
     end
 
     def run_streaming(command)
-      # 配列形式で渡すことでシェルを介さず、curl/wget の stderr 進捗はそのまま見せる。
+      # 配列形式で渡すことでシェルを介さず、外部コマンドの stderr 進捗はそのまま見せる。
       return true if system(*command)
 
       status = $CHILD_STATUS
@@ -108,6 +177,20 @@ module Dratools
       end
     end
 
+    def command_not_found_message
+      return "#{PREFERRED_COMMAND_NOT_FOUND_MESSAGE}: #{@preferred}" if @preferred
+
+      COMMAND_NOT_FOUND_MESSAGE
+    end
+
+    def download_attempt_count
+      Config.download_retry_count + 1
+    end
+
+    def unsupported_command!(tool)
+      raise CommandError, "#{UNSUPPORTED_COMMAND_MESSAGE}: #{tool}"
+    end
+
     def null_device
       File::NULL
     end

data/lib/dratools/run_record_collector.rb

@@ -10,7 +10,6 @@ require_relative 'traversal_node'
 module Dratools
   # BioProject などの上位レコードから DDBJ sra-run レコードを集める。
   class RunRecordCollector
-    XREF_URL_PATTERN = %r{/(?:resource|search/entry)/([^/]+)/([^/?#.]+)}
     TRAVERSABLE_XREF_TYPES = [
       DdbjRecordFields::SRA_RUN_RESOURCE_TYPE,
       DdbjRecordFields::SRA_EXPERIMENT_RESOURCE_TYPE,
@@ -40,14 +39,26 @@ module Dratools
         return node
       end
 
-      direct_children = explore_edges(run_xrefs, TraversalNode::DB_XREF_RELATION, seen_keys,
-                                      tolerant: tolerant,
-                                      direct_run_fetch_limit: direct_run_fetch_limit)
+      direct_children = explore_run_xrefs(
+        run_xrefs,
+        seen_keys,
+        tolerant: tolerant,
+        direct_run_fetch_limit: direct_run_fetch_limit
+      )
       if direct_children.any? { |child| child.run? || child.run_records.any? }
         node.children.concat(direct_children)
         return node
       end
 
+      node.children.concat(
+        recursive_children(ddbj_record, xrefs, seen_keys, tolerant, direct_run_fetch_limit)
+      )
+      node
+    end
+
+    private
+
+    def recursive_children(ddbj_record, xrefs, seen_keys, tolerant, direct_run_fetch_limit)
       recursive_xrefs = xrefs.select { |xref| traversable_xref?(xref) }
       validate_recursive_non_run_xref_count!(ddbj_record, recursive_xrefs)
       db_xref_edges = explore_edges(
@@ -64,12 +75,9 @@ module Dratools
         tolerant: tolerant,
         direct_run_fetch_limit: direct_run_fetch_limit
       )
-      node.children.concat(db_xref_edges + child_edges)
-      node
+      db_xref_edges + child_edges
     end
 
-    private
-
     def lightweight_direct_run_nodes(run_xrefs, direct_run_fetch_limit)
       return nil unless direct_run_fetch_limit && run_xrefs.length > direct_run_fetch_limit
 
@@ -111,6 +119,53 @@ module Dratools
       end
     end
 
+    def explore_run_xrefs(run_xrefs, seen_keys, tolerant:, direct_run_fetch_limit:)
+      fetchable_xrefs = unseen_fetchable_xrefs(run_xrefs, seen_keys)
+      return [] if fetchable_xrefs.empty?
+
+      accessions = fetchable_xrefs.map { |xref| xref_accession(xref) }
+      records = @client.fetch_resource_records_bulk(
+        DdbjRecordFields::SRA_RUN_RESOURCE_TYPE,
+        accessions,
+        include_db_xrefs: false
+      )
+      fetchable_xrefs.map do |xref|
+        accession = xref_accession(xref)
+        if (record = records[accession])
+          explore(
+            record,
+            seen_keys: seen_keys,
+            relation: TraversalNode::DB_XREF_RELATION,
+            tolerant: tolerant,
+            direct_run_fetch_limit: direct_run_fetch_limit
+          )
+        elsif tolerant
+          node_from_xref(
+            xref,
+            relation: TraversalNode::DB_XREF_RELATION,
+            error: "not found: #{accession}"
+          )
+        else
+          raise NotFoundError, "not found: sra-run/#{accession}"
+        end
+      end
+    end
+
+    def unseen_fetchable_xrefs(xrefs, seen_keys)
+      xrefs.each_with_object([]) do |xref, selected|
+        next unless traversable_xref?(xref)
+
+        accession = xref_accession(xref)
+        next if accession.empty?
+
+        reference_key = xref_key(xref)
+        next if reference_key.empty? || seen_keys.include?(reference_key)
+
+        seen_keys.add(reference_key)
+        selected << xref
+      end
+    end
+
     def explore_xref(xref, relation, seen_keys, tolerant:, direct_run_fetch_limit:)
       linked_record = fetch_xref_record(xref)
       explore(
@@ -127,20 +182,17 @@ module Dratools
     end
 
     def xref_key(xref)
-      reference_url = xref[DdbjRecordFields::URL_KEY].to_s
-      return reference_url unless reference_url.empty?
+      xref_accession(xref)
+    end
 
+    def xref_accession(xref)
       (xref[DdbjRecordFields::ID_KEY] || xref[DdbjRecordFields::IDENTIFIER_KEY]).to_s
     end
 
     def fetch_xref_record(xref)
-      if (resource_match = xref[DdbjRecordFields::URL_KEY].to_s.match(XREF_URL_PATTERN))
-        @client.fetch_resource_record(resource_match[1], resource_match[2])
-      elsif xref[DdbjRecordFields::ID_KEY] || xref[DdbjRecordFields::IDENTIFIER_KEY]
-        fetch_xref_by_identifier(xref)
-      else
-        raise InvalidRecordError, 'sra-run xref has no URL or id'
-      end
+      raise InvalidRecordError, 'xref has no identifier' if xref_accession(xref).empty?
+
+      fetch_xref_by_identifier(xref)
     end
 
     def fetch_xref_by_identifier(xref)
@@ -160,15 +212,13 @@ module Dratools
 
     def run_record?(ddbj_record)
       record_type = ddbj_record[DdbjRecordFields::TYPE_KEY]
-      return record_type == DdbjRecordFields::SRA_RUN_RESOURCE_TYPE if record_type
-
-      ddbj_record[DdbjRecordFields::DOWNLOAD_URL_KEY].is_a?(Array)
+      record_type == DdbjRecordFields::SRA_RUN_RESOURCE_TYPE
     end
 
     def node_from_record(ddbj_record, relation:)
       TraversalNode.new(
         relation: relation,
-        type: ddbj_record[DdbjRecordFields::TYPE_KEY] || inferred_record_type(ddbj_record),
+        type: ddbj_record[DdbjRecordFields::TYPE_KEY],
         accession: record_accession(ddbj_record),
         object_type: ddbj_record['objectType'],
         record: run_record?(ddbj_record) ? ddbj_record : nil
@@ -190,9 +240,5 @@ module Dratools
         ddbj_record[DdbjRecordFields::ID_KEY] ||
         ddbj_record[DdbjRecordFields::PRIMARY_ID_KEY]
     end
-
-    def inferred_record_type(ddbj_record)
-      DdbjRecordFields::SRA_RUN_RESOURCE_TYPE if run_record?(ddbj_record)
-    end
   end
 end

data/lib/dratools/version.rb

@@ -2,5 +2,5 @@
 
 module Dratools
   NAME = 'dratools'
-  VERSION = '0.0.1'
+  VERSION = '0.0.2'
 end

metadata

@@ -1,7 +1,7 @@
 --- !ruby/object:Gem::Specification
 name: dratools
 version: !ruby/object:Gem::Version
-  version: 0.0.1
+  version: 0.0.2
 platform: ruby
 authors:
 - kojix2