dratools 0.0.1 → 0.0.3

checksums.yaml

@@ -1,7 +1,7 @@
 ---
 SHA256:
-  metadata.gz: 48f8f5324602da01372e8590c74a22ae9a3474b125c96c3d2bf8de501e80160a
-  data.tar.gz: 9980db4882cefe19b2143496262ec785a6994e04d3c75ac6edc23deb0607f226
+  metadata.gz: 580e0395df351cc56d957e756ad8368b663d9902f4722983e268093e97ec0809
+  data.tar.gz: 39206bc915245cea263f476cf7e5397f7e1027c1c21de3500e0c0c573f1c2c41
 SHA512:
-  metadata.gz: 687ca0459f6bead0d1ca7d4349fcb023b1c142b05e4b2e4e1eda461b54a42209a3ac7cec08d8552522921c691da38ffe89d367270859dd15cefc17af9bf99210
-  data.tar.gz: e2ea8839bcb20737af0880e20694d266c0fc1ee9ab0a2f77e6b027fbe4750b09bba2e9f42ae839a4492d94dbb6f22ed4118ff3ffb72ebe206bd2689ce9e6d795
+  metadata.gz: 91bfee6e903c4334818f4dce7da9a30df66db16412cefcfa91ed384e5e0f031acedb69d1f17a6765fd86602072219c5e10a80043ced268d9b966779673c3fef0
+  data.tar.gz: 000f9ca102c3deacd8ae0b1c1d9f8edea16b596f65383c3f0fb925f413ca773390e0d1a7e9615f728b6f8b9d41afe7d5b8cdc0be4814cb319af34ce61fea1dd5

data/README.md

@@ -1,7 +1,9 @@
 # dratools
 
 [![CI](https://github.com/kojix2/dratools/actions/workflows/ci.yml/badge.svg)](https://github.com/kojix2/dratools/actions/workflows/ci.yml)
+[![Gem Version](https://badge.fury.io/rb/dratools.svg)](https://badge.fury.io/rb/dratools)
 [![Lines of Code](https://img.shields.io/endpoint?url=https%3A%2F%2Ftokei.kojix2.net%2Fbadge%2Fgithub%2Fkojix2%2Fdratools%2Flines)](https://tokei.kojix2.net/github/kojix2/dratools)
+[![DOI](https://zenodo.org/badge/1281844096.svg)](https://doi.org/10.5281/zenodo.20967539)
 
 [dratools](https://github.com/kojix2/dratools) は、日本国内の [DDBJ](https://www.ddbj.nig.ac.jp) からゲノムデータをダウンロードするためのツールです。
 
@@ -13,7 +15,7 @@ dratools は非公式のツールです。DDBJ や国立遺伝学研究所が提
 
 必要なものは次のとおりです。
 
-- [ruby](https://www.ruby-lang.org/)
+- [ruby](https://www.ruby-lang.org/) 3.0 以上
 - [curl](https://curl.se/) または [wget](https://www.gnu.org/software/wget/)
 
 Rubyのgemとしてインストールできます。
@@ -80,7 +82,7 @@ printf 'DRR000001\nDRR000002\n' | dratools get -O ~/Downloads
 dratools probe DRR000001                          # URL の到達性だけ確認する
 dratools url --json DRR000001                     # URL 情報を JSON で表示する
 dratools url --tsv DRR000001                      # run/type/url/size/md5 を TAB 区切りで
-dratools meta --json DRR000001                    # resource JSON を表示する
+dratools meta --json DRR000001                    # entry JSON を表示する
 dratools runs PRJNA341783 | dratools get -O ~/Downloads # run 一覧をダウンロードへ渡す
 dratools size --bytes PRJNA341783                 # 合計サイズをバイト数で表示する
 dratools size --per-run DRX000001                 # 親 accession を run ごとに集計する
@@ -89,7 +91,7 @@ dratools get --skip-existing -O ~/Downloads DRR000001  # 既存ファイルは
 
 詳しくは [使い方](docs/usage.md) をご覧ください。親 accession を扱うときの設定は [環境変数](docs/environment.md) にまとめています。
 
-実際のファイル転送には `curl` または `wget` を使います。ダウンロード中は進捗表示を端末にそのまま流します。md5 が得られる場合だけ、ダウンロード後に照合します。
+実際のファイル転送には通常 `curl` または `wget` を使います。`aria2c` も環境変数で明示した場合だけ使えます。ダウンロード中は進捗表示を端末にそのまま流します。同名のファイルが既にある場合は、サーバのファイルサイズと比べて再取得の要否を判断します。md5 が得られる場合は md5 で照合します。
 
 ツールは全てコーディングエージェントによって実装されました。
 
@@ -102,11 +104,9 @@ dratools get --skip-existing -O ~/Downloads DRR000001  # 既存ファイルは
 
 ## お役立ちノート
 
-海外からゲノムデータをダウンロードするのは大変な作業です。
-日本国内のサーバーからゲノムデータをダウンロードすると作業が楽になります。
+海外のサーバーからゲノムデータをダウンロードするのは大変です。日本国内のサーバーを使うと作業が楽になります。
 
-なるべく手間をかけずに、寝ている間にデータをダウンロードしたい方は「NASに課金する」という手段もあります。
-NASの付属ソフトにURLを入力すると、何もしなくても自動でダウンロードが進むのでストレスが少ないです。
+手間をかけずにダウンロードする方法として、NAS を使う方法があります。まず `dratools url` で URL の一覧を出します。次に NAS の付属ソフトの GUI 画面に、その URL をまとめて貼り付けます。あとは放置します。ダウンロードは自動で進みます。
 
 ## 開発
 

data/docs/design.md

@@ -12,24 +12,33 @@ accession から URL までの流れは次のとおりです。
 
 ```text
 accession
-  -> DDBJ Search resource JSON
+  -> DDBJ Search entry JSON (/search/api/entries/{type}/{id}.json)
   -> sra-run record
-  -> downloadUrl
+  -> distribution
   -> https / ftp URL
 ```
 
+`/resource/{type}/{id}.json` は DDBJ Search の後方互換入口です。現在は
+`/search/entry/{type}/{id}.json` へリダイレクトされ、さらに nginx で
+`/search/api/entries/{type}/{id}.json` へ rewrite されます。dratools は
+リダイレクトを避けるため、正規の `/search/api/entries` endpoint を直接使います。
+
+run 一覧だけが必要な場合は DBLinks endpoint を使います。多数の run record が必要な
+場合は Bulk endpoint を使います。どちらも同じ DDBJ Search API サーバーの機能です。
+
 ## ダウンロード確認
 
 ゲノムデータはサイズが大きいです。`probe` は完全なダウンロードを行いません。
 
 - `curl` がある場合: `--range 0-0` と `--max-time` を使う
 - `wget` がある場合: `--spider` と `--timeout` を使う
+- `aria2c` がある場合: `--dry-run=true` と `--timeout` を使う
 
 これは URL が使えるかどうかを短時間で確認するためです。完全な整合性の確認ではありません。
 
 ## サイズ確認
 
-`size` は resource JSON のサイズ情報を使いません。実レコードにはサイズや md5 が含まれないことが多いためです。代わりに、解決した URL に HTTP `HEAD` を送ります。`Content-Length` を合計します。
+`size` は entry JSON のサイズ情報を使いません。実レコードにはサイズや md5 が含まれないことが多いためです。代わりに、解決した URL に HTTP `HEAD` を送ります。`Content-Length` を合計します。
 
 FASTQ はディレクトリ URL で返ることがあります。その場合はディレクトリ一覧を取得します。`*.fastq*` のリンクを取り出します。各ファイルに `HEAD` を送ります。取得できないものは失敗にしません。`unresolved` として数えます。
 
@@ -37,12 +46,17 @@ FASTQ はディレクトリ URL で返ることがあります。その場合は
 
 ## 実ダウンロード
 
-実ダウンロードでは総時間の上限を設けません。数十 GB のファイルでは長時間かかるためです。代わりに、接続のタイムアウトと失速検知を `curl` / `wget` に渡します。
+実ダウンロードでは総時間の上限を設けません。数十 GB のファイルでは長時間かかるためです。代わりに、接続のタイムアウトと失速検知を `curl` / `wget` / `aria2c` に渡します。
 
 - `curl`: `--connect-timeout`, `--speed-limit`, `--speed-time`, `--retry`
 - `wget`: `--connect-timeout`, `--read-timeout`, `--tries`, `--waitretry`
+- `aria2c`: `--connect-timeout`, `--timeout`, `--lowest-speed-limit`, `--max-tries`, `--retry-wait`
+
+`aria2c` は分割ダウンロードができますが、既定では `--split=1` と `--max-connection-per-server=1` で単一接続にします。公共アーカイブへの負荷を既定で増やさないためです。
+
+`DRATOOLS_DOWNLOAD_RETRY_COUNT` はリトライ回数として扱います。`curl --retry` はリトライ回数ですが、`wget --tries` と `aria2c --max-tries` は総試行回数なので、外部コマンドには `DRATOOLS_DOWNLOAD_RETRY_COUNT + 1` を渡します。
 
-ダウンロードは `system(*command)` で実行します。`Open3.capture3` は使いません。`curl` / `wget` の進捗を端末にそのまま表示するためです。失敗した場合は、コマンド行と終了ステータスを `CommandError` にします。
+ダウンロードは `system(*command)` で実行します。`Open3.capture3` は使いません。外部コマンドの進捗を端末にそのまま表示するためです。失敗した場合は、コマンド行と終了ステータスを `CommandError` にします。
 
 ## チェックサムと既存ファイル
 
@@ -53,7 +67,7 @@ md5 が得られる候補では、ダウンロード後に `Digest::MD5.file`
 1. `--force` があれば既存ファイルを使わず再取得する
 2. `--skip-existing` があれば md5 を見ずに既存ファイルを使う
 3. md5 があり、既存ファイルの md5 が一致すれば再取得せず `Skipped` にする
-4. それ以外は `curl --continue-at -` または `wget --continue` でレジュームを試みる
+4. それ以外は `curl --continue-at -`, `wget --continue`, `aria2c --continue=true` でレジュームを試みる
 
 md5 が無い候補では、既定では既存ファイルをスキップしません。SRA ファイルとしての検証は dratools の既定動作には含めません。
 
@@ -69,7 +83,7 @@ Ruby 側の依存は増やしません。次の標準ライブラリを使いま
 - `digest/md5`
 - `minitest`
 
-実ファイルの転送だけは外部コマンドに任せます。環境にある `curl` または `wget` を使います。
+実ファイルの転送だけは外部コマンドに任せます。自動選択では環境にある `curl` または `wget` を使います。`aria2c` は `DRATOOLS_DOWNLOAD_COMMAND=aria2c` で明示指定された場合だけ使います。
 
 ## 今後の候補
 

data/docs/environment.md

@@ -6,45 +6,53 @@
 
 | 環境変数 | 既定値 | 役割 |
 | --- | ---: | --- |
-| `DRATOOLS_MAX_RECURSIVE_NON_RUN_XREFS` | `100` | `runs` などが direct run を持たない親レコードから experiment/sample/study などの非 run レコードを再帰的に辿る最大件数 |
-| `DRATOOLS_TREE_MAX_DIRECT_RUNS` | `50` | `tree` が direct run レコードを個別取得して URL まで展開する最大 run 件数。超えた場合は件数だけを要約表示 |
-| `DRATOOLS_URL_MAX_DIRECT_RUNS` | `50` | `url` が 1 つの親 accession から direct run を暗黙展開して URL を解決する最大 run 件数 |
-| `DRATOOLS_SIZE_MAX_DIRECT_RUNS` | `50` | `size` が 1 つの親 accession から direct run を暗黙展開して HEAD する最大 run 件数 |
+| `DRATOOLS_MAX_RECURSIVE_NON_RUN_XREFS` | `500` | `runs` などが direct run を持たない親レコードから experiment/sample/study などの非 run レコードを再帰的に辿る最大件数 |
+| `DRATOOLS_TREE_MAX_DIRECT_RUNS` | `200` | `tree` が direct run レコードを個別取得して URL まで展開する最大 run 件数。超えた場合は件数だけを要約表示 |
+| `DRATOOLS_URL_MAX_DIRECT_RUNS` | `200` | `url` が 1 つの親 accession から direct run を暗黙展開して URL を解決する最大 run 件数 |
+| `DRATOOLS_SIZE_MAX_DIRECT_RUNS` | `200` | `size` が 1 つの親 accession から direct run を暗黙展開して HEAD する最大 run 件数 |
 
 `unlimited` が使えるのは、上の 4 つの上限設定だけです。
 
 ## ダウンロード開始と失速検知
 
-`get` は大きいファイルを扱います。このため、総ダウンロード時間の上限を設けません。代わりに、接続タイムアウト、失速検知、リトライの設定を `curl` / `wget` に渡します。
+`get` は大きいファイルを扱います。このため、総ダウンロード時間の上限を設けません。代わりに、接続タイムアウト、失速検知、リトライの設定を `curl` / `wget` / `aria2c` に渡します。
 
 | 環境変数 | 既定値 | 役割 |
 | --- | ---: | --- |
 | `DRATOOLS_DOWNLOAD_CONNECT_TIMEOUT` | `30` | 接続確立のタイムアウト秒数 |
 | `DRATOOLS_DOWNLOAD_STALL_TIMEOUT` | `60` | この秒数のあいだ転送速度が閾値を下回ると失速扱いにする |
-| `DRATOOLS_DOWNLOAD_STALL_SPEED` | `1024` | 失速判定に使う最低転送速度。単位は bytes/sec |
-| `DRATOOLS_DOWNLOAD_RETRY_COUNT` | `3` | ダウンロード失敗時のリトライ回数。`0` も指定可能 |
-| `DRATOOLS_DOWNLOAD_RETRY_WAIT` | `5` | `wget` のリトライ待ち秒数 |
+| `DRATOOLS_DOWNLOAD_STALL_SPEED` | `1024` | `curl` / `aria2c` の失速判定に使う最低転送速度。単位は bytes/sec |
+| `DRATOOLS_DOWNLOAD_RETRY_COUNT` | `3` | ダウンロード失敗時のリトライ回数。`0` はリトライなし |
+| `DRATOOLS_DOWNLOAD_RETRY_WAIT` | `5` | `wget` / `aria2c` のリトライ待ち秒数 |
+| `DRATOOLS_DOWNLOAD_COMMAND` | 自動 | 実ダウンロードと `probe` に使う外部コマンド。`curl`, `wget`, `aria2c` のいずれか |
+
+`DRATOOLS_DOWNLOAD_COMMAND` を指定しない場合は、`curl`, `wget` の順で PATH にあるものを使います。`aria2c` は自動探索しません。`aria2c` を使う場合は `DRATOOLS_DOWNLOAD_COMMAND=aria2c` を指定してください。指定した場合はそのコマンドだけを使います。見つからない場合は、別のコマンドへ自動では切り替えません。
+
+`DRATOOLS_DOWNLOAD_RETRY_COUNT` は、初回の試行を含まない「リトライ回数」です。`curl` にはそのまま渡します。`wget` と `aria2c` は総試行回数を受け取るため、内部で `リトライ回数 + 1` に変換します。
 
 ## 例
 
-`tree` で 200 件まで URL を展開する:
+`tree` の direct run 展開の既定値は 200 件です。
+500 件に上げる例:
 
 ```sh
-DRATOOLS_TREE_MAX_DIRECT_RUNS=200 dratools tree PRJDB12740
+DRATOOLS_TREE_MAX_DIRECT_RUNS=500 dratools tree PRJDB12740
 ```
 
 この値を小さくすると、展開しない direct run は要約だけを表示します。
 
-`size` で 100 件まで direct run を暗黙展開する:
+`size` の direct run 暗黙展開の既定値は 200 件です。
+500 件に上げる例:
 
 ```sh
-DRATOOLS_SIZE_MAX_DIRECT_RUNS=100 dratools size PRJDB12740
+DRATOOLS_SIZE_MAX_DIRECT_RUNS=500 dratools size PRJDB12740
 ```
 
-`url` で 100 件まで direct run を暗黙展開する:
+`url` の direct run 暗黙展開の既定値は 200 件です。
+500 件に上げる例:
 
 ```sh
-DRATOOLS_URL_MAX_DIRECT_RUNS=100 dratools url --tsv PRJDB12740
+DRATOOLS_URL_MAX_DIRECT_RUNS=500 dratools url --tsv PRJDB12740
 ```
 
 再帰的な非 run 展開の上限を外す:
@@ -62,10 +70,24 @@ DRATOOLS_DOWNLOAD_RETRY_COUNT=0 \
 dratools get --no-verify -O ~/Downloads DRR000001
 ```
 
+`wget` を明示してダウンロードする:
+
+```sh
+DRATOOLS_DOWNLOAD_COMMAND=wget dratools get -O ~/Downloads DRR000001
+```
+
+`aria2c` を明示してダウンロードする:
+
+```sh
+DRATOOLS_DOWNLOAD_COMMAND=aria2c dratools get -O ~/Downloads DRR000001
+```
+
 ## 注意
 
 これらは上級の設定です。上限を大きくすると、DDBJ Search API へのリクエスト数が増えます。`size` の HTTP `HEAD` の回数も増えます。
 
-`DRATOOLS_URL_MAX_DIRECT_RUNS` と `DRATOOLS_SIZE_MAX_DIRECT_RUNS` は direct run 数の上限です。experiment や sample や study を経由して見つかる run の総数は制限しません。まず `meta` や `tree` で構造を確認してください。必要なら `runs` で accession を絞ってください。その後で重い操作を実行してください。
+`DRATOOLS_URL_MAX_DIRECT_RUNS` と `DRATOOLS_SIZE_MAX_DIRECT_RUNS` は direct run 数の上限です。experiment や sample や study を経由して見つかる run の総数は制限しません。`*_MAX_DIRECT_RUNS=unlimited` だけでは `DRATOOLS_MAX_RECURSIVE_NON_RUN_XREFS` の上限は外れません。
+
+まず `meta` や `tree` で構造を確認してください。必要なら `runs` で accession を絞ってください。その後で重い操作を実行してください。
 
 ダウンロード用の設定を小さくしすぎる場合を考えます。正常なサーバーでも、開始前や転送中に失敗します。短い値は動作検証やネットワーク問題の切り分けに使ってください。通常のダウンロードでは既定値を使ってください。

data/docs/usage.md

@@ -35,7 +35,7 @@ bundle exec rake install
 
 ## メタ情報を表示する (`meta`)
 
-`meta` は DDBJ Search の resource JSON を要約して表示します。
+`meta` は DDBJ Search の entry JSON を要約して表示します。
 
 ```sh
 dratools meta DRR300000
@@ -67,7 +67,7 @@ dratools runs PRJNA341783
 dratools runs PRJNA341783 | dratools get -O ~/Downloads
 ```
 
-Study や BioProject には多数の experiment や sample が含まれることがあります。`runs` はこれらを無制限には辿りません。上限を超えるとエラーで止まります。run へ直接リンクがある場合は、100 件を超えても制限の対象外です。レコードが大きい場合は、先に `tree` や `meta` で構造を確認してください。experiment や sample に絞ってから `runs` を使ってください。
+Study や BioProject には多数の experiment や sample が含まれることがあります。`runs` はこれらを無制限には辿りません。上限を超えるとエラーで止まります。run へ直接リンクがある場合は、500 件を超えても制限の対象外です。レコードが大きい場合は、先に `tree` や `meta` で構造を確認してください。experiment や sample に絞ってから `runs` を使ってください。
 
 ## 合計サイズを確認する (`size`)
 
@@ -158,7 +158,7 @@ dratools url --json DRR000001
 
 ## 接続確認 (`probe`)
 
-`probe` は接続確認だけを行います。ファイルを最後までダウンロードしません。
+`probe` は接続確認だけを行います。ファイルをダウンロードしません。
 
 ```sh
 dratools probe --timeout 5 DRR000001
@@ -190,29 +190,30 @@ direct run を多数持つ親 accession では、`tree` は各 run を個別取
 dratools get -O ~/Downloads DRR000001
 ```
 
-ダウンロード中は `curl` または `wget` の進捗が標準エラーに出ます。取得したファイルは `Downloaded<TAB>PATH` と表示します。既存ファイルを再利用した場合は `Skipped<TAB>PATH` と表示します。これらは標準エラーに出ます。最後に `dratools get: N downloaded, M skipped` のサマリを出します。状態とパスは TAB 区切りです。パスだけを取り出すには `cut -f2` を使います。
+ダウンロード中は `curl`, `wget`, `aria2c` のいずれかの進捗が標準エラーに出ます。取得したファイルは `Downloaded<TAB>PATH` と表示します。既存ファイルを再利用した場合は `Skipped<TAB>PATH` と表示します。これらは標準エラーに出ます。最後に `dratools get: N downloaded, M skipped` のサマリを出します。状態とパスは TAB 区切りです。パスだけを取り出すには `cut -f2` を使います。
 
-### ダウンロード時の検証と既存ファイル
+### 既存ファイルの扱い
 
-md5 が得られる場合、`get` はダウンロード後に照合します。md5 が無い場合、既定では既存ファイルをスキップしません。
+DDBJ のメタデータに md5 が含まれることは多くありません。ほとんどの場合、md5 は得られません。以下では、まず md5 が無い場合の動作を示します。
 
-検証を省略する場合は `--no-verify` を付けます。
+同名のファイルが既にある場合、`get` はサーバにファイルサイズを問い合わせます。それをローカルのファイルサイズと比べます。
 
-```sh
-dratools get --no-verify -O ~/Downloads DRR000001
-```
+- サイズが同じなら、再取得しません。`Skipped` と表示します。
+- ローカルのほうが小さいなら、再取得します。途中で中断したファイルが対象です。
+- ローカルのほうが大きいなら、エラーになります。別物の可能性があるためです。`--force` で上書きできます。
 
-同名のファイルが既にある場合を考えます。その md5 が DDBJ の値と一致すれば、再ダウンロードしません。`Skipped` と表示します。
+md5 が得られる場合は、サイズではなく md5 で判定します。既存ファイルの md5 が一致すれば `Skipped` と表示します。ダウンロード後にも md5 を照合します。
 
-既存ファイルがあっても必ず再取得する場合は `--force` を付けます。
-
-```sh
-dratools get --force -O ~/Downloads DRR000001
-```
+### オプション
 
-md5 を確認せずに既存ファイルを再取得しない場合は `--skip-existing` を付けます。
+| オプション | 動作 |
+| --- | --- |
+| `--force` | 既存ファイルがあっても再取得します。 |
+| `--skip-existing` | 同名のファイルがあれば、確認せずスキップします。サーバへの問い合わせを省きます。 |
+| `--no-verify` | ダウンロード後の md5 照合を省きます。md5 が無い場合は照合しないので、効果はありません。 |
 
 ```sh
+dratools get --force -O ~/Downloads DRR000001
 dratools get --skip-existing -O ~/Downloads DRR000001
 ```
 

data/lib/dratools/accession_resolver.rb

@@ -72,12 +72,39 @@ module Dratools
       @client.fetch_resource_record(resource_type, accession)
     end
 
+    def direct_run_accessions_for(accession)
+      accession = accession.to_s.upcase
+      resource_type = resource_type_for(accession)
+      return [accession] if resource_type == DdbjRecordFields::SRA_RUN_RESOURCE_TYPE
+
+      @client.fetch_db_links(
+        resource_type,
+        accession,
+        target: DdbjRecordFields::SRA_RUN_RESOURCE_TYPE
+      ).filter_map { |xref| xref_accession(xref) }
+    end
+
+    def direct_run_count_for(accession)
+      accession = accession.to_s.upcase
+      resource_type = resource_type_for(accession)
+      return 1 if resource_type == DdbjRecordFields::SRA_RUN_RESOURCE_TYPE
+
+      counts = @client.fetch_db_link_counts([{ type: resource_type, id: accession }])
+      counts.fetch([resource_type, accession], {}).fetch(DdbjRecordFields::SRA_RUN_RESOURCE_TYPE, 0)
+    end
+
     def resource_type_for(accession)
       @resource_type_classifier.resource_type_for(accession)
     end
 
     private
 
+    def xref_accession(xref)
+      xref[DdbjRecordFields::IDENTIFIER_KEY] ||
+        xref[DdbjRecordFields::ID_KEY] ||
+        xref[DdbjRecordFields::ACCESSION_KEY]
+    end
+
     def attach_downloads(node, file_type:)
       if node.run? && node.record
         downloads = @download_candidate_builder.build_from_run_record(node.record)

data/lib/dratools/accession_resource_type_classifier.rb

@@ -4,14 +4,14 @@ require_relative 'ddbj_record_fields'
 require_relative 'errors'
 
 module Dratools
-  # accession の接頭辞から DDBJ resource API の type を判定する。
+  # accession の接頭辞から DDBJ Search entry type を判定する。
   class AccessionResourceTypeClassifier
     RUN_PREFIXES = /\A[DES]RR\d+\z/
     EXPERIMENT_PREFIXES = /\A[DES]RX\d+\z/
     SAMPLE_PREFIXES = /\A[DES]RS\d+\z/
     STUDY_PREFIXES = /\A[DES]RP\d+\z/
     SUBMISSION_PREFIXES = /\A[DES]RA\d+\z/
-    BIOPROJECT_PREFIXES = /\APRJ(?:DA|DB|NA|EB)\d+\z/
+    BIOPROJECT_PREFIXES = /\APRJ[DEN][A-Z]\d+\z/
     BIOSAMPLE_PREFIXES = /\ASAM(?:D|N|EA|EG)?\d+\z/
 
     TYPE_BY_ACCESSION = [

data/lib/dratools/command_line_interface.rb

@@ -2,7 +2,9 @@
 
 require_relative 'version'
 require_relative 'accession_resolver'
+require_relative 'ddbj_resource_client'
 require_relative 'download_service'
+require_relative 'progress_reporter'
 require_relative 'commands/url_command'
 require_relative 'commands/get_command'
 require_relative 'commands/probe_command'
@@ -67,18 +69,22 @@ module Dratools
 
     def initialize(
       argv,
-      resolver: AccessionResolver.new,
+      resolver: nil,
       downloader: DownloadService.new,
       stdout: $stdout,
       stderr: $stderr,
       stdin: $stdin
     )
       @argv = argv
-      @resolver = resolver
-      @downloader = downloader
       @stdout = stdout
       @stderr = stderr
       @stdin = stdin
+      @progress = ProgressReporter.new(
+        io: stderr,
+        enabled: interactive?(stderr)
+      )
+      @resolver = resolver || default_resolver
+      @downloader = downloader
     end
 
     def run
@@ -108,14 +114,24 @@ module Dratools
         @argv.drop(1),
         resolver: @resolver,
         downloader: @downloader,
-        stdout: @stdout,
-        stderr: @stderr,
+        stdout: @progress.clearing_io(@stdout),
+        stderr: @progress.clearing_io,
         stdin: @stdin
       ).run
+    ensure
+      @progress.finish
     end
 
     private
 
+    def default_resolver
+      AccessionResolver.new(client: DdbjResourceClient.new(progress: @progress))
+    end
+
+    def interactive?(io)
+      io.respond_to?(:tty?) && io.tty?
+    end
+
     def print_help(stream)
       stream.puts "Usage: #{COMMAND_NAME} <command> [options] [ACCESSION ...]"
       stream.puts ''
@@ -124,12 +140,7 @@ module Dratools
         stream.puts format('  %-7<name>s %<summary>s', name: name, summary: summary)
       end
       stream.puts ''
-      stream.puts 'Aliases:'
-      SUBCOMMAND_ALIASES.each do |alias_name, canonical|
-        stream.puts format('  %-7<a>s -> %<c>s', a: alias_name, c: canonical)
-      end
-      stream.puts ''
-      stream.puts "Run '#{COMMAND_NAME} <command> --help' for command options."
+      stream.puts "各コマンドのオプションは '#{COMMAND_NAME} <command> --help' で確認できます。"
       stream.puts ''
       stream.puts 'Examples:'
       USAGE_EXAMPLES.each { |example| stream.puts "  #{example}" }

data/lib/dratools/commands/meta_command.rb

@@ -6,7 +6,7 @@ require_relative 'base_command'
 
 module Dratools
   module Commands
-    # DDBJ resource JSON のメタ情報を要約表示する。
+    # DDBJ Search entry JSON のメタ情報を要約表示する。
     class MetaCommand < BaseCommand
       LABEL_WIDTH = 18
 
@@ -21,7 +21,7 @@ module Dratools
       end
 
       def configure_parser(parser)
-        parser.on('--json', '生の resource JSON を整形して表示する') { @options[:json] = true }
+        parser.on('--json', '生の entry JSON を整形して表示する') { @options[:json] = true }
       end
 
       def usage_examples

data/lib/dratools/commands/runs_command.rb

@@ -6,8 +6,6 @@ module Dratools
   module Commands
     # accession を run accession のフラットな一覧に展開する。
     class RunsCommand < BaseCommand
-      XREF_URL_PATTERN = %r{/(?:resource|search/entry)/sra-run/([^/?#.]+)}
-
       private
 
       def command_name
@@ -41,29 +39,7 @@ module Dratools
       end
 
       def direct_run_accessions_for(accession)
-        record = @resolver.fetch_record_for(accession)
-        if record[DdbjRecordFields::TYPE_KEY] == DdbjRecordFields::SRA_RUN_RESOURCE_TYPE
-          return [record_accession(record)].compact
-        end
-
-        record.fetch(DdbjRecordFields::DB_XREFS_KEY, []).filter_map do |xref|
-          next unless xref[DdbjRecordFields::TYPE_KEY] == DdbjRecordFields::SRA_RUN_RESOURCE_TYPE
-
-          xref[DdbjRecordFields::IDENTIFIER_KEY] ||
-            xref[DdbjRecordFields::ID_KEY] ||
-            run_accession_from_url(xref[DdbjRecordFields::URL_KEY])
-        end
-      end
-
-      def record_accession(record)
-        record[DdbjRecordFields::ACCESSION_KEY] ||
-          record[DdbjRecordFields::IDENTIFIER_KEY] ||
-          record[DdbjRecordFields::ID_KEY] ||
-          record[DdbjRecordFields::PRIMARY_ID_KEY]
-      end
-
-      def run_accession_from_url(url)
-        url.to_s.match(XREF_URL_PATTERN)&.[](1)
+        @resolver.direct_run_accessions_for(accession)
       end
     end
   end

data/lib/dratools/commands/size_command.rb

@@ -140,23 +140,25 @@ module Dratools
 
       def fetch_record_for_size(accession)
         max_direct_runs = Config.size_max_direct_runs
-        ddbj_record = @resolver.fetch_record_for(accession)
-        validate_direct_run_expansion_size!(accession, ddbj_record, max_direct_runs)
-        ddbj_record
+        validate_direct_run_expansion_count!(accession, max_direct_runs)
+        @resolver.fetch_record_for(accession)
       end
 
-      def validate_direct_run_expansion_size!(accession, ddbj_record, max_direct_runs)
+      def validate_direct_run_expansion_count!(accession, max_direct_runs)
         return unless max_direct_runs
 
-        direct_run_count = ddbj_record.fetch(DdbjRecordFields::DB_XREFS_KEY, []).count do |xref|
-          xref[DdbjRecordFields::TYPE_KEY] == DdbjRecordFields::SRA_RUN_RESOURCE_TYPE
-        end
+        direct_run_count = @resolver.direct_run_count_for(accession)
         return if direct_run_count <= max_direct_runs
 
+        raise_direct_run_limit_error(accession, direct_run_count, max_direct_runs)
+      end
+
+      def raise_direct_run_limit_error(accession, direct_run_count, max_direct_runs)
         raise InvalidRecordError,
               "#{accession.to_s.upcase} has #{direct_run_count} direct runs; " \
               "size expands at most #{max_direct_runs} direct runs from one parent accession. " \
-              "Use `#{Dratools::NAME} runs #{accession}` and pass narrower accessions."
+              "Use `#{Dratools::NAME} runs #{accession}` and pass narrower accessions, " \
+              "or set #{Config::SIZE_MAX_DIRECT_RUNS_ENV}=unlimited."
       end
     end
   end

data/lib/dratools/commands/url_command.rb

@@ -73,19 +73,20 @@ module Dratools
 
       def fetch_record_for_url(accession)
         max_direct_runs = Config.url_max_direct_runs
-        ddbj_record = @resolver.fetch_record_for(accession)
-        validate_direct_run_expansion_size!(accession, ddbj_record, max_direct_runs)
-        ddbj_record
+        validate_direct_run_expansion_count!(accession, max_direct_runs)
+        @resolver.fetch_record_for(accession)
       end
 
-      def validate_direct_run_expansion_size!(accession, ddbj_record, max_direct_runs)
+      def validate_direct_run_expansion_count!(accession, max_direct_runs)
         return unless max_direct_runs
 
-        direct_run_count = ddbj_record.fetch(DdbjRecordFields::DB_XREFS_KEY, []).count do |xref|
-          xref[DdbjRecordFields::TYPE_KEY] == DdbjRecordFields::SRA_RUN_RESOURCE_TYPE
-        end
+        direct_run_count = @resolver.direct_run_count_for(accession)
         return if direct_run_count <= max_direct_runs
 
+        raise_direct_run_limit_error(accession, direct_run_count, max_direct_runs)
+      end
+
+      def raise_direct_run_limit_error(accession, direct_run_count, max_direct_runs)
         raise InvalidRecordError,
               "#{accession.to_s.upcase} has #{direct_run_count} direct runs; " \
               "url expands at most #{max_direct_runs} direct runs from one parent accession. " \

data/lib/dratools/config.rb

@@ -14,16 +14,18 @@ module Dratools
     DOWNLOAD_STALL_SPEED_ENV = 'DRATOOLS_DOWNLOAD_STALL_SPEED'
     DOWNLOAD_RETRY_COUNT_ENV = 'DRATOOLS_DOWNLOAD_RETRY_COUNT'
     DOWNLOAD_RETRY_WAIT_ENV = 'DRATOOLS_DOWNLOAD_RETRY_WAIT'
+    DOWNLOAD_COMMAND_ENV = 'DRATOOLS_DOWNLOAD_COMMAND'
 
-    DEFAULT_MAX_RECURSIVE_NON_RUN_XREFS = 100
-    DEFAULT_TREE_MAX_DIRECT_RUNS = 50
-    DEFAULT_URL_MAX_DIRECT_RUNS = 50
-    DEFAULT_SIZE_MAX_DIRECT_RUNS = 50
+    DEFAULT_MAX_RECURSIVE_NON_RUN_XREFS = 500
+    DEFAULT_TREE_MAX_DIRECT_RUNS = 200
+    DEFAULT_URL_MAX_DIRECT_RUNS = 200
+    DEFAULT_SIZE_MAX_DIRECT_RUNS = 200
     DEFAULT_DOWNLOAD_CONNECT_TIMEOUT_SECONDS = 30
     DEFAULT_DOWNLOAD_STALL_TIMEOUT_SECONDS = 60
     DEFAULT_DOWNLOAD_STALL_SPEED_BYTES_PER_SECOND = 1024
     DEFAULT_DOWNLOAD_RETRY_COUNT = 3
     DEFAULT_DOWNLOAD_RETRY_WAIT_SECONDS = 5
+    SUPPORTED_DOWNLOAD_COMMANDS = %w[curl wget aria2c].freeze
     UNLIMITED_VALUE = 'unlimited'
 
     module_function
@@ -70,6 +72,18 @@ module Dratools
       positive_integer(DOWNLOAD_RETRY_WAIT_ENV, DEFAULT_DOWNLOAD_RETRY_WAIT_SECONDS)
     end
 
+    def download_command
+      value = ENV.fetch(DOWNLOAD_COMMAND_ENV, '').strip
+      return nil if value.empty?
+      return value if SUPPORTED_DOWNLOAD_COMMANDS.include?(value)
+
+      invalid_environment_value!(
+        DOWNLOAD_COMMAND_ENV,
+        value,
+        SUPPORTED_DOWNLOAD_COMMANDS.join(' or ')
+      )
+    end
+
     def positive_integer_or_unlimited(name, default)
       value = ENV.fetch(name, '').strip
       return default if value.empty?

data/lib/dratools/ddbj_record_fields.rb

@@ -1,7 +1,7 @@
 # frozen_string_literal: true
 
 module Dratools
-  # DDBJ Search resource JSON で使う resource type とキー名をまとめる。
+  # DDBJ Search entry JSON で使う resource type とキー名をまとめる。
   module DdbjRecordFields
     SRA_RUN_RESOURCE_TYPE = 'sra-run'
     SRA_EXPERIMENT_RESOURCE_TYPE = 'sra-experiment'
@@ -18,18 +18,13 @@ module Dratools
     DB_XREFS_KEY = 'dbXrefs'
     CHILD_BIOPROJECTS_KEY = 'childBioProjects'
     TYPE_KEY = 'type'
-    URL_KEY = 'url'
-    FTP_URL_KEY = 'ftpUrl'
     ID_KEY = 'id'
     IDENTIFIER_KEY = 'identifier'
     ACCESSION_KEY = 'accession'
     PRIMARY_ID_KEY = 'primaryId'
-    DOWNLOAD_URL_KEY = 'downloadUrl'
     DISTRIBUTION_KEY = 'distribution'
     CONTENT_URL_KEY = 'contentUrl'
     CONTENT_SIZE_KEY = 'contentSize'
-    SIZE_KEY = 'size'
-    FILE_SIZE_KEY = 'fileSize'
     MD5_KEY = 'md5'
     MD5_SUM_KEY = 'md5sum'
     ENCODING_FORMAT_KEY = 'encodingFormat'