dratools 0.0.2 → 0.0.4

checksums.yaml

@@ -1,7 +1,7 @@
 ---
 SHA256:
-  metadata.gz: 2890dc54bae2a8fe0c715daa8c778794d20292714d5d13d658ec538a0e95bb92
-  data.tar.gz: 409192a8111f7152f33c8ea586ac6db9cea775a1643151d70c4e5adce288ff66
+  metadata.gz: 0dfc332114a65a39a553477f60769fa8f4057f17377ec7e0626d18e51203d098
+  data.tar.gz: 6451a8ca4d94803bd09caecf630a77781630a97763d957f3de5551b477579b5c
 SHA512:
-  metadata.gz: 17f69d78de301843fb5d43b53fa800528f6404d5e8974f9764e875c2e7489e0691e4b51a10e74638c3d353d7eab2ed9df52e12b12bd3158f42bf36a02a21738e
-  data.tar.gz: c49a56c178b3f55be5b980ad3c7ebd0d4d76df33c55a160b943148206380c1853a8b40ffa790529ee0893f0d8ed6f7b359ac30fbe0ee0ddd5e9535f155ac0728
+  metadata.gz: 4505f754bce355051fcd352bd1debb1d430baf46bbdbe8a51fdba1528b9698c10cdd442b5ab2eb61b922fd7e4bfea2a36fc17400d2272f424c452e9c7e505b07
+  data.tar.gz: 34e050758e14b5424e1c5a171f713d5962c2e8a6361a186a37024b1e7abbede412940be4d068663a5b4a9b244091e76843fb1931b45e9477f9461df61772563d

data/README.md

@@ -36,7 +36,7 @@ gem install dratools
 | `tree`  | accession から run へ辿る探索ツリーを表示する |
 | `meta`  | レコードのメタ情報を表示する（`--json` で生 JSON） |
 | `runs`  | run accession の一覧を出力する |
-| `size`  | ダウンロード合計サイズを集計する（`--per-run` で run ごとに分割） |
+| `size`  | run ごとにダウンロードサイズを集計する（`--total` で accession 単位の合算に切り替え） |
 
 コマンド名は基本的に単数形ですが、一覧を返す `runs` だけ複数形です。打ち間違い対策として `run`/`urls`/`sizes`/`trees` の別名も受け付けます。
 
@@ -84,8 +84,8 @@ dratools url --json DRR000001                     # URL 情報を JSON で表示
 dratools url --tsv DRR000001                      # run/type/url/size/md5 を TAB 区切りで
 dratools meta --json DRR000001                    # entry JSON を表示する
 dratools runs PRJNA341783 | dratools get -O ~/Downloads # run 一覧をダウンロードへ渡す
-dratools size --bytes PRJNA341783                 # 合計サイズをバイト数で表示する
-dratools size --per-run DRX000001                 # 親 accession を run ごとに集計する
+dratools size --bytes PRJNA341783                 # サイズをバイト数で表示する
+dratools size --total DRX000001                   # 親 accession を run ごとに分けず合算する
 dratools get --skip-existing -O ~/Downloads DRR000001  # 既存ファイルは触らない
 ```
 

data/docs/environment.md

@@ -6,10 +6,10 @@
 
 | 環境変数 | 既定値 | 役割 |
 | --- | ---: | --- |
-| `DRATOOLS_MAX_RECURSIVE_NON_RUN_XREFS` | `100` | `runs` などが direct run を持たない親レコードから experiment/sample/study などの非 run レコードを再帰的に辿る最大件数 |
-| `DRATOOLS_TREE_MAX_DIRECT_RUNS` | `50` | `tree` が direct run レコードを個別取得して URL まで展開する最大 run 件数。超えた場合は件数だけを要約表示 |
-| `DRATOOLS_URL_MAX_DIRECT_RUNS` | `50` | `url` が 1 つの親 accession から direct run を暗黙展開して URL を解決する最大 run 件数 |
-| `DRATOOLS_SIZE_MAX_DIRECT_RUNS` | `50` | `size` が 1 つの親 accession から direct run を暗黙展開して HEAD する最大 run 件数 |
+| `DRATOOLS_MAX_RECURSIVE_NON_RUN_XREFS` | `500` | `runs` などが direct run を持たない親レコードから experiment/sample/study などの非 run レコードを再帰的に辿る最大件数 |
+| `DRATOOLS_TREE_MAX_DIRECT_RUNS` | `200` | `tree` が direct run レコードを個別取得して URL まで展開する最大 run 件数。超えた場合は件数だけを要約表示 |
+| `DRATOOLS_URL_MAX_DIRECT_RUNS` | `200` | `url` が 1 つの親 accession から direct run を暗黙展開して URL を解決する最大 run 件数 |
+| `DRATOOLS_SIZE_MAX_DIRECT_RUNS` | `200` | `size` が 1 つの親 accession から direct run を暗黙展開して HEAD する最大 run 件数 |
 
 `unlimited` が使えるのは、上の 4 つの上限設定だけです。
 
@@ -32,24 +32,27 @@
 
 ## 例
 
-`tree` で 200 件まで URL を展開する:
+`tree` の direct run 展開の既定値は 200 件です。
+500 件に上げる例:
 
 ```sh
-DRATOOLS_TREE_MAX_DIRECT_RUNS=200 dratools tree PRJDB12740
+DRATOOLS_TREE_MAX_DIRECT_RUNS=500 dratools tree PRJDB12740
 ```
 
 この値を小さくすると、展開しない direct run は要約だけを表示します。
 
-`size` で 100 件まで direct run を暗黙展開する:
+`size` の direct run 暗黙展開の既定値は 200 件です。
+500 件に上げる例:
 
 ```sh
-DRATOOLS_SIZE_MAX_DIRECT_RUNS=100 dratools size PRJDB12740
+DRATOOLS_SIZE_MAX_DIRECT_RUNS=500 dratools size PRJDB12740
 ```
 
-`url` で 100 件まで direct run を暗黙展開する:
+`url` の direct run 暗黙展開の既定値は 200 件です。
+500 件に上げる例:
 
 ```sh
-DRATOOLS_URL_MAX_DIRECT_RUNS=100 dratools url --tsv PRJDB12740
+DRATOOLS_URL_MAX_DIRECT_RUNS=500 dratools url --tsv PRJDB12740
 ```
 
 再帰的な非 run 展開の上限を外す:
@@ -83,6 +86,8 @@ DRATOOLS_DOWNLOAD_COMMAND=aria2c dratools get -O ~/Downloads DRR000001
 
 これらは上級の設定です。上限を大きくすると、DDBJ Search API へのリクエスト数が増えます。`size` の HTTP `HEAD` の回数も増えます。
 
-`DRATOOLS_URL_MAX_DIRECT_RUNS` と `DRATOOLS_SIZE_MAX_DIRECT_RUNS` は direct run 数の上限です。experiment や sample や study を経由して見つかる run の総数は制限しません。まず `meta` や `tree` で構造を確認してください。必要なら `runs` で accession を絞ってください。その後で重い操作を実行してください。
+`DRATOOLS_URL_MAX_DIRECT_RUNS` と `DRATOOLS_SIZE_MAX_DIRECT_RUNS` は direct run 数の上限です。experiment や sample や study を経由して見つかる run の総数は制限しません。`*_MAX_DIRECT_RUNS=unlimited` だけでは `DRATOOLS_MAX_RECURSIVE_NON_RUN_XREFS` の上限は外れません。
+
+まず `meta` や `tree` で構造を確認してください。必要なら `runs` で accession を絞ってください。その後で重い操作を実行してください。
 
 ダウンロード用の設定を小さくしすぎる場合を考えます。正常なサーバーでも、開始前や転送中に失敗します。短い値は動作検証やネットワーク問題の切り分けに使ってください。通常のダウンロードでは既定値を使ってください。

data/docs/usage.md

@@ -29,7 +29,7 @@ bundle exec rake install
 | `tree`  | accession から run へ辿る探索ツリーを表示する |
 | `meta`  | レコードのメタ情報を表示する（`--json` で生 JSON） |
 | `runs`  | run accession の一覧を出力する |
-| `size`  | ダウンロード合計サイズを集計する |
+| `size`  | run ごとにダウンロードサイズを集計する（`--total` で合算） |
 
 コマンド名は基本的に単数形です。一覧を返す `runs` だけが複数形です。`run` は「実行する」と読み間違えやすいためです。打ち間違いに備えて別名も使えます。`run` は `runs`、`urls` は `url`、`sizes` は `size`、`trees` は `tree` として扱います。ヘルプとエラーとバナーには、表の正規名だけを表示します。
 
@@ -67,35 +67,35 @@ dratools runs PRJNA341783
 dratools runs PRJNA341783 | dratools get -O ~/Downloads
 ```
 
-Study や BioProject には多数の experiment や sample が含まれることがあります。`runs` はこれらを無制限には辿りません。上限を超えるとエラーで止まります。run へ直接リンクがある場合は、100 件を超えても制限の対象外です。レコードが大きい場合は、先に `tree` や `meta` で構造を確認してください。experiment や sample に絞ってから `runs` を使ってください。
+Study や BioProject には多数の experiment や sample が含まれることがあります。`runs` はこれらを無制限には辿りません。上限を超えるとエラーで止まります。run へ直接リンクがある場合は、500 件を超えても制限の対象外です。レコードが大きい場合は、先に `tree` や `meta` で構造を確認してください。experiment や sample に絞ってから `runs` を使ってください。
 
-## 合計サイズを確認する (`size`)
+## サイズを確認する (`size`)
 
 `size` は実ファイルの URL に HTTP `HEAD` を送ります。`Content-Length` を合計します。FASTQ はディレクトリ URL で返ることがあります。その場合はディレクトリ一覧から `*.fastq*` を取り出します。取り出した各ファイルに `HEAD` を送ります。
 
 ```sh
-dratools size PRJNA341783
+dratools size DRX000001
 ```
 
-出力は1行1件です。各行は accession、ファイル数、合計サイズ、`unresolved` 数を並べます。区切りは TAB です。先頭に `#` で始まるヘッダ行が付きます。合計サイズだけを取り出すには `cut -f3` を使います。ヘッダを除くには `grep -v '^#'` を使います。サイズを1つも取得できなかった行は、size 列を `NA` にします。accession を複数渡すと、最後に `total` 行が付きます。
+既定では run accession ごとに1行に分けて集計します。親 accession を渡すと、配下の run を1件ずつ表示します。これは `dratools runs XXX | xargs dratools size` と同じ結果です。1 コマンドで実行できます。各行は accession、ファイル数、サイズ、`unresolved` 数を並べます。区切りは TAB です。先頭に `#` で始まるヘッダ行が付きます。サイズだけを取り出すには `cut -f3` を使います。ヘッダを除くには `grep -v '^#'` を使います。サイズを1つも取得できなかった行は、size 列を `NA` にします。
 
 ```text
 #accession	files	size	unresolved
-DRR000001	1	1.0 KiB	0
+DRR000001	2	1.2 GiB	0
+DRR000002	1	0.8 GiB	0
 ```
 
-既定では accession 1 件につき1行です。親 accession の場合は配下をすべて合算します。`--per-run`（`-r`）を付けると、run accession ごとに分けて集計します。これは `dratools runs XXX | xargs dratools size` と同じ結果です。1 コマンドで実行できます。
+run ごとの内訳が複数あるとき、`total` 行は標準エラーに出します。標準出力には集計行だけが残ります。`awk` で合計するときに `total` 行を二重に数えないためです。
+
+合計だけが欲しいときは `--total` を付けます。accession 1 件につき1行にまとめます。親 accession の場合は配下をすべて合算します。accession を複数渡すと、最後に `total` 行が標準出力に付きます。
 
 ```sh
-dratools size --per-run DRX000001
+dratools size --total PRJNA341783
 ```
 
-`--per-run` のとき、`total` 行は標準エラーに出します。標準出力には集計行だけが残ります。`awk` で合計するときに `total` 行を二重に数えないためです。
-
 ```text
 #accession	files	size	unresolved
-DRR000001	2	1.2 GiB	0
-DRR000002	1	0.8 GiB	0
+PRJNA341783	3	2.0 GiB	0
 ```
 
 バイト数で表示する場合は `--bytes` を付けます。

data/lib/dratools/command_line_interface.rb

@@ -2,7 +2,9 @@
 
 require_relative 'version'
 require_relative 'accession_resolver'
+require_relative 'ddbj_resource_client'
 require_relative 'download_service'
+require_relative 'progress_reporter'
 require_relative 'commands/url_command'
 require_relative 'commands/get_command'
 require_relative 'commands/probe_command'
@@ -67,18 +69,22 @@ module Dratools
 
     def initialize(
       argv,
-      resolver: AccessionResolver.new,
+      resolver: nil,
       downloader: DownloadService.new,
       stdout: $stdout,
       stderr: $stderr,
       stdin: $stdin
     )
       @argv = argv
-      @resolver = resolver
-      @downloader = downloader
       @stdout = stdout
       @stderr = stderr
       @stdin = stdin
+      @progress = ProgressReporter.new(
+        io: stderr,
+        enabled: interactive?(stderr)
+      )
+      @resolver = resolver || default_resolver
+      @downloader = downloader
     end
 
     def run
@@ -108,14 +114,24 @@ module Dratools
         @argv.drop(1),
         resolver: @resolver,
         downloader: @downloader,
-        stdout: @stdout,
-        stderr: @stderr,
+        stdout: @progress.clearing_io(@stdout),
+        stderr: @progress.clearing_io,
         stdin: @stdin
       ).run
+    ensure
+      @progress.finish
     end
 
     private
 
+    def default_resolver
+      AccessionResolver.new(client: DdbjResourceClient.new(progress: @progress))
+    end
+
+    def interactive?(io)
+      io.respond_to?(:tty?) && io.tty?
+    end
+
     def print_help(stream)
       stream.puts "Usage: #{COMMAND_NAME} <command> [options] [ACCESSION ...]"
       stream.puts ''

data/lib/dratools/commands/size_command.rb

@@ -26,7 +26,7 @@ module Dratools
           timeout: DEFAULT_SIZE_TIMEOUT_SECONDS,
           bytes: false,
           json: false,
-          per_run: false
+          per_run: true
         )
       end
 
@@ -37,7 +37,10 @@ module Dratools
           @options[:timeout] = value
         end
         parser.on('--bytes', 'サイズをバイト数で表示する') { @options[:bytes] = true }
-        parser.on('-r', '--per-run', '親 accession を run accession ごとに分けて集計する') do
+        parser.on('--total', '親 accession を run ごとに分けず accession 単位で合算する') do
+          @options[:per_run] = false
+        end
+        parser.on('-r', '--per-run', 'run accession ごとに分けて集計する (default)') do
           @options[:per_run] = true
         end
         parser.on('--json', 'サイズ集計を JSON で表示する') { @options[:json] = true }
@@ -47,7 +50,7 @@ module Dratools
         [
           "#{Dratools::NAME} size DRR000001",
           "#{Dratools::NAME} size --type fastq PRJNA341783",
-          "#{Dratools::NAME} size --per-run DRX000001",
+          "#{Dratools::NAME} size --total DRX000001",
           "#{Dratools::NAME} size --json DRR000001 DRR000002"
         ]
       end
@@ -157,7 +160,8 @@ module Dratools
         raise InvalidRecordError,
               "#{accession.to_s.upcase} has #{direct_run_count} direct runs; " \
               "size expands at most #{max_direct_runs} direct runs from one parent accession. " \
-              "Use `#{Dratools::NAME} runs #{accession}` and pass narrower accessions."
+              "Use `#{Dratools::NAME} runs #{accession}` and pass narrower accessions, " \
+              "or set #{Config::SIZE_MAX_DIRECT_RUNS_ENV}=unlimited."
       end
     end
   end

data/lib/dratools/config.rb

@@ -16,10 +16,10 @@ module Dratools
     DOWNLOAD_RETRY_WAIT_ENV = 'DRATOOLS_DOWNLOAD_RETRY_WAIT'
     DOWNLOAD_COMMAND_ENV = 'DRATOOLS_DOWNLOAD_COMMAND'
 
-    DEFAULT_MAX_RECURSIVE_NON_RUN_XREFS = 100
-    DEFAULT_TREE_MAX_DIRECT_RUNS = 50
-    DEFAULT_URL_MAX_DIRECT_RUNS = 50
-    DEFAULT_SIZE_MAX_DIRECT_RUNS = 50
+    DEFAULT_MAX_RECURSIVE_NON_RUN_XREFS = 500
+    DEFAULT_TREE_MAX_DIRECT_RUNS = 200
+    DEFAULT_URL_MAX_DIRECT_RUNS = 200
+    DEFAULT_SIZE_MAX_DIRECT_RUNS = 200
     DEFAULT_DOWNLOAD_CONNECT_TIMEOUT_SECONDS = 30
     DEFAULT_DOWNLOAD_STALL_TIMEOUT_SECONDS = 60
     DEFAULT_DOWNLOAD_STALL_SPEED_BYTES_PER_SECOND = 1024

data/lib/dratools/ddbj_resource_client.rb

@@ -8,6 +8,7 @@ require 'uri'
 require_relative 'errors'
 require_relative 'version'
 require_relative 'ddbj_record_fields'
+require_relative 'progress_reporter'
 
 module Dratools
   # DDBJ Search API を呼び出す薄い HTTP クライアント。
@@ -26,17 +27,20 @@ module Dratools
     DEFAULT_READ_TIMEOUT_SECONDS = 30
 
     def initialize(base_url: DDBJ_SEARCH_API_BASE_URL, open_timeout: DEFAULT_OPEN_TIMEOUT_SECONDS,
-                   read_timeout: DEFAULT_READ_TIMEOUT_SECONDS)
+                   read_timeout: DEFAULT_READ_TIMEOUT_SECONDS, progress: ProgressReporter.new)
       @base_url = base_url.delete_suffix('/')
       @open_timeout = open_timeout
       @read_timeout = read_timeout
+      @progress = progress
     end
 
     def fetch_resource_record(type, accession)
+      @progress.report("fetching #{type} #{accession}")
       fetch_json("#{@base_url}/#{ENTRIES_PATH}/#{type}/#{accession}#{ENTRY_RECORD_EXTENSION}")
     end
 
     def fetch_db_links(type, accession, target: nil)
+      @progress.report("linking #{type} #{accession}")
       request_uri = URI("#{@base_url}/#{DBLINK_PATH}/#{type}/#{accession}")
       request_uri.query = URI.encode_www_form(target: target) if target
       fetch_json(request_uri.to_s).fetch(DdbjRecordFields::DB_XREFS_KEY, [])
@@ -59,6 +63,7 @@ module Dratools
     private
 
     def fetch_db_link_counts_chunk(items)
+      @progress.report("counting links (#{items.length})")
       request_url = "#{@base_url}/#{DBLINK_PATH}/counts"
       payload = post_json(request_url, items: items)
       payload.fetch('items', []).to_h do |item|
@@ -67,6 +72,7 @@ module Dratools
     end
 
     def fetch_resource_records_bulk_chunk(type, accessions, include_db_xrefs:)
+      @progress.report("fetching #{type} bulk (#{accessions.length})")
       request_uri = URI("#{@base_url}/#{ENTRIES_PATH}/#{type}/bulk")
       request_uri.query = URI.encode_www_form(includeDbXrefs: include_db_xrefs)
       payload = post_json(request_uri.to_s, ids: accessions)

data/lib/dratools/progress_reporter.rb

@@ -0,0 +1,87 @@
+# frozen_string_literal: true
+
+module Dratools
+  # 対話的な端末のときだけ stderr へ一行進捗を表示する軽量レポーター。
+  # データは stdout に出るため、stdout をパイプしても進捗は混ざらない。
+  # 非 TTY（リダイレクト・パイプ・CI）では制御文字を出さず完全に無音にする。
+  class ProgressReporter
+    CLEAR_LINE = "\r\e[K"
+
+    # 通常の出力の直前に、表示中の進捗行を消す IO ラッパー。
+    class ClearingIO
+      def initialize(io, reporter)
+        @io = io
+        @reporter = reporter
+      end
+
+      def puts(*args)
+        @reporter.finish
+        @io.puts(*args)
+      end
+
+      def print(*args)
+        @reporter.finish
+        @io.print(*args)
+      end
+
+      def write(*args)
+        @reporter.finish
+        @io.write(*args)
+      end
+
+      def flush
+        @io.flush
+      end
+
+      def tty?
+        @io.respond_to?(:tty?) && @io.tty?
+      end
+
+      def method_missing(name, ...)
+        return super unless @io.respond_to?(name)
+
+        @io.public_send(name, ...)
+      end
+
+      def respond_to_missing?(name, include_private = false)
+        @io.respond_to?(name, include_private) || super
+      end
+    end
+
+    def initialize(io: $stderr, enabled: nil)
+      @io = io
+      @enabled = enabled.nil? ? interactive?(io) : enabled
+      @count = 0
+      @active = false
+    end
+
+    def clearing_io(io = @io)
+      ClearingIO.new(io, self)
+    end
+
+    # 1 件の進捗を表示する。直前の行を消してから上書きする。
+    def report(label)
+      return unless @enabled
+
+      @count += 1
+      @io.print("#{CLEAR_LINE}#{label} (#{@count})")
+      @io.flush
+      @active = true
+    end
+
+    # 残っている進捗行を消す。コマンド終了時（成功・失敗どちらでも）に呼ぶ。
+    def finish
+      return unless @active
+
+      @io.print(CLEAR_LINE)
+      @io.flush
+      @active = false
+    end
+
+    private
+
+    def interactive?(io)
+      io.respond_to?(:tty?) && io.tty?
+    end
+  end
+end

data/lib/dratools/run_record_collector.rb

@@ -94,7 +94,8 @@ module Dratools
       accession = record_accession(ddbj_record) || 'record'
       raise InvalidRecordError,
             "#{accession} has #{non_run_xrefs.length} linked non-run records; " \
-            'refine to an experiment/sample accession before run expansion'
+            'refine to an experiment/sample accession before run expansion, ' \
+            "or set #{Config::MAX_RECURSIVE_NON_RUN_XREFS_ENV}=unlimited"
     end
 
     def child_bioprojects(ddbj_record)

data/lib/dratools/version.rb

@@ -2,5 +2,5 @@
 
 module Dratools
   NAME = 'dratools'
-  VERSION = '0.0.2'
+  VERSION = '0.0.4'
 end

data/lib/dratools.rb

@@ -10,6 +10,7 @@ require_relative 'dratools/traversal_node'
 require_relative 'dratools/tree_renderer'
 require_relative 'dratools/download_candidate_builder'
 require_relative 'dratools/checksum_verifier'
+require_relative 'dratools/progress_reporter'
 require_relative 'dratools/ddbj_resource_client'
 require_relative 'dratools/accession_resource_type_classifier'
 require_relative 'dratools/run_record_collector'

metadata

@@ -1,7 +1,7 @@
 --- !ruby/object:Gem::Specification
 name: dratools
 version: !ruby/object:Gem::Version
-  version: 0.0.2
+  version: 0.0.4
 platform: ruby
 authors:
 - kojix2
@@ -47,6 +47,7 @@ files:
 - lib/dratools/download_service.rb
 - lib/dratools/errors.rb
 - lib/dratools/external_command_runner.rb
+- lib/dratools/progress_reporter.rb
 - lib/dratools/run_record_collector.rb
 - lib/dratools/traversal_node.rb
 - lib/dratools/tree_renderer.rb