dratools 0.0.2 → 0.0.3

checksums.yaml

@@ -1,7 +1,7 @@
 ---
 SHA256:
-  metadata.gz: 2890dc54bae2a8fe0c715daa8c778794d20292714d5d13d658ec538a0e95bb92
-  data.tar.gz: 409192a8111f7152f33c8ea586ac6db9cea775a1643151d70c4e5adce288ff66
+  metadata.gz: 580e0395df351cc56d957e756ad8368b663d9902f4722983e268093e97ec0809
+  data.tar.gz: 39206bc915245cea263f476cf7e5397f7e1027c1c21de3500e0c0c573f1c2c41
 SHA512:
-  metadata.gz: 17f69d78de301843fb5d43b53fa800528f6404d5e8974f9764e875c2e7489e0691e4b51a10e74638c3d353d7eab2ed9df52e12b12bd3158f42bf36a02a21738e
-  data.tar.gz: c49a56c178b3f55be5b980ad3c7ebd0d4d76df33c55a160b943148206380c1853a8b40ffa790529ee0893f0d8ed6f7b359ac30fbe0ee0ddd5e9535f155ac0728
+  metadata.gz: 91bfee6e903c4334818f4dce7da9a30df66db16412cefcfa91ed384e5e0f031acedb69d1f17a6765fd86602072219c5e10a80043ced268d9b966779673c3fef0
+  data.tar.gz: 000f9ca102c3deacd8ae0b1c1d9f8edea16b596f65383c3f0fb925f413ca773390e0d1a7e9615f728b6f8b9d41afe7d5b8cdc0be4814cb319af34ce61fea1dd5

data/docs/environment.md

@@ -6,10 +6,10 @@
 
 | 環境変数 | 既定値 | 役割 |
 | --- | ---: | --- |
-| `DRATOOLS_MAX_RECURSIVE_NON_RUN_XREFS` | `100` | `runs` などが direct run を持たない親レコードから experiment/sample/study などの非 run レコードを再帰的に辿る最大件数 |
-| `DRATOOLS_TREE_MAX_DIRECT_RUNS` | `50` | `tree` が direct run レコードを個別取得して URL まで展開する最大 run 件数。超えた場合は件数だけを要約表示 |
-| `DRATOOLS_URL_MAX_DIRECT_RUNS` | `50` | `url` が 1 つの親 accession から direct run を暗黙展開して URL を解決する最大 run 件数 |
-| `DRATOOLS_SIZE_MAX_DIRECT_RUNS` | `50` | `size` が 1 つの親 accession から direct run を暗黙展開して HEAD する最大 run 件数 |
+| `DRATOOLS_MAX_RECURSIVE_NON_RUN_XREFS` | `500` | `runs` などが direct run を持たない親レコードから experiment/sample/study などの非 run レコードを再帰的に辿る最大件数 |
+| `DRATOOLS_TREE_MAX_DIRECT_RUNS` | `200` | `tree` が direct run レコードを個別取得して URL まで展開する最大 run 件数。超えた場合は件数だけを要約表示 |
+| `DRATOOLS_URL_MAX_DIRECT_RUNS` | `200` | `url` が 1 つの親 accession から direct run を暗黙展開して URL を解決する最大 run 件数 |
+| `DRATOOLS_SIZE_MAX_DIRECT_RUNS` | `200` | `size` が 1 つの親 accession から direct run を暗黙展開して HEAD する最大 run 件数 |
 
 `unlimited` が使えるのは、上の 4 つの上限設定だけです。
 
@@ -32,24 +32,27 @@
 
 ## 例
 
-`tree` で 200 件まで URL を展開する:
+`tree` の direct run 展開の既定値は 200 件です。
+500 件に上げる例:
 
 ```sh
-DRATOOLS_TREE_MAX_DIRECT_RUNS=200 dratools tree PRJDB12740
+DRATOOLS_TREE_MAX_DIRECT_RUNS=500 dratools tree PRJDB12740
 ```
 
 この値を小さくすると、展開しない direct run は要約だけを表示します。
 
-`size` で 100 件まで direct run を暗黙展開する:
+`size` の direct run 暗黙展開の既定値は 200 件です。
+500 件に上げる例:
 
 ```sh
-DRATOOLS_SIZE_MAX_DIRECT_RUNS=100 dratools size PRJDB12740
+DRATOOLS_SIZE_MAX_DIRECT_RUNS=500 dratools size PRJDB12740
 ```
 
-`url` で 100 件まで direct run を暗黙展開する:
+`url` の direct run 暗黙展開の既定値は 200 件です。
+500 件に上げる例:
 
 ```sh
-DRATOOLS_URL_MAX_DIRECT_RUNS=100 dratools url --tsv PRJDB12740
+DRATOOLS_URL_MAX_DIRECT_RUNS=500 dratools url --tsv PRJDB12740
 ```
 
 再帰的な非 run 展開の上限を外す:
@@ -83,6 +86,8 @@ DRATOOLS_DOWNLOAD_COMMAND=aria2c dratools get -O ~/Downloads DRR000001
 
 これらは上級の設定です。上限を大きくすると、DDBJ Search API へのリクエスト数が増えます。`size` の HTTP `HEAD` の回数も増えます。
 
-`DRATOOLS_URL_MAX_DIRECT_RUNS` と `DRATOOLS_SIZE_MAX_DIRECT_RUNS` は direct run 数の上限です。experiment や sample や study を経由して見つかる run の総数は制限しません。まず `meta` や `tree` で構造を確認してください。必要なら `runs` で accession を絞ってください。その後で重い操作を実行してください。
+`DRATOOLS_URL_MAX_DIRECT_RUNS` と `DRATOOLS_SIZE_MAX_DIRECT_RUNS` は direct run 数の上限です。experiment や sample や study を経由して見つかる run の総数は制限しません。`*_MAX_DIRECT_RUNS=unlimited` だけでは `DRATOOLS_MAX_RECURSIVE_NON_RUN_XREFS` の上限は外れません。
+
+まず `meta` や `tree` で構造を確認してください。必要なら `runs` で accession を絞ってください。その後で重い操作を実行してください。
 
 ダウンロード用の設定を小さくしすぎる場合を考えます。正常なサーバーでも、開始前や転送中に失敗します。短い値は動作検証やネットワーク問題の切り分けに使ってください。通常のダウンロードでは既定値を使ってください。

data/docs/usage.md

@@ -67,7 +67,7 @@ dratools runs PRJNA341783
 dratools runs PRJNA341783 | dratools get -O ~/Downloads
 ```
 
-Study や BioProject には多数の experiment や sample が含まれることがあります。`runs` はこれらを無制限には辿りません。上限を超えるとエラーで止まります。run へ直接リンクがある場合は、100 件を超えても制限の対象外です。レコードが大きい場合は、先に `tree` や `meta` で構造を確認してください。experiment や sample に絞ってから `runs` を使ってください。
+Study や BioProject には多数の experiment や sample が含まれることがあります。`runs` はこれらを無制限には辿りません。上限を超えるとエラーで止まります。run へ直接リンクがある場合は、500 件を超えても制限の対象外です。レコードが大きい場合は、先に `tree` や `meta` で構造を確認してください。experiment や sample に絞ってから `runs` を使ってください。
 
 ## 合計サイズを確認する (`size`)
 

data/lib/dratools/command_line_interface.rb

@@ -2,7 +2,9 @@
 
 require_relative 'version'
 require_relative 'accession_resolver'
+require_relative 'ddbj_resource_client'
 require_relative 'download_service'
+require_relative 'progress_reporter'
 require_relative 'commands/url_command'
 require_relative 'commands/get_command'
 require_relative 'commands/probe_command'
@@ -67,18 +69,22 @@ module Dratools
 
     def initialize(
       argv,
-      resolver: AccessionResolver.new,
+      resolver: nil,
       downloader: DownloadService.new,
       stdout: $stdout,
       stderr: $stderr,
       stdin: $stdin
     )
       @argv = argv
-      @resolver = resolver
-      @downloader = downloader
       @stdout = stdout
       @stderr = stderr
       @stdin = stdin
+      @progress = ProgressReporter.new(
+        io: stderr,
+        enabled: interactive?(stderr)
+      )
+      @resolver = resolver || default_resolver
+      @downloader = downloader
     end
 
     def run
@@ -108,14 +114,24 @@ module Dratools
         @argv.drop(1),
         resolver: @resolver,
         downloader: @downloader,
-        stdout: @stdout,
-        stderr: @stderr,
+        stdout: @progress.clearing_io(@stdout),
+        stderr: @progress.clearing_io,
         stdin: @stdin
       ).run
+    ensure
+      @progress.finish
     end
 
     private
 
+    def default_resolver
+      AccessionResolver.new(client: DdbjResourceClient.new(progress: @progress))
+    end
+
+    def interactive?(io)
+      io.respond_to?(:tty?) && io.tty?
+    end
+
     def print_help(stream)
       stream.puts "Usage: #{COMMAND_NAME} <command> [options] [ACCESSION ...]"
       stream.puts ''

data/lib/dratools/commands/size_command.rb

@@ -157,7 +157,8 @@ module Dratools
         raise InvalidRecordError,
               "#{accession.to_s.upcase} has #{direct_run_count} direct runs; " \
               "size expands at most #{max_direct_runs} direct runs from one parent accession. " \
-              "Use `#{Dratools::NAME} runs #{accession}` and pass narrower accessions."
+              "Use `#{Dratools::NAME} runs #{accession}` and pass narrower accessions, " \
+              "or set #{Config::SIZE_MAX_DIRECT_RUNS_ENV}=unlimited."
       end
     end
   end

data/lib/dratools/config.rb

@@ -16,10 +16,10 @@ module Dratools
     DOWNLOAD_RETRY_WAIT_ENV = 'DRATOOLS_DOWNLOAD_RETRY_WAIT'
     DOWNLOAD_COMMAND_ENV = 'DRATOOLS_DOWNLOAD_COMMAND'
 
-    DEFAULT_MAX_RECURSIVE_NON_RUN_XREFS = 100
-    DEFAULT_TREE_MAX_DIRECT_RUNS = 50
-    DEFAULT_URL_MAX_DIRECT_RUNS = 50
-    DEFAULT_SIZE_MAX_DIRECT_RUNS = 50
+    DEFAULT_MAX_RECURSIVE_NON_RUN_XREFS = 500
+    DEFAULT_TREE_MAX_DIRECT_RUNS = 200
+    DEFAULT_URL_MAX_DIRECT_RUNS = 200
+    DEFAULT_SIZE_MAX_DIRECT_RUNS = 200
     DEFAULT_DOWNLOAD_CONNECT_TIMEOUT_SECONDS = 30
     DEFAULT_DOWNLOAD_STALL_TIMEOUT_SECONDS = 60
     DEFAULT_DOWNLOAD_STALL_SPEED_BYTES_PER_SECOND = 1024

data/lib/dratools/ddbj_resource_client.rb

@@ -8,6 +8,7 @@ require 'uri'
 require_relative 'errors'
 require_relative 'version'
 require_relative 'ddbj_record_fields'
+require_relative 'progress_reporter'
 
 module Dratools
   # DDBJ Search API を呼び出す薄い HTTP クライアント。
@@ -26,17 +27,20 @@ module Dratools
     DEFAULT_READ_TIMEOUT_SECONDS = 30
 
     def initialize(base_url: DDBJ_SEARCH_API_BASE_URL, open_timeout: DEFAULT_OPEN_TIMEOUT_SECONDS,
-                   read_timeout: DEFAULT_READ_TIMEOUT_SECONDS)
+                   read_timeout: DEFAULT_READ_TIMEOUT_SECONDS, progress: ProgressReporter.new)
       @base_url = base_url.delete_suffix('/')
       @open_timeout = open_timeout
       @read_timeout = read_timeout
+      @progress = progress
     end
 
     def fetch_resource_record(type, accession)
+      @progress.report("fetching #{type} #{accession}")
       fetch_json("#{@base_url}/#{ENTRIES_PATH}/#{type}/#{accession}#{ENTRY_RECORD_EXTENSION}")
     end
 
     def fetch_db_links(type, accession, target: nil)
+      @progress.report("linking #{type} #{accession}")
       request_uri = URI("#{@base_url}/#{DBLINK_PATH}/#{type}/#{accession}")
       request_uri.query = URI.encode_www_form(target: target) if target
       fetch_json(request_uri.to_s).fetch(DdbjRecordFields::DB_XREFS_KEY, [])
@@ -59,6 +63,7 @@ module Dratools
     private
 
     def fetch_db_link_counts_chunk(items)
+      @progress.report("counting links (#{items.length})")
       request_url = "#{@base_url}/#{DBLINK_PATH}/counts"
       payload = post_json(request_url, items: items)
       payload.fetch('items', []).to_h do |item|
@@ -67,6 +72,7 @@ module Dratools
     end
 
     def fetch_resource_records_bulk_chunk(type, accessions, include_db_xrefs:)
+      @progress.report("fetching #{type} bulk (#{accessions.length})")
       request_uri = URI("#{@base_url}/#{ENTRIES_PATH}/#{type}/bulk")
       request_uri.query = URI.encode_www_form(includeDbXrefs: include_db_xrefs)
       payload = post_json(request_uri.to_s, ids: accessions)

data/lib/dratools/progress_reporter.rb

@@ -0,0 +1,87 @@
+# frozen_string_literal: true
+
+module Dratools
+  # 対話的な端末のときだけ stderr へ一行進捗を表示する軽量レポーター。
+  # データは stdout に出るため、stdout をパイプしても進捗は混ざらない。
+  # 非 TTY（リダイレクト・パイプ・CI）では制御文字を出さず完全に無音にする。
+  class ProgressReporter
+    CLEAR_LINE = "\r\e[K"
+
+    # 通常の出力の直前に、表示中の進捗行を消す IO ラッパー。
+    class ClearingIO
+      def initialize(io, reporter)
+        @io = io
+        @reporter = reporter
+      end
+
+      def puts(*args)
+        @reporter.finish
+        @io.puts(*args)
+      end
+
+      def print(*args)
+        @reporter.finish
+        @io.print(*args)
+      end
+
+      def write(*args)
+        @reporter.finish
+        @io.write(*args)
+      end
+
+      def flush
+        @io.flush
+      end
+
+      def tty?
+        @io.respond_to?(:tty?) && @io.tty?
+      end
+
+      def method_missing(name, ...)
+        return super unless @io.respond_to?(name)
+
+        @io.public_send(name, ...)
+      end
+
+      def respond_to_missing?(name, include_private = false)
+        @io.respond_to?(name, include_private) || super
+      end
+    end
+
+    def initialize(io: $stderr, enabled: nil)
+      @io = io
+      @enabled = enabled.nil? ? interactive?(io) : enabled
+      @count = 0
+      @active = false
+    end
+
+    def clearing_io(io = @io)
+      ClearingIO.new(io, self)
+    end
+
+    # 1 件の進捗を表示する。直前の行を消してから上書きする。
+    def report(label)
+      return unless @enabled
+
+      @count += 1
+      @io.print("#{CLEAR_LINE}#{label} (#{@count})")
+      @io.flush
+      @active = true
+    end
+
+    # 残っている進捗行を消す。コマンド終了時（成功・失敗どちらでも）に呼ぶ。
+    def finish
+      return unless @active
+
+      @io.print(CLEAR_LINE)
+      @io.flush
+      @active = false
+    end
+
+    private
+
+    def interactive?(io)
+      io.respond_to?(:tty?) && io.tty?
+    end
+  end
+end

data/lib/dratools/run_record_collector.rb

@@ -94,7 +94,8 @@ module Dratools
       accession = record_accession(ddbj_record) || 'record'
       raise InvalidRecordError,
             "#{accession} has #{non_run_xrefs.length} linked non-run records; " \
-            'refine to an experiment/sample accession before run expansion'
+            'refine to an experiment/sample accession before run expansion, ' \
+            "or set #{Config::MAX_RECURSIVE_NON_RUN_XREFS_ENV}=unlimited"
     end
 
     def child_bioprojects(ddbj_record)

data/lib/dratools/version.rb

@@ -2,5 +2,5 @@
 
 module Dratools
   NAME = 'dratools'
-  VERSION = '0.0.2'
+  VERSION = '0.0.3'
 end

data/lib/dratools.rb

@@ -10,6 +10,7 @@ require_relative 'dratools/traversal_node'
 require_relative 'dratools/tree_renderer'
 require_relative 'dratools/download_candidate_builder'
 require_relative 'dratools/checksum_verifier'
+require_relative 'dratools/progress_reporter'
 require_relative 'dratools/ddbj_resource_client'
 require_relative 'dratools/accession_resource_type_classifier'
 require_relative 'dratools/run_record_collector'

metadata

@@ -1,7 +1,7 @@
 --- !ruby/object:Gem::Specification
 name: dratools
 version: !ruby/object:Gem::Version
-  version: 0.0.2
+  version: 0.0.3
 platform: ruby
 authors:
 - kojix2
@@ -47,6 +47,7 @@ files:
 - lib/dratools/download_service.rb
 - lib/dratools/errors.rb
 - lib/dratools/external_command_runner.rb
+- lib/dratools/progress_reporter.rb
 - lib/dratools/run_record_collector.rb
 - lib/dratools/traversal_node.rb
 - lib/dratools/tree_renderer.rb