dratools 0.0.3 → 0.0.5

checksums.yaml

@@ -1,7 +1,7 @@
 ---
 SHA256:
-  metadata.gz: 580e0395df351cc56d957e756ad8368b663d9902f4722983e268093e97ec0809
-  data.tar.gz: 39206bc915245cea263f476cf7e5397f7e1027c1c21de3500e0c0c573f1c2c41
+  metadata.gz: bb639a96249cd5f2c1f4e39ed319f34969d08493b04989e109a294ae36fdd573
+  data.tar.gz: 878b28a9827227b283e407ce3c3f71d3576dad8628ee1f0cb424a4df15e94392
 SHA512:
-  metadata.gz: 91bfee6e903c4334818f4dce7da9a30df66db16412cefcfa91ed384e5e0f031acedb69d1f17a6765fd86602072219c5e10a80043ced268d9b966779673c3fef0
-  data.tar.gz: 000f9ca102c3deacd8ae0b1c1d9f8edea16b596f65383c3f0fb925f413ca773390e0d1a7e9615f728b6f8b9d41afe7d5b8cdc0be4814cb319af34ce61fea1dd5
+  metadata.gz: 2bc14d09c9ad8dceea179efce78c7f04e597052e042bdce21dcb960bb35873062205d5ed44838bcf1129c07a1a06071de39ba951bbed637d5b80f767f06a1bfc
+  data.tar.gz: '02149dbe3705aaae111246c03c1b501861d1388657efedab4095ad10b21a024b3e0f1288a1daa4e968bea241ad951c5ee40fe38711597b9d8f08e1513e0c9c4b'

data/README.md

@@ -24,6 +24,8 @@ Rubyのgemとしてインストールできます。
 gem install dratools
 ```
 
+HPC環境向けに、インストールが簡単なGo言語実装の [dratools-go](https://github.com/kojix2/dratools-go) もあります。
+
 ## 使い方
 
 `dratools` はサブコマンド方式です。`dratools <command> --help` で各コマンドのオプションを確認できます。
@@ -36,7 +38,7 @@ gem install dratools
 | `tree`  | accession から run へ辿る探索ツリーを表示する |
 | `meta`  | レコードのメタ情報を表示する（`--json` で生 JSON） |
 | `runs`  | run accession の一覧を出力する |
-| `size`  | ダウンロード合計サイズを集計する（`--per-run` で run ごとに分割） |
+| `size`  | run ごとにダウンロードサイズを集計する（`--total` で accession 単位の合算に切り替え） |
 
 コマンド名は基本的に単数形ですが、一覧を返す `runs` だけ複数形です。打ち間違い対策として `run`/`urls`/`sizes`/`trees` の別名も受け付けます。
 
@@ -84,8 +86,8 @@ dratools url --json DRR000001                     # URL 情報を JSON で表示
 dratools url --tsv DRR000001                      # run/type/url/size/md5 を TAB 区切りで
 dratools meta --json DRR000001                    # entry JSON を表示する
 dratools runs PRJNA341783 | dratools get -O ~/Downloads # run 一覧をダウンロードへ渡す
-dratools size --bytes PRJNA341783                 # 合計サイズをバイト数で表示する
-dratools size --per-run DRX000001                 # 親 accession を run ごとに集計する
+dratools size --bytes PRJNA341783                 # サイズをバイト数で表示する
+dratools size --total DRX000001                   # 親 accession を run ごとに分けず合算する
 dratools get --skip-existing -O ~/Downloads DRR000001  # 既存ファイルは触らない
 ```
 

data/docs/design.md

@@ -66,7 +66,7 @@ md5 が得られる候補では、ダウンロード後に `Digest::MD5.file`
 
 1. `--force` があれば既存ファイルを使わず再取得する
 2. `--skip-existing` があれば md5 を見ずに既存ファイルを使う
-3. md5 があり、既存ファイルの md5 が一致すれば再取得せず `Skipped` にする
+3. md5 があり、既存ファイルの md5 が一致すれば再取得せず `[dratools] Skipped` にする
 4. それ以外は `curl --continue-at -`, `wget --continue`, `aria2c --continue=true` でレジュームを試みる
 
 md5 が無い候補では、既定では既存ファイルをスキップしません。SRA ファイルとしての検証は dratools の既定動作には含めません。

data/docs/usage.md

@@ -29,7 +29,7 @@ bundle exec rake install
 | `tree`  | accession から run へ辿る探索ツリーを表示する |
 | `meta`  | レコードのメタ情報を表示する（`--json` で生 JSON） |
 | `runs`  | run accession の一覧を出力する |
-| `size`  | ダウンロード合計サイズを集計する |
+| `size`  | run ごとにダウンロードサイズを集計する（`--total` で合算） |
 
 コマンド名は基本的に単数形です。一覧を返す `runs` だけが複数形です。`run` は「実行する」と読み間違えやすいためです。打ち間違いに備えて別名も使えます。`run` は `runs`、`urls` は `url`、`sizes` は `size`、`trees` は `tree` として扱います。ヘルプとエラーとバナーには、表の正規名だけを表示します。
 
@@ -69,33 +69,33 @@ dratools runs PRJNA341783 | dratools get -O ~/Downloads
 
 Study や BioProject には多数の experiment や sample が含まれることがあります。`runs` はこれらを無制限には辿りません。上限を超えるとエラーで止まります。run へ直接リンクがある場合は、500 件を超えても制限の対象外です。レコードが大きい場合は、先に `tree` や `meta` で構造を確認してください。experiment や sample に絞ってから `runs` を使ってください。
 
-## 合計サイズを確認する (`size`)
+## サイズを確認する (`size`)
 
 `size` は実ファイルの URL に HTTP `HEAD` を送ります。`Content-Length` を合計します。FASTQ はディレクトリ URL で返ることがあります。その場合はディレクトリ一覧から `*.fastq*` を取り出します。取り出した各ファイルに `HEAD` を送ります。
 
 ```sh
-dratools size PRJNA341783
+dratools size DRX000001
 ```
 
-出力は1行1件です。各行は accession、ファイル数、合計サイズ、`unresolved` 数を並べます。区切りは TAB です。先頭に `#` で始まるヘッダ行が付きます。合計サイズだけを取り出すには `cut -f3` を使います。ヘッダを除くには `grep -v '^#'` を使います。サイズを1つも取得できなかった行は、size 列を `NA` にします。accession を複数渡すと、最後に `total` 行が付きます。
+既定では run accession ごとに1行に分けて集計します。親 accession を渡すと、配下の run を1件ずつ表示します。これは `dratools runs XXX | xargs dratools size` と同じ結果です。1 コマンドで実行できます。各行は accession、ファイル数、サイズ、`unresolved` 数を並べます。区切りは TAB です。先頭に `#` で始まるヘッダ行が付きます。サイズだけを取り出すには `cut -f3` を使います。ヘッダを除くには `grep -v '^#'` を使います。サイズを1つも取得できなかった行は、size 列を `NA` にします。
 
 ```text
 #accession	files	size	unresolved
-DRR000001	1	1.0 KiB	0
+DRR000001	2	1.2 GiB	0
+DRR000002	1	0.8 GiB	0
 ```
 
-既定では accession 1 件につき1行です。親 accession の場合は配下をすべて合算します。`--per-run`（`-r`）を付けると、run accession ごとに分けて集計します。これは `dratools runs XXX | xargs dratools size` と同じ結果です。1 コマンドで実行できます。
+run ごとの内訳が複数あるとき、`total` 行は標準エラーに出します。標準出力には集計行だけが残ります。`awk` で合計するときに `total` 行を二重に数えないためです。
+
+合計だけが欲しいときは `--total` を付けます。accession 1 件につき1行にまとめます。親 accession の場合は配下をすべて合算します。accession を複数渡すと、最後に `total` 行が標準出力に付きます。
 
 ```sh
-dratools size --per-run DRX000001
+dratools size --total PRJNA341783
 ```
 
-`--per-run` のとき、`total` 行は標準エラーに出します。標準出力には集計行だけが残ります。`awk` で合計するときに `total` 行を二重に数えないためです。
-
 ```text
 #accession	files	size	unresolved
-DRR000001	2	1.2 GiB	0
-DRR000002	1	0.8 GiB	0
+PRJNA341783	3	2.0 GiB	0
 ```
 
 バイト数で表示する場合は `--bytes` を付けます。
@@ -190,7 +190,7 @@ direct run を多数持つ親 accession では、`tree` は各 run を個別取
 dratools get -O ~/Downloads DRR000001
 ```
 
-ダウンロード中は `curl`, `wget`, `aria2c` のいずれかの進捗が標準エラーに出ます。取得したファイルは `Downloaded<TAB>PATH` と表示します。既存ファイルを再利用した場合は `Skipped<TAB>PATH` と表示します。これらは標準エラーに出ます。最後に `dratools get: N downloaded, M skipped` のサマリを出します。状態とパスは TAB 区切りです。パスだけを取り出すには `cut -f2` を使います。
+ダウンロード開始時は `[dratools] Downloading<TAB>PATH` と表示し、その後に `curl`, `wget`, `aria2c` のいずれかの進捗が標準エラーに出ます。取得したファイルは `[dratools] Downloaded<TAB>PATH` と表示します。既存ファイルを再利用した場合は `[dratools] Skipped<TAB>PATH` と表示します。これらは標準エラーに出ます。最後に `[dratools] dratools get: N downloaded, M skipped` のサマリを出します。状態とパスは TAB 区切りです。パスだけを取り出すには `cut -f2` を使います。
 
 ### 既存ファイルの扱い
 
@@ -198,11 +198,11 @@ DDBJ のメタデータに md5 が含まれることは多くありません。
 
 同名のファイルが既にある場合、`get` はサーバにファイルサイズを問い合わせます。それをローカルのファイルサイズと比べます。
 
-- サイズが同じなら、再取得しません。`Skipped` と表示します。
+- サイズが同じなら、再取得しません。`[dratools] Skipped` と表示します。
 - ローカルのほうが小さいなら、再取得します。途中で中断したファイルが対象です。
 - ローカルのほうが大きいなら、エラーになります。別物の可能性があるためです。`--force` で上書きできます。
 
-md5 が得られる場合は、サイズではなく md5 で判定します。既存ファイルの md5 が一致すれば `Skipped` と表示します。ダウンロード後にも md5 を照合します。
+md5 が得られる場合は、サイズではなく md5 で判定します。既存ファイルの md5 が一致すれば `[dratools] Skipped` と表示します。ダウンロード後にも md5 を照合します。
 
 ### オプション
 

data/lib/dratools/command_line_interface.rb

@@ -70,7 +70,7 @@ module Dratools
     def initialize(
       argv,
       resolver: nil,
-      downloader: DownloadService.new,
+      downloader: nil,
       stdout: $stdout,
       stderr: $stderr,
       stdin: $stdin
@@ -84,7 +84,7 @@ module Dratools
         enabled: interactive?(stderr)
       )
       @resolver = resolver || default_resolver
-      @downloader = downloader
+      @downloader = downloader || DownloadService.new
     end
 
     def run
@@ -106,7 +106,7 @@ module Dratools
       command_class = SUBCOMMANDS[name] || SUBCOMMANDS[SUBCOMMAND_ALIASES[name]]
       unless command_class
         expected = SUBCOMMANDS.keys.join(', ')
-        @stderr.puts "#{COMMAND_NAME}: unknown command '#{name}' (expected: #{expected})"
+        @stderr.puts "[#{COMMAND_NAME}] #{COMMAND_NAME}: unknown command '#{name}' (expected: #{expected})"
         return FAILURE_EXIT_STATUS
       end
 

data/lib/dratools/commands/base_command.rb

@@ -179,10 +179,14 @@ module Dratools
         @tsv_header_printed = true
       end
 
+      def dratools_message(message)
+        "[#{Dratools::NAME}] #{message}"
+      end
+
       def report_error(message, accession: nil)
         prefix = "#{Dratools::NAME} #{command_name}"
         prefix = "#{prefix}: #{accession}" if accession
-        @stderr.puts "#{prefix}: #{message}"
+        @stderr.puts dratools_message("#{prefix}: #{message}")
       end
     end
   end

data/lib/dratools/commands/get_command.rb

@@ -7,6 +7,7 @@ module Dratools
     # 実際にファイルをダウンロードする。
     class GetCommand < BaseCommand
       DEFAULT_OUTPUT_DIRECTORY = DownloadService::DEFAULT_OUTPUT_DIRECTORY
+      DOWNLOAD_START_PREFIX = 'Downloading'
       DOWNLOAD_SUCCESS_PREFIX = 'Downloaded'
       DOWNLOAD_SKIPPED_PREFIX = 'Skipped'
 
@@ -59,7 +60,7 @@ module Dratools
       def finalize
         parts = ["#{@downloaded_count.to_i} downloaded", "#{@skipped_count.to_i} skipped"]
         parts << "#{@failed_count} failed" if @failed_count.positive?
-        @stderr.puts "#{Dratools::NAME} #{command_name}: #{parts.join(', ')}"
+        @stderr.puts dratools_message("#{Dratools::NAME} #{command_name}: #{parts.join(', ')}")
       end
 
       def save_one_download(accession, download)
@@ -70,13 +71,15 @@ module Dratools
           verify: @options[:verify],
           force: @options[:force],
           skip_existing: @options[:skip_existing]
-        )
+        ) do |path|
+          @stderr.puts dratools_message("#{DOWNLOAD_START_PREFIX}\t#{path}")
+        end
         if result.skipped?
           @skipped_count = @skipped_count.to_i + 1
-          @stderr.puts "#{DOWNLOAD_SKIPPED_PREFIX}\t#{result.path}"
+          @stderr.puts dratools_message("#{DOWNLOAD_SKIPPED_PREFIX}\t#{result.path}")
         else
           @downloaded_count = @downloaded_count.to_i + 1
-          @stderr.puts "#{DOWNLOAD_SUCCESS_PREFIX}\t#{result.path}"
+          @stderr.puts dratools_message("#{DOWNLOAD_SUCCESS_PREFIX}\t#{result.path}")
         end
       rescue Error => error
         report_error(error.message, accession: accession)

data/lib/dratools/commands/size_command.rb

@@ -26,7 +26,7 @@ module Dratools
           timeout: DEFAULT_SIZE_TIMEOUT_SECONDS,
           bytes: false,
           json: false,
-          per_run: false
+          per_run: true
         )
       end
 
@@ -37,7 +37,10 @@ module Dratools
           @options[:timeout] = value
         end
         parser.on('--bytes', 'サイズをバイト数で表示する') { @options[:bytes] = true }
-        parser.on('-r', '--per-run', '親 accession を run accession ごとに分けて集計する') do
+        parser.on('--total', '親 accession を run ごとに分けず accession 単位で合算する') do
+          @options[:per_run] = false
+        end
+        parser.on('-r', '--per-run', 'run accession ごとに分けて集計する (default)') do
           @options[:per_run] = true
         end
         parser.on('--json', 'サイズ集計を JSON で表示する') { @options[:json] = true }
@@ -47,7 +50,7 @@ module Dratools
         [
           "#{Dratools::NAME} size DRR000001",
           "#{Dratools::NAME} size --type fastq PRJNA341783",
-          "#{Dratools::NAME} size --per-run DRX000001",
+          "#{Dratools::NAME} size --total DRX000001",
           "#{Dratools::NAME} size --json DRR000001 DRR000002"
         ]
       end

data/lib/dratools/download_service.rb

@@ -66,7 +66,8 @@ module Dratools
       protocol: DEFAULT_PROTOCOL,
       verify: true,
       force: false,
-      skip_existing: false
+      skip_existing: false,
+      &before_download
     )
       FileUtils.mkdir_p(outdir)
       download_url = download.url_for_protocol(protocol)
@@ -85,6 +86,7 @@ module Dratools
         return DownloadResult.new(path: output_path, skipped: true)
       end
 
+      before_download&.call(output_path)
       @runner.download_url(download_url, output_path)
       if verify && checksum_available?(download)
         @checksum_verifier.verify_md5!(output_path, download.md5)

data/lib/dratools/version.rb

@@ -2,5 +2,5 @@
 
 module Dratools
   NAME = 'dratools'
-  VERSION = '0.0.3'
+  VERSION = '0.0.5'
 end

metadata

@@ -1,7 +1,7 @@
 --- !ruby/object:Gem::Specification
 name: dratools
 version: !ruby/object:Gem::Version
-  version: 0.0.3
+  version: 0.0.5
 platform: ruby
 authors:
 - kojix2