dratools 0.0.4 → 0.0.5

checksums.yaml

@@ -1,7 +1,7 @@
 ---
 SHA256:
-  metadata.gz: 0dfc332114a65a39a553477f60769fa8f4057f17377ec7e0626d18e51203d098
-  data.tar.gz: 6451a8ca4d94803bd09caecf630a77781630a97763d957f3de5551b477579b5c
+  metadata.gz: bb639a96249cd5f2c1f4e39ed319f34969d08493b04989e109a294ae36fdd573
+  data.tar.gz: 878b28a9827227b283e407ce3c3f71d3576dad8628ee1f0cb424a4df15e94392
 SHA512:
-  metadata.gz: 4505f754bce355051fcd352bd1debb1d430baf46bbdbe8a51fdba1528b9698c10cdd442b5ab2eb61b922fd7e4bfea2a36fc17400d2272f424c452e9c7e505b07
-  data.tar.gz: 34e050758e14b5424e1c5a171f713d5962c2e8a6361a186a37024b1e7abbede412940be4d068663a5b4a9b244091e76843fb1931b45e9477f9461df61772563d
+  metadata.gz: 2bc14d09c9ad8dceea179efce78c7f04e597052e042bdce21dcb960bb35873062205d5ed44838bcf1129c07a1a06071de39ba951bbed637d5b80f767f06a1bfc
+  data.tar.gz: '02149dbe3705aaae111246c03c1b501861d1388657efedab4095ad10b21a024b3e0f1288a1daa4e968bea241ad951c5ee40fe38711597b9d8f08e1513e0c9c4b'

data/README.md

@@ -24,6 +24,8 @@ Rubyのgemとしてインストールできます。
 gem install dratools
 ```
 
+HPC環境向けに、インストールが簡単なGo言語実装の [dratools-go](https://github.com/kojix2/dratools-go) もあります。
+
 ## 使い方
 
 `dratools` はサブコマンド方式です。`dratools <command> --help` で各コマンドのオプションを確認できます。

data/docs/design.md

@@ -66,7 +66,7 @@ md5 が得られる候補では、ダウンロード後に `Digest::MD5.file`
 
 1. `--force` があれば既存ファイルを使わず再取得する
 2. `--skip-existing` があれば md5 を見ずに既存ファイルを使う
-3. md5 があり、既存ファイルの md5 が一致すれば再取得せず `Skipped` にする
+3. md5 があり、既存ファイルの md5 が一致すれば再取得せず `[dratools] Skipped` にする
 4. それ以外は `curl --continue-at -`, `wget --continue`, `aria2c --continue=true` でレジュームを試みる
 
 md5 が無い候補では、既定では既存ファイルをスキップしません。SRA ファイルとしての検証は dratools の既定動作には含めません。

data/docs/usage.md

@@ -190,7 +190,7 @@ direct run を多数持つ親 accession では、`tree` は各 run を個別取
 dratools get -O ~/Downloads DRR000001
 ```
 
-ダウンロード中は `curl`, `wget`, `aria2c` のいずれかの進捗が標準エラーに出ます。取得したファイルは `Downloaded<TAB>PATH` と表示します。既存ファイルを再利用した場合は `Skipped<TAB>PATH` と表示します。これらは標準エラーに出ます。最後に `dratools get: N downloaded, M skipped` のサマリを出します。状態とパスは TAB 区切りです。パスだけを取り出すには `cut -f2` を使います。
+ダウンロード開始時は `[dratools] Downloading<TAB>PATH` と表示し、その後に `curl`, `wget`, `aria2c` のいずれかの進捗が標準エラーに出ます。取得したファイルは `[dratools] Downloaded<TAB>PATH` と表示します。既存ファイルを再利用した場合は `[dratools] Skipped<TAB>PATH` と表示します。これらは標準エラーに出ます。最後に `[dratools] dratools get: N downloaded, M skipped` のサマリを出します。状態とパスは TAB 区切りです。パスだけを取り出すには `cut -f2` を使います。
 
 ### 既存ファイルの扱い
 
@@ -198,11 +198,11 @@ DDBJ のメタデータに md5 が含まれることは多くありません。
 
 同名のファイルが既にある場合、`get` はサーバにファイルサイズを問い合わせます。それをローカルのファイルサイズと比べます。
 
-- サイズが同じなら、再取得しません。`Skipped` と表示します。
+- サイズが同じなら、再取得しません。`[dratools] Skipped` と表示します。
 - ローカルのほうが小さいなら、再取得します。途中で中断したファイルが対象です。
 - ローカルのほうが大きいなら、エラーになります。別物の可能性があるためです。`--force` で上書きできます。
 
-md5 が得られる場合は、サイズではなく md5 で判定します。既存ファイルの md5 が一致すれば `Skipped` と表示します。ダウンロード後にも md5 を照合します。
+md5 が得られる場合は、サイズではなく md5 で判定します。既存ファイルの md5 が一致すれば `[dratools] Skipped` と表示します。ダウンロード後にも md5 を照合します。
 
 ### オプション
 

data/lib/dratools/command_line_interface.rb

@@ -70,7 +70,7 @@ module Dratools
     def initialize(
       argv,
       resolver: nil,
-      downloader: DownloadService.new,
+      downloader: nil,
       stdout: $stdout,
       stderr: $stderr,
       stdin: $stdin
@@ -84,7 +84,7 @@ module Dratools
         enabled: interactive?(stderr)
       )
       @resolver = resolver || default_resolver
-      @downloader = downloader
+      @downloader = downloader || DownloadService.new
     end
 
     def run
@@ -106,7 +106,7 @@ module Dratools
       command_class = SUBCOMMANDS[name] || SUBCOMMANDS[SUBCOMMAND_ALIASES[name]]
       unless command_class
         expected = SUBCOMMANDS.keys.join(', ')
-        @stderr.puts "#{COMMAND_NAME}: unknown command '#{name}' (expected: #{expected})"
+        @stderr.puts "[#{COMMAND_NAME}] #{COMMAND_NAME}: unknown command '#{name}' (expected: #{expected})"
         return FAILURE_EXIT_STATUS
       end
 

data/lib/dratools/commands/base_command.rb

@@ -179,10 +179,14 @@ module Dratools
         @tsv_header_printed = true
       end
 
+      def dratools_message(message)
+        "[#{Dratools::NAME}] #{message}"
+      end
+
       def report_error(message, accession: nil)
         prefix = "#{Dratools::NAME} #{command_name}"
         prefix = "#{prefix}: #{accession}" if accession
-        @stderr.puts "#{prefix}: #{message}"
+        @stderr.puts dratools_message("#{prefix}: #{message}")
       end
     end
   end

data/lib/dratools/commands/get_command.rb

@@ -7,6 +7,7 @@ module Dratools
     # 実際にファイルをダウンロードする。
     class GetCommand < BaseCommand
       DEFAULT_OUTPUT_DIRECTORY = DownloadService::DEFAULT_OUTPUT_DIRECTORY
+      DOWNLOAD_START_PREFIX = 'Downloading'
       DOWNLOAD_SUCCESS_PREFIX = 'Downloaded'
       DOWNLOAD_SKIPPED_PREFIX = 'Skipped'
 
@@ -59,7 +60,7 @@ module Dratools
       def finalize
         parts = ["#{@downloaded_count.to_i} downloaded", "#{@skipped_count.to_i} skipped"]
         parts << "#{@failed_count} failed" if @failed_count.positive?
-        @stderr.puts "#{Dratools::NAME} #{command_name}: #{parts.join(', ')}"
+        @stderr.puts dratools_message("#{Dratools::NAME} #{command_name}: #{parts.join(', ')}")
       end
 
       def save_one_download(accession, download)
@@ -70,13 +71,15 @@ module Dratools
           verify: @options[:verify],
           force: @options[:force],
           skip_existing: @options[:skip_existing]
-        )
+        ) do |path|
+          @stderr.puts dratools_message("#{DOWNLOAD_START_PREFIX}\t#{path}")
+        end
         if result.skipped?
           @skipped_count = @skipped_count.to_i + 1
-          @stderr.puts "#{DOWNLOAD_SKIPPED_PREFIX}\t#{result.path}"
+          @stderr.puts dratools_message("#{DOWNLOAD_SKIPPED_PREFIX}\t#{result.path}")
         else
           @downloaded_count = @downloaded_count.to_i + 1
-          @stderr.puts "#{DOWNLOAD_SUCCESS_PREFIX}\t#{result.path}"
+          @stderr.puts dratools_message("#{DOWNLOAD_SUCCESS_PREFIX}\t#{result.path}")
         end
       rescue Error => error
         report_error(error.message, accession: accession)

data/lib/dratools/download_service.rb

@@ -66,7 +66,8 @@ module Dratools
       protocol: DEFAULT_PROTOCOL,
       verify: true,
       force: false,
-      skip_existing: false
+      skip_existing: false,
+      &before_download
     )
       FileUtils.mkdir_p(outdir)
       download_url = download.url_for_protocol(protocol)
@@ -85,6 +86,7 @@ module Dratools
         return DownloadResult.new(path: output_path, skipped: true)
       end
 
+      before_download&.call(output_path)
       @runner.download_url(download_url, output_path)
       if verify && checksum_available?(download)
         @checksum_verifier.verify_md5!(output_path, download.md5)

data/lib/dratools/version.rb

@@ -2,5 +2,5 @@
 
 module Dratools
   NAME = 'dratools'
-  VERSION = '0.0.4'
+  VERSION = '0.0.5'
 end

metadata

@@ -1,7 +1,7 @@
 --- !ruby/object:Gem::Specification
 name: dratools
 version: !ruby/object:Gem::Version
-  version: 0.0.4
+  version: 0.0.5
 platform: ruby
 authors:
 - kojix2