kuport 0.1.4 → 0.1.5

checksums.yaml

@@ -1,7 +1,7 @@
 ---
 SHA1:
-  metadata.gz: 6841261656c40a5000fc5833d9e523af4175fd0a
-  data.tar.gz: 6acf47faf6733559a31ef6e5739f770eb9155456
+  metadata.gz: 9cfd6d6c849f5f34ca6037044bd3905953fc4499
+  data.tar.gz: 52db103a1eccf46388b60cb6d441472e642888e6
 SHA512:
-  metadata.gz: d38df664332a587adcb785f1f2979bded64284cb6e86ef22cf7fb4647945749d201180490c3cd5be7e6a1d6391d945c9930125b0d78d8f3a8b9ef40088c3356d
-  data.tar.gz: dafed4261b2058fc94ef504d7ff03d84f1faa6d5d17741bb8788113bac5e869b9c7681c5de5466a7009ff7de9b92079a1f3522690ac0ff061912ef1335a5bca4
+  metadata.gz: 2f6d15a9d1ec0b12d0a691b2c5394738c16e6f068db30b31ea8eecad3b4bc82aff628c766de5a792cf4689dcc651a8b95499003505f16cba8dec85f7d04a60dc
+  data.tar.gz: 35ab6aa99e4e4f7bc313135022528d8643ccc84dc29c2c98dded5a6d1dc9c1848e00948a2a61a4760814ce740873f50b87625f8267e8f4fdc8e35d6d52231341

data/README.md

@@ -12,21 +12,7 @@ $ gem install kuport
 
 ### Command
 
-端末でjsonを読むには`jid`がおすすめ。   
-
-```bash 
-$ go get github.com/simeji/jid/cmd/jid
-$ cat sample.json | jid
-```
-
-決め打ちで処理するなら`jq`などを使用。  
-
-一度ログインすればキャッシュが効くので、暫くは`--id`とパスワード入力は不要。  
-
-`--download`で複数のファイルを一括で落とすにはjqなどで上手くフィルタして`name`と`path`を含むディクショナリのリストを取り出す必要がある。  
-`[{name: 'Name', path: 'https://~~'}, ...]`  
-
-```bash 
+```bash
 # 個人宛メッセージ取得
 kuport --id jx91234 -m
 
@@ -39,12 +25,12 @@ kuport --id jx91234 -m read
 kuport --id jx91234
 
 
-# キューポートからファイルを1つダウンロード
-kuport --download URL --output-file FILE
+# URLをダウンロードしてNAMEとして保存
+kuport --download NAME:URL
 
 
-# メッセージの添付ファイルをまとめてダウンロード(jqでjsonパース)
-kuport --id jx91234 -m | jq '.[0].links' | kuport --download
+# メッセージの添付ファイルをまとめてダウンロード
+kuport --id jx91234 -m | kuport --download
 
 
 # 動的にダウンロードするファイルを選択
@@ -55,13 +41,31 @@ kuport --id jx91234 -m | jid | kuport --download
 kuport -t
 
 
-# 電子教材の特定の科目をダウンロード
-kuport --materials | jq 'map(select( .["subject"] | test("^線形代数") ).links | .[])' | kuport --download
+# 電子教材から科目指定でダウンロード
+kuport --materials | kuport --filter='subject:線形代数' | kuport --download
 
 ```
 
+一度ログインすればキャッシュが効くので、しばらくは`--id`とパスワード入力は不要。  
+
+`--download`はJSONから`name`と`path`を持つ辞書を再帰的に探索してダウロードできる。  
+`[{name: 'Name', path: 'https://~~'}, ...]`  
+
+
+端末でjsonを読むには`jid`がおすすめ。  
+
+```bash
+$ go get github.com/simeji/jid/cmd/jid
+$ cat sample.json | jid
+```
+
+プロキシの設定は環境変数`HTTP_PROXY`, `HTTPS_PROXY`,`ALL_PROXY`から読み込む。  
+`--proxy`でも設定可能。  
+
+
+
 ### Library
-```ruby 
+```ruby
 require 'kuport'
 kp = Kuport.new
 kp.login('jx91234')
@@ -80,12 +84,22 @@ puts timetable.to_json
 
 puts materials.to_json
 
-kp.download(url, name)
-kp.download([{name: 'File.pdf', path: 'https://example.com/file.pdf'}, ])
+kp.download(name, url)
+kp.download_with_json("[{name: 'File.pdf', path: 'https://example.com/file.pdf'}]")
 
 kp.cookies_clear
 ```
 
+## Configure file
+
+~/.kuportrc.json
+
+```json
+{
+  "id": "jx91234"
+}
+```
+
 ## Formats
 
 ### message
@@ -102,7 +116,7 @@ kp.cookies_clear
       },
       {
         "name": "画像.png",
-        "path": "https://example.com/img/image1.pdf"
+        "path": "https://example.com/img/image1.png"
       }
     ]
   },
@@ -179,6 +193,16 @@ kp.cookies_clear
 
 ### materials
 
+| キー       | 値                               |
+|------------|----------------------------------|
+| subject    | String 科目名                    |
+| teacher    | String 教員名                    |
+| title      | String 資料タイトル              |
+| period     | String 公開期間                  |
+| downloaded | Boolean ダウンロード状態         |
+| links      | [{name, path}, ...] ファイル一覧 |
+
+
 ```
 [
   {
@@ -186,7 +210,7 @@ kp.cookies_clear
     "teacher": "スゴイ先生",
     "title": "第100回目資料",
     "period": "2117/04/04 〜 2117/08/20",
-    "state": "未ダウンロード",
+    "downloaded": true,
     "links": [
       {
         "name": "講義資料.pdf",
@@ -205,20 +229,12 @@ kp.cookies_clear
 
 ### download
 
-| 形式       | 説明          | 例                                                               |
-|------------|---------------|------------------------------------------------------------------|
-| URL        | ファイルのURL | "http://example.com/file.pdf"                                    |
-| JSON       | 単一の要素    | {"name": "file.pdf", "path": "http://example.com/abc.pdf"}       |
-| JSON(配列) | 複数の要素    | [{"name": "img.png", "path": "http://example.com/efg.png"}, ...] |  
-
-
-## Contributing
-
-バグがあったらお気軽にどうぞ。  
-コントリビューター募集中。  
+| 形式     | 説明                         | 例                                                        |
+|----------|------------------------------|-----------------------------------------------------------|
+| NAME:URL | URLをNAMEとして保存          | file.pdf:"http://example.com/file.pdf"                    |
+| JSON     | pathをnameとして保存(再帰的) | {"name": "abc.pdf", "path": "http://example.com/abc.pdf"} |
 
 
 ## License
 
 The gem is available as open source under the terms of the [MIT License](http://opensource.org/licenses/MIT).
-

data/bin/kuport

@@ -1,6 +1,7 @@
 #!/usr/bin/env ruby
 require 'optparse'
 require 'kuport'
+require 'json'
 
 using Kuport::ClassExtensions
 
@@ -9,32 +10,32 @@ example_usage = <<USAGE
 example usage
 
 # Get messages
-$ kuport --id jx91234 -m
+kuport --id=jx91234 -m
 
 
 # Get already read messages
-$ kuport --id jx91234 -m read
+kuport --id=jx91234 -m read
 
 
 # Login only(cache cookies)
-$ kuport --id jx91234
+kuport --id=jx91234
 
 
-# Download file manually
-$ kuport --download URL --output-file FILE
+# Download URL as NAME
+kuport --download=NAME:URL
 
 
 # Download message attachment
-$ json="$(kuport --id jx91234 -m | jq '.[0].links')"
-$ kuport --download "$json"
+json="$(kuport --id jx91234 -m | jq '.[0].links')"
+kuport --download="$json"
 
 
 # Interactively download message attachment
-$ go get github.com/simeji/jid/cmd/jid
-$ kuport --download "$(kuport --id jx91234 -m | jid)"
+go get github.com/simeji/jid/cmd/jid
+kuport --download="$(kuport --id jx91234 -m | jid)"
 
 # Download specific subjects materials
-kuport --materials | jq 'map(select( .["subject"] | test("^Computer") ).links | .[])' | kuport --download
+kuport --materials | kuport --filter='subject:Computer' | kuport --download
 USAGE
 
 def debug?
@@ -43,6 +44,17 @@ end
 
 require 'pry' if debug?
 
+$kuport_human_readable = STDOUT.tty?
+RC_FILE = File.expand_path('~/.kuportrc.json')
+
+def putj(obj)
+  if $kuport_human_readable
+    puts JSON.pretty_generate(obj)
+  else
+    puts obj.to_json
+  end
+end
+
 parser = OptionParser.new do |o|
   def o.options
     @options ||= {}
@@ -64,22 +76,23 @@ parser = OptionParser.new do |o|
   # sumarry_width=32, summary_indent=' '*4,
 
 
-  o.on_setopt(:id,            '-I', '--id ID', 'Student number')
-  o.on_setopt(:download,      '-D', '--download=[-|URL|JSON]',
+  o.on_setopt(:id,            '-I', '--id=ID', 'Student number')
+  o.on_setopt(:filter,        '-F', '--filter=KEY:PATTERN', 'Filter JSON contents')
+  o.on_setopt(:download,      '-D', '--download=[-|NAME:URL|JSON]',
               'Download file.',
-              'URL need --output-file',
+              'Download URL file as NAME',
               'JSON contain [{name: "FILE", path: "URL"}, ...]',
-              "'-' read URL|JSON from stdin"){|v| v || '-'}
-  o.on_setopt(:output_file,   '-O', '--output-file FILE', 'Specify destination filename')
+              "'-' read NAME:URL or JSON from stdin"){|v| v || '-'}
   o.on_setopt(:clear_cookies, '-C', '--clear-cookies')
-  o.on_setopt(:proxy,         '-P', '--proxy SERVER:PORT')
+  o.on_setopt(:proxy,         '-P', '--proxy=SERVER:PORT')
+  o.on_setopt(:human_readable,'-H', '--[no-]human-readable'){|v| $kuport_human_readable = v}
   o.separator('')
 
-  o.on_select(:messages, '-m', '--messages [TYPE]', %i[default read backno],
+  o.on_select(:messages, '-m', '--messages=[TYPE]', %i[default read backno],
               "read\tAlready read messages",
               "backno\tBack number messages(Unimplemented)")
-  o.on_select(:timetable, '-t', '--timetable [TYPE]', %i[default compact])
-  o.on_select(:materials, '-d', '--materials [TYPE]', %i[default])
+  o.on_setopt(:materials, '-d', '--materials')
+  o.on_select(:timetable, '-t', '--timetable=[TYPE]', %i[default compact])
   o.separator('')
 
   o.separator('')
@@ -88,7 +101,14 @@ end
 
 ARGV << '--help' if ARGV.empty?
 parser.permute!(ARGV)
-opts= parser.options
+opts = parser.options
+
+# read config
+config = {}
+if File.readable?(RC_FILE)
+  config = JSON.parse(File.read(RC_FILE), {symbolize_names: true})
+end
+config.each{|k,v| opts[k] = config[k] unless opts.has_key?(k)}
 
 if debug?
   warn "opts #{opts}"
@@ -96,21 +116,34 @@ if debug?
 end
 
 # kp = KuportView.new
-kp = Kuport.new(proxy: opts[:proxy])
+kp = Kuport.new(opts)
 
 if opts[:clear_cookies]
   kp.cookies_clear
   exit unless opts[:id]
 end
 
+if opts[:filter]
+  key,pattern = opts[:filter].split(':', 2)
+  putj Kuport.filter(key, pattern)
+  exit
+end
+
 if opts[:id]
   kp.login(opts[:id])
 end
 
 if opts[:download]
-  Kuport.quit('Need --output-file', 20) if opts[:download].url? && opts[:output_file].nil?
   opts[:download] = STDIN.read if opts[:download] == '-'
-  kp.download(opts[:download], opts[:output_file])
+
+  name,url = opts[:download].split(':', 2)
+  if url.url?
+    # NAME:URL
+    kp.download_file(name, url)
+  else
+    # JSON
+    kp.download_with_json(opts[:download])
+  end
 end
 
 # get data
@@ -128,20 +161,20 @@ if opts[:messages]
     kp.messages_backno
   end
 
-  puts mes.to_json
+  putj mes
 end
 
 # timetable
 if opts[:timetable]
   table = kp.timetable
   table.compact if opts[:timetable] == :compact
-  puts table.to_json
+  putj table
 end
 
 # materials
-if opts[:materials]
+if opts.has_key?(:materials)
   mat = kp.materials
-  puts mat.to_json
+  putj mat
 end
 
 if debug?

data/lib/kuport.rb

@@ -33,12 +33,16 @@ class Kuport
   @@cookies_file = File.join(@@cache_dir, 'cookies.jar')
   FileUtils.mkdir_p(@@cache_dir)
 
-  def initialize(proxy: nil)
+  def initialize(**opts)
     agent.html_parser = self.class
     cookies_load
 
-    proxy ||= Kuport.get_proxy_env_var
-    if proxy
+    # If proxy is blank, don't use proxy
+    proxy = opts.key?(:proxy) ? opts[:proxy] : Kuport.get_proxy_env_var
+
+    if proxy.blank?
+      Kuport.clear_proxy_env_var
+    else
       agent.set_proxy(*Kuport.parse_proxy_str(proxy))
     end
   end
@@ -133,26 +137,39 @@ class Kuport
     DownloadError.new(file_path)
   end
 
-  # url_or_json is "http://....", {name:, path:}, or [{name:, path:}, ...]
-  # If url_or_json is URL, need file_path
-  def download(url_or_json, file_path=nil)
-    if url_or_json.url?
-      download_file(file_path, url_or_json)
-      return
+  # json is {name:, path:} or [{name:, path:}, ...]
+  def download_with_json(json_str)
+    h = JSON.parse(json_str, {symbolize_names: true})
+    find_links(h).each do |h|
+      download_file(h[:name], h[:path])
+      puts h[:name]
     end
 
-    json = JSON.parse(url_or_json, {symbolize_names: true})
-    if Array === json
-      json.each do |link|
-        download_file(link[:name], link[:path])
-        puts link[:name]
+  rescue JSON::ParserError
+    raise DownloadError.new("JSON parse error '#{json}'")
+  end
+
+  # Takeout pair of :name and ;path recursively
+  def find_links(j)
+    links = []
+
+    if j.is_a?(Array)
+      j.each{|v| links.push(*find_links(v))}
+    elsif j.is_a?(Hash)
+      link = j.take_with_keys(:name, :path)
+      links.push(link) if link
+
+      j.each do |_,v|
+        links.push(*find_links(v)) if v.is_a?(Array) || v.is_a?(Hash)
       end
-    else
-      download_file(json[:name], json[:path])
     end
 
-  rescue JSON::ParserError
-    raise DownloadError.new("JSON parse error '#{url_or_json}'")
+    return links
+  end
+
+  # return Hash
+  def self.filter(key, pattern)
+    JSON.load(STDIN.read).select{|m| m[key].to_s.match?(pattern)}
   end
 
   # html parser for Mechanize. force encode to UTF-8

data/lib/kuport/helper.rb

@@ -52,7 +52,13 @@ class Kuport
     end
 
     def parse_proxy_str(str)
-      str.split(':')[0..1]
+      str = 'http://' + str if str !~ /\A\w+:\/\//
+      u = URI.parse(str)
+      [u.host, u.port]
+    end
+
+    def clear_proxy_env_var
+      ENV.delete_if{|k,v| k =~ /_proxy/i }
     end
   end
 
@@ -77,6 +83,14 @@ class Kuport
       end
     end
 
+    refine Hash do
+      def take_with_keys(*keys)
+        ret = {}
+        keys.each{|k| ret[k] = self.delete(k) if self.key?(k)}
+        return ret.empty? ? nil : ret
+      end
+    end
+
     refine Nokogiri::XML::Node do
       def br_to_return
         self.search('br').each{|br| br.replace("\n")}

data/lib/kuport/materials.rb

@@ -1,4 +1,3 @@
-require 'pry'
 class Kuport::Materials
   using Kuport::ClassExtensions
   attr_reader :trs, :base_url
@@ -19,7 +18,7 @@ class Kuport::Materials
      teacher: tds[2].text,
      title:   tds[3].text,
      period:  tds[4].text,
-     state:   tds[5].text,
+     downloaded: (tds[5].text == 'ダウンロード済み'),
      links:   tds[6].css('li').map{|li| parse_link(li)},}.freeze
   end
 

data/lib/kuport/timetable.rb

@@ -83,7 +83,7 @@ class Kuport::Timetable
     @data_str = to_h.to_s
   end
 
-  def to_json
-    @data_json ||= to_h.to_json
+  def to_json(*a)
+    @data_json ||= to_h.to_json(*a)
   end
 end

data/lib/kuport/version.rb

@@ -1,3 +1,3 @@
 class Kuport
-  VERSION = '0.1.4'
+  VERSION = '0.1.5'
 end

metadata

@@ -1,14 +1,14 @@
 --- !ruby/object:Gem::Specification
 name: kuport
 version: !ruby/object:Gem::Version
-  version: 0.1.4
+  version: 0.1.5
 platform: ruby
 authors:
 - u+
 autorequire: 
 bindir: bin
 cert_chain: []
-date: 2017-07-21 00:00:00.000000000 Z
+date: 2017-07-27 00:00:00.000000000 Z
 dependencies:
 - !ruby/object:Gem::Dependency
   name: nokogiri