kuport 0.1.3 → 0.1.4

checksums.yaml

@@ -1,7 +1,7 @@
 ---
 SHA1:
-  metadata.gz: '09933c776425e2797ca5417a12169973e58bec6d'
-  data.tar.gz: c2c4e55c869209bd8566aeb6a14ebeefdb26bfff
+  metadata.gz: 6841261656c40a5000fc5833d9e523af4175fd0a
+  data.tar.gz: 6acf47faf6733559a31ef6e5739f770eb9155456
 SHA512:
-  metadata.gz: 51609eb452209a4df36231c24c816e8157fb89a474baaf2fcc002bda23989779801b25d8a7580d9db100fce20af815c261278677b0ea7bb491d0cab4040e08c5
-  data.tar.gz: 3d55569ca8bc12517e9e027cfb7d6a9053054cd5563ff814a52c50841ad1f7089a8de71e23d4ef54fc42c87669237af002d98f0d53dc6fe100d950c6cc3d11fc
+  metadata.gz: d38df664332a587adcb785f1f2979bded64284cb6e86ef22cf7fb4647945749d201180490c3cd5be7e6a1d6391d945c9930125b0d78d8f3a8b9ef40088c3356d
+  data.tar.gz: dafed4261b2058fc94ef504d7ff03d84f1faa6d5d17741bb8788113bac5e869b9c7681c5de5466a7009ff7de9b92079a1f3522690ac0ff061912ef1335a5bca4

data/README.md

@@ -10,7 +10,7 @@ $ gem install kuport
 
 ## Usage
 
-###Command
+### Command
 
 端末でjsonを読むには`jid`がおすすめ。   
 
@@ -23,45 +23,52 @@ $ cat sample.json | jid
 
 一度ログインすればキャッシュが効くので、暫くは`--id`とパスワード入力は不要。  
 
+`--download`で複数のファイルを一括で落とすにはjqなどで上手くフィルタして`name`と`path`を含むディクショナリのリストを取り出す必要がある。  
+`[{name: 'Name', path: 'https://~~'}, ...]`  
 
 ```bash 
 # 個人宛メッセージ取得
-$ kuport --id jx91234 -m
+kuport --id jx91234 -m
 
 
 # 個人宛メッセージ(既読)取得
-$ kuport --id jx91234 -m read
+kuport --id jx91234 -m read
 
 
 # ログインのみ(一度ログインするとCookieがキャッシュされる)
-$ kuport --id jx91234
+kuport --id jx91234
 
 
-# キューポートからファイルをダウンロード
-$ kuport --download URL --output-file FILE
+# キューポートからファイルを1つダウンロード
+kuport --download URL --output-file FILE
 
 
 # メッセージの添付ファイルをまとめてダウンロード(jqでjsonパース)
-$ json="$(kuport --id jx91234 -m | jq '.[0].links')"
-$ kuport --download "$json"
+kuport --id jx91234 -m | jq '.[0].links' | kuport --download
 
 
 # 動的にダウンロードするファイルを選択
-$ kuport --download "$(kuport --id jx91234 -m | jid)"
+kuport --id jx91234 -m | jid | kuport --download
 
 
 # 時間割取得
-$ kuport -t
+kuport -t
+
+
+# 電子教材の特定の科目をダウンロード
+kuport --materials | jq 'map(select( .["subject"] | test("^線形代数") ).links | .[])' | kuport --download
+
 ```
 
-###Library
+### Library
 ```ruby 
-require 'kuport' 
-kp = Kuport.new 
+require 'kuport'
+kp = Kuport.new
 kp.login('jx91234')
 
 messages = kp.messages
 timetable = kp.timetable
+materials = kp.materials
 
 m = messages[0]
 puts m.title, m.body, m.links
@@ -71,17 +78,19 @@ puts messages.to_json
 timetable.compact
 puts timetable.to_json
 
+puts materials.to_json
+
 kp.download(url, name)
 kp.download([{name: 'File.pdf', path: 'https://example.com/file.pdf'}, ])
 
 kp.cookies_clear
 ```
 
-##Formats
+## Formats
 
-###message
+### message
 
-```json 
+```
 [
   {
     "title": "おしらせ その1",
@@ -107,7 +116,7 @@ kp.cookies_clear
 ```
 
 
-###timetable 
+### timetable
 
 | 要素    | 中身                     |
 |---------|--------------------------|
@@ -117,7 +126,7 @@ kp.cookies_clear
 | special | 集中講義など             |
 
 
-```json 
+```
 {
   "year": "2022年",
   "dates": [
@@ -125,22 +134,9 @@ kp.cookies_clear
       "date": "12月19日 月",
       "special": null
     },
-    {
-      "date": "12月20日 火",
-      "special": null
-    },
-    {
-      "date": "12月21日 水",
-      "special": null
-    },
-    {
-      "date": "12月22日 木",
-      "special": null
-    },
-    {
-      "date": "12月23日 金",
-      "special": "天皇誕生日"
-    },
+    .
+    .
+    .
     {
       "date": "12月24日 土",
       "special": null
@@ -160,30 +156,9 @@ kp.cookies_clear
         "period": null,
         "status": []
       },
-      {
-        "name": "English",
-        "room": "13-8",
-        "period": "Q2",
-        "status": []
-      },
-      {
-        "name": null,
-        "room": null,
-        "period": null,
-        "status": []
-      },
-      {
-        "name": "IT",
-        "room": "QA",
-        "period": null,
-        "status": []
-      },
-      {
-        "name": null,
-        "room": null,
-        "period": null,
-        "status": []
-      },
+      .
+      .
+      .
       {
         "name": null,
         "room": null,
@@ -202,7 +177,33 @@ kp.cookies_clear
 
 ```
 
-###download 
+### materials
+
+```
+[
+  {
+    "subject": "世界一スゴイ講義",
+    "teacher": "スゴイ先生",
+    "title": "第100回目資料",
+    "period": "2117/04/04 〜 2117/08/20",
+    "state": "未ダウンロード",
+    "links": [
+      {
+        "name": "講義資料.pdf",
+        "path": "http://example.com/abc.pdf"
+      }
+      .
+      .
+      .
+    ]
+  },
+  .
+  .
+  .
+]
+```
+
+### download
 
 | 形式       | 説明          | 例                                                               |
 |------------|---------------|------------------------------------------------------------------|
@@ -211,11 +212,10 @@ kp.cookies_clear
 | JSON(配列) | 複数の要素    | [{"name": "img.png", "path": "http://example.com/efg.png"}, ...] |  
 
 
-
 ## Contributing
 
 バグがあったらお気軽にどうぞ。  
-コントリビューター募集中。   
+コントリビューター募集中。  
 
 
 ## License

data/bin/kuport

@@ -32,6 +32,9 @@ $ kuport --download "$json"
 # Interactively download message attachment
 $ go get github.com/simeji/jid/cmd/jid
 $ kuport --download "$(kuport --id jx91234 -m | jid)"
+
+# Download specific subjects materials
+kuport --materials | jq 'map(select( .["subject"] | test("^Computer") ).links | .[])' | kuport --download
 USAGE
 
 def debug?
@@ -51,7 +54,7 @@ parser = OptionParser.new do |o|
 
   # 候補からデフォルト値をセットする
   def o.on_select(symbol, short, long, cands, *desc)
-    on_setopt(symbol, short, long, cands, cands.join(' | '), *desc){|arg| arg ? arg : cands[0]}
+    on_setopt(symbol, short, long, cands, cands.join(' | '), *desc){|arg| arg || cands[0]}
   end
 
   o.program_name= 'kuport'
@@ -62,15 +65,21 @@ parser = OptionParser.new do |o|
 
 
   o.on_setopt(:id,            '-I', '--id ID', 'Student number')
-  o.on_setopt(:download,      '-D', '--download URL|JSON', 'Download file. URL needs --output-file')
-  o.on_setopt(:output_file,   '-O', '--output-file FILE')
+  o.on_setopt(:download,      '-D', '--download=[-|URL|JSON]',
+              'Download file.',
+              'URL need --output-file',
+              'JSON contain [{name: "FILE", path: "URL"}, ...]',
+              "'-' read URL|JSON from stdin"){|v| v || '-'}
+  o.on_setopt(:output_file,   '-O', '--output-file FILE', 'Specify destination filename')
   o.on_setopt(:clear_cookies, '-C', '--clear-cookies')
+  o.on_setopt(:proxy,         '-P', '--proxy SERVER:PORT')
   o.separator('')
 
   o.on_select(:messages, '-m', '--messages [TYPE]', %i[default read backno],
               "read\tAlready read messages",
               "backno\tBack number messages(Unimplemented)")
   o.on_select(:timetable, '-t', '--timetable [TYPE]', %i[default compact])
+  o.on_select(:materials, '-d', '--materials [TYPE]', %i[default])
   o.separator('')
 
   o.separator('')
@@ -87,7 +96,7 @@ if debug?
 end
 
 # kp = KuportView.new
-kp = Kuport.new
+kp = Kuport.new(proxy: opts[:proxy])
 
 if opts[:clear_cookies]
   kp.cookies_clear
@@ -129,6 +138,11 @@ if opts[:timetable]
   puts table.to_json
 end
 
+# materials
+if opts[:materials]
+  mat = kp.materials
+  puts mat.to_json
+end
 
 if debug?
   require 'pry'

data/lib/kuport.rb

@@ -3,8 +3,6 @@ require 'nokogiri'
 require 'open-uri'
 require 'fileutils'
 require 'json'
-require 'io/console'
-require 'nkf'
 
 require 'kuport/helper'
 
@@ -35,12 +33,18 @@ class Kuport
   @@cookies_file = File.join(@@cache_dir, 'cookies.jar')
   FileUtils.mkdir_p(@@cache_dir)
 
-  attr_reader :agent
-
-  def initialize
-    @agent = Mechanize.new
-    @agent.html_parser = self.class
+  def initialize(proxy: nil)
+    agent.html_parser = self.class
     cookies_load
+
+    proxy ||= Kuport.get_proxy_env_var
+    if proxy
+      agent.set_proxy(*Kuport.parse_proxy_str(proxy))
+    end
+  end
+
+  def agent
+    @agent ||= Mechanize.new
   end
 
   def self.module_url(*parts)
@@ -120,7 +124,7 @@ class Kuport
   end
 
   def materials
-    raise NotImplementedError.new('Kuport#materials') # TODO
+    @materials ||= Materials.new(get_module(:materials))
   end
 
   def download_file(file_path, url)
@@ -139,7 +143,10 @@ class Kuport
 
     json = JSON.parse(url_or_json, {symbolize_names: true})
     if Array === json
-      json.each{|link| download_file(link[:name], link[:path])}
+      json.each do |link|
+        download_file(link[:name], link[:path])
+        puts link[:name]
+      end
     else
       download_file(json[:name], json[:path])
     end
@@ -156,5 +163,6 @@ end
 
 require 'kuport/message'
 require 'kuport/timetable'
+require 'kuport/materials'
 require 'kuport/view'
 require 'kuport/version'

data/lib/kuport/helper.rb

@@ -1,4 +1,6 @@
-
+require 'uri'
+require 'nkf'
+require 'io/console'
 
 class Kuport
   module Helper
@@ -8,6 +10,10 @@ class Kuport
       uri.to_s
     end
 
+    def escape_filename(filename)
+      File.basename(filename.strip)
+    end
+
     def color_str(color_num, str)
       "\e[38;5;#{color_num}m#{str}\e[00m"
     end
@@ -36,6 +42,18 @@ class Kuport
       warn mes
       exit ret
     end
+
+    def get_proxy_env_var
+      keys = %w[ http_proxy https_proxy all_proxy ].map{|s| [s, s.upcase]}.flatten
+      keys.each do |key|
+        return ENV[key] if ENV.key?(key)
+      end
+      return nil
+    end
+
+    def parse_proxy_str(str)
+      str.split(':')[0..1]
+    end
   end
 
   module ClassExtensions

data/lib/kuport/materials.rb

@@ -0,0 +1,42 @@
+require 'pry'
+class Kuport::Materials
+  using Kuport::ClassExtensions
+  attr_reader :trs, :base_url
+
+  def initialize(page)
+    @trs = page.at_css('.portlet_module > table').css('tr')
+    trs.shift
+    @base_url = page.uri
+  end
+
+  def materials
+    @materials ||= trs.map{|tr| parse_table_line(tr)}.freeze
+  end
+
+  def parse_table_line(tr)
+    tds = tr.css('td')
+    {subject: tds[1].text,
+     teacher: tds[2].text,
+     title:   tds[3].text,
+     period:  tds[4].text,
+     state:   tds[5].text,
+     links:   tds[6].css('li').map{|li| parse_link(li)},}.freeze
+  end
+
+  def parse_link(link)
+    {name: Kuport.escape_filename(link.text),
+     path: Kuport.to_abs_url(base_url, link.at_css('a')[:href]),}.freeze
+  end
+
+  def to_h
+    materials
+  end
+
+  def to_s
+    @materials_s ||= materials.to_s
+  end
+
+  def to_json(*a)
+    @materials_json ||= to_h.to_json(*a)
+  end
+end

data/lib/kuport/message.rb

@@ -50,7 +50,8 @@ class Kuport::Message
   end
 
   def parse_link(elem)
-    {name: elem.text, path: Kuport.to_abs_url(base_url, elem[:href])}.freeze
+    {name: Kuport.escape_filename(elem.text),
+     path: Kuport.to_abs_url(base_url, elem[:href])}.freeze
   end
 
   def to_h

data/lib/kuport/version.rb

@@ -1,3 +1,3 @@
 class Kuport
-  VERSION = '0.1.3'
+  VERSION = '0.1.4'
 end

metadata

@@ -1,14 +1,14 @@
 --- !ruby/object:Gem::Specification
 name: kuport
 version: !ruby/object:Gem::Version
-  version: 0.1.3
+  version: 0.1.4
 platform: ruby
 authors:
 - u+
 autorequire: 
 bindir: bin
 cert_chain: []
-date: 2017-04-01 00:00:00.000000000 Z
+date: 2017-07-21 00:00:00.000000000 Z
 dependencies:
 - !ruby/object:Gem::Dependency
   name: nokogiri
@@ -83,6 +83,7 @@ files:
 - kuport.gemspec
 - lib/kuport.rb
 - lib/kuport/helper.rb
+- lib/kuport/materials.rb
 - lib/kuport/message.rb
 - lib/kuport/timetable.rb
 - lib/kuport/version.rb
@@ -107,7 +108,7 @@ required_rubygems_version: !ruby/object:Gem::Requirement
       version: '0'
 requirements: []
 rubyforge_project: 
-rubygems_version: 2.6.8
+rubygems_version: 2.6.11
 signing_key: 
 specification_version: 4
 summary: Kuport scraping library and command