ameblogazo 0.0.1 → 0.0.2

data/README.rdoc

@@ -1,34 +1,35 @@
 = Ameblogazo
 
-アメーバブログの画像のダウンロードを簡単にしてくれるツールとライブラリ。
+アメーバブログの画像をダウンロードするツールとライブラリ。
 
 == Installing
 
  gem install ameblogazo
 
-dependencies: nokogiri
+dependencies: capybara, capybara-webkit, headless
 
-== Using tool
+require: qt-devel qt-webkit-devel > 4.7, Xvfb
 
-画像を全てダウンロード
- ameblogazo -i ameba_id -d /tmp -c date
+== Using
 
-画像を新しいものから10個ダウンロード
- ameblogazo -i ameba_id -d /tmp -c date -n 10
+画像を最新のものから指定枚数だけダウンロード
+ ameblogazo -i ameba_id -d /tmp -n 10
+
+指定した場所に保存されている画像と同一のものが見つかるまでダウンロード
+ ameblogazo -i ameba_id -d /tmp
 
 オプションの説明
  -i アメーバIDを指定
  -d 保存先ディレクトリを指定
  -c カテゴライズ設定(title or date)。デフォルトは無効。titleは記事タイトル毎に分類。dateは日付で分類。
- -n ダウンロードする画像の枚数を指定
- -p まだダウンロードしてない画像だけダウンロードする
+ -n 画像の枚数を指定
+ -s SeleniumDriverを使用
 
-== Using library
+== Library
 
 サンプル
  require 'ameblogazo'
- Ameblogazo.download(:ameba_id=>'ameba_id', :dir=>'/tmp', :categorize=>'date', :num=>10)
- Ameblogazo.download_periodic(:ameba_id=>'ameba_id', :dir=>'/tmp', :categorize=>'date')
+ Ameblogazo.download(:ameba_id=>'ameba_id', :dir=>'/tmp', :num=>10, :selenium=>true)
 
 == Copyright
 

data/ameblogazo.gemspec

@@ -21,5 +21,8 @@ Gem::Specification.new do |s|
   # specify any dependencies here; for example:
   # s.add_development_dependency "rspec"
   # s.add_runtime_dependency "rest-client"
-  s.add_dependency('nokogiri')
+  s.add_dependency('capybara')
+  s.add_dependency('capybara-webkit')
+  s.add_dependency('headless')
+  s.add_development_dependency('rspec')
 end

data/bin/ameblogazo

@@ -3,28 +3,27 @@
 
 require "ameblogazo"
 require "optparse"
+require "headless"
 
-opts = {}
-op = OptionParser.new do |opt|
-  opt.on('-i ID', '--ameba-id=ID', 'アメーバIDを指定') {|v| opts[:ameba_id] = v}
-  opt.on('-d DIR', '--dir=DIR', '画像の保存先ディレクトリを指定') {|v| opts[:dir] = v}
-  opt.on('-c TYPE', '--categorize=TYPE', ['title', 'date'], 'カテゴライズ(title or date)を指定') {|v| opts[:categorize] = v}
-  opt.on('-n NUM', '--num=NUM', '画像の枚数を指定。指定がないと全て取得') {|v| opts[:num] = v}
-  opt.on('-p', '--periodic', 'ダウンロード済みの画像が見つかるまで取得') {|v| opts[:periodic] = v}
-
-  opt.parse!
-end
-if opts.empty?
-  puts op
-  exit
-end
-
-begin
-  if opts[:periodic]
-    Ameblogazo.download_periodic(opts)
-  else
-    Ameblogazo.download(opts)
-  end
-rescue => ex
-  puts ex.message
+Headless.ly do
+    opts = {}
+    op = OptionParser.new do |opt|
+      opt.on('-i ID', '--ameba-id=ID', 'アメーバIDを指定') {|v| opts[:ameba_id] = v}
+      opt.on('-d DIR', '--dir=DIR', '画像の保存先ディレクトリを指定') {|v| opts[:dir] = v}
+      opt.on('-c TYPE', '--categorize=TYPE', ['title', 'date'], 'カテゴライズ(title, date)を指定') {|v| opts[:categorize] = v}
+      opt.on('-n NUM', '--num=NUM', '画像の枚数を指定') {|v| opts[:num] = v}
+      opt.on('-s', '--selenium', 'selenium driverを使用') {|v| opts[:selenium] = true}
+      
+      opt.parse!
+    end
+    if opts.empty?
+      puts op
+      exit
+    end
+    
+    begin
+      Ameblogazo.download(opts)
+    rescue => ex
+      puts ex.message
+    end
 end

data/lib/ameblogazo.rb

@@ -1,14 +1,34 @@
 # coding: utf-8
 require "ameblogazo/version"
 require 'open-uri'
-require 'nokogiri'
 require 'fileutils'
+require 'capybara'
+require 'capybara/dsl'
+require 'capybara-webkit'
 
 module Ameblogazo
   class Gazo
     class GazoException < StandardError
     end
     
+    class Driver
+      include Capybara::DSL
+    end
+
+    class WebkitDriver < Driver
+      def initialize()
+        Capybara.default_driver = :webkit
+        Capybara.javascript_driver = :webkit
+      end
+    end
+
+    class SeleniumDriver < Driver
+      def initialize()
+        Capybara.default_driver = :selenium
+        Capybara.javascript_driver = :selenium
+      end
+    end
+    
     # オプションチェック
     def _check_options(options)
       if options.nil? or !options.is_a?(Hash)
@@ -28,6 +48,15 @@ module Ameblogazo
       options
     end
     
+    # driver初期化
+    def _init_driver(selenium)
+      if selenium
+        @driver = SeleniumDriver.new
+      else
+        @driver = WebkitDriver.new
+      end
+    end
+    
     # 一番最初の画像のURLを取得する
     def _find_image_url(ameba_id)
       puts "検索中..."
@@ -43,6 +72,12 @@ module Ameblogazo
           end
           doc = Nokogiri::HTML(html)
           
+          # 有効なameba_idか確認
+          sorry = doc.xpath("//body[@class='sorry']")
+          unless sorry.empty?
+            raise GazoException, "存在しないIDです"
+          end
+          
           a = doc.xpath("//a")
           a.each do |node|
             if /http:\/\/ameblo.jp\/#{ameba_id}\/image-\d{11}-\d{11}.html/ =~ node[:href]
@@ -59,155 +94,129 @@ module Ameblogazo
       end
       image_url
     end
-  
-    # カテゴライズしたパスを返す
-    def _categorize(dir, categorize, img)
+    
+    # ダウンロード対象のURLや保存先を取得
+    def _get_info(dir, categorize)
+      img = @driver.find(:xpath, '//img[@id="imgItem"]')
+      download_url = img[:src]
+      filename = File.basename(download_url)
+      title = @driver.find("#entryLink").text
+      date = download_url[/\d{8}/]
+      
       # カテゴリー分け（タイトルとか日付）
       if categorize == "title"
-        title = img[:alt]
         dir = "#{dir}/#{title}"
       elsif categorize == "date"
-        if /http:\/\/stat.ameba.jp\/user_images\/(\d{8})\/.*/ =~ img[:src]
-          date = $1
+        if date
           dir = "#{dir}/#{date}"
         else
-          print "うまく日付がとれなかったのでカテゴライズせずに保存します\n"
+          puts "うまく日付がとれなかったのでカテゴライズせずに保存します"
         end
       end
-      dir
-    end
-    
-    # ダウンロード対象のドキュメントを取得
-    def _download_doc(url)
-      html = open(url)
-      doc = Nokogiri::HTML(html)
+      
+      # ディレクトリが存在しなければ作成する
+      unless File.directory?(dir)
+        print "ディレクトリを作成します #{dir}\n"
+        FileUtils.mkdir_p(dir)
+      end
+      download_file = "#{dir}/#{filename}"
+      {:url=>download_url, :file=>download_file, :title=>title, :date=>date}
     end
-    
-    # ダウンロード対象のURLや保存先を取得
-    def _download_info(doc, dir, categorize)
-      img = doc.xpath('//img[@id="centerImg"]')
-      unless img.empty?
-        download_url = img[0][:src]
-        filename = File.basename(download_url)
-        
-        # カテゴリー分け（タイトルとか日付）
-        dir = _categorize(dir, categorize, img[0])
         
-        # ディレクトリが存在しなければ作成する
-        unless File.directory?(dir)
-          print "ディレクトリを作成します #{dir}\n"
-          FileUtils.mkdir_p(dir)
-        end
-        download_file = "#{dir}/#{filename}"
-        return {:url=>download_url, :file=>download_file}
-      end
-      return {}
+    # 次にダウンロードするべき画像を開く
+    def _next_page()
+      @driver.find("#nextNavi").click
     end
-    
-    # 画像本体をダウンロード
-    def _download_img(url, file)
+
+    # 画像をダウンロードして保存
+    def _save_img(url, file)
       open(url) do |doc|
         open(file, 'w') do |fp|
           fp.print doc.read
         end
       end
       filename = File.basename(file)
-      print "#{filename} をダウンロードしました\n"
+      puts "#{filename} を保存しました"
     end
     
-    # 次にダウンロードするべきURLを取得する
-    def _download_next_url(doc)
-      a = doc.xpath('//a[@id="imgLink"]')
-      unless a.empty?
-        image_url = a[0][:href] # 次の画像URL
-      end
-    end
-    
-    # 指定URLの物を保存する
-    def _download(url, dir, categorize)
-      doc = _download_doc(url)
-      info = _download_info(doc, dir, categorize)
-  
-      if File.exists?(info[:file])
-        print "もうダウロード済みみたいです\n"
-      else
-        _download_img(info[:url], info[:file])
-      end
-      _download_next_url(doc)
-    end
-    
-    # ダウンロード済みの画像をみつけたら止める
-    def _download_periodic(url, dir, categorize)
-      doc = _download_doc(url)
-      info = _download_info(doc, dir, categorize)
-  
-      if File.exists?(info[:file])
-        print "ダウロード済みの見つけたので終了します\n"
-        return nil
-      else
-        _download_img(info[:url], info[:file])
-      end
-      _download_next_url(doc)
-    end
-  
-    # 画像を取得する
+    # 画像を保存する
     # :ameba_id => アメーバID
     # :dir => 保存先ディレクトリ
     # :categorize => タイトル毎などに分類する（デフォルト無効）[nil, "title", "date"]
     # :num => 取得する枚数（新しいものから順番に）[数値]
-    def get(options)
+    def fetch(options)
       options = _check_options(options)
       ameba_id = options[:ameba_id]
       categorize = options[:categorize]
       dir = options[:dir]
       num = options[:num]
       
-      image_url = _find_image_url(ameba_id)
+      # driver初期化
+      _init_driver(options[:selenium])
       
-      if num
-        num.times do |i|
-          # 最初にみつけた画像から次の画像へと順番にたどってく
-          image_url = _download(image_url, dir, categorize)
-          break if image_url.nil?
-          sleep(0.3)
-        end
-      else
-        loop do
-          # 最初にみつけた画像から次の画像へと順番にたどってく
-          image_url = _download(image_url, dir, categorize)
-          break if image_url.nil?
-          sleep(0.3)
+      # 画像ページに移動
+      @driver.visit(_find_image_url(ameba_id))
+      
+      # 最初にみつけた画像から次の画像へと順番にたどってく
+      info_list = []
+      loop.with_index do |_, i|
+        break if i == num # 指定枚数で終了
+        info = _get_info(dir, categorize)
+        break if !info_list[0].nil? and info_list[0][:file] == info[:file]
+        info_list.push(info)
+        
+        if File.exists?(info[:file])
+          if num
+            puts "既にダウンロードされている画像です"
+          else
+            puts "ダウンロード済みの画像が見つかったので終了します"
+            break
+          end
+        else
+          _save_img(info[:url], info[:file])
         end
+        _next_page
+        sleep(0.5)
       end
     end
     
-    # 取得済みの画像がみつかるまで新しいものから順番に画像を取得する
-    # 毎日定期的に取得したいひと向け
-    def get_periodic(options)
+    # 画像の情報を取得する
+    def info(options)
       options = _check_options(options)
       ameba_id = options[:ameba_id]
       categorize = options[:categorize]
       dir = options[:dir]
+      num = options[:num]
+      
+      # driver初期化
+      _init_driver(options[:selenium])
+      
+      # 画像ページに移動
+      @driver.visit(_find_image_url(ameba_id))
       
-      image_url = _find_image_url(ameba_id)
-      loop do
-        # 最初にみつけた画像から次の画像へと順番にたどってく
-        image_url = _download_periodic(image_url, dir, categorize)
-        break if image_url.nil?
-        sleep(0.3)
+      # 最初にみつけた画像から次の画像へと順番にたどってく
+      info_list = []
+      loop.with_index do |a, i|
+        break if i == num # 指定枚数で終了
+        info = _get_info(dir, categorize)
+        break if !info_list[0].nil? and info_list[0][:file] == info[:file]
+        info_list.push(info)
+        _next_page
+        sleep(0.5)
       end
+      info_list
     end
   end
   
   def download(options)
     gazo = Gazo.new
-    gazo.get(options)
+    gazo.fetch(options)
   end
   
-  def download_periodic(options)
+  def info(options)
     gazo = Gazo.new
-    gazo.get_periodic(options)
+    gazo.info(options)
   end
   
-  module_function :download, :download_periodic
+  module_function :download, :info
 end

data/lib/ameblogazo/version.rb

@@ -1,3 +1,3 @@
 module Ameblogazo
-  VERSION = "0.0.1"
+  VERSION = "0.0.2"
 end

data/spec/ameblogazo_spec.rb

@@ -0,0 +1,47 @@
+# coding: utf-8
+require 'spec_helper'
+
+describe Ameblogazo::Gazo do
+  before(:all) do
+    @gazo = Ameblogazo::Gazo.new
+  end
+
+  describe "オプションをチェックするとき" do
+    it "nilだったら例外を投げること" do
+      expect{ @gazo._check_options(nil) }.to raise_error(Ameblogazo::Gazo::GazoException)
+    end
+    it "ディレクトリが指定されていなかったら例外を投げること" do
+      options = {}
+      expect{ @gazo._check_options(options) }.to raise_error(Ameblogazo::Gazo::GazoException)
+    end
+    it "枚数指定の値が数値以外だったら例外を投げること" do
+      options = {:dir=>'/tmp', :num=>'abc'}
+      expect{ @gazo._check_options(options) }.to raise_error(Ameblogazo::Gazo::GazoException)
+    end
+  end
+  
+  describe "最初の画像のURLを取得するとき" do
+    it "無効なIDが渡されたら例外を投げること" do
+      expect{ @gazo._find_image_url("ameblogazotest") }.to raise_error(Ameblogazo::Gazo::GazoException)
+    end
+    
+    it "返ってくる値がnilではないこと" do
+      @gazo._find_image_url("staff").nil?.should == false
+    end
+  end
+  
+  describe "画像をダウンロードするとき" do
+    before(:all) do
+      url = @gazo._find_image_url("staff")
+      @gazo.instance_eval{@driver.visit(url)}
+    end
+    
+    it "ダウンロードURLや保存先が取得できること" do
+      @gazo._get_info("/tmp", "title").empty?.should == false
+    end
+    
+    it "次の画像に移動できること" do
+      @gazo._next_page
+    end
+  end
+end

data/spec/spec_helper.rb

@@ -0,0 +1,22 @@
+# This file was generated by the `rspec --init` command. Conventionally, all
+# specs live under a `spec` directory, which RSpec adds to the `$LOAD_PATH`.
+# Require this file using `require "spec_helper"` to ensure that it is only
+# loaded once.
+#
+$LOAD_PATH.unshift(File.join(File.dirname(__FILE__), '..', 'lib'))
+$LOAD_PATH.unshift(File.dirname(__FILE__))
+require 'rspec'
+require 'ameblogazo'
+
+# See http://rubydoc.info/gems/rspec-core/RSpec/Core/Configuration
+RSpec.configure do |config|
+  config.treat_symbols_as_metadata_keys_with_true_values = true
+  config.run_all_when_everything_filtered = true
+  config.filter_run :focus
+
+  # Run specs in random order to surface order dependencies. If you find an
+  # order dependency and want to debug it, you can fix the order by providing
+  # the seed, which is printed after each run.
+  #     --seed 1234
+  config.order = 'random'
+end

metadata

@@ -1,7 +1,7 @@
 --- !ruby/object:Gem::Specification
 name: ameblogazo
 version: !ruby/object:Gem::Version
-  version: 0.0.1
+  version: 0.0.2
   prerelease: 
 platform: ruby
 authors:
@@ -9,11 +9,11 @@ authors:
 autorequire: 
 bindir: bin
 cert_chain: []
-date: 2012-05-09 00:00:00.000000000Z
+date: 2012-12-09 00:00:00.000000000Z
 dependencies:
 - !ruby/object:Gem::Dependency
-  name: nokogiri
-  requirement: &85180950 !ruby/object:Gem::Requirement
+  name: capybara
+  requirement: &69325480 !ruby/object:Gem::Requirement
     none: false
     requirements:
     - - ! '>='
@@ -21,7 +21,40 @@ dependencies:
         version: '0'
   type: :runtime
   prerelease: false
-  version_requirements: *85180950
+  version_requirements: *69325480
+- !ruby/object:Gem::Dependency
+  name: capybara-webkit
+  requirement: &69325180 !ruby/object:Gem::Requirement
+    none: false
+    requirements:
+    - - ! '>='
+      - !ruby/object:Gem::Version
+        version: '0'
+  type: :runtime
+  prerelease: false
+  version_requirements: *69325180
+- !ruby/object:Gem::Dependency
+  name: headless
+  requirement: &69324970 !ruby/object:Gem::Requirement
+    none: false
+    requirements:
+    - - ! '>='
+      - !ruby/object:Gem::Version
+        version: '0'
+  type: :runtime
+  prerelease: false
+  version_requirements: *69324970
+- !ruby/object:Gem::Dependency
+  name: rspec
+  requirement: &69324760 !ruby/object:Gem::Requirement
+    none: false
+    requirements:
+    - - ! '>='
+      - !ruby/object:Gem::Version
+        version: '0'
+  type: :development
+  prerelease: false
+  version_requirements: *69324760
 description: get ameba blog images
 email:
 - labs.ninxit@gmail.com
@@ -38,6 +71,8 @@ files:
 - bin/ameblogazo
 - lib/ameblogazo.rb
 - lib/ameblogazo/version.rb
+- spec/ameblogazo_spec.rb
+- spec/spec_helper.rb
 homepage: ''
 licenses: []
 post_install_message: 
@@ -62,4 +97,6 @@ rubygems_version: 1.8.10
 signing_key: 
 specification_version: 3
 summary: get ameba blog images
-test_files: []
+test_files:
+- spec/ameblogazo_spec.rb
+- spec/spec_helper.rb