ameblogazo 0.0.1

data/.gitignore

@@ -0,0 +1,5 @@
+*.gem
+.bundle
+Gemfile.lock
+pkg/*
+.project

data/Gemfile

@@ -0,0 +1,4 @@
+source "http://rubygems.org"
+
+# Specify your gem's dependencies in ameblogazo.gemspec
+gemspec

data/README.rdoc

@@ -0,0 +1,36 @@
+= Ameblogazo
+
+アメーバブログの画像のダウンロードを簡単にしてくれるツールとライブラリ。
+
+== Installing
+
+ gem install ameblogazo
+
+dependencies: nokogiri
+
+== Using tool
+
+画像を全てダウンロード
+ ameblogazo -i ameba_id -d /tmp -c date
+
+画像を新しいものから10個ダウンロード
+ ameblogazo -i ameba_id -d /tmp -c date -n 10
+
+オプションの説明
+ -i アメーバIDを指定
+ -d 保存先ディレクトリを指定
+ -c カテゴライズ設定(title or date)。デフォルトは無効。titleは記事タイトル毎に分類。dateは日付で分類。
+ -n ダウンロードする画像の枚数を指定
+ -p まだダウンロードしてない画像だけダウンロードする
+
+== Using library
+
+サンプル
+ require 'ameblogazo'
+ Ameblogazo.download(:ameba_id=>'ameba_id', :dir=>'/tmp', :categorize=>'date', :num=>10)
+ Ameblogazo.download_periodic(:ameba_id=>'ameba_id', :dir=>'/tmp', :categorize=>'date')
+
+== Copyright
+
+Copyright (c) 2012 utahta. See LICENSE.txt for
+further details.

data/Rakefile

@@ -0,0 +1 @@
+require "bundler/gem_tasks"

data/ameblogazo.gemspec

@@ -0,0 +1,25 @@
+# -*- encoding: utf-8 -*-
+$:.push File.expand_path("../lib", __FILE__)
+require "ameblogazo/version"
+
+Gem::Specification.new do |s|
+  s.name        = "ameblogazo"
+  s.version     = Ameblogazo::VERSION
+  s.authors     = ["utahta"]
+  s.email       = ["labs.ninxit@gmail.com"]
+  s.homepage    = ""
+  s.summary     = %q{get ameba blog images}
+  s.description = %q{get ameba blog images}
+
+  s.rubyforge_project = "ameblogazo"
+
+  s.files         = `git ls-files`.split("\n")
+  s.test_files    = `git ls-files -- {test,spec,features}/*`.split("\n")
+  s.executables   = `git ls-files -- bin/*`.split("\n").map{ |f| File.basename(f) }
+  s.require_paths = ["lib"]
+
+  # specify any dependencies here; for example:
+  # s.add_development_dependency "rspec"
+  # s.add_runtime_dependency "rest-client"
+  s.add_dependency('nokogiri')
+end

data/bin/ameblogazo

@@ -0,0 +1,30 @@
+#!/usr/bin/env ruby
+# coding: utf-8
+
+require "ameblogazo"
+require "optparse"
+
+opts = {}
+op = OptionParser.new do |opt|
+  opt.on('-i ID', '--ameba-id=ID', 'アメーバIDを指定') {|v| opts[:ameba_id] = v}
+  opt.on('-d DIR', '--dir=DIR', '画像の保存先ディレクトリを指定') {|v| opts[:dir] = v}
+  opt.on('-c TYPE', '--categorize=TYPE', ['title', 'date'], 'カテゴライズ(title or date)を指定') {|v| opts[:categorize] = v}
+  opt.on('-n NUM', '--num=NUM', '画像の枚数を指定。指定がないと全て取得') {|v| opts[:num] = v}
+  opt.on('-p', '--periodic', 'ダウンロード済みの画像が見つかるまで取得') {|v| opts[:periodic] = v}
+
+  opt.parse!
+end
+if opts.empty?
+  puts op
+  exit
+end
+
+begin
+  if opts[:periodic]
+    Ameblogazo.download_periodic(opts)
+  else
+    Ameblogazo.download(opts)
+  end
+rescue => ex
+  puts ex.message
+end

data/lib/ameblogazo.rb

@@ -0,0 +1,213 @@
+# coding: utf-8
+require "ameblogazo/version"
+require 'open-uri'
+require 'nokogiri'
+require 'fileutils'
+
+module Ameblogazo
+  class Gazo
+    class GazoException < StandardError
+    end
+    
+    # オプションチェック
+    def _check_options(options)
+      if options.nil? or !options.is_a?(Hash)
+        raise GazoException, "オプションがnil、もしくはハッシュじゃないです"
+      end
+      if options[:dir].nil?
+        raise GazoException, "ディレクトリ(:dir)を指定してください"
+      end
+      if options[:num]
+        options[:num] = options[:num].to_s
+        if (/^\d+$/ =~ options[:num]).nil?
+          raise GazoException, "数値じゃないです"
+          return
+        end
+        options[:num] = options[:num].to_i
+      end
+      options
+    end
+    
+    # 一番最初の画像のURLを取得する
+    def _find_image_url(ameba_id)
+      puts "検索中..."
+      image_url = nil
+      catch :image_found do
+        100.times do |i|
+          page = i+1
+          url = "http://ameblo.jp/#{ameba_id}/page-#{page}.html"
+          begin
+            html = open(url)
+          rescue
+            raise GazoException, "画像が見つからなかったです"
+          end
+          doc = Nokogiri::HTML(html)
+          
+          a = doc.xpath("//a")
+          a.each do |node|
+            if /http:\/\/ameblo.jp\/#{ameba_id}\/image-\d{11}-\d{11}.html/ =~ node[:href]
+              image_url = node[:href]
+              throw :image_found
+            end
+          end
+          sleep(0.1)
+        end
+      end
+      # 念のためチェック
+      if image_url.nil?
+        raise GazoException, "画像がみつからなかったです"
+      end
+      image_url
+    end
+  
+    # カテゴライズしたパスを返す
+    def _categorize(dir, categorize, img)
+      # カテゴリー分け（タイトルとか日付）
+      if categorize == "title"
+        title = img[:alt]
+        dir = "#{dir}/#{title}"
+      elsif categorize == "date"
+        if /http:\/\/stat.ameba.jp\/user_images\/(\d{8})\/.*/ =~ img[:src]
+          date = $1
+          dir = "#{dir}/#{date}"
+        else
+          print "うまく日付がとれなかったのでカテゴライズせずに保存します\n"
+        end
+      end
+      dir
+    end
+    
+    # ダウンロード対象のドキュメントを取得
+    def _download_doc(url)
+      html = open(url)
+      doc = Nokogiri::HTML(html)
+    end
+    
+    # ダウンロード対象のURLや保存先を取得
+    def _download_info(doc, dir, categorize)
+      img = doc.xpath('//img[@id="centerImg"]')
+      unless img.empty?
+        download_url = img[0][:src]
+        filename = File.basename(download_url)
+        
+        # カテゴリー分け（タイトルとか日付）
+        dir = _categorize(dir, categorize, img[0])
+        
+        # ディレクトリが存在しなければ作成する
+        unless File.directory?(dir)
+          print "ディレクトリを作成します #{dir}\n"
+          FileUtils.mkdir_p(dir)
+        end
+        download_file = "#{dir}/#{filename}"
+        return {:url=>download_url, :file=>download_file}
+      end
+      return {}
+    end
+    
+    # 画像本体をダウンロード
+    def _download_img(url, file)
+      open(url) do |doc|
+        open(file, 'w') do |fp|
+          fp.print doc.read
+        end
+      end
+      filename = File.basename(file)
+      print "#{filename} をダウンロードしました\n"
+    end
+    
+    # 次にダウンロードするべきURLを取得する
+    def _download_next_url(doc)
+      a = doc.xpath('//a[@id="imgLink"]')
+      unless a.empty?
+        image_url = a[0][:href] # 次の画像URL
+      end
+    end
+    
+    # 指定URLの物を保存する
+    def _download(url, dir, categorize)
+      doc = _download_doc(url)
+      info = _download_info(doc, dir, categorize)
+  
+      if File.exists?(info[:file])
+        print "もうダウロード済みみたいです\n"
+      else
+        _download_img(info[:url], info[:file])
+      end
+      _download_next_url(doc)
+    end
+    
+    # ダウンロード済みの画像をみつけたら止める
+    def _download_periodic(url, dir, categorize)
+      doc = _download_doc(url)
+      info = _download_info(doc, dir, categorize)
+  
+      if File.exists?(info[:file])
+        print "ダウロード済みの見つけたので終了します\n"
+        return nil
+      else
+        _download_img(info[:url], info[:file])
+      end
+      _download_next_url(doc)
+    end
+  
+    # 画像を取得する
+    # :ameba_id => アメーバID
+    # :dir => 保存先ディレクトリ
+    # :categorize => タイトル毎などに分類する（デフォルト無効）[nil, "title", "date"]
+    # :num => 取得する枚数（新しいものから順番に）[数値]
+    def get(options)
+      options = _check_options(options)
+      ameba_id = options[:ameba_id]
+      categorize = options[:categorize]
+      dir = options[:dir]
+      num = options[:num]
+      
+      image_url = _find_image_url(ameba_id)
+      
+      if num
+        num.times do |i|
+          # 最初にみつけた画像から次の画像へと順番にたどってく
+          image_url = _download(image_url, dir, categorize)
+          break if image_url.nil?
+          sleep(0.3)
+        end
+      else
+        loop do
+          # 最初にみつけた画像から次の画像へと順番にたどってく
+          image_url = _download(image_url, dir, categorize)
+          break if image_url.nil?
+          sleep(0.3)
+        end
+      end
+    end
+    
+    # 取得済みの画像がみつかるまで新しいものから順番に画像を取得する
+    # 毎日定期的に取得したいひと向け
+    def get_periodic(options)
+      options = _check_options(options)
+      ameba_id = options[:ameba_id]
+      categorize = options[:categorize]
+      dir = options[:dir]
+      
+      image_url = _find_image_url(ameba_id)
+      loop do
+        # 最初にみつけた画像から次の画像へと順番にたどってく
+        image_url = _download_periodic(image_url, dir, categorize)
+        break if image_url.nil?
+        sleep(0.3)
+      end
+    end
+  end
+  
+  def download(options)
+    gazo = Gazo.new
+    gazo.get(options)
+  end
+  
+  def download_periodic(options)
+    gazo = Gazo.new
+    gazo.get_periodic(options)
+  end
+  
+  module_function :download, :download_periodic
+end

data/lib/ameblogazo/version.rb

@@ -0,0 +1,3 @@
+module Ameblogazo
+  VERSION = "0.0.1"
+end

metadata

@@ -0,0 +1,65 @@
+--- !ruby/object:Gem::Specification
+name: ameblogazo
+version: !ruby/object:Gem::Version
+  version: 0.0.1
+  prerelease: 
+platform: ruby
+authors:
+- utahta
+autorequire: 
+bindir: bin
+cert_chain: []
+date: 2012-05-09 00:00:00.000000000Z
+dependencies:
+- !ruby/object:Gem::Dependency
+  name: nokogiri
+  requirement: &85180950 !ruby/object:Gem::Requirement
+    none: false
+    requirements:
+    - - ! '>='
+      - !ruby/object:Gem::Version
+        version: '0'
+  type: :runtime
+  prerelease: false
+  version_requirements: *85180950
+description: get ameba blog images
+email:
+- labs.ninxit@gmail.com
+executables:
+- ameblogazo
+extensions: []
+extra_rdoc_files: []
+files:
+- .gitignore
+- Gemfile
+- README.rdoc
+- Rakefile
+- ameblogazo.gemspec
+- bin/ameblogazo
+- lib/ameblogazo.rb
+- lib/ameblogazo/version.rb
+homepage: ''
+licenses: []
+post_install_message: 
+rdoc_options: []
+require_paths:
+- lib
+required_ruby_version: !ruby/object:Gem::Requirement
+  none: false
+  requirements:
+  - - ! '>='
+    - !ruby/object:Gem::Version
+      version: '0'
+required_rubygems_version: !ruby/object:Gem::Requirement
+  none: false
+  requirements:
+  - - ! '>='
+    - !ruby/object:Gem::Version
+      version: '0'
+requirements: []
+rubyforge_project: ameblogazo
+rubygems_version: 1.8.10
+signing_key: 
+specification_version: 3
+summary: get ameba blog images
+test_files: []