miby 0.0.1

data/lib/base.rb

@@ -0,0 +1,61 @@
+# Mibyの基本ファイル
+# 他のMibyライブラリファイルはこのファイルをrequireする必要があります。
+$:.push File.dirname(__FILE__) + "/../lib"
+require 'nkf'
+require 'tempfile'
+require 'config'
+
+
+class String
+  def to_utf8
+    NKF.nkf("-Lu -d -w", self)
+  end
+  alias utf8 to_utf8
+
+  def to_euc
+    NKF.nkf("-e", self)
+  end
+  alias euc to_euc
+
+  # nkf_charset:: -e:EUC, -w:UTF-8, -s:SJIS(*INOF* mixiの文字コードはEUC)
+  def to_uri_encode(nkf_charset = "-e")
+    URI.encode(NKF.nkf(nkf_charset, self))
+  end
+  alias uri_encode to_uri_encode
+end
+
+
+module Miby
+  VERSION = "0.0.1"
+  CONFIG_FILE = File.dirname(__FILE__) + '/../etc/miby.conf'
+  USER_FILE   = File.dirname(__FILE__) + '/../etc/user.yaml'
+  PAGESTRUCT_FILE = File.dirname(__FILE__) + '/../etc/pagestruct.yaml'
+
+  # Mibyの規定モジュール
+  module Base
+    # 1行入力して、入力された文字列を返します。
+    # term:: 入力行に表示する文字列
+    def input_line(term = "Input", io = $stdin)
+      print "#{term}: ";  io.__send__(:gets).to_s.chomp
+    end
+
+    # 複数行入力して、入力された文字列を返します。
+    # io オブジェクトが設定されていなければ ENV['EDITOR'] を起動します。
+    def input_lines(io = nil)
+      if io.nil?
+        raise "No set IO and env['EDITOR']" if ENV['EDITOR'] == nil
+        temp_file = Tempfile.new("miby_base_get_lines")
+        system "#{ENV['EDITOR']} #{temp_file.path}"
+        io = temp_file
+      end
+      io.readlines.to_s
+    end
+
+
+    # *warning* This method is obsolete. Please using String#uri_encode
+    def encode(str)
+      URI.encode(NKF.nkf("-e", str.to_s))
+    end
+  end
+end
+

data/lib/config.rb

@@ -0,0 +1,28 @@
+
+module Miby
+  # Miby::CONFIG_FILEで指定されあた設定ファイル(デフォルトは etc/miby.conf)を読み込み、設定情報をアクセサメソッドに登録します。
+  #
+  # == 使い方
+  # オブジェクトを生成したらアクセサメソッドで値を呼びだします。
+  #   config = Miby::Config.new
+  #   config.http_address #=> mixi.jp
+  #
+  # == miby.conf
+  #   mibyの設定ファイルは @name のインスタンス変数で指定します。
+  #   指定できる変数は下のアクセサメソッドに登録されている必要があります。
+  #   設定できる項目の目的は Miby::CONFIG_FILE のファイルを参照してください(デフォルトは conf/miby.conf)。
+  #   例)
+  #   @http_address = "mixi.jp"     # mixiのベースURL(通常は mixi.jp)
+  #   @http_port = "80"         # HTTPサーバのポート番号(通常は80)
+  #   @proxy_addr = "proxy"     # プロキシのホスト名(nilなら無効)
+  #   @proxy_port = "8080"      # プロキシのポート番号(nilなら無効)
+  class Config
+    def initialize(path = CONFIG_FILE)
+      instance_eval File.read(path)
+    end
+    attr_reader :http_address, :http_port, :proxy_addr, :proxy_port
+  end
+
+end
+
+

data/lib/http.rb

@@ -0,0 +1,34 @@
+$:.push File.dirname(__FILE__) + "/../lib"
+require 'base'
+require 'net/http'
+Net::HTTP.version_1_2
+
+module Miby
+  # Mibyで利用するのhttpメソッドを提供します。
+  # 接続するホストのアドレスやプロキシの設定は Miby::Config で設定します。
+  #
+  # == 使い方
+  # 実行したい処理をブロックで渡します。ブロック内で利用できるメソッドは Net::HTTPと同じです。
+  #   http_response =  HTTP.new.connection {|http|
+  #     http.get(path)
+  #     ...
+  #   }
+  class HTTP
+    def initialize(config = Config.new)
+      @http_address = config.http_address
+      @http_port = config.http_port
+      @proxy_addr = config.proxy_addr
+      @proxy_port = config.proxy_port
+    end
+    attr_reader :http_address, :http_port, :proxy_addr, :proxy_port
+
+    # ホスト @http_address に接続しブロックをを実行します。
+    # 成功した場合は Net::HTTPResponse のインスタンスを返します。
+    def connection(&block)
+      puts "connection : #@http_address, #@http_port, #@proxy_addr, #@proxy_port" if $VERBOSE
+      Net::HTTP.start(@http_address, @http_port, @proxy_addr, @proxy_port, &block)
+    end
+  end
+end
+
+

data/lib/miby.rb

@@ -0,0 +1,35 @@
+# = miby : Mixi from Ruby
+# Miby(ミビー) は Ruby から mixi を操作するためのライブラリです。
+#
+# == 使い方
+#   require 'miby/miby'
+#   miby = Miby::Miby.new
+#   page = miby.get_page("friend_diary")
+#   page.format_items.each do |item|
+#     puts "#{item["title"]} #{item["name"]}"
+#   end
+#
+$:.push File.dirname(__FILE__) + "/../lib"
+require 'base'
+require 'mixi'
+module Miby
+  # Mibyの既定クラス。
+  class Miby
+    def initialize
+      @mixi = Mixi.new
+    end
+
+    # mixiのページを取得します。成功すると Miby::Page が返ります。
+    # name:: ページ名
+    # values:: URLパラメータの配列
+    def get_page(name, *values)
+      begin
+        @mixi.__send__(name, *values)
+      rescue
+        $stderr.puts "ページ #{name} 取得中にエラーが発生しました。"
+        raise
+      end
+    end
+
+  end
+end

data/lib/mixi.rb

@@ -0,0 +1,179 @@
+$:.push File.dirname(__FILE__) + "/../lib"
+require 'base'
+require 'user'
+require 'page'
+require 'pagestruct'
+
+module Miby
+  # mixiとのコネクションを行います。
+  # ユーザーの認証、ページデータの取得、日記・コメントの投稿ができます。
+  # ページの取得・投稿(get・post系)を行うメソッドの戻り値は Miby::Page のインスタンスです。
+  #
+  # == 使い方
+  # Mibyライブラリを読み込んで Miby::Mixiインスタンスを生成します。
+  #   require 'miby'
+  #   mixi = Miby::Mixi.new
+  # mixiに登録したメールアドレスとパスワードでログインします。
+  # 成功すればture、失敗した場合は例外が発生します。
+  #   mixi.login("hoge@hogege.com", "hoga")
+  #
+  # マイミクの最新日記リストページを取得して、整形したデータの各アイテムの内容を表示するには以下のように実行します。
+  # ログインしていない場合は自動でログインします。
+  #   pgae = mixi.friend_diary
+  #   page.each do |item|
+  #     puts %<#{item["title"]} #{item["name"]}>
+  #   end
+  #
+  # == コマンド
+  # 取得したページの素の整形データを取得する。
+  #  page.format_items
+  #
+  # 取得したページの整形データを配列に変換する。
+  #  page.to_a
+  #
+  # 取得したページの Net::HTTPRequest#response を取得する。
+  #  page.request
+  #
+  # == 利用できるページ
+  # 利用できるページには パブリックメソッドに定義されているものと、 Miby::PageStruct に定義されているものの2種類があります。
+  # パブリックメソッドのページは各メソッドの説明をご覧ください。
+  #
+  # Miby::PageStructは定義名で呼び出して利用することができます。
+  #   # id:10 owner_id:1 の日記の本文を取得する
+  #   mixi.view_diary_diary(10,1)
+  # 詳細は Miby::PageStruct を参照してください。
+  #
+  # == 引数
+  # 説明のない引数はmixiに渡すパラメータと同じです。
+  #
+  # email:: メールアドレス
+  # password:: ユーザーのパスワード
+  # id, diary_id:: 日記のID
+  # owner_id:: ユーザーのID(一部idを使うページがある)
+  # diary_title:: 日記タイトル
+  # diary_body:: 日記本文
+  # comment_body:: コメント本文
+  # submit:: hidden文字列(日記の投稿に必要)
+  #
+  # == 未実装の機能
+  # * メッセージ・動画・フォト・ミュージック・コミュニティー全般
+  # * 「前の日記へ」「次の日記へ」
+  class Mixi
+    include Base
+
+    # 未定義のメソッドはページ取得として実行する。
+    def method_missing(name, *values)
+      puts "try get page: #{name} (call from method missing)." if $VERBOSE
+      get_page(name, values)
+    end
+
+    def initialize
+      @user = User.new
+      @page_struct = PageStruct.new
+      @logined = false
+    end
+    attr_reader :user
+
+    #--
+    # get >>
+    #++
+    # 日記の表示
+    def view_diary(id, owner_id)
+      diary   = get_page "view_diary_diary", id, owner_id
+      comment = get_page "view_diary_comment" ,id, owner_id
+      diary.to_a +  comment.to_a
+    end
+
+    # マイミク日記リスト
+    # page_count: ページ番号
+    def friend_diary(page_count = nil)
+      unless page_count.nil? or page_count.empty?
+        params = get_next_page_param("new_friend_diary_next_page_param", page_count)
+      end
+      get_page("new_friend_diary", params)#.format_items
+    end
+
+    #--
+    # post >>
+    #++
+    # 自分の日記を追加します。
+    def add_diary(id, owner_id)
+      get_page("add_diary", id, owner_id, "main")
+    end
+
+    #--
+    # controll >>
+    #++
+    def logined?
+      @logined == true or get_home? ? true : false
+    end
+
+    # email と password を使ってmixiにログインします。
+    # 失敗した場合は例外が発生します。
+    def login(email = nil, password = nil)
+      puts "login ..." if $VERBOSE
+      email ||= input_line("email");  password ||= input_line("passowrd")
+      page = Page.new("login", { "email" => email, "password" => password, "next_url" => "home.pl"})
+
+      if page.to_s == "refresh"
+        @user.set(page.response.get_fields('Set-Cookie'))
+        @logined = true
+        return true
+      else
+        raise "Login refuse. email or password"
+      end
+    end
+    # << controll
+
+    private
+    #
+    def get_home?
+      return false unless @user.cookie?
+      page = Page.new("home_form", nil, @user.cookie)
+      page.to_s =~ /login.pl/ ? false : true
+    end
+
+    # name のMiby::Pageオブジェクトを取得する。
+    # name:: PageStructに定義された名前
+    # values:: URLに渡すパラメータ 配列かハッシュ。配列の場合は Miby::PageStructの定義順に配置する
+    def get_page(name, *values)
+      puts "get_page: #{name}" if $VERBOSE
+      login unless logined?
+      values.flatten!
+      list = values.first
+      list = create_param_value_list(@page_struct.find_by_name(name), values) unless list.kind_of? Hash
+      Page.new(name, list, @user.cookie)
+    end
+
+    # structのparamsとparams_optをvaluesからURLに渡すパラメータのリスト(Hash)を生成する。
+    # struct : PageStructオブジェクト
+    # values : 値の入った配列
+    def create_param_value_list(struct, values)
+      list = { }
+      keys = struct["params"].to_a + struct["params_opt"].to_a
+      keys.each_with_index do |key, i|
+        list.merge!({ key => values[i] })
+      end
+      list
+    end
+
+    # 次のページに移動するためのパラメータを取得する
+    def get_next_page_param(name, count)
+      params = { }
+      (count.to_i - 1).times do
+        items = get_page(name, params)
+        raise "データがありません"  if items.empty?
+        # ページ毎の定義
+        case name
+        when "new_friend_diary_next_page_param"
+          items.each do |item|
+            params = item if item.has_key?("direction") and item["direction"] == "next"
+          end
+        else
+          params = items.first
+        end
+      end
+      params
+    end
+  end
+end

data/lib/page.rb

@@ -0,0 +1,183 @@
+$:.push File.dirname(__FILE__) + "/../lib"
+require 'hpricot'
+require 'base'
+require 'http'
+require 'pagestruct'
+
+module Miby
+  # ページオブジェクトを作成します。
+  # ページオブジェクトは１つURLで表現できるページを、ルール(ページ整形情報)に従って整形データを作成したものです。
+  #
+  # == 生成
+  # Miby::Pagestructで定義されている定義名(name)とURLパラメータを使って生成します。
+  # 定義されていないページを取得しようとすると例外が発生します。
+  #
+  # マイミクの最新日記リストのMiby::Pageを得るには以下のようにします。
+  #   Miby::Page.new("friend_diary", nil, Miby::User.new.cookie)
+  # URLにパラメータを渡す場合は以下のようにします。
+  #   Miby::Page.new("view_diary", {"id" => "10000", "owner_id" => "10000" }, Miby::User.new.cookie)
+  #
+  # == アクセス
+  # * 生成したPageオブジェクトの整形されたデータにはパブリックメソッド(to_s, to_a, each, empty?)を使ってアクセスできます。
+  # * 取得したページ情報に直接アクセスするには Page#response を使います(Net::HTTPResponseを返します)。
+  class Page
+    include Enumerable
+    include Base
+
+    # name:: Miby::PageStructに定義されている名前
+    # params:: URLに渡すパラメータのハッシュ。Miby::PageStructのparams配列で定義されているものを指定する。
+    # cookie:: headerに渡すcookieの値。Miby::User.cookie で取得できる。
+    def initialize(name, params = nil, cookie = nil)
+      params ||= { }
+      @name, @params, @cookie = name, params, cookie
+
+      @struct = PageStruct.find(name)
+      @response = get_http_response(name, params, cookie, @struct)
+      @format_items = response_to_format_items(@response, @struct)
+      @option_items = response_to_option_items(@response, @struct)
+    end
+    attr_reader :name, :params, :cookie
+    # Page::Structから得たページ整形情報。Miby::Pageはこの情報を元にHTMLファイルをアイテム毎にフォーマットします。
+    attr_reader :struct
+    # 取得したページの Net::HTTPResponse を返します。
+    attr_reader :response
+    # 整形されたデータ。通常は各アイテム情報を入れた配列になります。
+    # 例:friend_diary(マイミクの最新日記リスト)を取得した場合は [{"name" => "名前", "title" => "今日の日記", "body" => "本文"} ...] のようになります。
+    # 実際どのようなデータが代入されるかは Miby::PageStruct の variables配列 によります。
+    # Miby::Pageのパブリックメソッドはすべてこの変数に対して動作します。
+    attr_reader :format_items
+    # 整形されたオプションデータ。
+    attr_reader :option_items
+
+
+    def to_s
+      @format_items.to_s
+    end
+
+    def to_a
+      @format_items.to_a
+    end
+
+    def empty?
+      return true if @format_items.nil?
+      @format_items.size == 0 ? true : false
+    end
+
+    def first
+      @format_items.first
+    end
+
+    def each
+      @format_items.each { |item| yield item }
+    end
+
+    private
+    def get_http_response(name, params, cookie, struct)
+      path = File.join("/", struct["path"])
+      cookie = { 'Cookie' => cookie } unless cookie.nil?
+      uri_param = create_uri_param(struct, params)
+      puts "get_http_response: method:#{struct["method"]}, path: #{path}, cookie:#{cookie}" if $VERBOSE
+      p params if $VERBOSE
+
+      HTTP.new.connection do |http|
+        case struct["method"]
+        when 'post'
+          post_key = get_post_key(http.post(path, uri_param, cookie).body) # mixiの投稿は事前に post_id を取得して post_id を使って投稿する。
+          raise "not response found post_key" if post_key.nil?
+          uri_param.gsub!("&submit=main", "")   # 日記投稿のsubmitを削除
+          http.post(path, uri_param + "&post_key=#{post_key.to_s.uri_encode}&submit=confirm", cookie)  # 投稿にはpost_keyとsubmitが必要
+        else #get
+          http.get(path + uri_param, cookie)
+        end
+      end
+    end
+
+    # URIのパラメータ部分をstructとvaluesから生成します。
+    # struct:: ページ整形情報オブジェクト
+    # values:: パラメータとその値(ハッシュ)
+    def create_uri_param(struct, values = { })
+      param = ""
+      unless struct["params"].nil?
+        struct["params"].each do |key|
+          raise "No set require parameter : #{key}" if values[key].nil?
+        end
+      end
+      values.each do |key,val|
+        param << "&#{key.to_s.uri_encode}=#{val.to_s.uri_encode}"
+      end
+      struct["method"] == "post" ?  param.sub(/^&/,"") : "?" + param
+    end
+
+    #--
+    # <<< parse
+    #++
+    # HTMLを整形し、配列を返します。
+    # response:: Net::HTTPResponse のインスタンス
+    def response_to_format_items(response, struct)
+      raise "response failed. path:#{struct["path"]}, code:#{response.code}" unless response.code == "200"
+      elements = format_from_cssselector(response.body, struct["css_selectors"])
+      matchs   = format_from_regexp(elements, struct["regexp"])
+      items    = set_variables(matchs, struct["variables"])
+    end
+    def response_to_option_items(response, struct)
+      return false unless response.code == "200"
+      elements = format_from_cssselector(response.body, struct["css_selectors_opt"])
+      matchs   = format_from_regexp(elements, struct["regexp_opt"])
+      items    = set_variables(matchs, struct["variables_opt"])
+    end
+
+    # selectors:: CSS selector の配列
+    def format_from_cssselector(html, selectors = nil)
+      return html.to_a if selectors.nil?
+      elements = Hpricot(html.to_s.utf8)
+      selectors.each { |sel| elements = elements.search(sel) }
+      elements
+    end
+
+    # regexp:: 正規表現
+    def format_from_regexp(str, regexp = nil)
+      return [] if regexp.nil?
+      str.to_s.utf8.gsub("\n", "").gsub("\t","").scan(Regexp.new(regexp))
+    end
+
+    #--
+    # 配列の配列を配列のハッシュにする
+    #++
+    def set_variables(matchs, variables)
+      return matchs if variables.nil?
+      matchs.map do |value|
+        data_tmp = Hash.new
+        variables.each_with_index do |variable, i|
+          value[i] = body2str(value[i]) if variable == "body"
+          value[i] = date2time(value[i]) if variable == "date"
+          data_tmp.merge!({ variable => value[i] })
+        end
+        data_tmp
+      end
+    end
+    #--
+    # parse >>>
+    #++
+
+    # post_key の値を取得します。
+    def get_post_key(str)
+      str.to_s.gsub("\n","").match(/.*"post_key".*?value="(.*?)"/).to_a.values_at(1)
+    end
+
+
+    # mixiの時刻文字列をTimeオブジェクトに変換します。
+    def date2time(str)
+      str.match(/(\d{4})年(\d{1,2})月(\d{1,2})日\D*(\d{1,2}):(\d{1,2})/)
+      time = Time.mktime($1, $2, $3, $4, $5)
+    end
+
+    # HTMLの本文をプレーンテキストに変換します。
+    def body2str(body = "")
+      str = body.dup.gsub("\n", "")
+      str.gsub!("<br />", "\n")
+      str.gsub!(/<.*?>/, "")  # 不要なタグは全削除
+      str
+    end
+  end
+end
+