automatic 12.3.0 → 12.3.1

data/doc/README.ja

@@ -57,6 +57,121 @@ $ automatic -c config/feed2console.yml
  本ソフトウェアの動作確認に使うことができる。
 
 
+==========
+レシピとは
+==========
+
+ Automatic Ruby では YAML 形式で書かれた設定ファイル
+を解析し、呼び出すプラグインの情報とそれに伴う様々な
+情報を読み込む。
+
+ この YAML ファイルをレシピと呼ぶ。
+
+ automatic.rb 起動時に -c オプションの引数にレシピの
+ファイル名を指定することができる。オプションが省略
+された場合は config/default.yml が呼ばれる。
+
+[起動例]
+$ automatic -c ~/recipes/your_recipe.yml
+
+
+================
+レシピの記述方法
+================
+
+ レシピには暗黙的な命名規則がある。
+
+[書式]
+
+plugins:
+  - module: プラグイン名
+    config:
+      変数
+
+
+ 以下はレシピのサンプルとなる YAML ファイルである。
+
+plugins:
+  - module: SubscriptionFeed
+    config:
+      feeds:
+        - http://reretlet.tumblr.com/rss
+
+  - module: StorePermalink
+    config:
+      db: tumblr.db
+
+  - module: FilterImage
+
+  - module: FilterTumblrResize
+
+  - module: StoreTargetLink
+    config:
+      path: /Users/yourname/Desktop/
+      interval: 1
+
+このサンプルレシピの例では
+1. Subscription Feed で Tumblr のフィードを購読し
+2. StorePermalink でパーマリンクをデータベースに保存し
+3  FilterImage と FilterTumblrResize で画像の URL を指定して
+4. StoreTargetLink で Tumblr の画像をダウンロードする
+という一連の処理をプラグインの組み合わせで実現している。
+
+
+以下に別の例を示す。
+
+plugins:
+  - module: SubscriptionFeed
+    config:
+      feeds:
+        - http://example.com/rss2
+        - http://hogefuga.com/feed
+
+  - module: FilterIgnore
+    config:
+      link:
+        - hoge
+        - fuga
+
+  - module: StorePermalink
+    config:
+      db: permalink.db
+
+  - module: PublishHatenaBookmark
+    config:
+      username: your_hatena_id
+      password: your_password
+      interval: 5
+
+このサンプルレシピの例では
+1. Subscription Feed でフィードを購読し
+2. FilterIgnore で無視キーワードを含む URL を除外し
+3. StorePermalink でパーマリンクをデータベースに保存し
+4. PublishHatenaBookmark ではてなブックマークをする
+という一連の処理をプラグインの組み合わせで実現している。
+
+
+このように、プラグインと設定情報をレシピに記述するだけで
+複数のプラグインの組み合わせ次第で無限の可能性を実現する
+ことができる。
+
+
+==========
+プラグイン
+==========
+
+プラグインは後述する plugins ディレクトリにあるものが読み込まれる。
+
+~/.automatic/plugins が存在する場合、それらも同様に読み込まれる。
+
+自作したプラグインはホームディレクトリに置くと良い。
+(プラグインの作り方は後述する)
+
+以下のコマンドで自作したプラグインのためのサブディレクトリを自動生成できる。
+$ automatic-config scaffold
+(automatic-config の説明は後述する)
+
+
 ==========================
 ディレクトリとファイル構成
 ==========================
@@ -65,7 +180,10 @@ $ automatic -c config/feed2console.yml
 +- bin
 |   |
 |   +- automatic
-|        実行ファイル本体
+|   |    実行ファイル本体
+|   |
+|   +- automatic-config
+|        利用を補助するためのツール
 |
 +- config
 |   |
@@ -80,13 +198,23 @@ $ automatic -c config/feed2console.yml
 |
 +- plugins
 |   |
-|   +- subscription フィードを購読するプラグイン
+|   +- subscription
+|   |    フィードを購読するプラグイン
+|   |
+|   +- customfeed
+|   |    カスタムフィードを生成するプラグイン
+|   |
+|   +- filter
+|   |    情報をフィルタリングするプラグイン
 |   |
-|   +- filter 情報をフィルタリングするプラグイン
+|   +- store
+|   |    情報を内部に保存するプラグイン
 |   |
-|   +- store 情報を内部に保存するプラグイン
+|   +- notify
+|   |    情報を通知するプラグイン
 |   |
-|   +- publish 外部に情報を送信するプラグイン
+|   +- publish
+|        外部に情報を送信するプラグイン
 |
 |   プラグインを開発した場合は plugins ディレクトリに置く
 |
@@ -97,23 +225,24 @@ $ automatic -c config/feed2console.yml
 |   |    Automatic モジュールの定義をする
 |   |
 |   +- automatic
-|       |
-|       +- environment.rb
-|       |    環境情報を読み込む
-|       |
-|       +- pipeline.rb
-|       |    パイプラインと呼ばれるオブジェクトを利用し
-|       |    レシピに書かれたプラグインに処理を順次受け渡す
-|       |
-|       +- feed_parser.rb
-|       |    フィードを解析する
-|       |
-|       +- log.rb
-|       |    ログを出力する
-|       |
-|       +- recipe.rb
-|            レシピを読み込む
-|
+|   |   |
+|   |   +- environment.rb
+|   |   |    環境情報を読み込む
+|   |   |
+|   |   +- pipeline.rb
+|   |   |    パイプラインと呼ばれるオブジェクトを利用し
+|   |   |    レシピに書かれたプラグインに処理を順次受け渡す
+|   |   |
+|   |   +- feed_parser.rb
+|   |   |    フィードを解析する
+|   |   |
+|   |   +- log.rb
+|   |   |    ログを出力する
+|   |   |
+|   |   +- recipe.rb
+|   |        レシピを読み込む
+|   |
+|   +- config
 |
 +- db
 |   |
@@ -155,85 +284,6 @@ $ automatic -c config/feed2console.yml
          本ドキュメント
 
 
-==========
-レシピとは
-==========
-
- Automatic Ruby では YAML 形式で書かれた設定ファイル
-を解析し、呼び出すプラグインの情報とそれに伴う様々な
-情報を読み込む。
-
- この YAML ファイルをレシピと呼ぶ。
-
- automatic.rb 起動時に -c オプションの引数にレシピの
-ファイル名を指定することができる。オプションが省略
-された場合は config/default.yml が呼ばれる。
-
-[起動例]
-$ automatic -c ~/recipes/your_recipe.yml
-
-
-================
-レシピの記述方法
-================
-
- レシピには暗黙的な命名規則がある。
- 以下はレシピのサンプルとなる YAML ファイルである。
-
-global:
-  timezone: Asia/Tokyo
-  cache:
-    base: /tmp
-  log:
-    level: info
-
-plugins:
-  - module: SubscriptionFeed
-    config:
-      feeds:
-        - http://example.com/rss2
-        - http://hogefuga.com/feed
-
-  - module: FilterIgnore
-    config:
-      link:
-        - hoge
-        - fuga
-
-  - module: StorePermalink
-    config:
-      db: permalink.db
-
-  - module: PublishHatenaBookmark
-    config:
-      username: your_hatena_id
-      password: your_password
-      interval: 5
-
-このサンプルレシピの例では
-1. フィードを購読し
-2. 無視キーワードを含む URL を除外し
-3. パーマリンクをデータベースに保存し
-4. はてなブックマークをする
-という一連の処理をプラグインの組み合わせで実現している。
-
-このように、プラグインと設定情報をレシピに記述するだけで
-複数のプラグインの組み合わせにより自由な処理を実現できる。
-
-たとえば Twitter に投稿する Publish::Twitter プラグインを
-作成し上記のレシピに記述すれば、自動的に記事を Twitter に
-投稿する自動処理が完成する。
-
-Gmail に送信する Publish::Gmail プラグインを作成しレシピ
-に追加すれば、フィードの記事を Gmail で読めるようになる。
-
-他にもリンクを元にブログ記事全文を取得したり、電子書籍の
-形式にして Kindle で読めるようにしたり、データベースに
-ブログ記事全文を保存してローカルのアプリで読めるように
-したりなど、プラグインの組み合わせ次第で無限の可能性を
-実現することができる。
-
-
 
 ==============
 開発に参加する
@@ -245,6 +295,9 @@ https://github.com/id774/automaticruby
 課題
 https://github.com/id774/automaticruby/issues
 
+RubyForge
+http://rubyforge.org/projects/automatic/
+
 CI
 http://id774.net/jenkins/
 
@@ -350,21 +403,30 @@ end
 戻り値を検査する。
 
 
-========================
-継続的インテグレーション
-========================
-
- CI は Jenkins でおこなう。
- http://id774.net/jenkins/
-
-
 ========
 結合試験
 ========
 
- test/integration 配下に複数のレシピを結合して
+ test/integration 配下に複数のプラグインを結合して
 テストをおこなうためのレシピを置く。
 
+ リポジトリにチェックインする前に必ず ruby 1.9 で
+以下のコマンドを実施し、テストビルドを実施する。
+
+$ script/build
+
+ これによりすべての RSpec によるテスト、及び
+結合試験が実施される。途中で失敗することなくすべて
+のテストが成功したことを確認した上でリポジトリに
+チェックインする。さもなくば CI が失敗するだろう。
+
+
+========================
+継続的インテグレーション
+========================
+
+ CI は Jenkins でおこなう。
+ http://id774.net/jenkins/
 
 
 ================
@@ -375,34 +437,35 @@ doc/PLUGINS.ja を参照
 
 
 
-====================
-その他のツールの説明
-====================
-
-utils の下にはフィードを扱うための補助的なツールが
-置かれる。内容は以下のとおりである。
-
+================
+automatic-config
+================
 
-名前
- utils/opml_parser.rb
+automatic-config は補助的なツールである。
 
-説明
- 既存の RSS Reader の OPML から登録済みフィードの
-URL リストを抽出するのに使う。
+[書式]
+$ automatic-config
+ サブコマンドの一覧を表示する
 
-$ ruby opml_parser.rb > feeds.txt
+$ automatic-config scaffold
+ ホームディレクトリに ~/.automatic ディレクトリを生成する。
 
+$ automatic-config autodiscovery <url>
+ 対象の URL をオートディスカバリで探知しフィードの URL を返す。
+(例)
+$ automatic-config autodiscovery http://id774.net/blog
+["http://id774.net/blog/feed/", "http://id774.net/blog/comments/feed/"]
 
-名前
- utils/auto_discovery.rb
+$ automatic-config opmlparser <opml path>
+ OPML ファイルを解析し URL を出力する。
+(例)
+$ automatic-config opmlparser opml.xml > feeds.txt
 
-説明
- 引数に指定した URL から購読対象のフィードを
-オートディスカバリで抽出する。
+$ automatic-config feedparser <url>
+ フィードを解析して内容を返す。
 
-$ ruby auto_discovery.rb "https://twitter.com/twitt"
-["https://twitter.com/statuses/user_timeline/4441691.rss",
- "https://twitter.com/favorites/4441691.rss"]
+$ automatic-config log <level> <message>
+ Automatic Ruby のログ形式でメッセージを出力する。
 
 
 
@@ -436,6 +499,7 @@ hashie
 activerecord
 gcalapi
 xml-simple
+feedbag
 
 詳細は Gemfile を参照
 

data/lib/automatic/feed_parser.rb

@@ -1,9 +1,8 @@
-#!/usr/bin/env ruby
 # -*- coding: utf-8 -*-
 # Name::      Automatic::FeedParser
 # Author::    774 <http://id774.net>
 # Created::   Feb 19, 2012
-# Updated::   Feb 24, 2012
+# Updated::   Mar 11, 2012
 # Copyright:: 774 Copyright (c) 2012
 # License::   Licensed under the GNU GENERAL PUBLIC LICENSE, Version 3.0.
 
@@ -27,10 +26,3 @@ module Automatic
     end
   end
 end
-
-if __FILE__ == $0
-  url = ARGV.shift || abort("Usage: feed_parser.rb <url>")
-  rss_results = Automatic::FeedParser.get_rss(url)
-  require 'pp'
-  pp links
-end

data/lib/automatic/log.rb

@@ -1,9 +1,8 @@
-#!/usr/bin/env ruby
 # -*- coding: utf-8 -*-
 # Name::      Automatic::Log
 # Author::    774 <http://id774.net>
 # Created::   Feb 20, 2012
-# Updated::   Feb 24, 2012
+# Updated::   Mar 11, 2012
 # Copyright:: 774 Copyright (c) 2012
 # License::   Licensed under the GNU GENERAL PUBLIC LICENSE, Version 3.0.
 
@@ -15,10 +14,3 @@ module Automatic
     end
   end
 end
-
-if __FILE__ == $0
-  level = ARGV.shift || abort("Usage: log.rb <level> <message>")
-  message = ARGV.shift
-  Automatic::Log.puts(level, message)
-end
-

data/lib/automatic/opml.rb

@@ -0,0 +1,239 @@
+require 'rexml/document'
+require 'rexml/parsers/pullparser'
+
+module Automatic
+  module OPML
+    def self::unnormalize(text)
+      text.gsub(/&(\w+);/) {
+        x = $1
+        case x
+        when 'lt'
+          '<'
+        when 'gt'
+          '>'
+        when 'quot'
+          '"'
+        when 'amp'
+          '&'
+        when 'apos'
+          "'"
+        when /^\#(\d+)$/
+          [$1.to_i].pack("U")
+        when /^\#x([0-9a-f]+)$/i
+          [$1.hex].pack("U")
+        else
+          raise "unnormalize error '#{x}'"
+        end
+      }
+    end
+
+    module DOM
+      class Element
+      include Enumerable
+        
+        def initialize
+          @attr = {}
+          @parent = nil
+          @children = []
+        end
+        attr_accessor :parent
+        attr_reader :attr, :children
+
+        def each
+          yield self
+          @children.each {|c|
+            c.each {|x|
+              yield x
+            }
+          }
+        end
+
+        def <<(elem)
+          elem.parent = self if elem.respond_to? :parent=
+            @children << elem
+          self
+        end
+
+        def [](n)
+          if n.is_a? String
+          @attr[n]
+          else
+            @children[n]
+          end
+        end
+
+        def []=(k,v)
+          if k.is_a? String
+            @attr[k] = v
+          else
+            @children[k] = v
+          end
+        end
+
+        def text
+          @attr['text']
+        end
+
+        def type
+          @attr['type']
+        end
+
+        def is_comment?
+          @attr['isComment']=='true'
+        end
+
+        def is_breaakpoint?
+          @attr['isBreakpoint']=='true'
+        end
+      end # Element
+
+      class OPML < Element
+        def head
+          @children.find {|x| x.is_a? Head }
+        end
+
+        def body
+          @children.find {|x| x.is_a? Body }
+        end
+      end
+
+      class Head < Element
+      end
+
+      class Body < Element
+        def outline
+          @children.find {|x| x.is_a? Outline }
+        end
+      end
+
+      class Outline < Element
+        def method_missing(name,*arg,&block)
+          name = name.to_s
+          case name
+          when /^[a-z][0-9a-zA-Z_]*$/
+            key = name.gsub(/_([a-z])/) {|x| ".#{$1.upcase}" }
+            @attr[key]
+          else
+            raise NoMethodError
+          end
+        end
+      end
+    end # Model
+
+    class Parser
+      def initialize(port)
+        @p = REXML::Parsers::PullParser.new(port)
+        @opml = nil
+      end
+
+      def parse_tree
+        root = cur = nil
+        while event=@p.pull
+          case event.event_type
+          when :xmldecl
+            encoding = event[1]
+          when :start_element
+            case event[0]
+            when "opml"
+              root = cur = DOM::OPML.new
+            when "head"
+              e = DOM::Head.new
+              cur << e
+              cur = e
+            when "body"
+              e = DOM::Body.new
+              cur << e
+              cur = e
+            when "outline"
+              e = DOM::Outline.new
+              cur << e
+              cur = e
+            else
+              cur['.' + event[0]] = read_text
+            end
+            event[1].each {|k,v|
+              cur[k] = OPML::unnormalize(v)
+            }
+          when :end_element
+            cur = cur.parent
+          when :text
+          when :cdata
+          when :start_doctype
+          when :end_doctype,:comment
+          when :end_document
+            break
+          else
+            p event.event_type
+            p event
+            raise "unknown event"
+          end
+        end # while
+        root
+      end # parse_tree
+
+      def each_outline
+        root = cur = nil
+        while event=@p.pull
+          case event.event_type
+          when :xmldecl
+            encoding = event[1]
+          when :start_element
+            case event[0]
+            when "opml"
+              root = cur = DOM::OPML.new
+            when "head"
+              e = DOM::Head.new
+              cur << e
+              cur = e
+            when "body"
+              e = DOM::Body.new
+              cur << e
+              cur = e
+            when "outline"
+              e = DOM::Outline.new
+              # cur << e
+              cur = e
+            else
+              cur['_' + event[0]] = read_text
+            end
+            event[1].each {|k,v|
+              cur[k] = OPML::unnormalize(v)
+            }
+            if event[0]=="outline"
+              yield root, cur
+            end
+          when :end_element
+            cur = cur.parent if cur.kind_of? DOM::Element
+          when :text
+          when :cdata
+          when :start_doctype
+          when :end_doctype,:comment
+          when :end_document
+            break
+          else
+            p event.event_type
+            p event
+            raise "unknown event"
+          end
+        end # while
+      end # each_outline
+
+      def read_text
+        text = ""
+        while event = @p.pull
+          case event.event_type
+          when :end_element
+            break
+          when :text
+            text << OPML::unnormalize(event[0])
+          when :cdata
+            text << event[0]
+          else
+            raise
+          end
+        end
+        text
+      end
+    end # Parser
+  end # OPML
+end