automatic 12.4.0 → 12.6.0

data/doc/README

@@ -25,31 +25,42 @@ Installation
 [Stable]
 $ gem install automatic
 
+$ automatic-config scaffold
+(Make ~/.automatic on your home directory.)
+
+
 [Development]
 $ git clone git://github.com/id774/automaticruby.git
 
-
- If the ruby 1.9, put following command.
+$ cd automaticruby
 $ script/bootstrap
 
- If the ruby 1.8, necessary to manually install the gems in the Gemfile.
-
 
 ===========
 Get Started
 ===========
 
- To create of any recipe (see below).
+ Create of any recipe (see below).
 $ automatic -c your_recipe.yml
 
  -c option to run with the manual. If there is no problem
 to automate, register it to cron.
 
+ If you specify the-c argument of a simple file name, load
+the file located in ~ /.automatic/config. If not exist,
+load file as specified in the path.
+
+ If ~/.automatic/db exists, plug-ins save the file to this
+directory.
+
+ If ~/.automatic/plugins exists, the plug-ins be loaded
+ as well.
+
 
  This is the easy recipe to simply output blog's feed to
 only console. It can be used to check the operation of
 this software.
-$ automatic -c config/feed2console.yml
+$ automatic -c ~/automatic/config/example/feed2console.yml
 
 
 =======
@@ -62,12 +73,10 @@ of associated plug-ins.
 
  This YAML file is called "Recipe".
 
- When you start automatic ruby without argument -c option,
-the config/default.yml is called. You can use -c option for
-specify a file name.
+ You can use -c option for specify a file name.
 
 [Example]
-$ automatic -c ~/recipes/your_recipe.yml
+$ automatic -c your_recipe.yml
 
 
 =====================
@@ -191,10 +200,9 @@ Directory and file structure
 | +-- automatic-config
 |   The tool for the auxiliary.
 |
-+-+ config
-| |
-| +-- default.yml
-|   To describe the recipe information in the form of yaml.
++-- config
+|
+|   Describe the recipe information in the form of yaml.
 |   They called in the argument -c option of Automatic Ruby.
 |   If you write a new recipe, locate it in the config directory.
 |
@@ -207,6 +215,9 @@ Directory and file structure
 | +-- customfeed
 | | Plug-ins to generate a custom feed.
 | |
+| +-- extract
+| | Plug-ins to extract the information.
+| |
 | +-- filter
 | | Plug-ins to filter the information.
 | |
@@ -228,29 +239,26 @@ Directory and file structure
 | | To the definition of automatic module.
 | |
 | +-+ automatic
-| | |
-| | +-- environment.rb
-| | | Read the environmental information.
-| | |
-| | +-- pipeline.rb
-| | | To use an object called a pipeline
-| | | sequentially processing plug-ins in recipes.
-| | |
-| | +-- feed_parser.rb
-| | | To parse the feed.
-| | |
-| | +-- log.rb
-| | | To output logs.
-| | |
-| | +-- recipe.rb
-| |   Read a recipes.
-| |
-| +-- config
+|   |
+|   +-- environment.rb
+|   | Read the environmental information.
+|   |
+|   +-- pipeline.rb
+|   | To use an object called a pipeline
+|   | sequentially processing plug-ins in recipes.
+|   |
+|   +-- feed_parser.rb
+|   | To parse the feed.
+|   |
+|   +-- log.rb
+|   | To output logs.
+|   |
+|   +-- recipe.rb
+|     Read a recipes.
 |
-+-+ db
-| |
-| +-- permalink.db
-|   Have been collected in the plug-in Store::Permalink.
++-- db
+|
+| If ~/.automatic/db not exist, save db file here.
 |
 +-+ script
 | |
@@ -282,6 +290,9 @@ Directory and file structure
     +-- COPYING
     | The license for this software.
     |
+    +-- ChangeLog
+    | Update history.
+    |
     +-- PLUGINS
     | Documentation for plug-ins.
     |
@@ -303,6 +314,9 @@ https://github.com/id774/automaticruby/issues
 RubyForge
 http://rubyforge.org/projects/automatic/
 
+RubyGems.org
+https://rubygems.org/gems/automatic
+
 CI
 http://jenkins.id774.net/jenkins/
 
@@ -353,6 +367,11 @@ pipeline backs again as the return value.
 
  This mechanism called "Automatic::Pipeline".
 
+ The contents of the pipeline is the object of your choice.
+ You can be stored in a format RSS, HTML, and various other
+in pipeline. However, when combined with the plug-in, it's
+necessary to input data format of the previous plug-ins
+and plug-in output of the next match.
 
 
 =============================
@@ -375,6 +394,11 @@ Run an instance method is called automatically. The return value
 is on the instance variable @pipeline. And then, be handed over
 to the next plug-in in the recipe.
 
+@pipeline's data format should be combined. If the preceding
+plug-in will return an RSS feed, you need to write handle the
+RSS feed. If the one will return as HTML, you need to write
+code to handle HTML.
+
 
 =========
 Unit Test
@@ -426,19 +450,22 @@ automatic-config is the auxiliary tool.
 
 [Syntax]
 $ automatic-config
- To view a list of sub-command.
+ Show list of sub-command.
 
 $ automatic-config scaffold
- To generate a ~/.automatic directory in your home directory.
+ Make ~/.automatic directory in your home directory.
+
+$ automatic-config unscaffold
+ Delete ~/.automatic directory.
 
 $ automatic-config autodiscovery <url>
  Return the URL of the feed of target detected by auto discovery.
 (ex.)
-$ automatic-config autodiscovery http://blog.id774.net/blogs
-["http://blog.id774.net/blogs/feed/", "http://blog.id774.net/blogs/comments/feed/"]
+$ automatic-config autodiscovery http://blog.id774.net/post
+["http://blog.id774.net/post/feed/", "http://blog.id774.net/post/comments/feed/"]
 
 $ automatic-config opmlparser <opml path>
- To output the URLs to parse the OPML file.
+ Output the URLs to parse the OPML file.
 (ex.)
 $ automatic-config opmlparser opml.xml > feeds.txt
 
@@ -451,7 +478,7 @@ $ automatic-config inspect <url>
  This inspects verify the target subscriptionable.
 
 $ automatic-config log <level> <message>
- To output log messages in the form of Automatic Ruby.
+ Output log messages in the form of Automatic Ruby.
 
 
 
@@ -486,6 +513,7 @@ activerecord
 gcalapi
 xml-simple
 feedbag
+nokogiri
 
 For more information, see Gemfile.
 

data/doc/README.ja

@@ -26,16 +26,16 @@ $ automatic -v
 [安定版]
 $ gem install automatic
 
+$ automatic-config scaffold
+(ホームディレクトリに ~/.automatic を生成する)
+
 
 [開発版]
 $ git clone git://github.com/id774/automaticruby.git
 
- ruby 1.9 の場合
+$ cd automaticruby
 $ script/bootstrap
 
- ruby 1.8 の場合
- Gemfile にある必要な gem を手動でインストールする
-
 
 ============
 実行してみる
@@ -47,16 +47,26 @@ $ automatic -c your_recipe.yml
  -c オプション付きで手動実行し、問題がなければ
  cron に登録するなどして自動化する。
 
+ 単純なファイル名を -c の引数に指定した場合 ~/.automatic/config
+にある同名のファイルがあれば優先的に読み込まれる。無い場合は指定通りの
+パスにあるファイルが読み込まれる。
+
+  ~/.automatic/db が存在する場合、データベースを生成するタイプの
+プラグインはこのディレクトリにファイルを保存する。
 
- 試しに実行するなら config/feed2console.yml
-を利用すると良い。
-$ automatic -c config/feed2console.yml
+ ~/.automatic/plugins が存在する場合、本体付属のプラグインと
+同様にそれらも読み込まれる。
+
+
+ 試しに実行するなら以下を実行すると良い。
+$ automatic -c ~/.automatic/config/example/feed2console.yml
 
  これは、ブログのフィードを単純にコンソール出力するだけの
 簡単なレシピである。
  本ソフトウェアの動作確認に使うことができる。
 
 
+
 ==========
 レシピとは
 ==========
@@ -68,11 +78,10 @@ $ automatic -c config/feed2console.yml
  この YAML ファイルをレシピと呼ぶ。
 
  automatic.rb 起動時に -c オプションの引数にレシピの
-ファイル名を指定することができる。オプションが省略
-された場合は config/default.yml が呼ばれる。
+ファイル名を指定することができる。
 
 [起動例]
-$ automatic -c ~/recipes/your_recipe.yml
+$ automatic -c your_recipe.yml
 
 
 ================
@@ -156,21 +165,6 @@ plugins:
 ことができる。
 
 
-==========
-プラグイン
-==========
-
-プラグインは後述する plugins ディレクトリにあるものが読み込まれる。
-
-~/.automatic/plugins が存在する場合、それらも同様に読み込まれる。
-
-自作したプラグインはホームディレクトリに置くと良い。
-(プラグインの作り方は後述する)
-
-以下のコマンドで自作したプラグインのためのサブディレクトリを自動生成できる。
-$ automatic-config scaffold
-(automatic-config の説明は後述する)
-
 
 ==========================
 ディレクトリとファイル構成
@@ -186,12 +180,9 @@ $ automatic-config scaffold
 |        利用を補助するためのツール
 |
 +- config
-|   |
-|   +- default.yml
-|        デフォルトでロードされるレシピ
-|        YAML 形式でプラグインの情報を記述する
-|        automatic.rb の -c オプションの引数で
-|        任意のファイル名をレシピとして指定できる
+|   YAML 形式でプラグインの情報を記述する
+|   automatic.rb の -c オプションの引数で
+|   任意のファイル名をレシピとして指定できる
 |
 |   新しくレシピを書いた場合は config ディレクトリに置く
 |
@@ -204,6 +195,9 @@ $ automatic-config scaffold
 |   +- customfeed
 |   |    カスタムフィードを生成するプラグイン
 |   |
+|   +- extract
+|   |    情報を抽出するプラグイン
+|   |
 |   +- filter
 |   |    情報をフィルタリングするプラグイン
 |   |
@@ -225,30 +219,27 @@ $ automatic-config scaffold
 |   |    Automatic モジュールの定義をする
 |   |
 |   +- automatic
-|   |   |
-|   |   +- environment.rb
-|   |   |    環境情報を読み込む
-|   |   |
-|   |   +- pipeline.rb
-|   |   |    パイプラインと呼ばれるオブジェクトを利用し
-|   |   |    レシピに書かれたプラグインに処理を順次受け渡す
-|   |   |
-|   |   +- feed_parser.rb
-|   |   |    フィードを解析する
-|   |   |
-|   |   +- log.rb
-|   |   |    ログを出力する
-|   |   |
-|   |   +- recipe.rb
-|   |        レシピを読み込む
-|   |
-|   +- config
+|       |
+|       +- environment.rb
+|       |    環境情報を読み込む
+|       |
+|       +- pipeline.rb
+|       |    パイプラインと呼ばれるオブジェクトを利用し
+|       |    レシピに書かれたプラグインに処理を順次受け渡す
+|       |
+|       +- feed_parser.rb
+|       |    フィードを解析する
+|       |
+|       +- log.rb
+|       |    ログを出力する
+|       |
+|       +- recipe.rb
+|            レシピを読み込む
 |
 +- db
-|   |
-|   +- permalink.db
-|        Store::Permalink プラグインで収集された
-|        ブックマークが保存される
+|
+|   ~/.automatic/db が無い場合、ここにデータベースが
+|   保存される
 |
 +- script
 |   |
@@ -259,9 +250,6 @@ $ automatic-config scaffold
 |        bundle install 等の環境設定をおこなう
 |        (ruby 1.9 以上のみ)
 |
-+- utils
-|    補助的なツールのためのディレクトリ
-|
 +- spec
 |    ユニットテスト用ディレクトリ
 |
@@ -307,6 +295,9 @@ https://github.com/id774/automaticruby/issues
 RubyForge
 http://rubyforge.org/projects/automatic/
 
+RubyGems.org
+https://rubygems.org/gems/automatic
+
 CI
 http://jenkins.id774.net/jenkins/
 
@@ -382,6 +373,11 @@ Automatic::Pipeline とは
 
  この機構を本フレームワークでは Automatic::Pipeline と呼ぶ。
 
+ pipeline の中身は任意のオブジェクトである。
+ RSS 、 HTML 、その他様々なフォーマットを格納して良い。
+ ただし、プラグインを組み合わせるとき前のプラグインの出力と
+次のプラグインの入力のデータフォーマットが一致する必要がある。
+
 
 ====================
 プラグインの実装規約
@@ -402,6 +398,12 @@ end
  戻り値はインスタンス変数 @pipeline に渡り、レシピで
 定義された次のプラグインに引き渡される。
 
+ 複数のプラグインを組み合わせるとき @pipeline の
+データフォーマットが一致している必要がある。
+たとえば先行するプラグインが RSS フィードを返す場合は
+RSS フィードを処理する。 HTML を返す場合は HTML を処理
+するコードを記述する必要がある。
+
 
 ==============
 ユニットテスト
@@ -460,11 +462,14 @@ $ automatic-config
 $ automatic-config scaffold
  ホームディレクトリに ~/.automatic ディレクトリを生成する。
 
+$ automatic-config unscaffold
+ ホームディレクトリの ~/.automatic ディレクトリを削除する。
+
 $ automatic-config autodiscovery <url>
  対象の URL をオートディスカバリで探知しフィードの URL を返す。
 (例)
-$ automatic-config autodiscovery http://blog.id774.net/blogs
-["http://blog.id774.net/blogs/feed/", "http://blog.id774.net/blogs/comments/feed/"]
+$ automatic-config autodiscovery http://blog.id774.net/post
+["http://blog.id774.net/post/feed/", "http://blog.id774.net/post/comments/feed/"]
 
 $ automatic-config opmlparser <opml path>
  OPML ファイルを解析し URL を出力する。
@@ -515,6 +520,7 @@ activerecord
 gcalapi
 xml-simple
 feedbag
+nokogiri
 
 詳細は Gemfile を参照
 

data/lib/automatic/opml.rb

@@ -1,3 +1,4 @@
+# -*- coding: utf-8 -*-
 require 'rexml/document'
 require 'rexml/parsers/pullparser'
 
@@ -30,7 +31,7 @@ module Automatic
     module DOM
       class Element
       include Enumerable
-        
+
         def initialize
           @attr = {}
           @parent = nil

data/lib/automatic/pipeline.rb

@@ -1,4 +1,3 @@
-#!/usr/bin/env ruby
 # -*- coding: utf-8 -*-
 # Name::      Automatic::Pipeline
 # Author::    774 <http://id774.net>
@@ -20,8 +19,9 @@ module Automatic
           Automatic.plugins_dir + "/*"].each{ |dir|
         subdir = File.basename dir
         if /#{subdir}_(.*)$/ =~ module_name.underscore
-          path = dir + "/#{$1}.rb"        
-          return Automatic::Plugin.autoload module_name.to_sym, path.to_s if File.exists? path
+          path = dir + "/#{$1}.rb"
+          return Automatic::Plugin.autoload module_name.to_sym,
+            path.to_s if File.exists? path
         end
       }
       raise NoPluginError, "unknown plugin named #{module_name}"

data/lib/automatic/recipe.rb

@@ -1,7 +1,9 @@
+# -*- coding: utf-8 -*-
 # Name::      Automatic::Recipe
 # Author::    ainame
+#             774 <http://id774.net>
 # Created::   Feb 18, 2012
-# Updated::   Mar 12, 2012
+# Updated::   Jun 14, 2012
 # Copyright:: 774 Copyright (c) 2012
 # License::   Licensed under the GNU GENERAL PUBLIC LICENSE, Version 3.0.
 
@@ -17,6 +19,9 @@ module Automatic
     end
 
     def load_recipe(path)
+      dir = File.join((File.expand_path('~/.automatic/config/')), path)
+      path = dir if File.exist?(dir)
+      Automatic::Log.puts("info", "Loading: #{path}")
       @procedure = Hashie::Mash.new(YAML.load(File.read(path)))
     end
 

data/lib/automatic.rb

@@ -1,9 +1,9 @@
-#!/usr/bin/env ruby
+# -*- coding: utf-8 -*-
 # Name::      Automatic::Ruby
 # Author::    774 <http://id774.net>
-# Version::   12.4.0
+# Version::   12.6.0
 # Created::   Feb 18, 2012
-# Updated::   Apr 30, 2012
+# Updated::   Jun 18, 2012
 # Copyright:: 774 Copyright (c) 2012
 # License::   Licensed under the GNU GENERAL PUBLIC LICENSE, Version 3.0.
 
@@ -14,7 +14,7 @@ module Automatic
   require 'automatic/log'
   require 'automatic/feed_parser'
 
-  VERSION = "12.4.0"
+  VERSION = "12.6.0"
   USER_DIR = "/.automatic"
 
   class << self
@@ -25,7 +25,7 @@ module Automatic
       self.user_dir = args[:user_dir]
       Automatic::Pipeline.run(args[:recipe])
     end
-    
+
     def plugins_dir
       File.join(@root_dir, "plugins")
     end
@@ -40,7 +40,7 @@ module Automatic
 
     def user_dir=(_user_dir)
       if ENV["AUTOMATIC_RUBY_ENV"] == "test" && !(_user_dir.nil?)
-        @user_dir = _user_dir 
+        @user_dir = _user_dir
       else
         @user_dir = File.expand_path("~/") + USER_DIR
       end

data/plugins/extract/link.rb

@@ -0,0 +1,32 @@
+# -*- coding: utf-8 -*-
+# Name::      Automatic::Plugin::Extract::Link
+# Author::    774 <http://id774.net>
+# Created::   May 24, 2012
+# Updated::   Jun 13, 2012
+# Copyright:: 774 Copyright (c) 2012
+# License::   Licensed under the GNU GENERAL PUBLIC LICENSE, Version 3.0.
+
+module Automatic::Plugin
+  class ExtractLink
+    require 'nokogiri'
+
+    def initialize(config, pipeline=[])
+      @config = config
+      @pipeline = pipeline
+    end
+
+    def run
+      @return_html = []
+      @pipeline.each {|html|
+        img_url = ""
+        unless html.nil?
+          doc = Nokogiri::HTML(html)
+          (doc/:a).each {|link|
+            @return_html << link[:href]
+          }
+        end
+      }
+      @return_html
+    end
+  end
+end

data/plugins/filter/ignore.rb

@@ -1,9 +1,8 @@
-#!/usr/bin/env ruby
 # -*- coding: utf-8 -*-
 # Name::      Automatic::Plugin::Filter::Ignore
 # Author::    774 <http://id774.net>
 # Created::   Feb 22, 2012
-# Updated::   Mar  8, 2012
+# Updated::   Jun 14, 2012
 # Copyright:: 774 Copyright (c) 2012
 # License::   Licensed under the GNU GENERAL PUBLIC LICENSE, Version 3.0.
 
@@ -16,18 +15,10 @@ module Automatic::Plugin
 
     def exclude(items)
       detection = false
-      unless @config['title'].nil?
-        @config['title'].each {|e|
-          if items.title.include?(e.chomp)
-            detection = true 
-            Automatic::Log.puts("info", "Excluded by title: #{items.link}")
-          end
-        }
-      end
       unless @config['link'].nil?
         @config['link'].each {|e|
           if items.link.include?(e.chomp)
-            detection = true 
+            detection = true
             Automatic::Log.puts("info", "Excluded by link: #{items.link}")
           end
         }
@@ -35,7 +26,7 @@ module Automatic::Plugin
       unless @config['exclude'].nil?
         @config['exclude'].each {|e|
           if items.link.include?(e.chomp)
-            detection = true 
+            detection = true
             Automatic::Log.puts("info", "Excluded by link: #{items.link}")
           end
         }
@@ -43,7 +34,7 @@ module Automatic::Plugin
       unless @config['description'].nil?
         @config['description'].each {|e|
           if items.description.include?(e.chomp)
-            detection = true 
+            detection = true
             Automatic::Log.puts("info", "Excluded by description: #{items.link}")
           end
         }
@@ -52,7 +43,7 @@ module Automatic::Plugin
     end
 
     def run
-      return_feeds = []
+      @return_feeds = []
       @pipeline.each {|feeds|
         ignore = false
         unless feeds.nil?
@@ -60,9 +51,9 @@ module Automatic::Plugin
             ignore = true if exclude(items)
           }
         end
-        return_feeds << feeds unless ignore
+        @return_feeds << feeds unless ignore
       }
-      return_feeds
+      @return_feeds
     end
   end
 end

data/plugins/filter/image_link.rb

@@ -0,0 +1,37 @@
+# -*- coding: utf-8 -*-
+# Name::      Automatic::Plugin::Filter::ImageLink
+# Author::    774 <http://id774.net>
+# Created::   May 24, 2012
+# Updated::   Jun 13, 2012
+# Copyright:: 774 Copyright (c) 2012
+# License::   Licensed under the GNU GENERAL PUBLIC LICENSE, Version 3.0.
+
+module Automatic::Plugin
+  class FilterImageLink
+    def initialize(config, pipeline=[])
+      @config = config
+      @pipeline = pipeline
+    end
+
+    def run
+      @return_html = []
+      @pipeline.each {|html|
+        unless html.nil?
+          html.scan(/(.*?\.jp.*g$)/i) { |matched|
+            @return_html << matched.join(" ")
+          }
+          html.scan(/(.*?\.png$)/i) { |matched|
+            @return_html << matched.join(" ")
+          }
+          html.scan(/(.*?\.gif$)/i) { |matched|
+            @return_html << matched.join(" ")
+          }
+          html.scan(/(.*?\.tiff$)/i) { |matched|
+            @return_html << matched.join(" ")
+          }
+        end
+      }
+      @return_html
+    end
+  end
+end