RubyGems - fairy - Versions diffs - 0.6.0 - Mend

fairy 0.6.0

This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.

Files changed (186) hide show

data/LICENSE +674 -0
data/Makefile +116 -0
data/README +15 -0
data/bin/fairy +582 -0
data/bin/fairy-cat +74 -0
data/bin/fairy-cp +128 -0
data/bin/fairy-rm +122 -0
data/bin/subcmd/controller +41 -0
data/bin/subcmd/inspector +81 -0
data/bin/subcmd/master +43 -0
data/bin/subcmd/node +47 -0
data/bin/subcmd/processor +54 -0
data/doc/programming-interface.html +240 -0
data/doc/programming-interface.rd +300 -0
data/etc/fairy.conf.tmpl +118 -0
data/ext/simple_hash/extconf.rb +4 -0
data/ext/simple_hash/simple_hash.c +42 -0
data/fairy.gemspec +60 -0
data/lib/fairy/client/addins.rb +20 -0
data/lib/fairy/client/barrier.rb +29 -0
data/lib/fairy/client/basic-group-by.rb +52 -0
data/lib/fairy/client/cat.rb +41 -0
data/lib/fairy/client/direct-product.rb +51 -0
data/lib/fairy/client/equijoin.rb +79 -0
data/lib/fairy/client/exec.rb +54 -0
data/lib/fairy/client/filter.rb +62 -0
data/lib/fairy/client/find.rb +35 -0
data/lib/fairy/client/group-by.rb +194 -0
data/lib/fairy/client/here.rb +84 -0
data/lib/fairy/client/inject.rb +70 -0
data/lib/fairy/client/input-file.rb +53 -0
data/lib/fairy/client/input-iota.rb +49 -0
data/lib/fairy/client/input-local-file.rb +188 -0
data/lib/fairy/client/input-varray.rb +30 -0
data/lib/fairy/client/input.rb +42 -0
data/lib/fairy/client/io-filter.rb +26 -0
data/lib/fairy/client/junction.rb +31 -0
data/lib/fairy/client/map.rb +34 -0
data/lib/fairy/client/merge-group-by.rb +71 -0
data/lib/fairy/client/output-file.rb +64 -0
data/lib/fairy/client/output-local-file.rb +60 -0
data/lib/fairy/client/output-null.rb +47 -0
data/lib/fairy/client/output-varray.rb +50 -0
data/lib/fairy/client/output.rb +29 -0
data/lib/fairy/client/roma-put.rb +62 -0
data/lib/fairy/client/roma.rb +156 -0
data/lib/fairy/client/seg-join.rb +61 -0
data/lib/fairy/client/seg-map.rb +78 -0
data/lib/fairy/client/seg-shuffle.rb +35 -0
data/lib/fairy/client/seg-split.rb +27 -0
data/lib/fairy/client/seg-zip.rb +60 -0
data/lib/fairy/client/select.rb +38 -0
data/lib/fairy/client/sort.rb +48 -0
data/lib/fairy/client/sort18.rb +56 -0
data/lib/fairy/client/sort19.rb +61 -0
data/lib/fairy/client/there.rb +47 -0
data/lib/fairy/client/top_n_into_roma.rb +34 -0
data/lib/fairy/client/wc.rb +92 -0
data/lib/fairy/controller.rb +1103 -0
data/lib/fairy/logger.rb +107 -0
data/lib/fairy/master/addins.rb +20 -0
data/lib/fairy/master/atom.rb +17 -0
data/lib/fairy/master/c-barrier.rb +283 -0
data/lib/fairy/master/c-basic-group-by.rb +250 -0
data/lib/fairy/master/c-cat.rb +159 -0
data/lib/fairy/master/c-direct-product.rb +203 -0
data/lib/fairy/master/c-exec.rb +68 -0
data/lib/fairy/master/c-filter.rb +422 -0
data/lib/fairy/master/c-find.rb +138 -0
data/lib/fairy/master/c-group-by.rb +64 -0
data/lib/fairy/master/c-here.rb +80 -0
data/lib/fairy/master/c-inject.rb +119 -0
data/lib/fairy/master/c-input-file.rb +46 -0
data/lib/fairy/master/c-input-iota.rb +66 -0
data/lib/fairy/master/c-input-local-file.rb +117 -0
data/lib/fairy/master/c-input-varray.rb +53 -0
data/lib/fairy/master/c-input.rb +24 -0
data/lib/fairy/master/c-inputtable.rb +31 -0
data/lib/fairy/master/c-inputtable18.rb +36 -0
data/lib/fairy/master/c-inputtable19.rb +35 -0
data/lib/fairy/master/c-io-filter.rb +28 -0
data/lib/fairy/master/c-junction.rb +54 -0
data/lib/fairy/master/c-map.rb +27 -0
data/lib/fairy/master/c-merge-group-by.rb +241 -0
data/lib/fairy/master/c-output-file.rb +84 -0
data/lib/fairy/master/c-output-local-file.rb +19 -0
data/lib/fairy/master/c-output-null.rb +45 -0
data/lib/fairy/master/c-output-varray.rb +57 -0
data/lib/fairy/master/c-output.rb +20 -0
data/lib/fairy/master/c-seg-join.rb +141 -0
data/lib/fairy/master/c-seg-map.rb +26 -0
data/lib/fairy/master/c-seg-shuffle.rb +87 -0
data/lib/fairy/master/c-seg-split.rb +110 -0
data/lib/fairy/master/c-seg-zip.rb +132 -0
data/lib/fairy/master/c-select.rb +27 -0
data/lib/fairy/master/c-sort.rb +108 -0
data/lib/fairy/master/c-there.rb +57 -0
data/lib/fairy/master/c-wc.rb +232 -0
data/lib/fairy/master/job-interpriter.rb +19 -0
data/lib/fairy/master/scheduler.rb +24 -0
data/lib/fairy/master.rb +329 -0
data/lib/fairy/node/addins.rb +19 -0
data/lib/fairy/node/p-barrier.rb +95 -0
data/lib/fairy/node/p-basic-group-by.rb +252 -0
data/lib/fairy/node/p-direct-product.rb +153 -0
data/lib/fairy/node/p-exec.rb +30 -0
data/lib/fairy/node/p-filter.rb +363 -0
data/lib/fairy/node/p-find.rb +111 -0
data/lib/fairy/node/p-group-by.rb +1534 -0
data/lib/fairy/node/p-here.rb +21 -0
data/lib/fairy/node/p-identity.rb +24 -0
data/lib/fairy/node/p-inject.rb +127 -0
data/lib/fairy/node/p-input-file.rb +108 -0
data/lib/fairy/node/p-input-iota.rb +39 -0
data/lib/fairy/node/p-input-local-file.rb +61 -0
data/lib/fairy/node/p-input-varray.rb +26 -0
data/lib/fairy/node/p-io-filter.rb +28 -0
data/lib/fairy/node/p-map.rb +40 -0
data/lib/fairy/node/p-merger-group-by.rb +48 -0
data/lib/fairy/node/p-output-file.rb +104 -0
data/lib/fairy/node/p-output-local-file.rb +14 -0
data/lib/fairy/node/p-output-null.rb +32 -0
data/lib/fairy/node/p-output-varray.rb +41 -0
data/lib/fairy/node/p-seg-join.rb +82 -0
data/lib/fairy/node/p-seg-map.rb +34 -0
data/lib/fairy/node/p-seg-split.rb +61 -0
data/lib/fairy/node/p-seg-zip.rb +79 -0
data/lib/fairy/node/p-select.rb +40 -0
data/lib/fairy/node/p-single-exportable.rb +90 -0
data/lib/fairy/node/p-sort.rb +195 -0
data/lib/fairy/node/p-task.rb +113 -0
data/lib/fairy/node/p-there.rb +44 -0
data/lib/fairy/node/p-wc.rb +266 -0
data/lib/fairy/node.rb +187 -0
data/lib/fairy/processor.rb +510 -0
data/lib/fairy/share/base-app.rb +114 -0
data/lib/fairy/share/block-source.rb +234 -0
data/lib/fairy/share/conf.rb +396 -0
data/lib/fairy/share/debug.rb +21 -0
data/lib/fairy/share/encoding.rb +17 -0
data/lib/fairy/share/fast-tempfile.rb +93 -0
data/lib/fairy/share/file-place.rb +176 -0
data/lib/fairy/share/hash-1.rb +20 -0
data/lib/fairy/share/hash-md5.rb +28 -0
data/lib/fairy/share/hash-murmur.rb +69 -0
data/lib/fairy/share/hash-rb18.rb +20 -0
data/lib/fairy/share/hash-simple-hash.rb +28 -0
data/lib/fairy/share/inspector.rb +16 -0
data/lib/fairy/share/lc/exceptions.rb +82 -0
data/lib/fairy/share/lc/ja/exceptions.rb +81 -0
data/lib/fairy/share/locale.rb +17 -0
data/lib/fairy/share/log.rb +215 -0
data/lib/fairy/share/pool-dictionary.rb +53 -0
data/lib/fairy/share/port-marshaled-queue.rb +347 -0
data/lib/fairy/share/port.rb +1697 -0
data/lib/fairy/share/reference.rb +45 -0
data/lib/fairy/share/stdout.rb +56 -0
data/lib/fairy/share/tr.rb +16 -0
data/lib/fairy/share/varray.rb +147 -0
data/lib/fairy/share/vfile.rb +183 -0
data/lib/fairy/version.rb +8 -0
data/lib/fairy.rb +206 -0
data/sample/grep.rb +46 -0
data/sample/ping.rb +19 -0
data/sample/sort.rb +102 -0
data/sample/wordcount.rb +61 -0
data/spec/README +12 -0
data/spec/fairy1_spec.rb +31 -0
data/spec/fairy2_spec.rb +42 -0
data/spec/fairy3_spec.rb +126 -0
data/spec/fairy4_spec.rb +63 -0
data/spec/fairy5_spec.rb +45 -0
data/spec/fairy6_spec.rb +52 -0
data/spec/fairy7_spec.rb +58 -0
data/spec/fairy8_spec.rb +48 -0
data/spec/mkdat.rb +148 -0
data/spec/run_all.sh +65 -0
data/test/testc.rb +7111 -0
data/tools/cap_recipe/Capfile +144 -0
data/tools/cap_recipe/cluster.yml.sample +14 -0
data/tools/fairy_perf_graph.rb +444 -0
data/tools/git-tag +44 -0
data/tools/log-analysis.rb +62 -0
data/tools/svn-ls-diff +38 -0
data/tools/svn-tags +37 -0
metadata +298 -0

data/bin/subcmd/master ADDED Viewed

@@ -0,0 +1,43 @@
+#!/usr/bin/env ruby
+# encoding: UTF-8
+#
+# Copyright (C) 2007-2010 Rakuten, Inc.
+#
+require "optparse"
+require "deep-connect"
+require "fairy/share/base-app"
+require "fairy/share/conf"
+require "fairy/share/locale"
+require "fairy/share/encoding"
+require "fairy/master"
+$0 = "fairy master #{ARGV.join(' ')}"
+module Fairy
+  class MasterAPP<BaseAPP
+    def initialize
+      super
+      @master_port = Fairy::CONF.MASTER_PORT
+    end
+#    def parse_arg
+#      super
+#    end
+    def option_parser
+      super do |opt|
+	opt.on("-p", "--master_port=VAL"){|val| @master_port = val}
+      end
+    end
+    def start
+      Fairy::Master.start(@master_port)
+    end
+  end
+end
+Fairy::MasterAPP.start
+sleep

data/bin/subcmd/node ADDED Viewed

@@ -0,0 +1,47 @@
+#!/usr/bin/env ruby
+# encoding: UTF-8
+#
+# Copyright (C) 2007-2010 Rakuten, Inc.
+#
+require "optparse"
+require "deep-connect"
+require "fairy/share/base-app"
+require "fairy/share/conf"
+require "fairy/share/locale"
+require "fairy/share/encoding"
+require "fairy/node"
+$0 = "fairy node #{ARGV.join(' ')}"
+module Fairy
+  class NodeAPP<BaseAPP
+    def initialize
+      super
+      @master_host = Fairy::CONF.MASTER_HOST
+      @master_port = Fairy::CONF.MASTER_PORT
+    end
+#    def parse_arg
+#      super
+#    end
+    def option_parser
+      super do |opt|
+	opt.on("-m VAL"){|val| @master_host = val}
+	opt.on("-h", "--master_host=VAL"){|val| @master_host = val}
+	opt.on("-p", "--master_port=VAL"){|val| @master_port = val}
+      end
+    end
+    def start
+      Fairy::Node.start(@master_host, @master_port)
+    end
+  end
+end
+Fairy::NodeAPP.start
+sleep

data/bin/subcmd/processor ADDED Viewed

@@ -0,0 +1,54 @@
+#!/usr/bin/env ruby
+# encoding: UTF-8
+require "optparse"
+require "deep-connect"
+require "fairy/share/base-app"
+require "fairy/share/conf"
+require "fairy/share/locale"
+require "fairy/share/encoding"
+require "fairy/processor"
+$0 = "fairy processor #{ARGV.join(' ')}"
+module Fairy
+  class ProcessorAPP<BaseAPP
+    def initialize
+      super
+      @node_port = nil
+      @id = nil
+      @debug_trace = Fairy::CONF.DEBUG_PROCESSOR_TRACE_ON
+    end
+    def option_parser
+      super do |opt|
+	opt.on("--node=VAL"){|val| @node_port = val}
+	opt.on("--id=VAL"){|val| @id = val.to_i}
+	opt.on("--debug_trace[=VAL]") do |val|
+	  val = true unless val
+	  if ["FALSE", "OFF"].include?(val.upcase)
+	    val = false
+	  else
+	    val = true
+	  end
+          @debug_trace = val
+	end
+      end
+    end
+    def start
+      Fairy::Processor.start(@id, @node_port)
+      if @debug_trace
+	Log::info(self, "DEBUG TRACE ON")
+	require "share/tr"
+      end
+    end
+  end
+end
+Fairy::ProcessorAPP.start
+sleep

data/doc/programming-interface.html ADDED Viewed

@@ -0,0 +1,240 @@
+<?xml version="1.0" ?>
+<!DOCTYPE html
+  PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN"
+  "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
+<html xmlns="http://www.w3.org/1999/xhtml">
+<head>
+<title>fairy programing interface</title>
+</head>
+<body>
+<p>fairy programming interface</p>
+<p>楽天株式会社        楽天技術研究所                </p>
+<h2><a name="label-0" id="label-0">["プログラミングインターフェース"]</a></h2><!-- RDLabel: "プログラミングインターフェース" -->
+<h3><a name="label-1" id="label-1">["フィルタ系メソッド"]</a></h3><!-- RDLabel: "フィルタ系メソッド" -->
+<dl>
+<dt><a name="label-2" id="label-2"><code>Filter#map(<var>block_source</var>)</code></a></dt><!-- RDLabel: "Filter#map" -->
+<dd>
+<p><var>block_source</var>: ブロックソースコード.</p>
+<p>Rubyの Enumerable#map, Enumerable#collect 相当.
+ブロックに対し、要素を入力とし、評価した結果を返す</p></dd>
+<dt><a name="label-3" id="label-3"><code>Filter#collect</code></a></dt><!-- RDLabel: "Filter#collect" -->
+<dd>
+Filter#map の alias.</dd>
+<dt><a name="label-4" id="label-4"><code>Filter#select(<var>block_source</var>)</code></a></dt><!-- RDLabel: "Filter#select" -->
+<dd>
+<p><var>block_source</var>ブロックソースコード. </p>
+<p>Rubyの Enumerable#select 相当.
+ブロックに対し、要素を入力とし、評価した結果が真の時、その要素を返す</p></dd>
+<dt><a name="label-5" id="label-5"><code>Filter#grep(<var>regexp</var>)</code></a></dt><!-- RDLabel: "Filter#grep" -->
+<dd>
+<p><var>regexp</var> 正規表現.</p>
+<p>Rubyの Enumerable#grep 相当.
+入力要素が<var>regexp</var>でマッチしたら、その要素を返す.</p></dd>
+<dt><a name="label-6" id="label-6"><code>Filter#map_flatten(<var>block_source</var>)</code></a></dt><!-- RDLabel: "Filter#map_flatten" -->
+<dd>
+<p><var>block_source</var>ブロックソースコード</p>
+<p>Rubyの Enumerable#map_flatten 相当.</p>
+<p>mapの結果をflattenして返す.</p></dd>
+<dt><a name="label-7" id="label-7"><code>Filter#mapf</code></a></dt><!-- RDLabel: "Filter#mapf" -->
+<dd>
+<p>Filter#map_flattenのalias</p>
+<p>例:</p>
+<p>filter.mapf(%{|line| line.split(/\s+/)}...</p></dd>
+<dt><a name="label-8" id="label-8"><code>Filter#inject(<var>block_source</var>, :<var>init_value</var>=&gt;...)</code></a></dt><!-- RDLabel: "Filter#inject" -->
+<dd>
+結合法則の保証はユーザにまかされる.
+init_value は 各inject で適用される(単位元になっている必要がある).</dd>
+<dt><a name="label-9" id="label-9"><code>InjectFilter#value</code></a></dt><!-- RDLabel: "InjectFilter#value" -->
+<dd>
+値の取り出し.</dd>
+<dt><a name="label-10" id="label-10"><code>Filter#cat(<var>filter_1</var>, <var>filter_2</var>,…)</code></a></dt><!-- RDLabel: "Filter#cat" -->
+<dd>
+複数のストリームの結合したストリームを返す.</dd>
+<dt><a name="label-11" id="label-11"><code>Filter#equijoin(<var>other_filter</var>, <var>main_column_no</var>, [<var>other_column_no</var>])</code></a></dt><!-- RDLabel: "Filter#equijoin" -->
+<dd>
+<p>関係演算のjoin.</p>
+<p><var>filter</var>の<var>main_column_no</var>番目のカラムと、<var>other_filter
+のother_column_no</var>番目の等結合を返す.</p></dd>
+<dt><a name="label-12" id="label-12"><code>Filter#direct_product(<var>filter_1</var>, <var>filter_2</var>,…, <var>block_source</var>)</code></a></dt><!-- RDLabel: "Filter#direct_product" -->
+<dd>
+<p><var>block_source</var>ブロックソースコード. ブロックソースへのブロック
+引数は<code>|e0, e1, …|</code>.</p>
+<p>Rubyの Array#product 相当. </p></dd>
+<dt><a name="label-13" id="label-13"><code>Filter#barrier(:<var>mode</var> =&gt; <var>mode</var>, :<var>cond</var> =&gt; <var>condition_block</var>, :<var>buffer</var> =&gt; <var>opt</var>)</code></a></dt><!-- RDLabel: "Filter#barrier" -->
+<dd>
+<p>ストリームを同期させるフィルタ. </p>
+<p><var>mode</var></p>
+<p><var>BARRIER_NODE_CREATION</var>条件が成立するまでノード作成させない.</p>
+<p><var>BARRIER_STREAM</var>データを流さない.</p>
+<p><var>cond</var></p>
+<p>ブロックソース. ブロックを評価し, その条件が成立するまでブロック</p>
+<p><var>NODE_CREATION</var> 前段のノードがすべてそろうまでブロック</p>
+<p><var>DATA_ARRIVED</var> 全サブストリームからデータが来はじめるまでブロック</p>
+<p><var>ALL_DATA</var> 全データが出力されるまでブロック</p>
+<p><var>buffer</var></p>
+<p><var>MEMORY</var>メモリにためる</p>
+<p><var>FILE</var>  一時ファイルにためる</p></dd>
+<dt><a name="label-14" id="label-14"><code>Filter#product</code></a></dt><!-- RDLabel: "Filter#product" -->
+<dd>
+direct_productのalias</dd>
+<dt><a name="label-15" id="label-15"><code>Filter#*(<var>other_filter</var>)</code></a></dt><!-- RDLabel: "Filter#*" -->
+<dd>
+Filter#direct_product(other_filer)と同じ</dd>
+<dt><a name="label-16" id="label-16"><code>Filter.group_by(<var>block_source</var>)</code></a></dt><!-- RDLabel: "Filter.group_by" -->
+<dd>
+<p>入力された要素を<var>block_source</var>で評価し、それによりグルーピングし、後
+段へは、グループされた要素のストリームを渡す。
+Rubyのgroup_byと似ている.</p>
+<p>例: ワードカウント</p>
+<pre>finput = fairy.input(input.vf)
+fmap = finput.mapf(%{|l| l.chomp.split})
+fshuffle = fmap.group_by(%{|w| w})
+freduce = fshuffle.map(%q{|values| "#{values.key}\t#{values.size}"})
+for w in freduce.here
+  puts w
+end</pre></dd>
+<dt><a name="label-17" id="label-17"><code>Filter#basic_group_by(<var>block_source</var>)</code></a></dt><!-- RDLabel: "Filter#basic_group_by" -->
+<dd>
+group_by一族で, 一番基本的なもの.
+グループがそのままセグメントになる.</dd>
+<dt><a name="label-18" id="label-18"><code>Filter.basic_mgroup_by(<var>block_source</var>)</code></a></dt><!-- RDLabel: "Filter.basic_mgroup_by" -->
+<dd>
+<var>basic_group_by</var>の複数キー版
+複数のキー毎にグルーピングされる.
+グループがそのままセグメント単位になる.</dd>
+<dt><a name="label-19" id="label-19"><code>Filter#merge_group_by(<var>block_source</var>)</code></a></dt><!-- RDLabel: "Filter#merge_group_by" -->
+<dd>
+<var>basic_group_by</var>とは違い、後段には、上流のセグメント単位にグルー
+ピングしたストリームを要素として渡す.</dd>
+<dt><a name="label-20" id="label-20"><code>Filter#seg_zip（filter_1, ..., <var>filter_n</var>, <var>block_source</var>)</code></a></dt><!-- RDLabel: "Filter#seg_zip（filter_1, ..., filter_n, block_source)" -->
+<dd>
+複数のストリームのセグメント毎に要素を順番に付き合わせる.</dd>
+<dt><a name="label-21" id="label-21"><code>Filter#seg_join(<var>filter_1</var>,…, <var>block_source</var>)</code></a></dt><!-- RDLabel: "Filter#seg_join" -->
+<dd>
+<p><var>block_source</var>ブロックソースコード.</p>
+<p><var>block_source</var>へのブロック引数は |in0, in1, … in_n, out|
+セグメント単位にjoin処理を行う.</p>
+<p>オプション引数　:by -&gt; :key を指定すると
+keyごとの突合せになる.</p></dd>
+<dt><a name="label-22" id="label-22"><code>Filter#seg_shuffle(<var>block_source</var>)</code></a></dt><!-- RDLabel: "Filter#seg_shuffle" -->
+<dd>
+<p><var>block_source</var> ブロックソース. ブロックソースへのブロック引数
+は、入力セグメント列、出力セグメント列 <code>|in_segment_stream、
+out_segment_stream|</code>
+セグメント列をblock_source順に並べ替える</p>
+<p><var>cond</var></p>
+<pre>+ ブロックソース. ブロックを評価し, その条件が成立するまでブロック
+((|NODE_CREATION|)) 前段のノードがすべてそろうまでブロック
+((|DATA_ARRIVED|)) 全サブストリームからデータが来はじめるまでブロック
+((|ALL_DATA|)) 全データが出力されるまでブロック</pre>
+<p><var>buffer</var></p>
+<pre>((|MEMORY|))メモリにためる
+((|FILE|))  一時ファイルにためる</pre></dd>
+</dl>
+<h3><a name="label-23" id="label-23">["入力系メソッド"]</a></h3><!-- RDLabel: "入力系メソッド" -->
+<dl>
+<dt><a name="label-24" id="label-24"><code>Fairy#input(<var>desc</var>)</code></a></dt><!-- RDLabel: "Fairy#input" -->
+<dd>
+<var>desc</var> ローカルファイルや仮想ファイルの入力を指定する.</dd>
+</dl>
+<h3><a name="label-25" id="label-25">["定義系メソッド"]</a></h3><!-- RDLabel: "定義系メソッド" -->
+<dl>
+<dt><a name="label-26" id="label-26"><code>Fairy::def_filter(<var>name</var>, [:<var>sub</var>=&gt;<var>true</var>]){|<var>input</var>, <var>optionparam</var>…| …}</code></a></dt><!-- RDLabel: "Fairy::def_filter" -->
+<dd>
+ユーザレベルでフィルタを定義する
+<var>sub</var>が真だとサブルーチン化する</dd>
+</dl>
+<h3><a name="label-27" id="label-27">["フィルタ制御"]</a></h3><!-- RDLabel: "フィルタ制御" -->
+<dl>
+<dt><a name="label-28" id="label-28"><code>Filter#sub(%{|<var>input</var>, <var>subfairy</var>| <var>input</var>.<var>filer</var>...})</code></a></dt><!-- RDLabel: "Filter#sub" -->
+<dd>
+ある程度まとまった処理があったとして、その処理が終わったら後片付け
+したいとき用いる.
+新しい、fairyとcontrollerを立て、親とは別に処理を行う.</dd>
+<dt><a name="label-29" id="label-29"><code>BEGIN/END</code></a></dt><!-- RDLabel: "BEGIN/END" -->
+<dd>
+<p>filter.filter(..., :BEGIN=&gt;begin_block_source, :END=&gt;end_block_source)</p>
+<p><var>begin_block_source</var>各フィルターで最初に実行</p>
+<p><var>end_block_source</var> 最後に実行</p></dd>
+<dt><a name="label-30" id="label-30"><code>break</code></a></dt><!-- RDLabel: "break" -->
+<dd>
+フィルタリング処理をbreakする</dd>
+<dt><a name="label-31" id="label-31"><code>fairy#def_pool_variable(<var>var</var>, <var>value</var>)</code></a></dt><!-- RDLabel: "fairy#def_pool_variable" -->
+<dd>
+<p>fairy#def_pool_variable(var, :block =&gt; %{...})</p>
+<p><var>var</var>プール変数名.</p>
+<p>各フィルタで共有できるプール変数を定義する.
+ブロックソースが渡された場合は, コントローラ側でブロックを評価し,
+その値を代入する.
+<var>value</var>はディープコピーされる.</p></dd>
+<dt><a name="label-32" id="label-32"><code>fairy#pool_variable[:var] = <var>value</var></code></a></dt><!-- RDLabel: "fairy#pool_variable[:var] = value" -->
+<dd>
+<p>プール変数に代入する.</p>
+<p>ブロックソース内からアクセスする方法:</p>
+<pre>...map(#{|e| @Pool.var =  ...})</pre></dd>
+<dt><a name="label-33" id="label-33"><code>job インスタンス変数</code></a></dt><!-- RDLabel: "job インスタンス変数" -->
+<dd>
+<p>...map(#{|e| ＠var ...})</p>
+<p>複数イテレーションで共有できる変数. ただし, 各セグメント内ローカルになる.</p></dd>
+<dt><a name="label-34" id="label-34"><code>VArray</code></a></dt><!-- RDLabel: "VArray" -->
+<dd>
+<p>仮想配列.</p>
+<p>各ストリームの計算結果を仮想的な配列に保存する.
+イテレーションするときに再利用できる.
+複数の下位ストリームにデータを流すことが可能.</p>
+<p>利用はinput/outoutで指定する. </p>
+<p>配列としてのアクセスも用意されているが、 fairy的な動きはしない.</p>
+<p>Fairy.input(varray)</p>
+<pre>varrayを入力として指定する.</pre>
+<p>filter.output(VArray)</p>
+<pre>VArray に 出力する.</pre>
+<p>job.to_va</p>
+<pre>VArrayに出力し、それを返す.</pre>
+<p>例:</p>
+<pre>va = fairy.input(Fairy::Iota, 1000).to_va
+10.times do {|i| va = fairy.input(va).map(%{|i| i*2}).to_va} </pre></dd>
+</dl>
+<h3><a name="label-35" id="label-35">["例外"]</a></h3><!-- RDLabel: "例外" -->
+<pre>ブロック実行中に発生した例外を通知する</pre>
+<h3><a name="label-36" id="label-36">["STDOUT"]</a></h3><!-- RDLabel: "STDOUT" -->
+<pre>ブロック内で puts 等を実行すると、クライアント側に出力される。
+putsは$stdoutを参照し、かつ、グローバル変数なので、スレッドセーフ
+にするために、ちょっといやらしいことをした。</pre>
+<h3><a name="label-37" id="label-37">["ログAPI"]</a></h3><!-- RDLabel: "ログAPI" -->
+<dl>
+<dt><a name="label-38" id="label-38"><code>Fairy::log(<var>sender</var>, <var>printf</var>メッセージ, <var>param</var>...)</code></a></dt><!-- RDLabel: "Fairy::log" -->
+<dd>
+Fairy::log(printfメッセージ, param...)
+Fairy::log(sender) {|sio| ...}</dd>
+<dt><a name="label-39" id="label-39"><code>Fairy::fatal, <var>error</var>, <var>nortify</var>, <var>info</var>, <var>debug</var>(.<var>log</var>と同じパラメータ)</code></a></dt><!-- RDLabel: "Fairy::fatal, error, nortify, info, debug" -->
+<dd>
+普段はこちらを使う。出力レベルに応じて出力する</dd>
+<dt><a name="label-40" id="label-40"><code>Fairy::log_exception(<var>sender</var>, <var>exp</var>), <var>Fairy</var>::<var>log_exception</var>(<var>exp</var>)</code></a></dt><!-- RDLabel: "Fairy::log_exception" -->
+<dd>
+<p>例外のバックトレースをログに書き出す</p>
+<p>例:</p>
+<p>Log::warn(self) do |sio|</p>
+<pre>sio.puts "Warn: Exception raised:"
+sio.puts $!
+for l in $@
+  sio.puts "\t#{l}"
+end</pre>
+<p>end</p></dd>
+<dt><a name="label-41" id="label-41"><code>fairy.conf</code></a></dt><!-- RDLabel: "fairy.conf" -->
+<dd>
+<p>fairyの環境設定を行うファイル.</p>
+<p>検索パス(存在したら上書き).</p>
+<p>/etc/fairy.conf , $FAIRY_CONF, $HOME/.fiaryrc, ./etc/fairy.conf</p>
+<p>グローバルな設定</p>
+<pre>CONF.MASTER_HOST
+CONF.MASTER_PORT
+CONF.HOME
+CONF.VF_ROOT</pre>
+<p>ホスト固有の設定</p>
+<pre>CONF[“hostname”].MASTER_HOST
+VArray に 出力する</pre></dd>
+</dl>
+</body>
+</html>

data/doc/programming-interface.rd ADDED Viewed

@@ -0,0 +1,300 @@
+fairy programming interface
+楽天株式会社        楽天技術研究所
+== プログラミングインターフェース
+=== フィルタ系メソッド
+--- Filter#map(block_source)
+    ((|block_source|)): ブロックソースコード.
+    Rubyの Enumerable#map, Enumerable#collect 相当.
+    ブロックに対し、要素を入力とし、評価した結果を返す
+--- Filter#collect
+    Filter#map の alias.
+--- Filter#select(block_source)
+    ((|block_source|))ブロックソースコード.
+    Rubyの Enumerable#select 相当.
+    ブロックに対し、要素を入力とし、評価した結果が真の時、その要素を返す
+--- Filter#grep(regexp)
+    ((|regexp|)) 正規表現.
+    Rubyの Enumerable#grep 相当.
+    入力要素が((|regexp|))でマッチしたら、その要素を返す.
+--- Filter#map_flatten(block_source)
+    ((|block_source|))ブロックソースコード
+    Rubyの Enumerable#map_flatten 相当.
+    mapの結果をflattenして返す.
+--- Filter#mapf
+    Filter#map_flattenのalias
+    例:
+    filter.mapf(%{|line| line.split(/\s+/)}...
+--- Filter#inject(block_source, :init_value=>...)
+    結合法則の保証はユーザにまかされる.
+    init_value は 各inject で適用される(単位元になっている必要がある).
+--- InjectFilter#value
+    値の取り出し.
+--- Filter#cat(filter_1, filter_2,…)
+    複数のストリームの結合したストリームを返す.
+--- Filter#equijoin(other_filter, main_column_no, [other_column_no])
+    関係演算のjoin.
+    ((|filter|))の((|main_column_no|))番目のカラムと、((|other_filter
+    のother_column_no|))番目の等結合を返す.
+--- Filter#direct_product(filter_1, filter_2,…, block_source)
+    ((|block_source|))ブロックソースコード. ブロックソースへのブロック
+    引数は(({|e0, e1, …|})).
+    Rubyの Array#product 相当.
+--- Filter#barrier(:mode => mode, :cond => condition_block, :buffer => opt)
+    ストリームを同期させるフィルタ.
+    ((|mode|))
+    ((|BARRIER_NODE_CREATION|))条件が成立するまでノード作成させない.
+    ((|BARRIER_STREAM|))データを流さない.
+    ((|cond|))
+    ブロックソース. ブロックを評価し, その条件が成立するまでブロック
+    ((|NODE_CREATION|)) 前段のノードがすべてそろうまでブロック
+    ((|DATA_ARRIVED|)) 全サブストリームからデータが来はじめるまでブロック
+    ((|ALL_DATA|)) 全データが出力されるまでブロック
+    ((|buffer|))
+    ((|MEMORY|))メモリにためる
+    ((|FILE|))  一時ファイルにためる
+--- Filter#product
+    direct_productのalias
+--- Filter#*(other_filter)
+    Filter#direct_product(other_filer)と同じ
+--- Filter.group_by(block_source)
+    入力された要素を((|block_source|))で評価し、それによりグルーピングし、後
+    段へは、グループされた要素のストリームを渡す。
+    Rubyのgroup_byと似ている.
+    例: ワードカウント
+	finput = fairy.input(input.vf)
+	fmap = finput.mapf(%{|l| l.chomp.split})
+	fshuffle = fmap.group_by(%{|w| w})
+	freduce = fshuffle.map(%q{|values| "#{values.key}\t#{values.size}"})
+	for w in freduce.here
+	  puts w
+	end
+--- Filter#basic_group_by(block_source)
+    group_by一族で, 一番基本的なもの.
+    グループがそのままセグメントになる.
+--- Filter.basic_mgroup_by(block_source)
+    ((|basic_group_by|))の複数キー版
+    複数のキー毎にグルーピングされる.
+    グループがそのままセグメント単位になる.
+--- Filter#merge_group_by(block_source)
+    ((|basic_group_by|))とは違い、後段には、上流のセグメント単位にグルー
+    ピングしたストリームを要素として渡す.
+--- Filter#seg_zip（filter_1, ..., filter_n, block_source)
+    複数のストリームのセグメント毎に要素を順番に付き合わせる.
+--- Filter#seg_join(filter_1,…, block_source)
+    ((|block_source|))ブロックソースコード.
+    ((|block_source|))へのブロック引数は |in0, in1, … in_n, out|
+    セグメント単位にjoin処理を行う.
+    オプション引数　:by -> :key を指定すると
+    keyごとの突合せになる.
+--- Filter#seg_shuffle(block_source)
+    ((|block_source|)) ブロックソース. ブロックソースへのブロック引数
+    は、入力セグメント列、出力セグメント列 (({|in_segment_stream、
+    out_segment_stream|}))
+    セグメント列をblock_source順に並べ替える
+    ((|cond|))
+	+ ブロックソース. ブロックを評価し, その条件が成立するまでブロック
+	((|NODE_CREATION|)) 前段のノードがすべてそろうまでブロック
+	((|DATA_ARRIVED|)) 全サブストリームからデータが来はじめるまでブロック
+	((|ALL_DATA|)) 全データが出力されるまでブロック
+    ((|buffer|))
+	((|MEMORY|))メモリにためる
+	((|FILE|))  一時ファイルにためる
+=== 入力系メソッド
+--- Fairy#input(desc)
+    ((|desc|)) ローカルファイルや仮想ファイルの入力を指定する.
+=== 定義系メソッド
+--- Fairy::def_filter(name, [:sub=>true]){|input, optionparam…| …}
+    ユーザレベルでフィルタを定義する
+    ((|sub|))が真だとサブルーチン化する
+=== フィルタ制御
+--- Filter#sub(%{|input, subfairy| input.filer...})
+    ある程度まとまった処理があったとして、その処理が終わったら後片付け
+    したいとき用いる.
+    新しい、fairyとcontrollerを立て、親とは別に処理を行う.
+--- BEGIN/END
+    filter.filter(..., :BEGIN=>begin_block_source, :END=>end_block_source)
+    ((|begin_block_source|))各フィルターで最初に実行
+    ((|end_block_source|)) 最後に実行
+--- break
+    フィルタリング処理をbreakする
+--- fairy#def_pool_variable(var, value)
+    fairy#def_pool_variable(var, :block => %{...})
+    ((|var|))プール変数名.
+    各フィルタで共有できるプール変数を定義する.
+    ブロックソースが渡された場合は, コントローラ側でブロックを評価し,
+    その値を代入する.
+    ((|value|))はディープコピーされる.
+--- fairy#pool_variable[:var] = value
+    プール変数に代入する.
+    ブロックソース内からアクセスする方法:
+	...map(#{|e| @Pool.var =  ...})
+--- job インスタンス変数
+    ...map(#{|e| ＠var ...})
+    複数イテレーションで共有できる変数. ただし, 各セグメント内ローカルになる.
+--- VArray
+    仮想配列.
+    各ストリームの計算結果を仮想的な配列に保存する.
+    イテレーションするときに再利用できる.
+    複数の下位ストリームにデータを流すことが可能.
+    利用はinput/outoutで指定する.
+    配列としてのアクセスも用意されているが、 fairy的な動きはしない.
+    Fairy.input(varray)
+	varrayを入力として指定する.
+    filter.output(VArray)
+        VArray に 出力する.
+    job.to_va
+        VArrayに出力し、それを返す.
+    例:
+	va = fairy.input(Fairy::Iota, 1000).to_va
+	10.times do {|i| va = fairy.input(va).map(%{|i| i*2}).to_va}
+=== 例外
+    ブロック実行中に発生した例外を通知する
+===  STDOUT
+    ブロック内で puts 等を実行すると、クライアント側に出力される。
+    putsは$stdoutを参照し、かつ、グローバル変数なので、スレッドセーフ
+    にするために、ちょっといやらしいことをした。
+=== ログAPI
+--- Fairy::log(sender, printfメッセージ, param...)
+    Fairy::log(printfメッセージ, param...)
+    Fairy::log(sender) {|sio| ...}
+--- Fairy::fatal, error, nortify, info, debug(.logと同じパラメータ)
+    普段はこちらを使う。出力レベルに応じて出力する
+--- Fairy::log_exception(sender, exp), Fairy::log_exception(exp)
+    例外のバックトレースをログに書き出す
+    例:
+    Log::warn(self) do |sio|
+      sio.puts "Warn: Exception raised:"
+      sio.puts $!
+      for l in $@
+        sio.puts "\t#{l}"
+      end
+    end
+--- fairy.conf
+    fairyの環境設定を行うファイル.
+    検索パス(存在したら上書き).
+    /etc/fairy.conf , $FAIRY_CONF, $HOME/.fiaryrc, ./etc/fairy.conf
+    グローバルな設定
+	CONF.MASTER_HOST
+	CONF.MASTER_PORT
+	CONF.HOME
+	CONF.VF_ROOT
+    ホスト固有の設定
+        CONF[“hostname”].MASTER_HOST
+        VArray に 出力する