RubyGems - fairy - Versions diffs - 0.6.0 - Mend

fairy 0.6.0

Files changed (186) hide show

data/LICENSE +674 -0
data/Makefile +116 -0
data/README +15 -0
data/bin/fairy +582 -0
data/bin/fairy-cat +74 -0
data/bin/fairy-cp +128 -0
data/bin/fairy-rm +122 -0
data/bin/subcmd/controller +41 -0
data/bin/subcmd/inspector +81 -0
data/bin/subcmd/master +43 -0
data/bin/subcmd/node +47 -0
data/bin/subcmd/processor +54 -0
data/doc/programming-interface.html +240 -0
data/doc/programming-interface.rd +300 -0
data/etc/fairy.conf.tmpl +118 -0
data/ext/simple_hash/extconf.rb +4 -0
data/ext/simple_hash/simple_hash.c +42 -0
data/fairy.gemspec +60 -0
data/lib/fairy/client/addins.rb +20 -0
data/lib/fairy/client/barrier.rb +29 -0
data/lib/fairy/client/basic-group-by.rb +52 -0
data/lib/fairy/client/cat.rb +41 -0
data/lib/fairy/client/direct-product.rb +51 -0
data/lib/fairy/client/equijoin.rb +79 -0
data/lib/fairy/client/exec.rb +54 -0
data/lib/fairy/client/filter.rb +62 -0
data/lib/fairy/client/find.rb +35 -0
data/lib/fairy/client/group-by.rb +194 -0
data/lib/fairy/client/here.rb +84 -0
data/lib/fairy/client/inject.rb +70 -0
data/lib/fairy/client/input-file.rb +53 -0
data/lib/fairy/client/input-iota.rb +49 -0
data/lib/fairy/client/input-local-file.rb +188 -0
data/lib/fairy/client/input-varray.rb +30 -0
data/lib/fairy/client/input.rb +42 -0
data/lib/fairy/client/io-filter.rb +26 -0
data/lib/fairy/client/junction.rb +31 -0
data/lib/fairy/client/map.rb +34 -0
data/lib/fairy/client/merge-group-by.rb +71 -0
data/lib/fairy/client/output-file.rb +64 -0
data/lib/fairy/client/output-local-file.rb +60 -0
data/lib/fairy/client/output-null.rb +47 -0
data/lib/fairy/client/output-varray.rb +50 -0
data/lib/fairy/client/output.rb +29 -0
data/lib/fairy/client/roma-put.rb +62 -0
data/lib/fairy/client/roma.rb +156 -0
data/lib/fairy/client/seg-join.rb +61 -0
data/lib/fairy/client/seg-map.rb +78 -0
data/lib/fairy/client/seg-shuffle.rb +35 -0
data/lib/fairy/client/seg-split.rb +27 -0
data/lib/fairy/client/seg-zip.rb +60 -0
data/lib/fairy/client/select.rb +38 -0
data/lib/fairy/client/sort.rb +48 -0
data/lib/fairy/client/sort18.rb +56 -0
data/lib/fairy/client/sort19.rb +61 -0
data/lib/fairy/client/there.rb +47 -0
data/lib/fairy/client/top_n_into_roma.rb +34 -0
data/lib/fairy/client/wc.rb +92 -0
data/lib/fairy/controller.rb +1103 -0
data/lib/fairy/logger.rb +107 -0
data/lib/fairy/master/addins.rb +20 -0
data/lib/fairy/master/atom.rb +17 -0
data/lib/fairy/master/c-barrier.rb +283 -0
data/lib/fairy/master/c-basic-group-by.rb +250 -0
data/lib/fairy/master/c-cat.rb +159 -0
data/lib/fairy/master/c-direct-product.rb +203 -0
data/lib/fairy/master/c-exec.rb +68 -0
data/lib/fairy/master/c-filter.rb +422 -0
data/lib/fairy/master/c-find.rb +138 -0
data/lib/fairy/master/c-group-by.rb +64 -0
data/lib/fairy/master/c-here.rb +80 -0
data/lib/fairy/master/c-inject.rb +119 -0
data/lib/fairy/master/c-input-file.rb +46 -0
data/lib/fairy/master/c-input-iota.rb +66 -0
data/lib/fairy/master/c-input-local-file.rb +117 -0
data/lib/fairy/master/c-input-varray.rb +53 -0
data/lib/fairy/master/c-input.rb +24 -0
data/lib/fairy/master/c-inputtable.rb +31 -0
data/lib/fairy/master/c-inputtable18.rb +36 -0
data/lib/fairy/master/c-inputtable19.rb +35 -0
data/lib/fairy/master/c-io-filter.rb +28 -0
data/lib/fairy/master/c-junction.rb +54 -0
data/lib/fairy/master/c-map.rb +27 -0
data/lib/fairy/master/c-merge-group-by.rb +241 -0
data/lib/fairy/master/c-output-file.rb +84 -0
data/lib/fairy/master/c-output-local-file.rb +19 -0
data/lib/fairy/master/c-output-null.rb +45 -0
data/lib/fairy/master/c-output-varray.rb +57 -0
data/lib/fairy/master/c-output.rb +20 -0
data/lib/fairy/master/c-seg-join.rb +141 -0
data/lib/fairy/master/c-seg-map.rb +26 -0
data/lib/fairy/master/c-seg-shuffle.rb +87 -0
data/lib/fairy/master/c-seg-split.rb +110 -0
data/lib/fairy/master/c-seg-zip.rb +132 -0
data/lib/fairy/master/c-select.rb +27 -0
data/lib/fairy/master/c-sort.rb +108 -0
data/lib/fairy/master/c-there.rb +57 -0
data/lib/fairy/master/c-wc.rb +232 -0
data/lib/fairy/master/job-interpriter.rb +19 -0
data/lib/fairy/master/scheduler.rb +24 -0
data/lib/fairy/master.rb +329 -0
data/lib/fairy/node/addins.rb +19 -0
data/lib/fairy/node/p-barrier.rb +95 -0
data/lib/fairy/node/p-basic-group-by.rb +252 -0
data/lib/fairy/node/p-direct-product.rb +153 -0
data/lib/fairy/node/p-exec.rb +30 -0
data/lib/fairy/node/p-filter.rb +363 -0
data/lib/fairy/node/p-find.rb +111 -0
data/lib/fairy/node/p-group-by.rb +1534 -0
data/lib/fairy/node/p-here.rb +21 -0
data/lib/fairy/node/p-identity.rb +24 -0
data/lib/fairy/node/p-inject.rb +127 -0
data/lib/fairy/node/p-input-file.rb +108 -0
data/lib/fairy/node/p-input-iota.rb +39 -0
data/lib/fairy/node/p-input-local-file.rb +61 -0
data/lib/fairy/node/p-input-varray.rb +26 -0
data/lib/fairy/node/p-io-filter.rb +28 -0
data/lib/fairy/node/p-map.rb +40 -0
data/lib/fairy/node/p-merger-group-by.rb +48 -0
data/lib/fairy/node/p-output-file.rb +104 -0
data/lib/fairy/node/p-output-local-file.rb +14 -0
data/lib/fairy/node/p-output-null.rb +32 -0
data/lib/fairy/node/p-output-varray.rb +41 -0
data/lib/fairy/node/p-seg-join.rb +82 -0
data/lib/fairy/node/p-seg-map.rb +34 -0
data/lib/fairy/node/p-seg-split.rb +61 -0
data/lib/fairy/node/p-seg-zip.rb +79 -0
data/lib/fairy/node/p-select.rb +40 -0
data/lib/fairy/node/p-single-exportable.rb +90 -0
data/lib/fairy/node/p-sort.rb +195 -0
data/lib/fairy/node/p-task.rb +113 -0
data/lib/fairy/node/p-there.rb +44 -0
data/lib/fairy/node/p-wc.rb +266 -0
data/lib/fairy/node.rb +187 -0
data/lib/fairy/processor.rb +510 -0
data/lib/fairy/share/base-app.rb +114 -0
data/lib/fairy/share/block-source.rb +234 -0
data/lib/fairy/share/conf.rb +396 -0
data/lib/fairy/share/debug.rb +21 -0
data/lib/fairy/share/encoding.rb +17 -0
data/lib/fairy/share/fast-tempfile.rb +93 -0
data/lib/fairy/share/file-place.rb +176 -0
data/lib/fairy/share/hash-1.rb +20 -0
data/lib/fairy/share/hash-md5.rb +28 -0
data/lib/fairy/share/hash-murmur.rb +69 -0
data/lib/fairy/share/hash-rb18.rb +20 -0
data/lib/fairy/share/hash-simple-hash.rb +28 -0
data/lib/fairy/share/inspector.rb +16 -0
data/lib/fairy/share/lc/exceptions.rb +82 -0
data/lib/fairy/share/lc/ja/exceptions.rb +81 -0
data/lib/fairy/share/locale.rb +17 -0
data/lib/fairy/share/log.rb +215 -0
data/lib/fairy/share/pool-dictionary.rb +53 -0
data/lib/fairy/share/port-marshaled-queue.rb +347 -0
data/lib/fairy/share/port.rb +1697 -0
data/lib/fairy/share/reference.rb +45 -0
data/lib/fairy/share/stdout.rb +56 -0
data/lib/fairy/share/tr.rb +16 -0
data/lib/fairy/share/varray.rb +147 -0
data/lib/fairy/share/vfile.rb +183 -0
data/lib/fairy/version.rb +8 -0
data/lib/fairy.rb +206 -0
data/sample/grep.rb +46 -0
data/sample/ping.rb +19 -0
data/sample/sort.rb +102 -0
data/sample/wordcount.rb +61 -0
data/spec/README +12 -0
data/spec/fairy1_spec.rb +31 -0
data/spec/fairy2_spec.rb +42 -0
data/spec/fairy3_spec.rb +126 -0
data/spec/fairy4_spec.rb +63 -0
data/spec/fairy5_spec.rb +45 -0
data/spec/fairy6_spec.rb +52 -0
data/spec/fairy7_spec.rb +58 -0
data/spec/fairy8_spec.rb +48 -0
data/spec/mkdat.rb +148 -0
data/spec/run_all.sh +65 -0
data/test/testc.rb +7111 -0
data/tools/cap_recipe/Capfile +144 -0
data/tools/cap_recipe/cluster.yml.sample +14 -0
data/tools/fairy_perf_graph.rb +444 -0
data/tools/git-tag +44 -0
data/tools/log-analysis.rb +62 -0
data/tools/svn-ls-diff +38 -0
data/tools/svn-tags +37 -0
metadata +298 -0

data/bin/subcmd/master ADDED Viewed

@@ -0,0 +1,43 @@
+#!/usr/bin/env ruby
+# encoding: UTF-8
+#
+# Copyright (C) 2007-2010 Rakuten, Inc.
+#
+require "optparse"
+require "deep-connect"
+require "fairy/share/base-app"
+require "fairy/share/conf"
+require "fairy/share/locale"
+require "fairy/share/encoding"
+require "fairy/master"
+$0 = "fairy master #{ARGV.join(' ')}"
+module Fairy
+  class MasterAPP<BaseAPP
+    def initialize
+      super
+      @master_port = Fairy::CONF.MASTER_PORT
+    end
+#    def parse_arg
+#      super
+#    end
+    def option_parser
+      super do |opt|
+	opt.on("-p", "--master_port=VAL"){|val| @master_port = val}
+      end
+    end
+    def start
+      Fairy::Master.start(@master_port)
+    end
+  end
+end
+Fairy::MasterAPP.start
+sleep

data/bin/subcmd/node ADDED Viewed

@@ -0,0 +1,47 @@
+#!/usr/bin/env ruby
+# encoding: UTF-8
+#
+# Copyright (C) 2007-2010 Rakuten, Inc.
+#
+require "optparse"
+require "deep-connect"
+require "fairy/share/base-app"
+require "fairy/share/conf"
+require "fairy/share/locale"
+require "fairy/share/encoding"
+require "fairy/node"
+$0 = "fairy node #{ARGV.join(' ')}"
+module Fairy
+  class NodeAPP<BaseAPP
+    def initialize
+      super
+      @master_host = Fairy::CONF.MASTER_HOST
+      @master_port = Fairy::CONF.MASTER_PORT
+    end
+#    def parse_arg
+#      super
+#    end
+    def option_parser
+      super do |opt|
+	opt.on("-m VAL"){|val| @master_host = val}
+	opt.on("-h", "--master_host=VAL"){|val| @master_host = val}
+	opt.on("-p", "--master_port=VAL"){|val| @master_port = val}
+      end
+    end
+    def start
+      Fairy::Node.start(@master_host, @master_port)
+    end
+  end
+end
+Fairy::NodeAPP.start
+sleep

data/bin/subcmd/processor ADDED Viewed

@@ -0,0 +1,54 @@
+#!/usr/bin/env ruby
+# encoding: UTF-8
+require "optparse"
+require "deep-connect"
+require "fairy/share/base-app"
+require "fairy/share/conf"
+require "fairy/share/locale"
+require "fairy/share/encoding"
+require "fairy/processor"
+$0 = "fairy processor #{ARGV.join(' ')}"
+module Fairy
+  class ProcessorAPP<BaseAPP
+    def initialize
+      super
+      @node_port = nil
+      @id = nil
+      @debug_trace = Fairy::CONF.DEBUG_PROCESSOR_TRACE_ON
+    end
+    def option_parser
+      super do |opt|
+	opt.on("--node=VAL"){|val| @node_port = val}
+	opt.on("--id=VAL"){|val| @id = val.to_i}
+	opt.on("--debug_trace[=VAL]") do |val|
+	  val = true unless val
+	  if ["FALSE", "OFF"].include?(val.upcase)
+	    val = false
+	  else
+	    val = true
+	  end
+          @debug_trace = val
+	end
+      end
+    end
+    def start
+      Fairy::Processor.start(@id, @node_port)
+      if @debug_trace
+	Log::info(self, "DEBUG TRACE ON")
+	require "share/tr"
+      end
+    end
+  end
+end
+Fairy::ProcessorAPP.start
+sleep

data/doc/programming-interface.html ADDED Viewed

@@ -0,0 +1,240 @@
+<?xml version="1.0" ?>
+<!DOCTYPE html
+  PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN"
+  "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
+<html xmlns="http://www.w3.org/1999/xhtml">
+<head>
+<title>fairy programing interface</title>
+</head>
+<body>
+<p>fairy programming interface</p>
+<p>楽天株式会社        楽天技術研究所                </p>
+<h2><a name="label-0" id="label-0">["プログラミングインターフェース"]</a></h2><!-- RDLabel: "プログラミングインターフェース" -->
+<h3><a name="label-1" id="label-1">["フィルタ系メソッド"]</a></h3><!-- RDLabel: "フィルタ系メソッド" -->
+<dl>
+<dt><a name="label-2" id="label-2"><code>Filter#map(<var>block_source</var>)</code></a></dt><!-- RDLabel: "Filter#map" -->
+<dd>
+<p><var>block_source</var>: ブロックソースコード.</p>
+<p>Rubyの Enumerable#map, Enumerable#collect 相当.
+ブロックに対し、要素を入力とし、評価した結果を返す</p></dd>
+<dt><a name="label-3" id="label-3"><code>Filter#collect</code></a></dt><!-- RDLabel: "Filter#collect" -->
+<dd>
+Filter#map の alias.</dd>
+<dt><a name="label-4" id="label-4"><code>Filter#select(<var>block_source</var>)</code></a></dt><!-- RDLabel: "Filter#select" -->
+<dd>
+<p><var>block_source</var>ブロックソースコード. </p>
+<p>Rubyの Enumerable#select 相当.
+ブロックに対し、要素を入力とし、評価した結果が真の時、その要素を返す</p></dd>
+<dt><a name="label-5" id="label-5"><code>Filter#grep(<var>regexp</var>)</code></a></dt><!-- RDLabel: "Filter#grep" -->
+<dd>
+<p><var>regexp</var> 正規表現.</p>
+<p>Rubyの Enumerable#grep 相当.
+入力要素が<var>regexp</var>でマッチしたら、その要素を返す.</p></dd>
+<dt><a name="label-6" id="label-6"><code>Filter#map_flatten(<var>block_source</var>)</code></a></dt><!-- RDLabel: "Filter#map_flatten" -->
+<dd>
+<p><var>block_source</var>ブロックソースコード</p>
+<p>Rubyの Enumerable#map_flatten 相当.</p>
+<p>mapの結果をflattenして返す.</p></dd>
+<dt><a name="label-7" id="label-7"><code>Filter#mapf</code></a></dt><!-- RDLabel: "Filter#mapf" -->
+<dd>
+<p>Filter#map_flattenのalias</p>
+<p>例:</p>
+<p>filter.mapf(%{|line| line.split(/\s+/)}...</p></dd>
+<dt><a name="label-8" id="label-8"><code>Filter#inject(<var>block_source</var>, :<var>init_value</var>=&gt;...)</code></a></dt><!-- RDLabel: "Filter#inject" -->
+<dd>
+結合法則の保証はユーザにまかされる.
+init_value は 各inject で適用される(単位元になっている必要がある).</dd>
+<dt><a name="label-9" id="label-9"><code>InjectFilter#value</code></a></dt><!-- RDLabel: "InjectFilter#value" -->
+<dd>
+値の取り出し.</dd>
+<dt><a name="label-10" id="label-10"><code>Filter#cat(<var>filter_1</var>, <var>filter_2</var>,…)</code></a></dt><!-- RDLabel: "Filter#cat" -->
+<dd>
+複数のストリームの結合したストリームを返す.</dd>
+<dt><a name="label-11" id="label-11"><code>Filter#equijoin(<var>other_filter</var>, <var>main_column_no</var>, [<var>other_column_no</var>])</code></a></dt><!-- RDLabel: "Filter#equijoin" -->
+<dd>
+<p>関係演算のjoin.</p>
+<p><var>filter</var>の<var>main_column_no</var>番目のカラムと、<var>other_filter
+のother_column_no</var>番目の等結合を返す.</p></dd>
+<dt><a name="label-12" id="label-12"><code>Filter#direct_product(<var>filter_1</var>, <var>filter_2</var>,…, <var>block_source</var>)</code></a></dt><!-- RDLabel: "Filter#direct_product" -->
+<dd>
+<p><var>block_source</var>ブロックソースコード. ブロックソースへのブロック
+引数は<code>|e0, e1, …|</code>.</p>
+<p>Rubyの Array#product 相当. </p></dd>
+<dt><a name="label-13" id="label-13"><code>Filter#barrier(:<var>mode</var> =&gt; <var>mode</var>, :<var>cond</var> =&gt; <var>condition_block</var>, :<var>buffer</var> =&gt; <var>opt</var>)</code></a></dt><!-- RDLabel: "Filter#barrier" -->
+<dd>
+<p>ストリームを同期させるフィルタ. </p>
+<p><var>mode</var></p>
+<p><var>BARRIER_NODE_CREATION</var>条件が成立するまでノード作成させない.</p>
+<p><var>BARRIER_STREAM</var>データを流さない.</p>
+<p><var>cond</var></p>
+<p>ブロックソース. ブロックを評価し, その条件が成立するまでブロック</p>
+<p><var>NODE_CREATION</var> 前段のノードがすべてそろうまでブロック</p>
+<p><var>DATA_ARRIVED</var> 全サブストリームからデータが来はじめるまでブロック</p>
+<p><var>ALL_DATA</var> 全データが出力されるまでブロック</p>
+<p><var>buffer</var></p>
+<p><var>MEMORY</var>メモリにためる</p>
+<p><var>FILE</var>  一時ファイルにためる</p></dd>
+<dt><a name="label-14" id="label-14"><code>Filter#product</code></a></dt><!-- RDLabel: "Filter#product" -->
+<dd>
+direct_productのalias</dd>
+<dt><a name="label-15" id="label-15"><code>Filter#*(<var>other_filter</var>)</code></a></dt><!-- RDLabel: "Filter#*" -->
+<dd>
+Filter#direct_product(other_filer)と同じ</dd>
+<dt><a name="label-16" id="label-16"><code>Filter.group_by(<var>block_source</var>)</code></a></dt><!-- RDLabel: "Filter.group_by" -->
+<dd>
+<p>入力された要素を<var>block_source</var>で評価し、それによりグルーピングし、後
+段へは、グループされた要素のストリームを渡す。
+Rubyのgroup_byと似ている.</p>
+<p>例: ワードカウント</p>
+<pre>finput = fairy.input(input.vf)
+fmap = finput.mapf(%{|l| l.chomp.split})
+fshuffle = fmap.group_by(%{|w| w})
+freduce = fshuffle.map(%q{|values| "#{values.key}\t#{values.size}"})
+for w in freduce.here
+  puts w
+end</pre></dd>
+<dt><a name="label-17" id="label-17"><code>Filter#basic_group_by(<var>block_source</var>)</code></a></dt><!-- RDLabel: "Filter#basic_group_by" -->
+<dd>
+group_by一族で, 一番基本的なもの.
+グループがそのままセグメントになる.</dd>
+<dt><a name="label-18" id="label-18"><code>Filter.basic_mgroup_by(<var>block_source</var>)</code></a></dt><!-- RDLabel: "Filter.basic_mgroup_by" -->
+<dd>
+<var>basic_group_by</var>の複数キー版
+複数のキー毎にグルーピングされる.
+グループがそのままセグメント単位になる.</dd>
+<dt><a name="label-19" id="label-19"><code>Filter#merge_group_by(<var>block_source</var>)</code></a></dt><!-- RDLabel: "Filter#merge_group_by" -->
+<dd>
+<var>basic_group_by</var>とは違い、後段には、上流のセグメント単位にグルー
+ピングしたストリームを要素として渡す.</dd>
+<dt><a name="label-20" id="label-20"><code>Filter#seg_zip（filter_1, ..., <var>filter_n</var>, <var>block_source</var>)</code></a></dt><!-- RDLabel: "Filter#seg_zip（filter_1, ..., filter_n, block_source)" -->
+<dd>
+複数のストリームのセグメント毎に要素を順番に付き合わせる.</dd>
+<dt><a name="label-21" id="label-21"><code>Filter#seg_join(<var>filter_1</var>,…, <var>block_source</var>)</code></a></dt><!-- RDLabel: "Filter#seg_join" -->
+<dd>
+<p><var>block_source</var>ブロックソースコード.</p>
+<p><var>block_source</var>へのブロック引数は |in0, in1, … in_n, out|
+セグメント単位にjoin処理を行う.</p>
+<p>オプション引数　:by -&gt; :key を指定すると
+keyごとの突合せになる.</p></dd>
+<dt><a name="label-22" id="label-22"><code>Filter#seg_shuffle(<var>block_source</var>)</code></a></dt><!-- RDLabel: "Filter#seg_shuffle" -->
+<dd>
+<p><var>block_source</var> ブロックソース. ブロックソースへのブロック引数
+は、入力セグメント列、出力セグメント列 <code>|in_segment_stream、
+out_segment_stream|</code>
+セグメント列をblock_source順に並べ替える</p>
+<p><var>cond</var></p>
+<pre>+ ブロックソース. ブロックを評価し, その条件が成立するまでブロック
+((|NODE_CREATION|)) 前段のノードがすべてそろうまでブロック
+((|DATA_ARRIVED|)) 全サブストリームからデータが来はじめるまでブロック
+((|ALL_DATA|)) 全データが出力されるまでブロック</pre>
+<p><var>buffer</var></p>
+<pre>((|MEMORY|))メモリにためる
+((|FILE|))  一時ファイルにためる</pre></dd>
+</dl>
+<h3><a name="label-23" id="label-23">["入力系メソッド"]</a></h3><!-- RDLabel: "入力系メソッド" -->
+<dl>
+<dt><a name="label-24" id="label-24"><code>Fairy#input(<var>desc</var>)</code></a></dt><!-- RDLabel: "Fairy#input" -->
+<dd>
+<var>desc</var> ローカルファイルや仮想ファイルの入力を指定する.</dd>
+</dl>
+<h3><a name="label-25" id="label-25">["定義系メソッド"]</a></h3><!-- RDLabel: "定義系メソッド" -->
+<dl>
+<dt><a name="label-26" id="label-26"><code>Fairy::def_filter(<var>name</var>, [:<var>sub</var>=&gt;<var>true</var>]){|<var>input</var>, <var>optionparam</var>…| …}</code></a></dt><!-- RDLabel: "Fairy::def_filter" -->
+<dd>
+ユーザレベルでフィルタを定義する
+<var>sub</var>が真だとサブルーチン化する</dd>
+</dl>
+<h3><a name="label-27" id="label-27">["フィルタ制御"]</a></h3><!-- RDLabel: "フィルタ制御" -->
+<dl>
+<dt><a name="label-28" id="label-28"><code>Filter#sub(%{|<var>input</var>, <var>subfairy</var>| <var>input</var>.<var>filer</var>...})</code></a></dt><!-- RDLabel: "Filter#sub" -->
+<dd>
+ある程度まとまった処理があったとして、その処理が終わったら後片付け
+したいとき用いる.
+新しい、fairyとcontrollerを立て、親とは別に処理を行う.</dd>
+<dt><a name="label-29" id="label-29"><code>BEGIN/END</code></a></dt><!-- RDLabel: "BEGIN/END" -->
+<dd>
+<p>filter.filter(..., :BEGIN=&gt;begin_block_source, :END=&gt;end_block_source)</p>
+<p><var>begin_block_source</var>各フィルターで最初に実行</p>
+<p><var>end_block_source</var> 最後に実行</p></dd>
+<dt><a name="label-30" id="label-30"><code>break</code></a></dt><!-- RDLabel: "break" -->
+<dd>
+フィルタリング処理をbreakする</dd>
+<dt><a name="label-31" id="label-31"><code>fairy#def_pool_variable(<var>var</var>, <var>value</var>)</code></a></dt><!-- RDLabel: "fairy#def_pool_variable" -->
+<dd>
+<p>fairy#def_pool_variable(var, :block =&gt; %{...})</p>
+<p><var>var</var>プール変数名.</p>
+<p>各フィルタで共有できるプール変数を定義する.
+ブロックソースが渡された場合は, コントローラ側でブロックを評価し,
+その値を代入する.
+<var>value</var>はディープコピーされる.</p></dd>
+<dt><a name="label-32" id="label-32"><code>fairy#pool_variable[:var] = <var>value</var></code></a></dt><!-- RDLabel: "fairy#pool_variable[:var] = value" -->
+<dd>
+<p>プール変数に代入する.</p>
+<p>ブロックソース内からアクセスする方法:</p>
+<pre>...map(#{|e| @Pool.var =  ...})</pre></dd>
+<dt><a name="label-33" id="label-33"><code>job インスタンス変数</code></a></dt><!-- RDLabel: "job インスタンス変数" -->
+<dd>
+<p>...map(#{|e| ＠var ...})</p>
+<p>複数イテレーションで共有できる変数. ただし, 各セグメント内ローカルになる.</p></dd>
+<dt><a name="label-34" id="label-34"><code>VArray</code></a></dt><!-- RDLabel: "VArray" -->
+<dd>
+<p>仮想配列.</p>
+<p>各ストリームの計算結果を仮想的な配列に保存する.
+イテレーションするときに再利用できる.
+複数の下位ストリームにデータを流すことが可能.</p>
+<p>利用はinput/outoutで指定する. </p>
+<p>配列としてのアクセスも用意されているが、 fairy的な動きはしない.</p>
+<p>Fairy.input(varray)</p>
+<pre>varrayを入力として指定する.</pre>
+<p>filter.output(VArray)</p>
+<pre>VArray に 出力する.</pre>
+<p>job.to_va</p>
+<pre>VArrayに出力し、それを返す.</pre>
+<p>例:</p>
+<pre>va = fairy.input(Fairy::Iota, 1000).to_va
+10.times do {|i| va = fairy.input(va).map(%{|i| i*2}).to_va} </pre></dd>
+</dl>
+<h3><a name="label-35" id="label-35">["例外"]</a></h3><!-- RDLabel: "例外" -->
+<pre>ブロック実行中に発生した例外を通知する</pre>
+<h3><a name="label-36" id="label-36">["STDOUT"]</a></h3><!-- RDLabel: "STDOUT" -->
+<pre>ブロック内で puts 等を実行すると、クライアント側に出力される。
+putsは$stdoutを参照し、かつ、グローバル変数なので、スレッドセーフ
+にするために、ちょっといやらしいことをした。</pre>
+<h3><a name="label-37" id="label-37">["ログAPI"]</a></h3><!-- RDLabel: "ログAPI" -->
+<dl>
+<dt><a name="label-38" id="label-38"><code>Fairy::log(<var>sender</var>, <var>printf</var>メッセージ, <var>param</var>...)</code></a></dt><!-- RDLabel: "Fairy::log" -->
+<dd>
+Fairy::log(printfメッセージ, param...)
+Fairy::log(sender) {|sio| ...}</dd>
+<dt><a name="label-39" id="label-39"><code>Fairy::fatal, <var>error</var>, <var>nortify</var>, <var>info</var>, <var>debug</var>(.<var>log</var>と同じパラメータ)</code></a></dt><!-- RDLabel: "Fairy::fatal, error, nortify, info, debug" -->
+<dd>
+普段はこちらを使う。出力レベルに応じて出力する</dd>
+<dt><a name="label-40" id="label-40"><code>Fairy::log_exception(<var>sender</var>, <var>exp</var>), <var>Fairy</var>::<var>log_exception</var>(<var>exp</var>)</code></a></dt><!-- RDLabel: "Fairy::log_exception" -->
+<dd>
+<p>例外のバックトレースをログに書き出す</p>
+<p>例:</p>
+<p>Log::warn(self) do |sio|</p>
+<pre>sio.puts "Warn: Exception raised:"
+sio.puts $!
+for l in $@
+  sio.puts "\t#{l}"
+end</pre>
+<p>end</p></dd>
+<dt><a name="label-41" id="label-41"><code>fairy.conf</code></a></dt><!-- RDLabel: "fairy.conf" -->
+<dd>
+<p>fairyの環境設定を行うファイル.</p>
+<p>検索パス(存在したら上書き).</p>
+<p>/etc/fairy.conf , $FAIRY_CONF, $HOME/.fiaryrc, ./etc/fairy.conf</p>
+<p>グローバルな設定</p>
+<pre>CONF.MASTER_HOST
+CONF.MASTER_PORT
+CONF.HOME
+CONF.VF_ROOT</pre>
+<p>ホスト固有の設定</p>
+<pre>CONF[“hostname”].MASTER_HOST
+VArray に 出力する</pre></dd>
+</dl>
+</body>
+</html>

data/doc/programming-interface.rd ADDED Viewed

@@ -0,0 +1,300 @@
+fairy programming interface
+楽天株式会社        楽天技術研究所
+== プログラミングインターフェース
+=== フィルタ系メソッド
+--- Filter#map(block_source)
+    ((|block_source|)): ブロックソースコード.
+    Rubyの Enumerable#map, Enumerable#collect 相当.
+    ブロックに対し、要素を入力とし、評価した結果を返す
+--- Filter#collect
+    Filter#map の alias.
+--- Filter#select(block_source)
+    ((|block_source|))ブロックソースコード.
+    Rubyの Enumerable#select 相当.
+    ブロックに対し、要素を入力とし、評価した結果が真の時、その要素を返す
+--- Filter#grep(regexp)
+    ((|regexp|)) 正規表現.
+    Rubyの Enumerable#grep 相当.
+    入力要素が((|regexp|))でマッチしたら、その要素を返す.
+--- Filter#map_flatten(block_source)
+    ((|block_source|))ブロックソースコード
+    Rubyの Enumerable#map_flatten 相当.
+    mapの結果をflattenして返す.
+--- Filter#mapf
+    Filter#map_flattenのalias
+    例:
+    filter.mapf(%{|line| line.split(/\s+/)}...
+--- Filter#inject(block_source, :init_value=>...)
+    結合法則の保証はユーザにまかされる.
+    init_value は 各inject で適用される(単位元になっている必要がある).
+--- InjectFilter#value
+    値の取り出し.
+--- Filter#cat(filter_1, filter_2,…)
+    複数のストリームの結合したストリームを返す.
+--- Filter#equijoin(other_filter, main_column_no, [other_column_no])
+    関係演算のjoin.
+    ((|filter|))の((|main_column_no|))番目のカラムと、((|other_filter
+    のother_column_no|))番目の等結合を返す.
+--- Filter#direct_product(filter_1, filter_2,…, block_source)
+    ((|block_source|))ブロックソースコード. ブロックソースへのブロック
+    引数は(({|e0, e1, …|})).
+    Rubyの Array#product 相当.
+--- Filter#barrier(:mode => mode, :cond => condition_block, :buffer => opt)
+    ストリームを同期させるフィルタ.
+    ((|mode|))
+    ((|BARRIER_NODE_CREATION|))条件が成立するまでノード作成させない.
+    ((|BARRIER_STREAM|))データを流さない.
+    ((|cond|))
+    ブロックソース. ブロックを評価し, その条件が成立するまでブロック
+    ((|NODE_CREATION|)) 前段のノードがすべてそろうまでブロック
+    ((|DATA_ARRIVED|)) 全サブストリームからデータが来はじめるまでブロック
+    ((|ALL_DATA|)) 全データが出力されるまでブロック
+    ((|buffer|))
+    ((|MEMORY|))メモリにためる
+    ((|FILE|))  一時ファイルにためる
+--- Filter#product
+    direct_productのalias
+--- Filter#*(other_filter)
+    Filter#direct_product(other_filer)と同じ
+--- Filter.group_by(block_source)
+    入力された要素を((|block_source|))で評価し、それによりグルーピングし、後
+    段へは、グループされた要素のストリームを渡す。
+    Rubyのgroup_byと似ている.
+    例: ワードカウント
+	finput = fairy.input(input.vf)
+	fmap = finput.mapf(%{|l| l.chomp.split})
+	fshuffle = fmap.group_by(%{|w| w})
+	freduce = fshuffle.map(%q{|values| "#{values.key}\t#{values.size}"})
+	for w in freduce.here
+	  puts w
+	end
+--- Filter#basic_group_by(block_source)
+    group_by一族で, 一番基本的なもの.
+    グループがそのままセグメントになる.
+--- Filter.basic_mgroup_by(block_source)
+    ((|basic_group_by|))の複数キー版
+    複数のキー毎にグルーピングされる.
+    グループがそのままセグメント単位になる.
+--- Filter#merge_group_by(block_source)
+    ((|basic_group_by|))とは違い、後段には、上流のセグメント単位にグルー
+    ピングしたストリームを要素として渡す.
+--- Filter#seg_zip（filter_1, ..., filter_n, block_source)
+    複数のストリームのセグメント毎に要素を順番に付き合わせる.
+--- Filter#seg_join(filter_1,…, block_source)
+    ((|block_source|))ブロックソースコード.
+    ((|block_source|))へのブロック引数は |in0, in1, … in_n, out|
+    セグメント単位にjoin処理を行う.
+    オプション引数　:by -> :key を指定すると
+    keyごとの突合せになる.
+--- Filter#seg_shuffle(block_source)
+    ((|block_source|)) ブロックソース. ブロックソースへのブロック引数
+    は、入力セグメント列、出力セグメント列 (({|in_segment_stream、
+    out_segment_stream|}))
+    セグメント列をblock_source順に並べ替える
+    ((|cond|))
+	+ ブロックソース. ブロックを評価し, その条件が成立するまでブロック
+	((|NODE_CREATION|)) 前段のノードがすべてそろうまでブロック
+	((|DATA_ARRIVED|)) 全サブストリームからデータが来はじめるまでブロック
+	((|ALL_DATA|)) 全データが出力されるまでブロック
+    ((|buffer|))
+	((|MEMORY|))メモリにためる
+	((|FILE|))  一時ファイルにためる
+=== 入力系メソッド
+--- Fairy#input(desc)
+    ((|desc|)) ローカルファイルや仮想ファイルの入力を指定する.
+=== 定義系メソッド
+--- Fairy::def_filter(name, [:sub=>true]){|input, optionparam…| …}
+    ユーザレベルでフィルタを定義する
+    ((|sub|))が真だとサブルーチン化する
+=== フィルタ制御
+--- Filter#sub(%{|input, subfairy| input.filer...})
+    ある程度まとまった処理があったとして、その処理が終わったら後片付け
+    したいとき用いる.
+    新しい、fairyとcontrollerを立て、親とは別に処理を行う.
+--- BEGIN/END
+    filter.filter(..., :BEGIN=>begin_block_source, :END=>end_block_source)
+    ((|begin_block_source|))各フィルターで最初に実行
+    ((|end_block_source|)) 最後に実行
+--- break
+    フィルタリング処理をbreakする
+--- fairy#def_pool_variable(var, value)
+    fairy#def_pool_variable(var, :block => %{...})
+    ((|var|))プール変数名.
+    各フィルタで共有できるプール変数を定義する.
+    ブロックソースが渡された場合は, コントローラ側でブロックを評価し,
+    その値を代入する.
+    ((|value|))はディープコピーされる.
+--- fairy#pool_variable[:var] = value
+    プール変数に代入する.
+    ブロックソース内からアクセスする方法:
+	...map(#{|e| @Pool.var =  ...})
+--- job インスタンス変数
+    ...map(#{|e| ＠var ...})
+    複数イテレーションで共有できる変数. ただし, 各セグメント内ローカルになる.
+--- VArray
+    仮想配列.
+    各ストリームの計算結果を仮想的な配列に保存する.
+    イテレーションするときに再利用できる.
+    複数の下位ストリームにデータを流すことが可能.
+    利用はinput/outoutで指定する.
+    配列としてのアクセスも用意されているが、 fairy的な動きはしない.
+    Fairy.input(varray)
+	varrayを入力として指定する.
+    filter.output(VArray)
+        VArray に 出力する.
+    job.to_va
+        VArrayに出力し、それを返す.
+    例:
+	va = fairy.input(Fairy::Iota, 1000).to_va
+	10.times do {|i| va = fairy.input(va).map(%{|i| i*2}).to_va}
+=== 例外
+    ブロック実行中に発生した例外を通知する
+===  STDOUT
+    ブロック内で puts 等を実行すると、クライアント側に出力される。
+    putsは$stdoutを参照し、かつ、グローバル変数なので、スレッドセーフ
+    にするために、ちょっといやらしいことをした。
+=== ログAPI
+--- Fairy::log(sender, printfメッセージ, param...)
+    Fairy::log(printfメッセージ, param...)
+    Fairy::log(sender) {|sio| ...}
+--- Fairy::fatal, error, nortify, info, debug(.logと同じパラメータ)
+    普段はこちらを使う。出力レベルに応じて出力する
+--- Fairy::log_exception(sender, exp), Fairy::log_exception(exp)
+    例外のバックトレースをログに書き出す
+    例:
+    Log::warn(self) do |sio|
+      sio.puts "Warn: Exception raised:"
+      sio.puts $!
+      for l in $@
+        sio.puts "\t#{l}"
+      end
+    end
+--- fairy.conf
+    fairyの環境設定を行うファイル.
+    検索パス(存在したら上書き).
+    /etc/fairy.conf , $FAIRY_CONF, $HOME/.fiaryrc, ./etc/fairy.conf
+    グローバルな設定
+	CONF.MASTER_HOST
+	CONF.MASTER_PORT
+	CONF.HOME
+	CONF.VF_ROOT
+    ホスト固有の設定
+        CONF[“hostname”].MASTER_HOST
+        VArray に 出力する