nysol-take 3.0.0

checksums.yaml

@@ -0,0 +1,7 @@
+---
+SHA1:
+  metadata.gz: e30036a31f3107df33aae6da18928c97c03ce52d
+  data.tar.gz: b2bc758258baffa71e8a76c75299e24458357d44
+SHA512:
+  metadata.gz: e1d5c04b64285de5052506231838b388a83e5258b9d015e28beece15c7129e044aefc910ffe80ec9b09c98462077e331aa36ac9dcd437c1b86e7ecf21fbda861
+  data.tar.gz: 3bb9949747aa25c85c272347bf3d84ab1d25f03b8410ba5417d97e9e288e7eb3d35eabc550ece20182e6e3dd9e51e81286d9c55b01751b12cb90c74a18d1801d

data/bin/mbiclique.rb

@@ -0,0 +1,317 @@
+#!/usr/bin/env ruby
+# encoding: utf-8
+
+require "rubygems"
+require "nysol/mcmd"
+require "nysol/take"
+require "nysol/enumLcmIs"
+
+# ver="1.0" # 初期リリース 2014/8/2
+# ver="1.1" # アイテムの数値ソートに関するバグ修正 2015/9/8
+# ver="1.2" # null値が含まれる場合にmappingテーブルがずれるバグ修正 2015/10/1
+$cmd=File.basename($0)
+$version="1.2"
+
+def help
+
+STDERR.puts <<EOF
+----------------------------
+mbiclique.rb version #{$version}
+----------------------------
+概要) lcmによる極大二部クリークの列挙
+内容) 二部グラフデータを入力として、極大二部クリークを列挙する。
+書式) mbiclique.rb ei= [ef=] [o=] [l=] [u=] [o=] [-edge] [T=] [-debug] [--help]
+
+  ファイル名指定
+  ei=    : 辺データファイル
+  ef=    : 辺データ上の2つの部項目名(省略時は"node1,node2")
+  o=     : 出力ファイル
+  l=     : 二部クリークを構成する最小節点数(ここで指定したサイズより小さいクリークは列挙されない)
+         : カンマで区切って2つの値を指定すると、各部のサイズを制限できる
+         : 1つ目の値はef=で指定した1つ目の部に対応し、2つ目の値は2つ目に指定した部に対応する。
+  u=     : クリークを構成する最大節点数(ここで指定したサイズより大きいクリークは列挙されない)
+         : カンマで区切って2つの値を指定すると、各部のサイズを制限できる
+	-edge  : 枝による出力(クリークIDと枝(節点ペア)で出力する)
+
+  その他
+  T= : ワークディレクトリ(default:/tmp)
+  --help : ヘルプの表示
+
+入力形式)
+二部グラフの節点ペアを項目で表現したCSVデータ。
+
+出力形式1)
+二部クリークを構成する全節点を各部ごとにベクトル形式で出力する。
+出力項目は、"節点項目名1,節点項目名2,size1,size2"の4項目で、節点名1と節点名2は、ef=で指定された名称が利用される。
+節点項目名1,節点項目名2に出力される値が節点名ベクトルである(一行が一つの二部クリークに対応)ことが異なる。
+idはクリークの識別番号で、一つのクリークは同じid番号が振られる。id番号そのものに意味はない。
+節点項目名1,節点項目名2には、各部を構成する節点名のベクトルが出力される。
+size1,size2は二部クリークを構成する各部の節点数である。
+
+出力形式2) -edge を指定した場合の出力形式
+クリークIDと二部クリークを構成する全枝(節点ペア)を出力する。
+出力項目は"id,節点項目名1,節点項目名2,size"の4項目である。
+例えば各部のサイズが3,4であるような二部クリークは12行の枝データとして出力される。
+出力形式1に比べてファイルサイズは大きくなる。
+
+
+例1)
+$ cat data1.csv
+node1,node2
+a,A
+a,B
+a,C
+b,A
+b,B
+b,D
+c,A
+c,D
+d,B
+d,C
+d,D
+
+$ mclique.rb ei=data1.csv ef=n1,n2 o=out1.csv
+#MSG# converting paired form into transaction form ...; 2014/03/24 11:52:05
+#MSG# lcm_20140215 CIf /tmp/__MTEMP_47150_70177387663280_0 1 /tmp/__MTEMP_47150_70177387663280_3; 2014/03/24 11:52:05
+trsact: /tmp/__MTEMP_47150_70177387663280_0 ,#transactions 4 ,#items 4 ,size 11 extracted database: #transactions 4 ,#items 4 ,size 11
+output to: /tmp/__MTEMP_47150_70177387663280_3
+separated at 0
+11
+1
+3
+4
+3
+iters=11
+#END# mbiclique.rb ei=data1.csv o=out1.csv ef=node1,node2
+$ cat out1.csv 
+node1,node2,size1,size2
+a,A B C,1,3
+a b,A B,2,2
+a b c,A,3,1
+a b d,B,3,1
+a d,B C,2,2
+b,A B D,1,3
+b c,A D,2,2
+b c d,D,3,1
+b d,B D,2,2
+d,B C D,1,3
+
+例3) 枝による出力(-edgeの指定)
+$ mclique.rb ei=data1.csv ef=n1,n2 o=out2.csv
+#END# ../../bin/mbiclique.rb ei=data/data1.csv o=xxresult/out11.csv ef=node1,node2 -edge
+$ cat out2.csv 
+id,node1,node2,size1,size2
+1,c,A,3,1
+1,a,A,3,1
+1,b,A,3,1
+10,d,B,1,3
+10,d,C,1,3
+10,d,D,1,3
+2,b,B,3,1
+2,a,B,3,1
+2,d,B,3,1
+   :
+
+例3) 部node1の最小サイズを3に制限
+$ mbiclique.rb ei=data1.csv o=out3.csv ef=node1,node2 l=3,
+#END# mbiclique.rb ei=data1.csv o=out3.csv ef=node1,node2 l=3,
+$ cat out3.csv 
+node1,node2,size1,size2
+a b c,A,3,1
+a b d,B,3,1
+b c d,D,3,1
+
+# Copyright(c) NYSOL 2012- All Rights Reserved.
+EOF
+exit
+end
+def ver()
+	STDERR.puts "version #{$version}"
+	exit
+end
+
+help() if ARGV.size <= 0 or ARGV[0]=="--help"
+ver() if ARGV[0]=="--version"
+args=MCMD::Margs.new(ARGV,"ei=,ef=,o=,l=,u=,-edge","ei=")
+
+# コマンド実行可能確認
+#exit(1) unless(MCMD::chkCmdExe(TAKE::LcmIs::CMD      , "executable"))
+
+# コマンド実行可能確認
+#exit(1) unless(MCMD::chkCmdExe(TAKE::LcmIs::CMD, "executable"))
+#exit(1) unless(MCMD::chkCmdExe(TAKE::LcmIs::CMD_TRANS, "-v", "lcm_trans 1.0"))
+
+# mcmdのメッセージは警告とエラーのみ
+ENV["KG_VerboseLevel"]="2" unless args.bool("-mcmdenv")
+
+#ワークファイルパス
+if args.str("T=")!=nil then
+	ENV["KG_TmpPath"] = args.str("T=").sub(/\/$/,"")
+end
+
+type="C"
+
+byedge  = args.bool("-edge")
+oFile   = args.file("o=", "w")
+ei      = args. file("ei=","r") # edgeファイル名
+ef1,ef2 = args.field("ef=", ei, "node1,node2",2,2)["names"]
+
+minSizeStr = args.str("l=")    # クリークサイズ下限
+maxSizeStr = args.str("u=")    # クリークサイズ上限
+minSize1=nil
+minSize2=nil
+if minSizeStr then
+	minSizeStr=minSizeStr.split(",",-1)
+	if minSizeStr.size==1 then
+		minSize1=minSizeStr[0].to_i if minSizeStr[0]!=""
+		minSize2=minSizeStr[0].to_i if minSizeStr[0]!=""
+	else
+		minSize1=minSizeStr[0].to_i if minSizeStr[0]!=""
+		minSize2=minSizeStr[1].to_i if minSizeStr[1]!=""
+	end
+end
+if maxSizeStr then
+	maxSizeStr=maxSizeStr.split(",",-1)
+	if maxSizeStr.size==1 then
+		maxSize1=maxSizeStr[0].to_i if maxSizeStr[0]!=""
+		maxSize2=maxSizeStr[0].to_i if maxSizeStr[0]!=""
+	else
+		maxSize1=maxSizeStr[0].to_i if maxSizeStr[0]!=""
+		maxSize2=maxSizeStr[1].to_i if maxSizeStr[1]!=""
+	end
+end
+
+def pair2tra(ei,ef1,ef2,traFile,mapFile1,mapFile2)
+	MCMD::msgLog("converting paired form into transaction form ...")
+	wf=MCMD::Mtemp.new
+	wf1=wf.file
+	wf2=wf.file
+
+	f=""
+	f << "mcut f=#{ef1}:node1 i=#{ei} |"
+	f << "mdelnull f=node1 |"
+	f << "msortf f=node1 |"
+	f << "muniq  k=node1 |"
+	f << "mnumber s=node1 a=num1  o=#{mapFile1}"
+	system(f)
+
+	f=""
+	f << "mcut    f=#{ef2}:node2 i=#{ei} |"
+	f << "mdelnull f=node2 |"
+	f << "msortf  f=node2 |"
+	f << "muniq   k=node2 |"
+	f << "mnumber s=node2 a=num2  o=#{mapFile2}"
+	system(f)
+
+	f=""
+	f << "mcut f=#{ef1}:node1,#{ef2}:node2 i=#{ei} |"
+	f << "msortf f=node1 |"
+	f << "mjoin  k=node1 m=#{mapFile1} f=num1 |"
+	f << "msortf f=node2 |"
+	f << "mjoin  k=node2 m=#{mapFile2} f=num2 |"
+	f << "mcut   f=num1,num2 |"
+	f << "msortf f=num1,num2%n |"
+	f << "mtra   k=num1 s=num2%n f=num2 |"
+	f << "msortf f=num1%n |"
+	f << "mcut   f=num2 -nfno o=#{traFile}"
+	system(f)
+end
+
+
+wf=MCMD::Mtemp.new
+xxtra=wf.file
+xxmap1=wf.file
+xxmap2=wf.file
+pair2tra(ei,ef1,ef2,xxtra,xxmap1,xxmap2)
+#system "cp #{xxtra} xxtra"
+#system "cp #{xxmap1} xxmap1"
+#system "cp #{xxmap2} xxmap2"
+
+# 利用コマンドファイル名
+#CMD="lcm_20140215"
+#{TAKE::LcmIs::CMD} 
+
+run=""
+run << "#{type}If"
+run << " -l #{minSize2}" if minSize2 # パターンサイズ下限
+run << " -u #{maxSize2}" if maxSize2 # パターンサイズ上限
+
+# lcm出力ファイル
+lcmout = wf.file
+# 頻出パターンがなかった場合、lcm出力ファイルが生成されないので
+# そのときのために空ファイルを生成しておいく。
+system("touch #{lcmout}")
+
+# lcm実行
+minCnt=1
+MCMD::msgLog("#{run} #{xxtra} #{minCnt} #{lcmout}")
+TAKE::run_lcm("#{run} #{xxtra} #{minCnt} #{lcmout}")
+#system("#{run} #{xxtra} #{minCnt} #{lcmout}")
+#system "cp #{lcmout} lcmout"
+
+xxp0=wf.file
+xxt0=wf.file
+
+TAKE::run_lcmtrans(lcmout,"p",xxt0)
+
+f=""
+#f << "#{TAKE::LcmIs::CMD_TRANS} #{lcmout} p |" # pattern,count,size,pid
+f << "mdelnull  f=pattern  i=#{xxt0}                  |"
+f << "mvreplace vf=pattern m=#{xxmap2} K=num2 f=node2 |"
+f << "mcut      f=pid,pattern,size:size2            |"
+f << "mvsort    vf=pattern                          |"
+f << "msortf    f=pid                               o=#{xxp0}"
+system(f)
+#system "cp #{xxp0} xxp0"
+
+if byedge then
+	xx1=wf.file
+	xx2=wf.file
+	xx3=wf.file
+
+	system "mtra f=pattern i=#{xxp0} -r o=#{xx1}"
+
+	xx3t=wf.file
+	TAKE::run_lcmtrans(lcmout,"t",xx3t)
+
+	f=""
+	#f << "#{TAKE::LcmIs::CMD_TRANS} #{lcmout} t |" #__tid,pid
+	#f << "mcal c='${__tid}+1' a=_tid                 |"
+	f << "msortf f=__tid i=#{xx3t}                    |"
+	f << "mjoin  k=__tid m=#{xxmap1} f=node1 K=num1   |"
+	f << "msortf f=pid o=#{xx2}"
+	system(f)
+
+	f=""
+	f << "mcount k=pid a=size1 i=#{xx2} |"
+	f << "mselnum f=size1 c='[#{minSize1},#{maxSize1}]' o=#{xx3}"
+	system(f)
+
+	f = ""
+	f << "mjoin  k=pid m=#{xx3} f=size1 i=#{xx2} |"
+	f << "mnjoin k=pid m=#{xx1} f=pattern,size2       |"
+	f << "mcut   f=pid:id,node1:#{ef1},pattern:#{ef2},size1,size2 o=#{oFile}"
+	system(f)
+else
+
+	xx4t=wf.file
+	TAKE::run_lcmtrans(lcmout,"t",xx4t)
+
+	f=""
+	#f << "#{TAKE::LcmIs::CMD_TRANS} #{lcmout} t |" #__tid,pid
+	#f << "mcal c='${__tid}+1' a=_tid                 |"
+	f << "msortf f=__tid i=#{xx4t}                    |"
+	f << "mjoin  k=__tid m=#{xxmap1} f=node1 K=num1   |"
+	f << "msortf f=pid                                |"
+	f << "mtra   k=pid f=node1 |"
+	f << "mvcount vf=node1:size1 |"
+	f << "mjoin  k=pid m=#{xxp0} f=pattern,size2 |"
+	f << "mselnum f=size1 c='[#{minSize1},#{maxSize1}]' |"
+	f << "mvsort vf=node1,pattern |"
+	f << "msortf f=node1,pattern |"
+	f << "mcut   f=node1:#{ef1},pattern:#{ef2},size1,size2     o=#{oFile}"
+	system(f)
+end
+# 終了メッセージ
+MCMD::endLog(args.cmdline)
+

data/bin/mbipolish.rb

@@ -0,0 +1,362 @@
+#!/usr/bin/env ruby
+# encoding: utf-8
+
+require "rubygems"
+require "nysol/mcmd"
+require "nysol/take"
+require "set"
+
+# ver="1.0" # 初期リリース              2015/09/27
+# ver="1.1" # 2つ目の類似度と閾値の追加 2015/11/22
+# ver="1.2" # logファイル出力追加       2016/06/25
+# ver="1.3" # kn=を追加                 2016/08/24
+# ver="1.4" # kn2=を追加                2016/09/10
+$cmd=$0.sub(/.*\//,"")
+$version="1.4"
+
+def help
+STDERR.puts <<EOF
+----------------------------
+#{$cmd} version #{$version}
+----------------------------
+概要) 2部グラフの研磨をおこなう。
+内容) 2部グラフを入力として、密度の高い2部部分グラフにあって枝が張られていないノードペアに枝を張る。
+      逆に、密度の低い2部部分グラフにあって枝が張られているノードペアの枝を刈る。
+      新たに張られる枝や刈られる枝の程度は、sim=,th=とsim2,th2で与えた値によって変わる。
+書式) #{$cmd} ei= [ef=] [nf=] eo= [sim=i|I|s|S|T|R|P|C] th= [th2=] [sim2=i|I|s|S|T|R|P|C] [sup=] [iter=] [log=] [T=] [--help]
+
+  ファイル名指定
+  ei=    : 枝データファイル
+  ef=    : 枝データ上の2つの節点項目名(省略時は"node1,node2")
+  eo=    : データ研磨後の枝データファイル
+  sim|2= : 節点a,bと接続された枝集合を、それぞれA,Bとすると、節点a,bに枝を張るために用いる類似度。
+           省略時はRが設定される。(sim2のデフォルト:sim=)
+             i: inclusion
+             I: both-inclusion
+             S: |A∩B|/max(|A|,|B|)
+             s: |A∩B|/min(|A|,|B|)
+             T (intersection): find pairs having common [threshld] items
+             R (resemblance): find pairs s.t. |A\capB|/|A\cupB| >= [threshld]
+             P (PMI): find pairs s.t. log (|A\capB|*|all| / (|A|*|B|)) >= [threshld]
+             C (cosine distance): find pairs s.t. inner product of their normalized vectors >= [threshld]
+  th|2=  : sim|2=で指定された類似度について、ここで指定された値以上の節点間に枝を張る。(th2のデフォルト:th=)
+  sup=   : 左の部の次数がsup以上のノードを対象とする。省略すればsup=0。
+  kn|2 = : kn=で指定された値以上の共起頻度を対象とする。kn2=で指定された値以上の次数を持つ右部を対象とする。
+           省略すればkn=1,kn2=1 [1以上の整数]
+  iter=  : データ研磨の最大繰り返し数(デフォルト=30)
+  log=   : ディレクトリ内にパラメータの設定値や収束回数等をkey-value形式のCSVで出力.繰り返し毎に生成される類似グループ出力
+
+
+  その他
+  T= : ワークディレクトリ(default:/tmp)
+  --help : ヘルプの表示
+
+備考)
+内部で起動しているコマンドsspcは0から始まる整数で指定された節点名を前提として処理する。
+一方で本コマンドは、任意の文字列で節点名を表したデータを処理できる。
+それは、sspcを実行する前に、それら文字列と整数との対応表を前処理で作成しているからである。
+
+例) 2部グラフデータからのみグラフ研磨を実行する例
+$ cat edge.csv
+node1,node2
+A,a
+A,b
+B,a
+B,b
+C,c
+C,d
+D,b
+D,e
+
+$ #{$cmd} ei=edge.csv ef=n1,n2 th=0.2 eo=output.csv
+#MSG# converting the numbered nodes into original name ...; 2015/09/27 21:59:08
+#END# #{$cmd} ei=edge.csv ef=n1,n2 th=0.2 eo=output.csv; 2015/09/27 21:59:08
+$ cat output.csv
+n1,n2
+A,a
+A,b
+A,e
+B,a
+B,b
+B,e
+C,c
+C,d
+D,a
+D,b
+D,e
+
+# Copyright(c) NYSOL 2012- All Rights Reserved.
+EOF
+exit
+end
+
+def ver()
+	STDERR.puts "version #{$version}"
+	exit
+end
+
+help() if ARGV.size <= 0 or ARGV[0]=="--help"
+ver() if ARGV[0]=="--version"
+
+args=MCMD::Margs.new(ARGV,"ei=,ef=,eo=,th=,sim=,th2=,sim2=,kn=,kn2=,sup=,iter=,log=","ei=,ef=,th=")
+
+# コマンド実行可能確認
+#CMD_sspc="sspc_20161209"
+#CMD_grhfil="grhfil_20150920"
+#exit(1) unless(MCMD::chkCmdExe(CMD_sspc  , "executable"))
+#exit(1) unless(MCMD::chkCmdExe(CMD_grhfil, "executable"))
+
+# mcmdのメッセージは警告とエラーのみ
+ENV["KG_VerboseLevel"]="2" unless args.bool("-mcmdenv")
+
+#ワークファイルパス
+if args.str("T=")!=nil then
+	ENV["KG_TmpPath"] = args.str("T=").sub(/\/$/,"")
+end
+
+
+ei = args. file("ei=","r") # edge file name
+
+# ---- edge field names (two nodes) on ei=
+$ef1,$ef2 = args.field("ef=", ei, "node1,node2",2,2)["names"]
+
+measure  = args.str("sim=","R")        # similarity measure
+measure2 = args.str("sim2=",measure)   # similarity measure
+minSupp  = args.int("sup=",0)          # minimam support
+iterMax  = args.int("iter=",30,1)      # upper bound of iterations
+th       = args.float("th=")           # threashold for similarity measure
+th2      = args.float("th2=",th)       # threashold for similarity measure
+kn       = args.float("kn=",1)         # no. of interaction size more than threshold 
+kn2      = args.float("kn2=",1)         # no. of right node size more than threshold 
+
+eo      = args.file("eo=", "w")
+logDir  = args.file("log=", "w")
+outDir  = args.str("O=")	# 過程出力
+MCMD::mkDir(outDir) if outDir
+MCMD::mkDir(logDir) if logDir
+
+# node数とedge数をカウント
+def calGsize(file)
+	nodes=Set.new
+	edgeSize=0
+	File.open(file,"r"){|fpr|
+		while line = fpr.gets
+			n1,n2 = line.split(" ")
+			nodes << n1
+			nodes << n2
+			edgeSize+=1
+		end
+	}
+	return nodes.size,edgeSize
+end
+
+def same?(file1,file2)
+  xx=MCMD::Mtemp.new.file
+
+	return false if File.size(file1)!=File.size(file2)
+	system "diff -q #{file1} #{file2} > #{xx}"
+	return false if File.size(xx)!=0
+	return true
+end
+
+def edge2mtx(ei,itra)
+	MCMD::msgLog("converting graph files into a pair of numbered nodes ...")
+	wf=MCMD::Mtemp.new
+	wf1=wf.file
+	wf2=wf.file
+	wf3=wf.file
+
+
+	system "mcut f=#{$ef1}:node i=#{ei} o=#{wf1}"
+	system "mcut f=#{$ef2}:node i=#{ei} o=#{wf2}"
+
+	# 各部ごとにマッピングテーブルを用意
+	system "mcut f=#{$ef1} i=#{ei} |muniq k=#{$ef1} |mdelnull f=#{$ef1} |mnumber -q a=num1 S=1 o=#{PART1}"
+	system "mcut f=#{$ef2} i=#{ei} |muniq k=#{$ef2} |mdelnull f=#{$ef2} |mnumber -q a=num2 S=1 o=#{PART2}"
+
+	f=""
+	f << "mcut f=#{$ef1},#{$ef2} i=#{ei} |"
+	f << "msortf f=#{$ef1} |"
+	f << "mjoin  k=#{$ef1} m=#{PART1} f=num1 |"
+	f << "msortf f=#{$ef2} |"
+	f << "mjoin  k=#{$ef2} m=#{PART2} f=num2 |"
+	f << "mcut   f=num1,num2 |"
+	f << "mtra   k=num1 f=num2 |"
+	f << "msortf f=num1%n      |"
+	f << "mcut f=num2 -nfno  |"
+	f << "tr ',' ' ' >#{itra}"
+	system(f)
+
+end
+
+def noPat
+		MCMD::msgLog("There is no frequent item. The value is too large")
+		exit 
+end
+
+def convRsl(ifile,ofile,logDir=nil)
+
+	# 上記iterationで収束したマイクロクラスタグラフを元の節点文字列に直して出力する
+	MCMD::msgLog("converting the numbered nodes into original name ...")
+	f=""
+	f << "mcut -nfni f=0:tra <#{ifile} |"
+	f << "msed f=tra c=' $' v="" |"
+	f << "mnumber -q S=1 a=num1 |"
+	f << "mtra -r f=tra:num2 |"
+	f << "mjoin  k=num2 m=#{PART2} f=#{$ef2} |"
+	f << "mjoin  k=num1 m=#{PART1} f=#{$ef1} |"
+	f << "msortf f=num1%n,num2%n |"
+	f << "mcut f=#{$ef1},#{$ef2} |"
+	if logDir
+	f << "mfldname -q o=#{logDir}/#{ofile}" 
+	else
+	f << "mfldname -q o=#{ofile}"
+	end
+	system(f)
+
+end
+
+def convSim(ifile,ofile,logDir)
+
+	f=""
+	f << "mcut -nfni f=0:tra <#{ifile} |"
+	f << "msed f=tra c=' $' v="" |"
+	f << "mnumber -q S=1 a=num0 |"
+	f << "mtra -r f=tra:num11 |"
+	f << "mnumber -q S=1 a=order |"
+	f << "mcal c='${num11}+1' a=num1 |"
+	f << "mjoin  k=num1 m=#{PART1} f=#{$ef1} |"
+	f << "msortf f=order%n,num1%n |"
+	f << "mtra k=num0 s=order f=#{$ef1} |"
+	f << "mcut f=#{$ef1} o=#{logDir}/#{ofile}"
+	system(f)
+
+end
+
+# ============
+# entry point
+t=Time.now
+
+# 入力ファイルをノード番号ペアデータ(input)に変換する。
+# csvで指定された場合は、番号-アイテムmapデータも作成
+wf=MCMD::Mtemp.new
+xxinp=wf.file
+PART1=wf.file  # 数値と文字のマッピング用1
+PART2=wf.file  # 数値と文字のマッピング用1
+
+edge2mtx(ei,xxinp)
+input=xxinp
+
+xxpair = wf.file # pair形式
+xxtra  = wf.file # tra形式
+xxitra = wf.file # 処理入力のtra形式
+xxdiff = wf.file # 差分ファイル
+xxprev = wf.file # 前回のxxtra
+xxsimgp= wf.file # 類似度グループの保存
+
+nSizes=[]
+eSizes=[]
+denses=[]
+
+#system "#{CMD_grhfil} D"" #{input} #{xxitra}"
+TAKE::run_grhfil("D"" #{input} #{xxitra}")
+puts   "grhfil D"" #{input} #{xxitra}"
+
+
+iter=0
+while true
+
+	# 終了判定
+	break if iter>=iterMax
+	break if iter!=0 and same?(xxitra,xxprev)
+
+	MCMD::msgLog("polishing iteration ##{iter} (tra size=#{File.size(xxitra)}")
+	system "cp #{xxitra} #{xxprev}"
+
+	nodeSize,edgeSize=calGsize(xxitra)
+	edgeSize1 = edgeSize+1
+
+	#system "#{CMD_sspc} t#{measure} -T #{kn} -l #{minSupp} -U 100000 -L 1 #{xxitra} #{th} #{xxpair}"
+	TAKE::run_sspc("t#{measure} -T #{kn} -l #{minSupp} -U 100000 -L 1 #{xxitra} #{th} #{xxpair}")
+	puts   "sspc t#{measure} -T #{kn} -l #{minSupp} -U 100000 -L 1 #{xxitra} #{th} #{xxpair}"
+
+	# 閾値が大きくてパターンが抽出されない場合は終了
+	noPat unless File.exist?("#{xxpair}")
+	noPat if File.size("#{xxpair}") == 0
+
+	# node pairをsspc入力形式に変換
+	# ./grhfil/grhfil eu0_ _TMP2_ _TMP3_
+	#system "#{CMD_grhfil} eu0 #{xxpair} #{xxtra}"
+	TAKE::run_grhfil("eu0 #{xxpair} #{xxtra}")
+	puts "grhfil eu0 #{xxpair} #{xxtra}"
+
+	convSim("#{xxtra}","simGp#{iter}.csv",logDir) if logDir
+
+	# 入力と類似行列を連結
+	system "cat #{xxitra} #{xxtra} > #{xxpair}"
+
+  # 入力ファイルと、比較ファイルを比較 ＝＞ 新しいトランザクションDBの完成
+	#system "#{CMD_sspc} #{measure2} -T #{kn2} -c #{edgeSize} #{xxpair} #{th2} #{xxtra}"
+	TAKE::run_sspc("#{measure2} -T #{kn2} -c #{edgeSize} #{xxpair} #{th2} #{xxtra}")
+	puts   "sspc #{measure2} -T #{kn2} -c #{edgeSize} #{xxpair} #{th2} #{xxtra}"
+
+
+	# 閾値が大きくてパターンが抽出されない場合は終了
+	noPat unless File.exist?("#{xxtra}")
+	noPat if File.size("#{xxtra}") == 0
+
+  # 行列形式に変換
+	#system "#{CMD_grhfil} ed #{xxtra} #{xxpair}"
+	TAKE::run_grhfil("ed #{xxtra} #{xxpair}")
+	puts   "grhfil ed #{xxtra} #{xxpair}"
+
+	# catした入力ファイルを削除"
+	system "tail -n +#{edgeSize1} #{xxpair} >#{xxtra}"
+	#system "#{CMD_grhfil} D #{xxtra} #{xxpair}"
+	TAKE::run_grhfil("D #{xxtra} #{xxpair}")
+	puts   "grhfil D #{xxtra} #{xxpair}"
+
+	x="$d2/grhfil dE -d _TMP_ _TMP8_ _TMP9_"  # 差分計算
+	#system "#{CMD_grhfil} dE -d #{xxitra} #{xxpair} #{xxdiff}"
+	TAKE::run_grhfil("dE -d #{xxitra} #{xxpair} #{xxdiff}")
+	puts   "grhfil dE -d #{xxitra} #{xxpair} #{xxdiff}"
+
+
+	system "cp #{xxpair} #{xxitra}"
+	if logDir
+		#system "#{CMD_grhfil} D #{xxitra} #{xxpair}"
+		TAKE::run_grhfil("D #{xxitra} #{xxpair}")
+		puts   "grhfil D #{xxitra} #{xxpair}"
+		convRsl(xxpair,"iter#{iter}.csv",logDir) if logDir
+	end
+	iter+=1
+
+end
+
+#system "#{CMD_grhfil} D #{xxitra} #{xxpair}"
+TAKE::run_grhfil("D #{xxitra} #{xxpair}")
+puts   "grhfil D #{xxitra} #{xxpair}"
+convRsl("#{xxpair}",eo)
+
+
+procTime=Time.now-t
+
+# ログファイル出力
+if logDir
+	kv=args.getKeyValue()
+	kv << ["iter",iter] 
+	kv << ["time",procTime] 
+	(0...nSizes.size).each{|i|
+		kv << ["nSize#{i}",nSizes[i]]
+		kv << ["eSize#{i}",eSizes[i]]
+		kv << ["dens#{i}" ,denses[i]]
+	}
+	MCMD::Mcsvout.new("o=#{logDir}/keyVal.csv f=key,value"){|csv|
+		kv.each{|line|
+			csv.write(line)
+		}
+	}
+end
+
+# 終了メッセージ
+MCMD::endLog(args.cmdline)