nysol-take 3.0.0

data/bin/mcliqueInfo.rb

@@ -0,0 +1,203 @@
+#!/usr/bin/env ruby
+# encoding: utf-8
+
+require "rubygems"
+require "nysol/mcmd"
+
+# ver="1.0" # 初期リリース 2014/2/20
+$cmd=$0.sub(/.*\//,"")
+$version=1.0
+
+def help
+STDERR.puts <<EOF
+----------------------------
+#{$cmd} version #{$version}
+----------------------------
+概要) クリークデータから、クリーク別に参照グラフとの枝の違いを計算する。
+書式) #{$cmd} i= [id=] [f=] [o=] [T=] [--help]
+
+  ファイル名指定
+  i=     : クリークデータファイル名
+	id=    : クリークID項目名(デフォルト: "id")
+  f=     : クリークを構成する節点項目名(デフォルト: "node")
+	o=     : 出力ファイル名
+
+  その他
+  T= : ワークディレクトリ(default:/tmp)
+  --help : ヘルプの表示
+
+入力データ)
+クリークIDと節点の2項目からなるCSVファイル。
+mclique.rb コマンドで-nodeを指定して出力されるデータファイル。
+
+出力データ1)
+クリーク別に以下の項目を出力する。
+nSize: クリークを構成するnode数
+eSize: クリークを構成する枝数(nSize(nSize-1)/2)
+extNodes: 外部接続節点数
+extEdges: 外部接続枝数
+extCliques: 外部接続クリーク数
+
+出力データ2)
+ノード別に以下の項目を出力する。
+degree: 次数(接続節点数)
+cliques: 所属するクリーク数
+size: 所属する最大クリークサイズ-最小クリークサイズ
+
+例)
+
+# Copyright(c) NYSOL 2012- All Rights Reserved.
+EOF
+exit
+end
+
+def ver()
+	STDERR.puts "version #{$version}"
+	exit
+end
+
+help() if ARGV[0]=="--help" or ARGV.size <= 0
+ver() if ARGV[0]=="--version"
+
+args=MCMD::Margs.new(ARGV,"i=,id=,f=,o=,T=","i=")
+
+# mcmdのメッセージは警告とエラーのみ
+ENV["KG_VerboseLevel"]="2" unless args.bool("-mcmdenv")
+
+#ワークファイルパス
+if args.str("T=")!=nil then
+	ENV["KG_TmpPath"] = args.str("T=").sub(/\/$/,"")
+end
+
+iFile = args.file("i=","r") # i=
+oFile = args.file("o=","w") # o=
+
+## id=
+id=args.field("id=",iFile,"id")["names"][0] # id項目名
+
+## f=
+node = args.field("f=", iFile, "node",1,1)["names"][0] 
+
+wf=MCMD::Mtemp.new
+xxid_node=wf.file
+xxnSize=wf.file
+xxedge=wf.file
+
+# i=のサンプル
+# id,node
+# 0,a
+# 0,b
+# 0,c
+# 0,d
+# 1,d
+# 1,e
+# 1,f
+# 2,e
+# 2,f
+# 2,g
+# 3,e
+# 3,f
+# 3,h
+
+# nodeマスタ
+f=""
+f << "mcut   f=#{id}:__id,#{node}:node i=#{iFile} |"
+f << "msortf f=__id,node |"
+f << "muniq  k=__id,node o=#{xxid_node}"
+system(f)
+
+# nSize: クリーク別接点数、枝数のカウント
+f=""
+f << "mcount k=__id a=nSize i=#{xxid_node} |"
+f << "mcal   c='${nSize}*(${nSize}-1)/2' a=eSize o=#{xxnSize}"
+system(f)
+
+# edgeマスタ
+f=""
+f << "mcombi k=__id f=node n=2 -p a=node1,node2 i=#{xxid_node} |"
+f << "mcut   f=node -r |"
+f << "msortf f=node1,node2,__id o=#{xxedge}"
+system(f)
+
+xxextLink=wf.file
+xxextNodes=wf.file
+xxextEdges=wf.file
+xxextCliques=wf.file
+
+# xxid_node xxedge            xxextLin
+# __id,node __id,node1,node2  __id,node,node2,__id2
+# 0,a       0,a,b             0,d,e,1
+# 0,b       0,a,c             0,d,f,1
+# 0,c       0,a,d             1,d,a,0
+# 0,d       0,b,a             1,d,b,0
+# 1,d       0,b,c             1,d,c,0
+# 1,e       0,b,d             1,e,g,2
+# 1,f       0,c,a             1,f,g,2
+# 2,e       0,c,b             1,e,h,3
+# 2,f       0,c,d             1,f,h,3
+# 2,g       0,d,a             2,f,d,1
+# 3,e       0,d,b             2,e,d,1
+# 3,f       0,d,c             2,e,h,3
+# 3,h       1,d,e             2,f,h,3
+#           1,d,f             3,e,d,1
+#           1,e,d             3,f,d,1
+#           1,e,f             3,f,g,2
+#           2,e,f             3,e,g,2
+#           3,e,f
+#           2,e,g
+#           3,e,h
+#           1,f,d
+#           1,f,e
+#           2,f,e
+#           3,f,e
+#           2,f,g
+#           3,f,h
+#           2,g,e
+#           2,g,f
+#           3,h,e
+#           3,h,f
+f=""
+f << "msortf f=node i=#{xxid_node} |"
+f << "mnjoin k=node m=#{xxedge} K=node1 f=node2,__id:__id2 |"            # クリークの節点から接続されている節点を全て結合
+f << "msel c='${__id}!=${__id2}' |"                                      # 結合された節点が元のクリークと同じものは削除
+f << "msortf  f=__id,node2 |"
+f << "mcommon k=__id,node2 K=__id,node m=#{xxid_node} -r o=#{xxextLink}" # remove the nodes included in the same clique
+system(f)
+
+# 外部接続節点本数
+f=""
+f << "mcut    f=__id,node2 i=#{xxextLink} |"
+f << "msortf  f=__id,node2 |"
+f << "muniq   k=__id,node2 |"
+f << "mcount k=__id a=extNodes o=#{xxextNodes}"
+system(f)
+
+# 外部接続枝本数
+f=""
+f << "mcut   f=__id i=#{xxextLink} |"
+f << "msortf f=__id |"
+f << "mcount k=__id a=extEdges o=#{xxextEdges}"
+system(f)
+
+# 外部接続クリーク数
+f=""
+f << "msortf f=__id,__id2 i=#{xxextLink} |"
+f << "muniq  k=__id,__id2 |"
+f << "mcut   f=__id |"
+f << "msortf f=__id |"
+f << "mcount k=__id a=extCliques o=#{xxextCliques}"
+system(f)
+
+# 全項目結合
+f=""
+f << "mcut  f=__id,nSize,eSize                    i=#{xxnSize} |"
+f << "mjoin k=__id m=#{xxextNodes}   f=extNodes   -n |"
+f << "mjoin k=__id m=#{xxextEdges}   f=extEdges   -n |"
+f << "mjoin k=__id m=#{xxextCliques} f=extCliques -n |"
+f << "mnullto f=* v=0 |"
+f << "mfldname f=__id:#{id} o=#{oFile}"
+system(f)
+
+# 終了メッセージ
+MCMD::endLog(args.cmdline)
+

data/bin/mfriends.rb

@@ -0,0 +1,202 @@
+#!/usr/bin/env ruby
+# encoding: utf-8
+
+require "rubygems"
+require "nysol/mcmd"
+require "set"
+
+# ver="1.0" # 初期リリース 2016/10/2
+# ver="1.1" -pal,rank2=,-udout追加 2016/12/13
+# ver="1.2" rank2=削除,-palの意味を変更 2016/12/25
+$cmd=$0.sub(/.*\//,"")
+$version="1.2"
+
+def help
+STDERR.puts <<EOF
+----------------------------
+#{$cmd} version #{$version}
+----------------------------
+概要) 相互類似関係にある枝を選択する。
+内容) グラフG=(V,E)の任意の枝(a,b)∈E について条件b∈A and a∈Bを満たす枝を選択する。
+      ここで、A(B)は節点a(b)の隣接節点の内、類似度が上位r個の節点集合のこと。
+      rはrank=で指定し、類似度(項目)はsim=で指定する。
+      結果は有向グラフとして出力される。例えば節点a,bが相互類似関係にあれば、a->b,b->aの両枝が出力される。
+書式) #{$cmd} ei= [ef=] [ni=] [nf=] eo= [no=] [sim=] [dir=b|m|x] [-directed] [T=] [--help]
+
+  ファイル名指定
+  ei=   : 枝データファイル
+  ef=   : 枝データ上の2つの節点項目名(省略時は"node1,node2")
+  ni=   : 節点データファイル
+  nf=   : 節点データ上の節点項目名(省略時は"node")
+  eo=   : データ研磨後の枝データファイル
+  no=   : データ研磨後の節点データファイル
+  rank= : 類似度上位何個までの隣接節点を対象とするか(省略時は3)
+  sim=  : rank=で使う節点間類似度(枝の重み)項目名。
+  dir=  : b:双方向類似枝のみ出力する(デフォルト)
+        : m:片方向類似枝のみ出力する
+        : x:双方向類似枝、片方向類似枝両方共出力する。
+  -directed: 有向グラフとみなして計算する。
+  -udout: 無向グラフとして出力する。両方向に枝がある場合(a->b,b->a)の枝はa-bとして出力される。
+          a->b,b->aで類似度が異なる場合は平均値が出力される。
+
+  その他
+  T= : ワークディレクトリ(default:/tmp)
+  --help : ヘルプの表示
+
+例) 基本例
+$ cat edge.csv
+n1,n2,sim
+a,b,0.40
+a,c,0.31
+a,d,0.31
+b,c,0.20
+b,d,0.24
+b,e,0.14
+c,d,0.30
+d,e,0.09
+$ #{$cmd} ei=edge.csv ef=n1,n2 sim=sim rank=2 eo=output.csv
+#END# #{$cmd} ei=edge.csv ef=n1,n2 sim=sim rank=2 eo=output.csv; 2016/10/02 09:58:22
+$ cat output.csv
+n1%0,n2%1,sim
+a,b,0.40
+a,c,0.31
+a,d,0.31
+b,a,0.40
+c,a,0.31
+c,d,0.30
+d,a,0.31
+d,c,0.30
+
+# Copyright(c) NYSOL 2012- All Rights Reserved.
+EOF
+exit
+end
+
+def ver()
+	STDERR.puts "version #{$version}"
+	exit
+end
+
+help() if ARGV.size <= 0 or ARGV[0]=="--help"
+ver() if ARGV[0]=="--version"
+
+args=MCMD::Margs.new(ARGV,"ni=,nf=,ei=,ef=,eo=,no=,sim=,rank=,dir=,-directed,-udout","ei=,ef=,sim=")
+
+# mcmdのメッセージは警告とエラーのみ
+ENV["KG_VerboseLevel"]="2" unless args.bool("-mcmdenv")
+
+#ワークファイルパス
+if args.str("T=")!=nil then
+	ENV["KG_TmpPath"] = args.str("T=").sub(/\/$/,"")
+end
+
+ei = args. file("ei=","r") # edge file name
+ni = args. file("ni=","r") # node file name
+
+# ---- edge field names (two nodes) on ei=
+ef1,ef2 = args.field("ef=", ei, nil,2,2)["names"]
+
+# ---- node field name on ni=
+nf = args.field("nf=", ni, nil,1,1)
+nf = nf["names"][0] if nf
+
+sim     = args.field("sim=",ei,nil,1,1)["names"][0]    # similarity measure
+rank    = args.int("rank=",3)     # ranking 
+dir     = args.str("dir=","b")    # 方向
+directed= args.bool("-directed")  # directed graph
+udout   = args.bool("-udout")     # 無向グラフ出力
+
+unless ["b","m","x"].index(dir)
+	MCMD::errorLog("dir= takes b, m, x")
+	raise ArgumentError
+end
+
+eo      = args.file("eo=", "w")
+no      = args.file("no=", "w")
+logFile = args.file("log=", "w")
+
+# ============
+# entry point
+
+wf=MCMD::Mtemp.new
+xxpal   =wf.file
+xxa=wf.file
+xxb=wf.file
+xxc=wf.file
+xxd=wf.file
+xxout=wf.file
+
+# n1,n2,sim
+# a,b,0.40
+# a,c,0.31
+# a,d,0.22
+# b,c,0.20
+# b,d,0.24
+# b,e,0.14
+# c,d,0.30
+# d,e,0.09
+if directed
+	# 任意の枝a->bのaについて上位rankを選択
+	f=""
+	f << "mnumber k=#{ef1} s=#{sim}%nr e=skip S=1 a=##rank i=#{ei} |"
+	f << "mselnum f=##rank c='[,#{rank}]' o=#{xxpal}"
+	system(f)
+else
+	# 有向グラフにしてrankを計算
+	system  "mfsort f=#{ef1},#{ef2} i=#{ei} o=#{xxa}"
+	system  "mfsort f=#{ef2},#{ef1} i=#{ei} o=#{xxb}"
+	f=""
+	f << "mcat i=#{xxa},#{xxb} |"
+	f << "muniq k=#{ef1},#{ef2} |"
+	f << "mnumber k=#{ef1} s=#{sim}%nr e=skip S=1 a=##rank |"
+	f << "mselnum f=##rank c='[,#{rank}]' o=#{xxpal}"
+	system(f)
+end
+
+# 両方向+片方向
+if dir=="x"
+	f=""
+	f << "mcut f=#{ef1},#{ef2},#{sim} i=#{xxpal} o=#{xxout}"
+	system(f)
+
+# 両方向
+	elsif dir=="b"
+	# 得られた上位rankグラフからa->b->cを作成し、a==cであれば相思相愛ということ
+	f=""
+	f << "mnjoin k=#{ef2} K=#{ef1} m=#{xxpal} f=#{ef2}:##ef2,#{sim}:sim2 i=#{xxpal} |"
+	f << "msel c='$s{#{ef1}}==$s{##ef2}' |"
+	f << "mcut f=#{ef1},#{ef2},#{sim} o=#{xxout}"
+	system(f)
+
+# 片方向
+	else
+	# 得られた上位rankグラフからa->b->cを作成し、a==cであれば相思相愛ということ
+	f=""
+	f << "mnjoin k=#{ef2} K=#{ef1} m=#{xxpal} f=#{ef2}:##ef2,#{sim}:sim2 i=#{xxpal} |"
+	f << "msel c='$s{#{ef1}}==$s{##ef2}' |"
+	f << "mcut f=#{ef1},#{ef2} o=#{xxc}"
+	system(f)
+
+	f=""
+	f << "mcut f=#{ef1},#{ef2},#{sim} i=#{xxpal} |"
+	f << "mcommon k=#{ef1},#{ef2} m=#{xxc} -r o=#{xxout}"
+	system(f)
+end
+
+if udout
+	f=""
+	f << "mfsort f=#{ef1},#{ef2} i=#{xxout} |"
+	f << "mavg   k=#{ef1},#{ef2} f=#{sim} |"
+	f << "msortf f=#{ef1},#{ef2} o=#{eo}"
+	system(f)
+else
+	system "msortf f=#{ef1},#{ef2} i=#{xxout} o=#{eo}"
+end
+
+if ni and no
+	system "cp #{ni} #{no}"
+end
+
+# 終了メッセージ
+MCMD::endLog(args.cmdline)
+

data/bin/mgdiff.rb

@@ -0,0 +1,252 @@
+#!/usr/bin/env ruby
+# encoding: utf-8
+
+require "rubygems"
+require "nysol/mcmd"
+
+# ver="1.0" # 初期リリース 2014/2/20
+# ver="1.1" # 節点ファイル対応 2014/8/2
+$cmd=$0.sub(/.*\//,"")
+$version="1.1"
+
+def help
+STDERR.puts <<EOF
+----------------------------
+#{$cmd} version #{$version}
+----------------------------
+概要) ２つのグラフを比較し、同じ枝と異なる枝の情報を出力する。
+書式) #{$cmd} ei= [ef=] eI= [eF=] [eo=] [no=] [T=] [--help]
+
+  ファイル名指定
+  ei=  : 入力枝ファイル1
+  ef=  : 枝を構成するの2つの節点項目名(ei=上の項目名,デフォルト:node1,node2)
+  eI=  : 入力枝ファイル2
+  eF=  : eI=上の2つの節点項目名(ef=と同じであれば省略できる,デフォルト:ef=で指定した項目名)
+
+  ni=  : 入力節点ファイル1(ei=に対応)
+  nf=  : 枝を構成するの2つの節点項目名(ni=上の項目名,デフォルト:node)
+  nI=  : 入力節点ファイル2(eI=に対応)
+  nF=  : nI=上の2つの節点項目名(nf=と同じであれば省略できる,デフォルト:nf=で指定した項目名)
+
+  eo=  : 出力枝ファイル
+  no=  : 出力節点ファイル
+
+	-dir : 有向グラフとして扱う
+
+  その他
+  T= : ワークディレクトリ(default:/tmp)
+  --help : ヘルプの表示
+
+  注1) 無向グラフとして扱う場合(デフォルト)、ei=ファイルとeI=ファイルとで、
+       節点の並びが異なっていても、それは同じと見なす(ex. 枝a,bと枝b,aは同じ)。
+       -dirを指定すれば異なるものと見なす。
+  注2) 無向グラフとして扱う場合(デフォルト)、
+       処理効率を重視し、ef=で指定した節点の並びはアルファベット順に並べ替えるため、
+       eo=の項目の並びがei=やeI=の並びと異なることがある。
+  注3) 同じ枝が複数ある場合、それらは単一化される。
+
+入力データ)
+ei=,eI=: 節点ペアからなるCSVファイル。
+ni=,nI=: 節点からなるCSVファイル。
+
+枝出力データ)
+枝ファイル1と枝ファイル2のいずれかに出現する枝(節点ペア)について以下の値を出力する。
+項目名: 内容
+ ei    : ei=で指定したグラフにその行の節点ペアがあれば、そのファイル名
+ eI    : eI=で指定したグラフにその行の節点ペアがあれば、そのファイル名
+ diff : 差分の区分
+         1: ei=のグラフにしか存在しない
+         0: ei=,eI=の両方に存在する
+        -1: eI=のグラフにしか存在しない
+
+節点出力データ)
+節点ファイル1と節点ファイル2のいずれかに出現する節点について以下の値を出力する。
+項目名: 内容
+ ni    : ni=で指定したグラフにその節点があれば、そのファイル名
+ nI    : nI=で指定したグラフにその節点があれば、そのファイル名
+ diff : 差分の区分
+         1: ni=のグラフにしか存在しない
+         0: ni=,nI=の両方に存在する
+        -1: nI=のグラフにしか存在しない
+
+
+例)
+$ cat g1.csv
+node1,node2
+a,b
+b,c
+c,d
+
+$ cat g2.csv
+node1,node2
+b,a
+c,d
+d,e
+
+$ mgdiff.rb ei=g1.csv eI=g2.csv ef=node1,node2
+node1,node2,i,I,diff
+a,b,g1.csv,g2.csv,0
+b,c,g1.csv,,1
+c,d,g1.csv,g2.csv,0
+d,e,,g2.csv,-1
+
+$ mgdiff.rb ei=g1.csv eI=g2.csv ef=node1,node2 -dir
+node1,node2,i,I,diff
+a,b,data/g1.csv,,1
+b,a,,data/g2.csv,-1
+b,c,data/g1.csv,,1
+c,d,data/g1.csv,data/g2.csv,0
+d,e,,data/g2.csv,-1
+
+# Copyright(c) NYSOL 2012- All Rights Reserved.
+EOF
+exit
+end
+
+def ver()
+	STDERR.puts "version #{$version}"
+	exit
+end
+
+help() if ARGV[0]=="--help" or ARGV.size <= 0
+ver() if ARGV[0]=="--version"
+args=MCMD::Margs.new(ARGV,"ei=,ef=,eI=,eF=,ni=,nf=,nI=,nF=,-dir,eo=,no=,T=","ei=,eI=,eo=")
+
+# mcmdのメッセージは警告とエラーのみ
+ENV["KG_VerboseLevel"]="2" unless args.bool("-mcmdenv")
+
+#ワークファイルパス
+if args.str("T=")!=nil then
+	ENV["KG_TmpPath"] = args.str("T=").sub(/\/$/,"")
+end
+
+ei = args.file("ei=","r")
+eI = args.file("eI=","r")
+ni = args.file("ni=","r")
+nI = args.file("nI=","r")
+eo = args.file("eo=","w")
+no = args.file("no=","w")
+
+if (ni and not nI) or (not ni and nI)
+	raise("must specify both of ni= and nI=")
+end
+
+## ef=: cliqueファイルedge始点終了頂点項目名
+ef1,ef2 = args.field("ef=", ei,"node1,node2",2,2)["names"]
+
+## ev=: weights on input file
+#ev = args.field("ev=", ei)
+#ev = ev["names"].join(",") if ev
+
+## eF=: 参照ファイルedge始点終了頂点項目名
+eF = args.field("eF=", eI, nil, 2,2)
+eF1,eF2=eF["names"] if eF
+eF1=ef1 unless eF1
+eF2=ef2 unless eF2
+
+# ---- node field name on ni=
+nf = args.field("nf=", ni, "node",1,1)
+nf = nf["names"][0] if nf
+
+## eF=: 参照ファイルedge始点終了頂点項目名
+nF = args.field("nF=", nI, nil, 1,1)
+nF = nF["names"] if nF
+nF =nf unless eF
+
+## eV=: weights on reference file
+#eV = args.field("eV=", eI)
+#eV = eV["names"].join(",") if eV
+#eV=ev unless eV
+
+# -dir: compare as a derected graph
+dir=args.bool("-dir")
+
+wf=MCMD::Mtemp.new
+xxedge_i=wf.file
+xxedge_I=wf.file
+
+# ei=のサンプル
+# id,node1,node2,size
+# 0,e,f,2
+# 1,b,f,2
+# 2,a,c,4
+# 2,a,d,4
+# 2,a,e,4
+# 2,c,d,4
+# 2,c,e,4
+# 2,d,e,4
+# 3,a,b,4
+# 3,a,c,4
+# 3,a,d,4
+# 3,b,c,4
+# 3,b,d,4
+# 3,c,d,4
+#
+# eI=のサンプル
+# node1,node2
+# a,b
+# a,c
+# a,d
+# a,e
+# b,c
+# b,d
+# b,f
+# c,d
+# c,e
+# d,e
+# e,f
+
+# クリーニング(ei=)
+f=""
+f << "mcut   f=#{ef1},#{ef2} i=#{ei} |"
+f << "mfsort f=#{ef1},#{ef2} |" unless dir
+f << "msortf f=#{ef1},#{ef2} |"
+f << "muniq  k=#{ef1},#{ef2} |"
+f << "msetstr v=#{ei} a=ei o=#{xxedge_i}"
+system(f)
+
+# クリーニング(eI=)
+f=""
+f << "mcut   f=#{eF1}:#{ef1},#{eF2}:#{ef2} i=#{eI} |"
+f << "mfsort f=#{ef1},#{ef2} |" unless dir
+f << "msortf f=#{ef1},#{ef2} |"
+f << "muniq  k=#{ef1},#{ef2} |"
+f << "msetstr v=#{eI} a=eI o=#{xxedge_I}"
+system(f)
+
+f=""
+f << "mjoin k=#{ef1},#{ef2} m=#{xxedge_I} f=eI i=#{xxedge_i} -n -N |"
+f << "mcal  c='if(isnull($s{ei}),-1,if(isnull($s{eI}),1,0))' a=diff |"
+f << "mcut  f=#{ef1},#{ef2},ei,eI,diff o=#{eo}"
+system(f)
+
+if ni and nI then
+	xxnode_i=wf.file
+	xxnode_I=wf.file
+
+	# クリーニング(ni=)
+	f=""
+	f << "mcut   f=#{nf} i=#{ni} |"
+	f << "msortf f=#{nf} |"
+	f << "muniq  k=#{nf} |"
+	f << "msetstr v=#{ni} a=ni o=#{xxnode_i}"
+	system(f)
+
+	# クリーニング(nI=)
+	f=""
+	f << "mcut   f=#{nF}:#{nf} i=#{nI} |"
+	f << "msortf f=#{nf} |"
+	f << "muniq  k=#{nf} |"
+	f << "msetstr v=#{nI} a=nI o=#{xxnode_I}"
+	system(f)
+
+	f=""
+	f << "mjoin k=#{nf} m=#{xxnode_I} f=nI i=#{xxnode_i} -n -N |"
+	f << "mcal  c='if(isnull($s{ni}),-1,if(isnull($s{nI}),1,0))' a=diff |"
+	f << "mcut  f=#{nf},ni,nI,diff o=#{no}"
+	system(f)
+end
+
+# 終了メッセージ
+MCMD::endLog(args.cmdline)
+