nysol-mining 3.0.0

data/bin/mnewman.rb

@@ -0,0 +1,345 @@
+#!/usr/bin/env ruby
+# encoding: utf-8
+
+require "rubygems"
+require "nysol/mcmd"
+
+$version="1.0"
+$revision="###VERSION###"
+CMD="mnewman.rb"
+
+def help
+STDERR.puts <<EOF
+----------------------------
+#{CMD} version #{$version}
+----------------------------
+概要) newman クラスタリング
+特徴) 1) modularityの最適化を用いたクラスタリングが実施できる。
+      2) 辺の媒介中心性を利用したグラフ分割によるクラスタリングが実施できる。
+書式) #{CMD} ei= ef= ni= [nf=] [ew=] [al=]  o= [-directed]
+
+  ei=   : 枝データファイル
+  ef=   : 枝データ上の2つの節点項目名
+  ni=   : 節点データファイル
+  nf=   : 節点データ上の節点項目名
+  ew=   : 枝ファイル上の重み項目名【省略時は全ての枝の重みを1と見なす】
+  al=   : クラスタリングアルゴリズム。省略時はmoが選択される。
+          mo:(modularity optimization) modularityを最適化するための貪欲法によるクラスタリング
+              無向グラフでのみ指定可能。igraphのcluster_fast_greedyを利用
+          eb:(edge betweenness) 辺の媒介中心性を計算し最もそれが高い辺を取り除くことでグラフを分割する。
+              分割数はmodurarityが最大となるように決定される。igraphのcluster_edge_betweennessを利用
+  -directed : 有向グラフ
+  o=     : クラスタ
+
+  その他
+  T= : ワークディレクトリ(default:/tmp)
+  -verbose : show the END messages of MCMD and R used in this command
+  --help : ヘルプの表示
+
+必要なソフトウェア)
+	1) R
+	2) igraph package for R
+
+入力データ)
+節点ペアのCSVファイル(ファイル名はei=にて指定)
+例)
+$ cat data/dat1.edge
+n1,n2
+a,b
+a,c
+a,d
+a,e
+a,f
+a,g
+b,c
+b,d
+b,e
+b,f
+c,h
+d,g
+e,f
+
+$ cat data/dat.node
+node
+a
+b
+c
+d
+e
+f
+g
+
+${CMD} ei=data/dat1.edge ef=n1,n2 al=mo o=rsl01
+#END# mnewman.rb ei=./data/dat1.edge ef=n1,n2 al=mo o=rsl01; 2016/01/24 01:54:25
+
+$ cat rsl01
+node,cls
+a,2
+b,1
+c,3
+d,2
+e,1
+f,1
+g,2
+h,3
+
+# Copyright(c) NYSOL 2012- All Rights Reserved.
+EOF
+exit
+end
+
+def ver()
+  $revision ="0" if $revision =~ /VERSION/
+  STDERR.puts "version #{$version} revision #{$revision}"
+  exit
+end
+
+help() if ARGV[0]=="--help" or ARGV.size <= 0
+ver()  if ARGV[0]=="--version"
+
+# confirm if R library is installed
+exit(1) unless(MCMD::chkRexe("igraph"))
+
+
+####
+# converting original graph file with text to one with integer
+# output #{numFile} and #{mapFile}, then return the number of nodes of the graph
+#
+# ei    ni   xxnum   xxmap
+# v1,v2 v            node%1,flag%0,num
+# E,J   A     0 3    A,0,0
+# E,A   B     0 4    B,0,1
+# J,D   C     0 6    D,0,2
+# J,A   D =>  1 5    E,0,3
+# J,H   E     2 4    F,0,4
+# D,H   F     2 5    H,0,5
+# D,F   G     2 6    J,0,6
+# H,F   H     3 6    C,1,7
+# A,F   I     4 5    G,1,8
+# B,H   J     5 6    I,1,9
+#
+# return value is 10 (nodes)
+# "flag" on xxmap: 0:nodes in "ei", 1:nodes only in "ni".
+def g2pair(ni,nf,ei,ef1,ef2,ew,numFile,mapFile,weightFile)
+  #MCMD::msgLog("converting graph files into a pair of numbered nodes ...")
+  wf=MCMD::Mtemp.new
+  wf1=wf.file
+  wf2=wf.file
+  wf3=wf.file
+
+  system "mcut f=#{ef1}:node i=#{ei} | msetstr v=0 a=flag o=#{wf1}"
+  system "mcut f=#{ef2}:node i=#{ei} | msetstr v=0 a=flag o=#{wf2}"
+  system "mcut f=#{nf}:node  i=#{ni} | msetstr v=1 a=flag o=#{wf3}" if nf
+
+  f=""
+  if nf
+    f << "mcat i=#{wf1},#{wf2},#{wf3} f=node,flag |"
+    f << "mbest k=node s=flag from=0 size=1 |"
+  else
+    f << "mcat  i=#{wf1},#{wf2}       f=node,flag |"
+    f << "muniq k=node |"
+  end
+  # isolated nodes are set to the end of position in mapping file.
+  # S= must start from 0 (but inside R vertex number will be added one)
+  f << "mnumber s=flag,node a=num S=0 o=#{mapFile}"
+  system(f)
+
+  f=""
+  f << "mcut f=#{ef1},#{ef2} i=#{ei} |"
+  f << "msortf f=#{ef1} |"
+  f << "mjoin  k=#{ef1} K=node m=#{mapFile} f=num:num1 |"
+  f << "msortf f=#{ef2} |"
+  f << "mjoin  k=#{ef2} K=node m=#{mapFile} f=num:num2 |"
+  f << "mcut   f=num1,num2 |"
+  f << "mfsort f=num1,num2 |"
+  f << "msortf f=num1%n,num2%n -nfno | tr ',' ' ' >#{numFile}"
+  system(f)
+
+  nodeSize=MCMD::mrecount("i=#{mapFile}")
+
+	if ew
+		system "mcut f=#{ew} i=#{ei} o=#{weightFile}"
+	else
+		ew="weight"
+		system "msetstr v=1 a=#{ew} i=#{ei} |mcut f=#{ew} o=#{weightFile}"
+	end
+
+  return nodeSize
+end
+
+def convOrg(xxmap,xxout,ofile)
+
+  wf=MCMD::Mtemp.new
+  xx1=wf.file
+  xx2=wf.file
+
+	system "mnumber S=0 a=num -q i=#{xxout} o=#{xx1}"
+
+	f=""
+	f << "mjoin k=num f=cls m=#{xx1} i=#{xxmap} |"
+	f << "mcut f=node,cls o=#{ofile}"
+	system(f)	
+
+end
+
+
+
+def genRscript(directed,eFile,wFile,ew,nodeSize,al,oFile,oInfo,scpFile)
+  dir="FALSE"
+  dir="TRUE" if directed
+
+#system "cp #{eFile} xxedge"
+#system "cp #{wFile} xxweight"
+
+if al=="mo"
+  raise "#ERROR# can't use -directed option with al=\"mo\" " if directed
+  r_proc = <<EOF
+library(igraph)
+# reading edge file
+g=read.graph("#{eFile}",format="edgelist",directed=#{dir},n=#{nodeSize})
+# reading weight file
+w=read.csv("#{wFile}")
+E(g)$weight=as.list(w$"#{ew}")
+# do clustering
+nc=cluster_fast_greedy(g,weight=E(g)$weight,merges=T,modularity=T,membership=T)
+
+# 置換
+ms=cbind(membership(nc))
+# Community sizes:
+cs=sizes(nc)
+
+# modularity:
+mq=modularity(nc)
+
+dat=data.frame( cls=ms )
+colnames(dat)=c("cls")
+
+info=data.frame(cs, mq)
+colnames(info)=c("cls","size","modurarityQ")
+
+write.csv(dat,file="#{oFile}",quote=FALSE,row.names=FALSE)
+write.csv(info,file="#{oInfo}",quote=FALSE,row.names=FALSE)
+EOF
+
+else # eb (edge betweenness)
+  r_proc = <<EOF
+library(igraph)
+# reading edge file
+g=read.graph("#{eFile}",format="edgelist",directed=#{dir},n=#{nodeSize})
+# reading weight file
+w=read.csv("#{wFile}")
+E(g)$weight=as.list(w$"#{ew}")
+# do clustering
+nc=cluster_edge_betweenness(g,weights=E(g)$weight,directed=#{dir},bridges=T,merges=T,modularity=T,edge.betweenness=T,membership=T)
+
+# 置換
+ms=cbind(membership(nc))
+# Community sizes:
+cs=sizes(nc)
+
+# modularity:
+mq=modularity(nc)
+
+dat=data.frame( cls=ms )
+colnames(dat)=c("cls")
+
+info=data.frame(cs, mq)
+colnames(info)=c("cls","size","modurarityQ")
+
+write.csv(dat,file="#{oFile}",quote=FALSE,row.names=FALSE)
+write.csv(info,file="#{oInfo}",quote=FALSE,row.names=FALSE)
+EOF
+
+end
+
+
+  File.open(scpFile,"w"){|fpw|
+    fpw.write(r_proc)
+  }
+end
+
+
+
+#################################################################################################
+#### Entry point
+
+args=MCMD::Margs.new(ARGV,"ei=,ef=,ni=,nf=,ew=,al=,o=,-directed,T=,-verbose,--help","ei=")
+
+ENV["KG_VerboseLevel"]="2" unless args.bool("-verbose")
+
+# work file path
+if args.str("T=")!=nil then
+  ENV["KG_TmpPath"] = args.str("T=").sub(/\/$/,"")
+end
+
+# 出力ファイル
+ofile =args.file("o=","w")
+
+# 枝データの扱い
+# setting variables for edge file(s) and its field name
+edgeFile=nil
+edgeFile = args.file("ei=","r") # edge file name
+unless edgeFile
+  raise "#ERROR# ei= is mandatory"
+end
+ef = args.field("ef=", edgeFile)
+ef1,ef2=ef["names"]
+
+# ---- 枝重み
+ew = args.field("ew=", edgeFile, nil, 1,1)
+ew = ew["names"][0] if ew
+
+# 節点データの扱い
+# if nf= is not specified, only edge files are used for generating a graph.
+ni=nil
+nodeFile=nil
+nodeFile = args.file("ni=","r") # node file name
+if nodeFile
+  nf = args.field("nf=", nodeFile)
+  unless nf
+    raise "#ERROR# nf= is mandatory, when ni= is specified"
+  end
+    nf=nf["names"][0]
+end
+
+# アルゴリズム
+al = args.str("al=","mo")    # Default=mo 
+unless al=="mo" or al=="eb"
+      raise "#ERROR# al= can specify mo|eb"
+end
+
+
+# 有向or無向グラフ
+directed=args.bool("-directed")
+
+# convert the original graph to one igraph can handle
+  wf=MCMD::Mtemp.new
+  xxnum =wf.file
+  xxmap =wf.file
+  xxout =wf.file
+  xxscp =wf.file
+	xxinfo=wf.file
+	xxweight=wf.file
+
+  nodeSize=g2pair(nodeFile,nf,edgeFile,ef1,ef2,ew,xxnum,xxmap,xxweight)
+
+  # generate R script, and run
+  genRscript(directed,xxnum,xxweight,ew,nodeSize,al,xxout,xxinfo,xxscp)
+
+  if args.bool("-verbose")
+    system "R --vanilla -q < #{xxscp}"
+  else
+    system "R --vanilla -q --slave < #{xxscp} 2>/dev/null"
+  end
+
+	# 元のデータに戻して出力
+	convOrg(xxmap,xxout,ofile)
+
+#system "cp #{xxweight} xxweight"
+#system "cp #{xxmap} xxmap"
+#system "cp #{xxout} xxdat"
+#system "cp #{xxinfo} xxinfo"
+
+MCMD::endLog(args.cmdline)
+
+

data/bin/msketchsort.rb

@@ -0,0 +1,243 @@
+#!/usr/bin/env ruby
+# encoding: utf-8
+
+require 'rubygems'
+require 'nysol/mcmd'
+require 'nysol/mining'
+require 'fileutils'
+
+
+# 1.0: initial develpoment 2014/12/02
+# 1.1: added the seed for org sketchsort and msketchsort  2015/10/24
+# 1.2: added error process from sketchsort 2016/11/5
+$version="1.2"
+
+def help
+
+STDERR.puts <<EOF
+---------------------------------
+msketchsort.rb version #{$version}
+---------------------------------
+概要) スケッチソートを利用した全ベクトルペアの距離計算
+特徴) データに含まれる全ベクトル間の距離を高速に計算できる。
+      窓を指定することで比較するベクトルの範囲を限定することができる。
+
+書式) #{$cmd} e= tid= [dist=] [th=] [mr=] [wf=] [ws=] [dist=C|H] i= [o=] [--help]
+
+e=    : ベクトルの各要素となる項目名【必須】ex) e=val1,val2,val3,val4
+tid=  : ベクトルを識別するための項目名(i=上の項目名)【必須】
+dist= : ベクトル間の距離計算の方法。(省略時は C が指定される)
+        C (cosine distance): コサイン距離 (th=0-2)
+        H (Haming distance): ハミング距離 (th=1- )
+th=   : dist=で指定された距離計算について、ここで指定された値以下のペアを出力する。省略時は0.01が設定される。
+mr=   : ペアを逃す確率を指定 (missing ratio) False Negative。省略時は0.00001が設定される。
+wf=   : ウィンドウ項目。ex) 日付
+ws=   : ウィンドウサイズの上限(0以上の整数)【0で制限なし,default:0】
+        wfで指定した窓に含まれる全ペアを窓をずらしながら計算する。
+i=    : 入力ファイル
+o=    : 出力ファイル
+seed= : 乱数の種(1以上の整数,default:1)
+-uc   : データ点を0を中心に移動させない
+
+
+例1: input1.csv
+tid,val1,val2,val3,val4,val5
+0,4,9,1,8,7
+1,2,6,3,4,10
+2,3,10,1,7,4
+3,2,8,1,3,10
+4,4,7,2,3,10
+5,8,4,3,1,9
+6,6,7,5,1,9
+7,5,4,2,6,7
+8,3,10,1,5,9
+9,9,1,8,7,3
+10,5,2,3,10,9
+11,4,9,1,8,7
+
+$ msketchsort.rb i=input1.csv tid=tid e=val1,val2,val3,val4,val5 o=out1.csv
+SketchSort version 0.0.8
+Written by Yasuo Tabei
+
+deciding parameters such that the missing edge ratio is no more than 1e-05
+decided parameters:
+hamming distance threshold: 1
+number of blocks: 4
+number of chunks: 14
+.
+.
+.
+
+$ more out1.csv
+distance,tid,tid2
+5.96046e-08,0,11
+
+
+
+例2: input2.csv
+eCode,tgdate,term,val1,val2,val3,val4,val5
+1990,20100120,0,4,9,1,8,7
+2499,20100120,0,2,6,3,4,10
+2784,20100120,0,3,10,1,7,4
+3109,20100120,0,2,8,1,3,10
+3114,20100120,0,4,7,2,3,10
+6364,20100120,0,8,4,3,1,9
+8154,20100120,0,6,7,5,1,9
+8703,20100120,0,5,4,2,6,7
+9959,20100120,0,3,10,1,5,9
+1990,20100121,1,9,1,8,7,3
+2499,20100121,1,5,2,3,10,9
+2784,20100121,1,4,9,1,8,7
+3594,20100122,2,4,9,1,8,7
+
+
+$ msketchsort.rb i=input2.csv tid=eCode,tgdate e=val1,val2,val3,val4,val5 th=0.05 wf=term ws=1 o=out2.csv
+SketchSort version 0.0.8
+Written by Yasuo Tabei
+
+deciding parameters such that the missing edge ratio is no more than 1e-05
+decided parameters:
+hamming distance threshold: 1
+number of blocks: 4
+number of chunks: 14
+.
+.
+.
+
+$ more out2.csv
+distance,eCode,tgdate,eCode2,tgdate2
+0,1990,20100120,2784,20100121
+0,2784,20100121,3594,20100122
+
+
+# Copyright(c) NYSOL 2012- All Rights Reserved.
+EOF
+exit
+end
+
+def ver()
+  STDERR.puts "version #{$version}"
+  exit
+end
+
+help() if ARGV[0]=="--help" or ARGV.size <= 0
+ver()  if ARGV[0]=="--version"
+
+args=MCMD::Margs.new(ARGV,"e=,tid=,dist=,th=,mr=,wf=,ws=,dist=,i=,o=,T=,seed=,-uc,","tid=,i=,e=")
+
+
+
+# mcmdのメッセージは警告とエラーのみ
+ENV["KG_VerboseLevel"]="2" unless args.bool("-mcmdenv")
+
+#ワークファイルパス
+if args.str("T=")!=nil then
+  ENV["KG_TmpPath"] = args.str("T=").sub(/\/$/,"")
+end
+
+ifile = args.file("i=","r") 
+ofile = args.file("o=","w")
+elem  = args.str("e=")
+tidH   = args.field("tid=",ifile)  # check field
+tid   = args.str("tid=")
+dist  = args.str("dist=","C")
+th    = args.float("th=",0.01)
+mr    = args.float("mr=",0.00001)
+wfH    = args.field("wf=",ifile)  # check field
+wf    = args.str("wf=")
+ws    = args.int("ws=",0)
+seed  = args.int("seed=",1)
+uc    = args.bool("-uc")
+@workf=MCMD::Mtemp.new
+
+@pt=Time.now.to_i
+
+if dist=="H" and th <1.0
+  MCMD::errorLog("#{File.basename($0)}: The range of th= is different")
+  exit
+end
+
+# convert the data for sketchport
+def mkdata(ifile,elem,tid,wf)
+  xx1=@workf.file
+  xx2=@workf.file
+  xxmap=@workf.file
+  sdata=@workf.file
+
+
+	ln="#{@pt}line"
+
+	# make the line number
+  system "mnumber S=0 a=#{ln} -q i=#{ifile} o=#{xx1}"
+
+	if wf
+  	system "mcut f=#{wf},#{tid},#{elem} i=#{xx1}  o=#{xx2}"
+  	system "mcut f=#{ln},#{tid} i=#{xx1} o=#{xxmap}"
+	else
+		wf="#{@pt}wf" unless wf
+		f=""
+		f << "msetstr v=0 a=#{wf} i=#{xx1} |"  
+  	f << "mcut f=#{wf},#{tid},#{elem} o=#{xx2}"
+		system(f)
+  	system "mcut f=#{ln},#{tid} i=#{xx1} o=#{xxmap}"
+	end
+
+
+
+	# make the data for sketchsort
+	system "mcut f=#{wf},#{elem} -nfno i=#{xx2} |sed 's/,/ /g' >#{sdata}"
+
+
+	return sdata,xxmap
+end
+
+def doSsort(sdata,ofile,map,ws,uc,th,dist,mr,tid,seed)
+  xx3=@workf.file
+
+	if dist=="C"
+		distance="-cosdist" 
+	elsif dist=="H"
+		distance="-hamdist" 
+	end
+
+	if uc	
+		status=NYSOL_MINING::run_sketchsort("-auto #{distance} #{th} -missingratio #{mr} -windowsize #{ws} -seed #{seed} #{sdata} #{xx3}")
+  	#status=system "#{CMD_ss} -auto #{distance} #{th} -missingratio #{mr} -windowsize #{ws} -seed #{seed} #{sdata} #{xx3}"
+  	puts "sketchsort -auto #{distance} #{th} -missingratio #{mr} -windowsize #{ws} -seed #{seed} #{sdata} #{xx3}"
+	else
+		status=NYSOL_MINING::run_sketchsort("-auto -centering #{distance} #{th} -missingratio #{mr} -windowsize #{ws} -seed #{seed} #{sdata} #{xx3}")
+  	#status=system "#{CMD_ss} -auto -centering #{distance} #{th} -missingratio #{mr} -windowsize #{ws} -seed #{seed} #{sdata} #{xx3}"
+  	puts "sketchsort -auto -centering #{distance} #{th} -missingratio #{mr} -windowsize #{ws} -seed #{seed} #{sdata} #{xx3}"
+	end
+	unless status 
+		raise "#ERROR# checking sketchsort messages"
+	end
+
+	tmp=[]
+	tid.split(",").each{|val |
+ 	  tmp << "#{val}:#{val}2"
+	}
+	tid2=tmp.join(",")
+
+
+  f="" 
+  f << "sed 's/ /,/g' <#{xx3} |"
+  f << "mcut -nfni f=0:eline1,1:eline2,2:distance |"
+	f << "mfsort f=eline* |"
+  # 行番号に対応するtidを取得
+  f << "mjoin k=eline1 K=#{@pt}line f=#{tid} m=#{map} |"
+  f << "mjoin k=eline2 K=#{@pt}line f=#{tid2} m=#{map} |"
+	f << "msortf f=eline1%n,eline2%n |"
+  f << "mcut -r f=eline1,eline2 |"
+	f << "msortf f=#{tid} |"
+	f << "mfldname -q o=#{ofile}"
+  system(f)
+
+
+end
+
+sdata,xxmap=mkdata(ifile,elem,tid,wf)
+
+doSsort(sdata,ofile,xxmap,ws,uc,th,dist,mr,tid,seed)
+
+MCMD::endLog(args.cmdline)