nysol-take 3.0.0

data/ext/sspcrun/src/vec.h

@@ -0,0 +1,172 @@
+/* library for sparse vector */
+/* Takeaki Uno    27/Dec/2008 */
+
+#ifndef _vec_h_
+#define _vec_h_
+
+//#define USE_MATH
+
+#include"math.h"
+#include"queue.h"
+
+#ifndef SVEC_VAL
+ #ifdef SVEC_VAL_INT
+  #define SVEC_VAL int
+  #define SVEC_VAL2 LONG
+  #define SVEC_VAL_END INTHUGE
+  #define SVEC_VAL2_END LONGHUGE
+  #define SVEC_VALF "%d"
+ #else
+  #define SVEC_VAL double
+  #define SVEC_VAL2 double
+  #define SVEC_VAL_END DOUBLEHUGE
+  #define SVEC_VAL2_END DOUBLEHUGE
+  #define SVEC_VALF "%f"
+ #endif
+#endif
+
+#define VEC_LOAD_BIN 16777216   // read binary file 
+#define VEC_LOAD_BIN2 33554432   // read binary file with 2byte for each number 
+#define VEC_LOAD_BIN4 67108864   // read binary file with 4byte for each number
+#define VEC_LOAD_CENTERIZE 134217728  // read binary file, and minus the half(128) from each number
+#define VEC_NORMALIZE 268435456  // read binary file, and minus the half(128) from each number
+
+/* matrix */
+typedef struct {
+  unsigned char type;  // mark to identify type of the structure
+  char *fname, *wfname;      // input/weight file name
+  int flag;         // flag
+
+  VEC *v;
+  VEC_ID end;
+  VEC_ID t;
+  VEC_VAL *buf, *buf2;
+  VEC_ID clms;
+  size_t eles;
+  VEC_VAL *buf_org, *buf2_org;
+} MAT;
+
+/* sparse vector, element */
+typedef struct {
+  QUEUE_ID i;
+  SVEC_VAL a;
+} SVEC_ELE;
+
+/* sparse vector, vector */
+typedef struct {
+  unsigned char type;  // mark to identify type of the structure
+  SVEC_ELE *v;
+  VEC_ID end;
+  VEC_ID t;
+} SVEC;
+
+/* sparse vector, matrix */
+typedef struct {
+  unsigned char type;  // mark to identify type of the structure
+  char *fname, *wfname;      // input/weight file name
+  int flag;         // flag
+
+  SVEC *v;
+  VEC_ID end;
+  VEC_ID t;
+  SVEC_ELE *buf, *buf2;
+  VEC_ID clms;
+  size_t eles, ele_end;
+} SMAT;
+
+/* set family */
+typedef struct {
+  unsigned char type;  // mark to identify type of the structure
+  char *fname, *wfname;      // input/weight file name
+  int flag;         // flag
+
+  QUEUE *v;
+  VEC_ID end;
+  VEC_ID t;
+  QUEUE_INT *buf, *buf2;
+  VEC_ID clms;
+  size_t eles, ele_end;
+  WEIGHT *cw, *rw, **w, *wbuf;
+  int unit;
+  char *cwfname, *rwfname;     // weight file name
+  PERM *rperm, *cperm;  // row permutation
+} SETFAMILY;
+
+#define INIT_SETFAMILY_ {TYPE_SETFAMILY,NULL,NULL,0,NULL,0,0,NULL,NULL,0,0,0,NULL,NULL,NULL,NULL,sizeof(QUEUE_INT),NULL,NULL,NULL,NULL}
+
+extern MAT INIT_MAT;
+extern SVEC INIT_SVEC;
+extern SMAT INIT_SMAT;
+extern SETFAMILY INIT_SETFAMILY;
+
+QSORT_TYPE_HEADER (SVEC_VAL, SVEC_VAL)
+QSORT_TYPE_HEADER (SVEC_VAL2, SVEC_VAL2)
+
+#define   ARY_QUEUE_INPRO(f,U,V)  do{(f)=0;FLOOP(common_QUEUE_ID, 0, (QUEUE_ID)(U).t)(f)+=(V)[(U).v[common_QUEUE_ID]];}while(0)
+#define   ARY_SVEC_INPRO(f,U,V)  do{(f)=0;FLOOP(common_VEC_ID, 0, (VEC_ID)(U).t)(f)+=((double)(U).v[common_VEC_ID].a)*(V)[(U).v[common_VEC_ID].i];}while(0)
+
+/* terminate routine for VEC */
+void VEC_end (VEC *V);
+void MAT_end (MAT *M);
+void SVEC_end (SVEC *V);
+void SMAT_end (SMAT *M);
+void SETFAMILY_end (SETFAMILY *M);
+
+/* allocate memory according to rows and rowt */
+void VEC_alloc (VEC *V, VEC_ID clms);
+void MAT_alloc (MAT *M, VEC_ID rows, VEC_ID clms);
+void SVEC_alloc (SVEC *V, VEC_ID end);
+void SMAT_alloc (SMAT *M, VEC_ID rows, VEC_ID *rowt, VEC_ID clms, size_t eles);
+void SETFAMILY_alloc (SETFAMILY *M, VEC_ID rows, VEC_ID *rowt, VEC_ID clms, size_t eles);
+void SETFAMILY_alloc_weight (SETFAMILY *M, QUEUE_ID *t);
+
+/* count/read the number in file for MAT */
+/* if *rows>0, only read count the numbers in a row, for the first scan. */
+void MAT_load_bin (MAT *M, FILE2 *fp, int unit);
+void MAT_file_load (MAT *M, FILE2 *fp);
+void MAT_load (MAT *M);
+void SMAT_load (SMAT *M);
+void SETFAMILY_load (SETFAMILY *M);
+void SETFAMILY_load_weight (SETFAMILY *M);
+void SETFAMILY_load_row_weight (SETFAMILY *M);
+void SETFAMILY_load_column_weight (SETFAMILY *M);
+
+void MAT_print (FILE *fp, MAT *M);
+void SVEC_print (FILE *fp, SVEC *M);
+void SMAT_print (FILE *fp, SMAT *M);
+void SETFAMILY_print (FILE *fp, SETFAMILY *M);
+void SETFAMILY_print_weight (FILE *fp, SETFAMILY *M);
+  
+
+/* norm, normalization **************************/
+double SVEC_norm (SVEC *V);
+void SVEC_normalize (SVEC *V);
+
+/* inner product **************************/
+SVEC_VAL2 SVEC_inpro (SVEC *V1, SVEC *V2);
+
+/** Euclidean distance routines *********************************/
+double VEC_eucdist (VEC *V1, VEC *V2);
+double SVEC_eucdist (SVEC *V1, SVEC *V2);
+double VEC_SVEC_eucdist (VEC *V1, SVEC *V2);
+double QUEUE_eucdist (QUEUE *Q1, QUEUE *Q2);
+double VEC_QUEUE_eucdist (VEC *V, QUEUE *Q);
+
+void VEC_rand_gaussian (VEC *V);
+
+double VEC_linfdist (VEC *V1, VEC *V2);
+
+/* compute the inner product, Euclidean distance for multi vector */
+double MVEC_norm (void *V);
+double MVEC_inpro (void *V, void *U);
+double MVEC_double_inpro (void *V, double *p);
+double MVEC_eucdist (void *V, void *U);
+
+/* compute the inner product, euclidean distance for i,jth vector */
+double MMAT_inpro_ij (void *M, int i, int j);
+double MMAT_double_inpro_i (void *M, int i, double *p);
+double MMAT_eucdist_ij (void *M, int i, int j);
+double MMAT_norm_i (void *M, int i);
+
+
+#endif

data/ext/sspcrun/sspcrun.cpp

@@ -0,0 +1,54 @@
+#include <stdio.h>
+#include <stdlib.h>
+#include <unistd.h>
+#include <fcntl.h>
+#include <sys/stat.h>
+#include <string>
+#include <ruby.h>
+#include "src/sspc.c"
+#include <kgMethod.h>
+
+extern "C" {
+	void Init_sspcrun(void);
+}
+
+VALUE sspcrun(VALUE self,VALUE argvV){
+
+	string argstr=RSTRING_PTR(argvV);
+	vector<char *> opts = kglib::splitToken(const_cast<char*>(argstr.c_str()), ' ',true);
+
+	// 引数文字列へのポインタの領域はここでauto変数に確保する
+	kglib::kgAutoPtr2<char*> argv;
+	char** vv;
+	try{
+		argv.set(new char*[opts.size()+1]);
+		vv = argv.get();
+	}catch(...){
+		rb_raise(rb_eRuntimeError,"memory allocation error");
+	}
+
+	// vv配列0番目はコマンド名
+	vv[0]=const_cast<char*>("sspc");
+
+	size_t vvSize;
+	for(vvSize=0; vvSize<opts.size(); vvSize++){
+		vv[vvSize+1] = opts.at(vvSize);
+	}
+	vvSize+=1;
+
+	SSPC_main(vvSize,vv);
+	return Qtrue;
+}
+
+
+// -----------------------------------------------------------------------------
+// ruby Mcsvin クラス init
+// -----------------------------------------------------------------------------
+void Init_sspcrun(void) 
+{
+	// モジュール定義:MCMD::xxxxの部分
+	VALUE mtake=rb_define_module("TAKE");
+	rb_define_module_function(mtake,"run_sspc"       , (VALUE (*)(...))sspcrun,1);
+}
+
+

data/lib/nysol/enumLcmEp.rb

@@ -0,0 +1,338 @@
+#!/usr/bin/env ruby
+require "rubygems"
+require "nysol/mcmd"
+require "nysol/take"
+
+require "nysol/traDB.rb"
+
+module TAKE
+
+#========================================================================
+# 列挙関数:lcm 利用DB:TraDB
+#========================================================================
+class LcmEp
+	attr_reader :size  # 列挙されたパターン数
+	attr_reader :pFile
+	attr_reader :tFile
+
+	@@intMax=2147483646
+	#@@intMax=100
+
+	# posトランザクションの重み計算
+	# マニュアルの式(10)
+	def calOmega(posCnt)
+		return @@intMax/posCnt
+	end
+
+	# LCM最小サポートの計算
+	# マニュアルの式(9)
+	def calSigma(minPos,minGR,posCnt,negCnt)
+		omegaF=@@intMax.to_f/posCnt.to_f
+		beta=minPos
+		w=posCnt.to_f/negCnt.to_f
+#puts "omegaF=#{omegaF}"
+#puts "minPos=#{minPos}"
+#puts "beta=#{beta}"
+#puts "posCnt=#{posCnt}"
+#puts "negCnt=#{negCnt}"
+#puts "w=#{w}"
+		sigma=(beta*(omegaF-w/minGR)).to_i  # 切り捨て
+		sigma=1 if sigma<=0
+		return sigma
+	end
+
+	def reduceTaxo(pat,items)
+		tf=MCMD::Mtemp.new
+
+		if items.taxonomy==nil then
+			return pat
+		end
+
+		xxrt = tf.file
+		taxo=items.taxonomy
+		f=""
+		f << "mtrafld f=#{taxo.itemFN},#{taxo.taxoFN} -valOnly a=__fld i=#{taxo.file} o=#{xxrt}"
+		system(f)
+
+		# xxrtの内容：oyakoに親子関係にあるアイテム集合のリストが格納される
+		# __fld
+		# A X
+		# B X
+		# C Y
+		# D Z
+		# E Z
+		# F Z
+		oyako=ZDD.constant(0)
+		MCMD::Mcsvin.new("i=#{xxrt}"){|csv|
+			csv.each{|fldVal|
+				items=fldVal["__fld"]
+				oyako=oyako+ZDD.itemset(items)
+			}
+		}
+
+		# 親子リストにあるアイテム集合を含むパターンを削除する
+		pat=pat.restrict(oyako).iif(0,pat)
+
+		return pat
+	end
+
+	def initialize(db)
+		@temp=MCMD::Mtemp.new
+		@db      = db         # 入力データベース
+		@file=@temp.file
+		items=@db.items
+
+		# 重みファイルの作成
+		# pos,negのTransactionオブジェクトに対してLCMが扱う整数アイテムによるトランザクションファイルを生成する。
+		# この時、pos,negを併合して一つのファイルとして作成され(@wNumTraFile)、
+		# 重みファイル(@weightFile[クラス])の作成は以下の通り。
+		# 1.対象クラスをpos、その他のクラスをnegとする。
+		# 2. negの重みは-1に設定し、posの重みはcalOmegaで計算した値。
+		# 3.@wNumTraFileの各行のクラスに対応した重みデータを出力する(１項目のみのデータ)。
+		@weightFile = Hash.new
+		@posWeight  = Hash.new
+		@sigma      = Hash.new
+		@db.clsNameRecSize.each {|cName,posSize|
+			@weightFile[cName] = @temp.file
+			@posWeight[cName]=calOmega(posSize)
+
+			f=""
+			f << "mcut    -nfno f=#{@db.clsFN}                           i=#{@db.cFile} |"
+			f << "mchgstr -nfn  f=0 c=#{cName}:#{@posWeight[cName]} O=-1 o=#{@weightFile[cName]}"
+			system(f)
+		}
+
+		# アイテムをシンボルから番号に変換する。
+		f=""
+		f << "msortf f=#{@db.itemFN}                                                   i=#{@db.file} |"
+		f << "mjoin  k=#{@db.itemFN} K=#{items.itemFN} m=#{items.file} f=#{items.idFN} |"
+		f << "mcut   f=#{@db.idFN},#{items.idFN}                                       |"
+		f << "msortf f=#{@db.idFN}                                                     |"
+		f << "mtra   k=#{@db.idFN} f=#{items.idFN}                                     |"
+		f << "mcut   f=#{items.idFN} -nfno                                             o=#{@file}"
+		system(f)
+	end
+
+	# 各種パラメータを与えて列挙を実行
+  def enumerate(eArgs)
+
+		pFiles=[]
+		tFiles=[]
+		tf=MCMD::Mtemp.new
+		@db.clsNameRecSize.each{|cName,posSize|
+			negSize=@db.size-posSize
+
+			# minGRの計算
+			if eArgs["minGR"] then
+				@minGR=eArgs["minGR"]
+			else
+				minProb=0.5
+				minProb=eArgs["minProb"] if eArgs["minProb"]
+				if eArgs["uniform"] then
+					@minGR = (minProb/(1-minProb)) * (@db.clsSize-1) # マニュアルの式(4)
+				else
+					@minGR = (minProb/(1-minProb)) * (negSize.to_f/posSize.to_f) # マニュアルの式(4)
+				end
+			end
+
+			# 最小サポートと最小サポート件数
+			# s=0.05
+			# s=c1:0.05,c2:0.06
+			# S=10
+			# S=c1:10,c2:15
+			if eArgs["minCnt"] then
+				if eArgs["minCnt"].class.name=="Hash"
+					@minPos = eArgs["minCnt"][cName]
+				else
+					@minPos = eArgs["minCnt"]
+				end
+			else
+				if eArgs["minSup"].class.name=="Hash"
+					@minPos = (eArgs["minSup"][cName] * posSize.to_f + 0.99).to_i
+				else
+					@minPos = (eArgs["minSup"] * posSize.to_f + 0.99).to_i
+				end
+			end
+
+			# 最大サポートと最大サポート件数
+			if eArgs["maxCnt"] then
+				if eArgs["maxCnt"].class.name=="Hash"
+					@maxPos = eArgs["maxCnt"][cName]
+				else
+					@maxPos = eArgs["maxCnt"]
+				end
+			elsif eArgs["maxSup"]
+				if eArgs["maxSup"].class.name=="Hash"
+					@maxPos = (eArgs["maxSup"][cName] * posSize.to_f + 0.99).to_i
+				else
+					p posSize
+					@maxPos = (eArgs["maxSup"] * posSize.to_f + 0.99).to_i
+				end
+			else
+				@maxPos = posSize.to_f
+			end
+
+			@sigma[cName] = calSigma(@minPos,@minGR,posSize,negSize)
+
+			# lcmのパラメータ設定と実行
+			lcmout = tf.file # lcm出力ファイル
+			# 頻出パターンがなかった場合、lcm出力ファイルが生成されないので
+			# そのときのために空ファイルを生成しておいく。
+			system("touch #{lcmout}")
+
+			run=""
+			run << "#{eArgs["type"]}IA"
+			run << " -U #{@maxCnt}"         if @maxCnt # windowサイズ上限
+			run << " -l #{eArgs['minLen']}" if eArgs["minLen"] # パターンサイズ下限
+			run << " -u #{eArgs['maxLen']}" if eArgs['maxLen'] # パターンサイズ上限
+			run << " -w #{@weightFile[cName]} #{@file} #{@sigma[cName]} #{lcmout}"
+
+			
+			# lcm実行
+			MCMD::msgLog("#{run}")
+			TAKE::run_lcm(run)
+			#system run
+
+#system("cp #{@file} xxtra_#{cName}")
+#system("cp #{@weightFile[cName]} xxw_#{cName}")
+#system("echo '#{run}' >xxscp_#{cName}")
+
+			# パターンのサポートを計算しCSV出力する
+			MCMD::msgLog("output patterns to CSV file ...")
+			pFiles << @temp.file
+
+			transle = @temp.file
+			TAKE::run_lcmtrans(lcmout,"e",transle)
+
+			f=""
+			#f << "lcm_trans #{lcmout} e |" # pattern,countP,countN,size,pid
+			f << "mdelnull f=pattern i=#{transle}                            |"
+			f << "mcal     c='round(${countN},1)' a=neg                      |"
+			f << "mcal     c='round(${countP}/#{@posWeight[cName]},1)' a=pos |"
+			f << "mdelnull f=pattern                                         |"
+			f << "msetstr  v=#{cName} a=class                                |"
+			f << "msetstr  v=#{posSize} a=posTotal                           |"
+			f << "msetstr  v=#{@minGR} a=minGR                           |"
+			f << "mcut     f=class,pid,pattern,size,pos,neg,posTotal,minGR         o=#{pFiles.last}"
+			system(f)
+
+			s = MCMD::mrecount("i=#{pFiles.last}") # 列挙されたパターンの数
+			MCMD::msgLog("the number of contrast patterns on class `#{cName}' enumerated is #{s}")
+
+			# トランザクション毎に出現するパターンを書き出す
+			MCMD::msgLog("output tid-patterns ...")
+			tFiles << @temp.file
+
+			xxw= tf.file
+			f=""
+			f << "mcut    f=#{@db.idFN}                  i=#{@db.file} |"
+			f << "muniq   k=#{@db.idFN}                  |"
+			f << "mnumber S=0 a=__tid -q                 |"
+			f << "msortf  f=__tid                        o=#{xxw};"
+			system(f)
+
+			translt = @temp.file
+			TAKE::run_lcmtrans(lcmout,"t",translt)
+
+			f=""
+			#f << "lcm_trans #{lcmout} t |" #__tid,pid
+			f << "msortf   f=__tid i=#{translt}           |"
+			f << "mjoin    k=__tid m=#{xxw} f=#{@db.idFN} |"
+			f << "msetstr  v=#{cName} a=class             |"
+			f << "mcut     f=#{@db.idFN},class,pid        o=#{tFiles.last}"
+			system(f)
+		}
+
+		# クラス別のパターンとtid-pidファイルを統合して最終出力
+		@pFile = @temp.file
+		@tFile = @temp.file
+
+		# パターンファイル併合
+		xxpCat = tf.file
+		f=""
+		f << "mcat                i=#{pFiles.join(",")} |"
+		f << "msortf  f=class,pid |"
+		f << "mnumber s=class,pid S=0 a=ppid  o=#{xxpCat}"
+		system(f)
+
+		# パターンファイル計算
+		items=@db.items
+		f=""
+		f << "mcut    f=class,ppid:pid,pattern,size,pos,neg,posTotal,minGR           i=#{xxpCat} |"
+		f << "msetstr v=#{@db.size} a=total                                                      |" # トータル件数
+		f << "mcal    c='${total}-${posTotal}' a=negTotal                                        |" # negのトータル件数
+		f << "mcal    c='${pos}/${posTotal}' a=support                                           |" # サポートの計算
+  	f << "mcal    c='if(${neg}==0,1.797693135e+308,(${pos}/${posTotal})/(${neg}/${negTotal}))' a=growthRate |"
+
+		if eArgs["uniform"] then
+			f << "mcal  c='(${pos}/${posTotal})/(${pos}/${posTotal}+(#{@db.clsSize}-1)*${neg}/${negTotal})' a=postProb |"
+		else
+			f << "mcal  c='${pos}/(${pos}+${neg})' a=postProb |"
+		end
+		f << "msel    c='${pos}>=#{@minPos}&&${growthRate}>=${minGR}'                 |" # minSupとminGRによる選択
+		f << "mvreplace vf=pattern m=#{items.file} K=#{items.idFN} f=#{items.itemFN} |"
+		f << "mcut    f=class,pid,pattern,size,pos,neg,posTotal,negTotal,total,support,growthRate,postProb |"
+		f << "mvsort  vf=pattern |"
+		f << "msortf  f=class%nr,postProb%nr,pos%nr                                                   o=#{@pFile}"
+		system(f)
+
+		# アイテムを包含している冗長なタクソノミを削除
+		if items.taxonomy then
+			MCMD::msgLog("reducing redundant rules in terms of taxonomy ...")
+			zdd=ZDD.constant(0)
+			MCMD::Mcsvin.new("i=#{@pFile}"){|csv|
+				csv.each{|fldVal|
+					pat=fldVal['pattern']
+					zdd=zdd+ZDD.itemset(pat)
+				}
+			}
+			zdd=reduceTaxo(zdd,@db.items)
+
+			xxp1=tf.file
+			xxp2=tf.file
+			xxp3=tf.file
+			zdd.csvout(xxp1)
+
+			f=""
+			f << "mcut   -nfni f=1:pattern i=#{xxp1} |"
+			f << "mvsort vf=pattern        |"
+			f << "msortf f=pattern         o=#{xxp2}"
+			system(f)
+
+			f=""
+			f << "msortf  f=pattern           i=#{@pFile} |"
+			f << "mcommon k=pattern m=#{xxp2} |"
+			f << "msortf  f=class%nr,postProb%nr,pos%nr o=#{xxp3}"
+			system(f)
+			system "mv #{xxp3} #{@pFile}"
+		end
+
+		# 列挙されたパターンを含むtraのみ選択するためのマスタ
+		xxp4=tf.file
+		f=""
+		f << "mcut    f=class,pid i=#{@pFile} |"
+		f << "msortf  f=class,pid o=#{xxp4}"
+		system(f)
+
+		# tid-pidファイル計算
+		f=""
+		f << "mcat                                       i=#{tFiles.join(",")} |"
+		f << "msortf  f=class,pid                        |"
+		f << "mjoin   k=class,pid m=#{xxpCat} f=ppid     |" # 全クラス統一pid(ppid)結合
+		f << "msortf  f=class,ppid                       |"
+		f << "mcommon k=class,ppid K=class,pid m=#{xxp4} |" # 列挙されたパターンの選択
+		f << "mcut    f=#{@db.idFN},class,ppid:pid       |"
+		f << "msortf  f=#{@db.idFN},class,pid            o=#{@tFile}"
+		system(f)
+
+		@size = MCMD::mrecount("i=#{@pFile}") # 列挙されたパターンの数
+		MCMD::msgLog("the number of emerging patterns enumerated is #{@size}")
+	end
+
+  def output(outpath)
+		system "mv #{@pFile} #{outpath}/patterns.csv"
+		system "mv #{@tFile} #{outpath}/tid_pats.csv"
+	end
+end
+
+end #module