nysol-take 3.0.0

data/lib/nysol/items.rb

@@ -0,0 +1,201 @@
+#!/usr/bin/env ruby
+require "rubygems"
+require "nysol/mcmd"
+
+require "nysol/taxonomy.rb"
+
+module TAKE
+
+#=アイテムクラス
+# 頻出パターンマイニングで使われるアイテムを扱うクラス。
+#
+#===利用例
+# 以下tra.csvの内容
+# ---
+# items
+# a b c
+# a c
+# b
+# c b d
+#
+# 以下taxo.csvの内容
+# ---
+# item,taxo
+# a,X1
+# b,X1
+# c,X2
+# d,X2
+#
+# 以下rubyスクリプト
+# ---
+# require 'rubygems'
+# require 'mining'
+# items=Items.new("tra.csv","items","item")
+# puts items.file     # => ./1252810329_1850/dat/1
+# puts items.itemFN   # => "item"
+# puts items.idFN     # => "iid"
+# puts items.size     # => 4
+# puts items.taxonomy # =>nil
+#
+# taxo=Taxonomy.new("taxo.csv","item","taxo")
+# items.addTaxo(taxo)
+# puts items.file     # => ./1252810329_1850/dat/3
+# puts items.itemFN   # => "item"
+# puts items.idFN     # => "iid"
+# puts items.size     # => 4
+# p    items.taxonomy # => #<Taxonomy:0x1698eac @itemSize=4, @iFile="taxo.csv", @taxoFN="taxo", @itemFN="item", ...,@file="./1252810329_1850/dat/2">
+#
+#=====./1252810329_1850/dat/1 の内容
+# item,iid
+# a,1
+# b,2
+# c,3
+# d,4
+#
+#=====./1252810329_1850/dat/3 の内容
+# item,iid
+# X1,5
+# X2,6
+# a,1
+# b,2
+# c,3
+# d,4
+#
+class Items
+	# itemsファイル (=>Mfile)
+	attr_reader :file
+
+	# アイテムの項目名(=>String)
+	attr_reader :itemFN
+
+	# id項目名(=>String)
+	attr_reader :idFN
+
+	# アイテムの種類数(=>Fixnum)
+	attr_reader :size
+
+	# 分類階層クラス(=>Taxonomy)
+	attr_reader :taxonomy
+
+private
+
+	#==初期化
+	#=====引数
+	# iFile: アイテム項目を含むファイル名
+	# itemFN: 新しいアイテム項目名
+	# idFN: 連番によるアイテムidの項目名(デフォルト:"iid")
+	#=====機能
+	#* iFile上のアイテム項目(@itemFN)からアイテム(@itemFN)と連番("num")の2項目からなるファイルを生成する。
+	#* itemFN項目の値としては、スペースで区切られた複数のアイテムであってもよい。
+	#* 同じアイテムが重複して登録されていれば単一化される。
+	#* アイテム順にソートされる。
+	#* アイテムの件数(種類数)がセットされる。
+	def initialize(iFile,itemFN,idFN="__iid")
+		@temp=MCMD::Mtemp.new
+
+		@iFile   = Array.new
+		@iPath   = Array.new
+		@iFile.push(iFile)
+		@iPath.push(File.expand_path(iFile))
+		@taxonomy = nil
+		@file     = @temp.file  # 出力ファイル名
+		@itemFN=itemFN
+		@idFN=idFN
+
+		f=""
+		f << "mcut    f=#{itemFN}   i=#{iFile} |"
+		f << "msortf  f=#{itemFN}   |"
+		f << "muniq   k=#{itemFN}   |"
+		f << "mnumber s=#{itemFN} a=#{idFN} S=0 o=#{@file}"
+		system(f)
+
+		@size = MCMD::mrecount("i=#{@file}") # itemの数
+
+	end
+
+public
+
+	def show
+		puts "#### BEGIN Items class"
+		puts "@temp=#{@temp}"
+		puts "@iFile=#{@iFile}"
+		puts "@iPath=#{@iPath}"
+		puts "@taxonomy=#{@taxonomy}"
+		puts "@itemFN=#{@itemFN}"
+		puts "@idFN=#{@idFN}"
+		puts "@file=#{@file}"
+		puts "@file:"
+		system("cat #{@file}")
+		puts "#### END Items class"
+	end
+
+	#==アイテムの追加
+	# iFileのitemFN項目をアイテムとして追加する。
+	#=====引数
+	# iFile: アイテム項目を含むファイル名
+	# itemFN: iFile上のアイテム項目名
+	#=====機能
+	#* itemFNとしては、スペースで区切られた複数のアイテムであってもよい。
+	#* 同じアイテムが重複していれば単一化される。
+	#* 追加後アイテム順にソートされる。
+	#* アイテム数が更新される。
+	def add(iFile,itemFN)
+
+		@iFile.push(iFile)
+		@iPath.push(File.expand_path(iFile))
+
+		xx=MCMD::Mtemp.new
+		xx1=xx.file
+		xx2=xx.file
+		f=""
+		f << "msortf  f=#{@itemFN}            i=#{iFile} |"
+		f << "mcommon k=#{@itemFN} m=#{@file} |"
+		f << "mcut    f=#{itemFN}:#{@itemFN}  |"
+		f << "msortf  f=#{@itemFN}            |"
+		f << "muniq   k=#{@itemFN}            |"
+		f << "mnumber s=#{@itemFN} S=#{@size+1} a=#{@idFN} o=#{xx1}"
+		system(f)
+
+		f=""
+		f << "mcat                            i=#{@file},#{xx1} |"
+		f << "msortf  f=#{@itemFN}            o=#{xx2}"
+		system(f)
+
+		# 新itemファイル登録&item数更新
+		FileUtils.mv(xx2,@file)
+		@size = MCMD::mrecount("i=#{@file}")
+
+	end
+
+	#==Taxonomyの設定
+	# Taxonomy(分類階層)を設定する。
+	#=====引数
+	# taxo: taxonomy オブジェクト
+	#=====機能
+	#* Taxonomyオブジェクトをメンバとして追加する。
+	#* 分類項目をアイテムとして追加する。
+  def addTaxo(taxo)
+
+		@taxonomy=taxo
+		
+		add(@taxonomy.file,@taxonomy.taxoFN) # taxonomyをアイテムとして追加登録
+
+	end
+
+  def repTaxo(taxo)
+
+		#@taxonomy=taxo #replaceの場合はtaxonomyを登録しない
+
+		@file = @temp.file # 出力ファイル名
+		f=""
+		f << "mcut    f=#{taxo.taxoFN}:#{@itemFN} i=#{taxo.file} |"
+		f << "msortf  f=#{@itemFN}                |"
+		f << "muniq   k=#{@itemFN}                |"
+		f << "mnumber s=#{@itemFN} a=#{@idFN} S=1              o=#{@file}"
+		system(f)
+
+	end
+
+end
+
+end # module

data/lib/nysol/seqDB.rb

@@ -0,0 +1,256 @@
+#!/usr/bin/env ruby
+require "rubygems"
+require "nysol/mcmd"
+
+require "nysol/items"
+
+module TAKE
+
+#=トランザクションデータクラス
+# 頻出パターンマイニングで使われるトランザクションデータを扱うクラス。
+# トランザクションファイルは、トランザクションID項目とアイテム集合項目から構成される。
+# アイテム集合は、スペースで区切られた文字列集合として表現される。
+#
+#===利用例
+# 以下tra.csvの内容
+# ---
+# items
+# a b d
+# a d e
+# c e
+# a d
+# c d e
+# c e
+# a d e
+#
+# 以下taxo.csvの内容
+# ---
+# item,taxo
+# a,X1
+# b,X1
+# c,X2
+# d,X2
+# e,X2
+#
+# 以下rubyスクリプト
+# ---
+# require 'rubygems'
+# require 'mining'
+#
+# tra=SeqDB.new("tra.csv",nil,"items")
+# puts tra.file       # => ./1252813069_2179/dat/1
+# puts tra.numTraFile # => nil
+# puts tra.idFN       # => tid
+# puts tra.itemsetFN  # => items
+# puts tra.recCnt     # => 7
+# p    tra.items      # => #<Items:0x16a39ec @iItemFN=["items"],...
+#
+# taxo=Taxonomy.new("taxo.csv","item","taxo")
+# tra.addTaxo(taxo)
+# tra.mkNumTra
+# puts tra.numTraFile #=> ./1252813069_2179/dat/6
+# p    tra.items      #=> #<Items:0x16a39ec @iItemFN=["items", "taxo"],..., @taxonomy=#<Taxonomy:0x168ba7c ...
+#
+#=====./1252813069_2179/dat/1 の内容
+# tid,items
+# 1,a b d
+# 2,a d e
+# 3,c e
+# 4,a d
+# 5,c d e
+# 6,c e
+# 7,a d e
+#
+#=====./1252813069_2179/dat/6 の内容
+# 1 2 3 4 5 6 7
+# 1 2 4 6 7
+# 1 4 5 6 7
+# 3 5 7
+# 1 4 6 7
+# 3 4 5 7
+# 3 5 7
+# 1 4 5 6 7
+#
+class SeqDB
+	attr_reader :file           # トランザクションファイル名
+	attr_reader :idFN           # トランザクションID項目名(String)
+	attr_reader :timeFN         # 時間項目名(String)
+	attr_reader :itemFN         # アイテム集合項目名(String)
+	attr_reader :clsFN          # クラス項目名(String)
+	attr_reader :size           # トランザクションサイズ(Num)
+	attr_reader :items          # Itemsクラス
+	attr_reader :taxonomy       # 階層分類クラス
+	attr_reader :clsNameRecSize # クラス別件数
+	attr_reader :clsSize        # クラス数
+	attr_reader :cFile          # クラスファイル
+
+private
+
+	#=== SeqDBクラスの初期化
+	#
+	#====引数
+	# iFile: transactionファイル名
+	# iItemsetFN: iFile上のアイテム集合項目名
+	# idFN: 新しく命名するトランザクションID項目名
+	# itemsetFN: 新しく命名するアイテム集合項目名
+	#
+	#====機能
+	#* トランザクションIDとアイテム集合の2項目から構成するトランザクションデータを新たに作成する。
+	#* ID項目が指定されていなければ、1から始まる連番によってID項目を新規に作成する。
+	#* トランザクション件数(iFileのレコード件数)を計算する。
+	#* アイテム集合項目からItemsオブジェクトを生成する。
+	def initialize(iFile,idFN,timeFN,itemFN,padding,clsFN=nil)
+		@temp=MCMD::Mtemp.new
+
+		@iFile  = iFile                    # 入力ファイル
+		@iPath  = File.expand_path(@iFile) # フルパス
+		@idFN   = idFN                     # トランザクションID項目名
+		@timeFN = timeFN                   # 時間項目名
+		@itemFN = itemFN                   # アイテム項目名
+		@file   = @temp.file               # 出力ファイル名
+		@padding= padding                  # 時系列パディング
+
+		# padding指定の場合は、asciiコードの先頭文字列を挿入
+		f=""
+		if @padding then
+			f << "mcut     f=#{@idFN},#{@timeFN},#{@itemFN} i=#{@iFile} |"
+			f << "msortf   f=#{@idFN},#{@timeFN}%n,#{@itemFN} |"
+			f << "muniq    k=#{@idFN},#{@timeFN},#{@itemFN}   |"
+			f << "mpadding k=#{@idFN} f=#{@timeFN}%n v=! o=#{@file}"
+		else
+			f << "mcut     f=#{@idFN},#{@timeFN},#{@itemFN} i=#{@iFile} |"
+			f << "msortf   f=#{@idFN},#{@timeFN}%n,#{@itemFN} |"
+			f << "muniq    k=#{@idFN},#{@timeFN},#{@itemFN} o=#{@file}"
+		end
+		system(f)
+
+		# レコード数の計算
+		#@recCnt = MCMD::mrecount("i=#{@file}")
+
+		# トランザクション数の計算
+		tf=MCMD::Mtemp.new
+		xx1=tf.file
+		f=""
+		f << "mcut   f=#{@idFN} i=#{@file} |"
+		f << "muniq  k=#{@idFN} |"
+		f << "mcount a=__cnt    o=#{xx1}"
+		system(f)
+    tbl=MCMD::Mtable.new("i=#{xx1}")
+		num=tbl.name2num()["__cnt"]
+    @size = tbl.cell(num,0).to_i
+
+		# トランザクションデータからアイテムオブジェクトを生成
+		if @padding then
+			# paddingの場合は、特殊アイテム(!)を0番とし、出力を制御する。
+			@items=TAKE::Items.new(@file,@itemFN)
+		else
+			@items=TAKE::Items.new(@file,@itemFN)
+		end
+
+		# クラスデータ
+		if clsFN then
+			@clsFN=clsFN
+			@cFile=@temp.file
+
+			# tid-クラス項目名ファイルの生成
+			xx1=@temp.file
+			f=""
+			f << "mcut   f=#{@idFN},#{@clsFN} i=#{@iFile} |"
+			f << "msortf f=#{@idFN},#{@clsFN} |"
+			f << "muniq  k=#{@idFN},#{@clsFN} o=#{@cFile}"
+			system(f)
+
+			f=""
+			f << "mcut   f=#{@clsFN}         i=#{@cFile} |"
+			f << "msortf f=#{@clsFN}         |"
+			f << "mcount k=#{@clsFN} a=count o=#{xx1}"
+			system(f)
+
+			# クラス数
+			@clsSize = MCMD::mrecount("i=#{xx1}")
+
+			# 文字列としてのクラス別件数配列を数値配列に変換する
+			@clsNames = []
+			@clsNameRecSize = {}
+			MCMD::Mcsvin.new("i=#{xx1}"){|csv|
+				csv.each{|fldVal|
+					@clsNames << fldVal[csv.names[0]]
+					@clsNameRecSize[fldVal[csv.names[0]]]=fldVal[csv.names[1]].to_i
+				}
+			}
+		end
+
+	end
+
+public
+	def show()
+		puts "#### BEGIN SeqDB class"
+		puts "@temp=#{@temp}"
+		puts "@iFile=#{@iFile}"
+		puts "@iPath=#{@iPath}"
+		puts "@idFN=#{@idFN}"
+		puts "@timeFN=#{@timeFN}"
+		puts "@itemFN=#{@itemFN}"
+		puts "@padding=#{@padding}"
+		puts "@file=#{@file}"
+		@items.show
+		system("head #{@file}")
+		puts "#### END SeqDB class"
+	end
+
+	def replaceFile(train)
+
+		@file   = train
+
+		# レコード数の計算
+		#@recCnt = MCMD::mrecount("i=#{@file}")
+
+		# トランザクション数の計算
+		tf=MCMD::Mtemp.new
+		xx1=tf.file
+		f=""
+		f << "mcut   f=#{@idFN} i=#{@file} |"
+		f << "muniq  k=#{@idFN} |"
+		f << "mcount a=__cnt    o=#{xx1}"
+		system(f)
+    tbl=MCMD::Mtable.new("i=#{xx1}")
+		num=tbl.name2num()["__cnt"]
+    @size = tbl.cell(num,0).to_i
+
+	end
+
+
+	#=== taxonomyをトランザクションに追加
+	# トランザクションデータのアイテム集合に、対応するtaxonomyを追加する。
+	#
+	#====引数
+	# taxonomy: Taxonomyオブジェクト。
+	#
+	#====機能
+	#* トランザクションデータのアイテム集合項目におけるアイテム全てについて、対応するtaxonomyをアイテム集合として追加する。
+	def repTaxo(taxonomy)
+
+		#@taxonomy=taxonomy
+
+		@items.repTaxo(taxonomy) # アイテムクラスをtaxonomyで置換する
+
+		tFile =taxonomy.file
+		itemFN=taxonomy.itemFN
+		taxoFN=taxonomy.taxoFN
+
+		tf=MCMD::Mtemp.new
+		xx1=tf.file
+		f=""
+		f << "msortf f=#{@itemFN}                                    i=#{@file} |"
+		f << "mjoin  k=#{@itemFN} K=#{itemFN} f=#{taxoFN} m=#{tFile} |"
+		f << "mcut   f=#{@idFN},#{@timeFN},#{taxoFN}:#{@itemFN}      |"
+		f << "msortf f=#{@idFN},#{@timeFN},#{@itemFN}                o=#{xx1}"
+		system(f)
+
+		@file=@temp.file
+		FileUtils.mv(xx1,@file)
+
+	end
+end
+
+end # module

data/lib/nysol/take.rb

@@ -0,0 +1,39 @@
+#!/usr/bin/env ruby
+#/* ////////// LICENSE INFO ////////////////////
+#
+# * Copyright (C) 2013 by NYSOL CORPORATION
+# *
+# * Unless you have received this program directly from NYSOL pursuant
+# * to the terms of a commercial license agreement with NYSOL, then
+# * this program is licensed to you under the terms of the GNU Affero General
+# * Public License (AGPL) as published by the Free Software Foundation,
+# * either version 3 of the License, or (at your option) any later version.
+# * 
+# * This program is distributed in the hope that it will be useful, but
+# * WITHOUT ANY EXPRESS OR IMPLIED WARRANTY, INCLUDING THOSE OF 
+# * NON-INFRINGEMENT, MERCHANTABILITY OR FITNESS FOR A PARTICULAR PURPOSE.
+# *
+# * Please refer to the AGPL (http://www.gnu.org/licenses/agpl-3.0.txt)
+# * for more details.
+#
+# ////////// LICENSE INFO ////////////////////*/
+
+#= MCMD ruby拡張ライブラリ
+#Mコマンドruby拡張ライブラリとは、MCMDで提供されている各種データ処理モジュールをrubyから利用できるようにするインターフェースを提供する。
+#
+#mcmd.rbは、以下の6つのクラスライブラリをrequireしている。
+# require "mcsvin"   # MCMD::CSVin   CSVの行単位読み込みクラス (c++で作成された共有ライブラリ)
+# require "mcsvout"  # MCMD::CSVout  CSVの出力クラス (c++で作成された共有ライブラリ)
+# require "mtable"   # MCMD::Table   CSVのメモリ展開クラス (c++で作成された共有ライブラリ)
+# require "margs"    # MCMD::Args    コマンドライン引数を扱うクラス(rubyスクリプト)
+# require "mtemp"    # MCMD::Temp    一時ファイル管理(rubyスクリプト)
+
+require "nysol/lcmrun"
+require "nysol/lcmseqrun"
+require "nysol/lcmseq0run"
+require "nysol/lcmtransrun"
+require "nysol/sspcrun"
+require "nysol/grhfilrun"
+require "nysol/macerun"
+
+

data/lib/nysol/taxonomy.rb

@@ -0,0 +1,113 @@
+#!/usr/bin/env ruby
+# encoding: utf-8
+
+require "rubygems"
+require "nysol/mcmd"
+
+module TAKE
+
+#=分類階層(taxonomy)クラス
+# 一階層の分類階層(アイテム-分類)を扱うクラス。
+#
+#===利用例
+# 以下taxo.csvの内容
+# ---
+# item,taxo
+# a,X1
+# b,X1
+# c,X2
+# d,X2
+#
+# 以下rubyスクリプト
+# ---
+# require 'rubygems'
+# require 'mining'
+# taxo=Taxonomy("taxo.csv","item","taxo")
+# puts taxo.itemFN   # => "item"
+# puts taxo.taxoFN   # => "taxo"
+# puts taxo.itemSize # => 4 (アイテムは"a,b,c,d"の4種類)
+# puts taxo.taxoSize # => 2 (分類は"X1,X2"の2種類)
+# puts taxo.file     # => ./1252379737_1756/dat/1
+#
+#=====./1252379737_1756/dat/1 の内容
+# item,taxo
+# a,X1
+# b,X1
+# c,X2
+# d,X2
+class Taxonomy
+	# アイテムの項目名(=>String)
+	attr_reader :itemFN
+
+	# 分類の項目名(=>String)
+	attr_reader :taxoFN
+
+	# アイテムの種類数(=>Fixnum)
+	attr_reader :itemSize
+
+	# 分類の種類数(=>Fixnum)
+	attr_reader :taxoSize
+
+	# taxonomyデータファイル名(=>String)
+	attr_reader :file
+
+	#=== taxonomyクラスの初期化
+	# 一階層の分類階層を扱う。
+	# アイテム項目とその分類名項目を持つファイルから分類階層オブジェクトを生成する。
+	#====引数
+	# iFile: taxonomyファイル名
+	# itemFN: アイテム項目名
+	# taxoFN: 分類項目名
+	#====機能
+	#* アイテム(itemFN)と分類(taxoFN)の2項目からなるファイルが規定のパス(Taxonomy.file)に書き出される。
+	#* 同じアイテムが重複して登録されていれば単一化して書き出される。
+	#* アイテム順にソートされる。
+	#* アイテム数と分類数を計算する。
+	def initialize(iFile,itemFN,taxoFN)
+		@temp=MCMD::Mtemp.new
+
+		@iFile  = iFile
+		@iPath  = File.expand_path(@iFile)
+		@itemFN  = itemFN
+		@taxoFN  = taxoFN
+
+		# item順に並べ替えてpathに書き出す
+		@file=@temp.file
+		f=""
+		f << "mcut   f=#{@itemFN},#{@taxoFN} i=#{@iFile} |"
+		f << "msortf f=#{@itemFN},#{@taxoFN} |"
+		f << "muniq  k=#{@itemFN},#{@taxoFN} o=#{@file}"
+		system(f)
+
+		# oFileに登録されているitemの数をカウントする
+		tf=MCMD::Mtemp.new
+		xx1=tf.file
+		f=""
+		f << "mcut    f=#{@itemFN}                    i=#{iFile} |"
+		f << "mtrafld f=#{@itemFN}   a=__fld -valOnly |"
+		f << "mtra    f=__fld   -r                    |"
+		f << "msortf  f=__fld                         |"
+		f << "muniq   k=__fld                         |"
+		f << "mcount  a=size                          |"
+		f << "mcut    f=size   -nfno                  o=#{xx1}"
+    system(f)
+    tbl=MCMD::Mtable.new("i=#{xx1} -nfn")
+    @itemSize = tbl.cell(0,0).to_i
+
+		# oFileに登録されているtaxonomyの数をカウントする
+		xx2=tf.file
+		f=""
+		f << "mcut   f=#{@taxoFN}:item i=#{@file} |"
+		f << "msortf f=item            |"
+		f << "muniq  k=item            |"
+		f << "mcount a=size            |"
+		f << "mcut   f=size   -nfno    o=#{xx2}"
+    system(f)
+    tbl=MCMD::Mtable.new("i=#{xx2} -nfn")
+    @taxoSize = tbl.cell(0,0).to_i
+	end
+
+end
+
+end #module
+