nysol-take 3.0.0

data/lib/nysol/traDB.rb

@@ -0,0 +1,257 @@
+#!/usr/bin/env ruby
+# encoding: utf-8
+
+require "rubygems"
+require "nysol/mcmd"
+
+require "nysol/items.rb"
+
+module TAKE
+
+#=トランザクションデータクラス
+# 頻出パターンマイニングで使われるトランザクションデータを扱うクラス。
+# トランザクションファイルは、トランザクションID項目とアイテム集合項目から構成される。
+# アイテム集合は、スペースで区切られた文字列集合として表現される。
+#
+#===利用例
+# 以下tra.csvの内容
+# ---
+# items
+# a b d
+# a d e
+# c e
+# a d
+# c d e
+# c e
+# a d e
+#
+# 以下taxo.csvの内容
+# ---
+# item,taxo
+# a,X1
+# b,X1
+# c,X2
+# d,X2
+# e,X2
+#
+# 以下rubyスクリプト
+# ---
+# require 'rubygems'
+# require 'mining'
+#
+# tra=TraDB.new("tra.csv",nil,"items")
+# puts tra.file       # => ./1252813069_2179/dat/1
+# puts tra.numTraFile # => nil
+# puts tra.idFN       # => tid
+# puts tra.itemsetFN  # => items
+# puts tra.recCnt     # => 7
+# p    tra.items      # => #<Items:0x16a39ec @iItemFN=["items"],...
+#
+# taxo=Taxonomy.new("taxo.csv","item","taxo")
+# tra.addTaxo(taxo)
+# tra.mkNumTra
+# puts tra.numTraFile #=> ./1252813069_2179/dat/6
+# p    tra.items      #=> #<Items:0x16a39ec @iItemFN=["items", "taxo"],..., @taxonomy=#<Taxonomy:0x168ba7c ...
+#
+#=====./1252813069_2179/dat/1 の内容
+# tid,items
+# 1,a b d
+# 2,a d e
+# 3,c e
+# 4,a d
+# 5,c d e
+# 6,c e
+# 7,a d e
+#
+#=====./1252813069_2179/dat/6 の内容
+# 1 2 3 4 5 6 7
+# 1 2 4 6 7
+# 1 4 5 6 7
+# 3 5 7
+# 1 4 6 7
+# 3 4 5 7
+# 3 5 7
+# 1 4 5 6 7
+#
+class TraDB
+	attr_reader :file           # トランザクションファイル名
+	attr_reader :idFN           # トランザクションID項目名(String)
+	attr_reader :itemFN         # アイテム集合項目名(String)
+	attr_reader :clsFN          # クラス項目名(String)
+	attr_reader :size           # トランザクションサイズ(Num)
+	attr_reader :items          # Itemsクラス
+	attr_reader :taxonomy       # 階層分類クラス
+	attr_reader :clsNameRecSize # クラス別件数
+	attr_reader :clsSize        # クラス数
+	attr_reader :cFile          # クラスファイル
+
+private
+
+	#=== TraDBクラスの初期化
+	#
+	#====引数
+	# iFile: transactionファイル名
+	# iItemsetFN: iFile上のアイテム集合項目名
+	# idFN: 新しく命名するトランザクションID項目名
+	# itemsetFN: 新しく命名するアイテム集合項目名
+	#
+	#====機能
+	#* トランザクションIDとアイテム集合の2項目から構成するトランザクションデータを新たに作成する。
+	#* ID項目が指定されていなければ、1から始まる連番によってID項目を新規に作成する。
+	#* トランザクション件数(iFileのレコード件数)を計算する。
+	#* アイテム集合項目からItemsオブジェクトを生成する。
+	def initialize(iFile,idFN,itemFN,clsFN=nil)
+		@temp=MCMD::Mtemp.new
+
+		@iFile  = iFile                    # 入力ファイル
+		@iPath  = File.expand_path(@iFile) # フルパス
+		@idFN   = idFN                     # トランザクションID項目名
+		@itemFN = itemFN                   # 入力ファイル上のアイテム集合項目名
+		@file   = @temp.file               # 出力ファイル名
+
+		# 入力ファイルのidがnilの場合は連番を生成して新たなid項目を作成する。
+		f=""
+		f << "mcut   f=#{@idFN},#{@itemFN} i=#{@iFile} |"
+		f << "msortf f=#{@idFN},#{@itemFN} |"
+		f << "muniq  k=#{@idFN},#{@itemFN} o=#{@file}"
+		system(f)
+
+		# レコード数の計算
+		@recCnt = MCMD::mrecount("i=#{@file}")
+
+		# トランザクション数の計算
+		tf=MCMD::Mtemp.new
+		xx1=tf.file
+		f=""
+		f << "mcut   f=#{@idFN} i=#{@file} |"
+		f << "muniq  k=#{@idFN} |"
+		f << "mcount a=__cnt    o=#{xx1}"
+		system(f)
+    tbl=MCMD::Mtable.new("i=#{xx1}")
+		num=tbl.name2num()["__cnt"]
+    @size = tbl.cell(num,0).to_i
+
+		# トランザクションデータからアイテムオブジェクトを生成
+		@items=TAKE::Items.new(@file,@itemFN)
+
+		# クラスデータ
+		if clsFN then
+			@clsFN=clsFN
+			@cFile=@temp.file
+
+			# tid-クラス項目名ファイルの生成
+			xx1=@temp.file
+			f=""
+			f << "mcut   f=#{@idFN},#{@clsFN} i=#{@iFile} |"
+			f << "msortf f=#{@idFN},#{@clsFN} |"
+			f << "muniq  k=#{@idFN},#{@clsFN} o=#{@cFile}"
+			system(f)
+
+			f=""
+			f << "mcut   f=#{@clsFN}         i=#{@cFile} |"
+			f << "msortf f=#{@clsFN}         |"
+			f << "mcount k=#{@clsFN} a=count o=#{xx1}"
+			system(f)
+
+			# クラス数
+			@clsSize = MCMD::mrecount("i=#{xx1}")
+
+			# 文字列としてのクラス別件数配列を数値配列に変換する
+			@clsNames = []
+			@clsNameRecSize = {}
+			MCMD::Mcsvin.new("i=#{xx1}"){|csv|
+				csv.each{|fldVal|
+					@clsNames << fldVal[csv.names[0]]
+					@clsNameRecSize[fldVal[csv.names[0]]]=fldVal[csv.names[1]].to_i
+				}
+			}
+		end
+	end
+
+public
+	def replaceFile(train)
+
+		@file   = train
+
+		# レコード数の計算
+		@recCnt = MCMD::mrecount("i=#{@file}")
+
+		# トランザクション数の計算
+		tf=MCMD::Mtemp.new
+		xx1=tf.file
+		f=""
+		f << "mcut   f=#{@idFN} i=#{@file} |"
+		f << "muniq  k=#{@idFN} |"
+		f << "mcount a=__cnt    o=#{xx1}"
+		system(f)
+    tbl=MCMD::Mtable.new("i=#{xx1}")
+		num=tbl.name2num()["__cnt"]
+    @size = tbl.cell(num,0).to_i
+
+	end
+
+	#=== taxonomyをトランザクションに追加
+	# トランザクションデータのアイテム集合に、対応するtaxonomyを追加する。
+	#
+	#====引数
+	# taxonomy: Taxonomyオブジェクト。
+	#
+	#====機能
+	#* トランザクションデータのアイテム集合項目におけるアイテム全てについて、対応するtaxonomyをアイテム集合として追加する。
+	def addTaxo(taxonomy)
+
+		@taxonomy=taxonomy
+
+		@items.addTaxo(@taxonomy) # アイテムクラスにtaxonomyを追加する
+
+		tFile =taxonomy.file
+		itemFN=taxonomy.itemFN
+		taxoFN=taxonomy.taxoFN
+
+		tf=MCMD::Mtemp.new
+		xx1=tf.file
+		f=""
+		f << "msortf f=#{@itemFN}                                    i=#{@file} |"
+		f << "mnjoin k=#{@itemFN} K=#{itemFN} f=#{taxoFN} m=#{tFile} |"
+		f << "mcut   f=#{@idFN},#{taxoFN}:#{@itemFN}                 o=#{xx1}"
+		system(f)
+
+		xx2=tf.file
+		f=""
+		f << "mcat                         i=#{@file},#{xx1} |"
+		f << "msortf f=#{@idFN},#{@itemFN} |"
+		f << "muniq  k=#{@idFN},#{@itemFN} o=#{xx2}"
+		system(f)
+
+		@file = @temp.file
+		FileUtils.mv(xx2,@file)
+
+	end
+
+	def repTaxo(taxonomy)
+
+		#@taxonomy=taxonomy #replaceの場合はtaxonomyを登録しない
+
+		@items.repTaxo(taxonomy) # アイテムクラスをtaxonomyで置換する
+
+		tFile =taxonomy.file
+		itemFN=taxonomy.itemFN
+		taxoFN=taxonomy.taxoFN
+
+		tf=MCMD::Mtemp.new
+		xx1=tf.file
+		f=""
+		f << "msortf f=#{@itemFN}                                    i=#{@file} |"
+		f << "mjoin  k=#{@itemFN} K=#{itemFN} f=#{taxoFN} m=#{tFile} |"
+		f << "mcut   f=#{@idFN},#{taxoFN}:#{@itemFN}                 |"
+		f << "msortf f=#{@idFN},#{@itemFN}                           |"
+		f << "muniq  k=#{@idFN},#{@itemFN}                           o=#{xx1}"
+		system(f)
+
+		@file = @temp.file
+		FileUtils.mv(xx1,@file)
+
+	end
+end
+
+end # module

metadata

@@ -0,0 +1,239 @@
+--- !ruby/object:Gem::Specification
+name: nysol-take
+version: !ruby/object:Gem::Version
+  version: 3.0.0
+platform: ruby
+authors:
+- NYSOL
+autorequire: 
+bindir: bin
+cert_chain: []
+date: 2017-07-06 00:00:00.000000000 Z
+dependencies:
+- !ruby/object:Gem::Dependency
+  name: nysol
+  requirement: !ruby/object:Gem::Requirement
+    requirements:
+    - - ~>
+      - !ruby/object:Gem::Version
+        version: 3.0.0
+  type: :runtime
+  prerelease: false
+  version_requirements: !ruby/object:Gem::Requirement
+    requirements:
+    - - ~>
+      - !ruby/object:Gem::Version
+        version: 3.0.0
+description: |2
+      nysol TAKE tools
+email: info@nysol.jp
+executables:
+- mclique.rb
+- mbiclique.rb
+- mbipolish.rb
+- mclique2g.rb
+- mcliqueInfo.rb
+- mgdiff.rb
+- mitemset.rb
+- mpolishing.rb
+- msequence.rb
+- mfriends.rb
+- mccomp.rb
+- mhifriend.rb
+- mhipolish.rb
+- mpal.rb
+- mtra2gc.rb
+- mtra2g.rb
+extensions:
+- ext/lcmrun/extconf.rb
+- ext/lcmseqrun/extconf.rb
+- ext/lcmseq0run/extconf.rb
+- ext/lcmtransrun/extconf.rb
+- ext/grhfilrun/extconf.rb
+- ext/sspcrun/extconf.rb
+- ext/macerun/extconf.rb
+extra_rdoc_files: []
+files:
+- ext/lcmrun/extconf.rb
+- ext/lcmrun/lcmrun.cpp
+- ext/lcmseqrun/extconf.rb
+- ext/lcmseqrun/lcmseqrun.cpp
+- ext/lcmseq0run/extconf.rb
+- ext/lcmseq0run/lcmseq0run.cpp
+- ext/grhfilrun/extconf.rb
+- ext/grhfilrun/grhfilrun.c
+- ext/sspcrun/extconf.rb
+- ext/sspcrun/sspcrun.cpp
+- ext/macerun/extconf.rb
+- ext/macerun/macerun.cpp
+- ext/lcmrun/src/aheap.c
+- ext/lcmrun/src/base.c
+- ext/lcmrun/src/itemset.c
+- ext/lcmrun/src/lcm.c
+- ext/lcmrun/src/problem.c
+- ext/lcmrun/src/queue.c
+- ext/lcmrun/src/sgraph.c
+- ext/lcmrun/src/stdlib2.c
+- ext/lcmrun/src/trsact.c
+- ext/lcmrun/src/vec.c
+- ext/lcmrun/src/aheap.h
+- ext/lcmrun/src/base.h
+- ext/lcmrun/src/itemset.h
+- ext/lcmrun/src/problem.h
+- ext/lcmrun/src/queue.h
+- ext/lcmrun/src/sgraph.h
+- ext/lcmrun/src/stdlib2.h
+- ext/lcmrun/src/trsact.h
+- ext/lcmrun/src/vec.h
+- ext/lcmseqrun/src/aheap.c
+- ext/lcmseqrun/src/base.c
+- ext/lcmseqrun/src/itemset.c
+- ext/lcmseqrun/src/itemset_zero.c
+- ext/lcmseqrun/src/lcm_seq.c
+- ext/lcmseqrun/src/lcm_seq_zero.c
+- ext/lcmseqrun/src/problem.c
+- ext/lcmseqrun/src/problem_zero.c
+- ext/lcmseqrun/src/queue.c
+- ext/lcmseqrun/src/stdlib2.c
+- ext/lcmseqrun/src/trsact.c
+- ext/lcmseqrun/src/vec.c
+- ext/lcmseqrun/src/aheap.h
+- ext/lcmseqrun/src/base.h
+- ext/lcmseqrun/src/itemset.h
+- ext/lcmseqrun/src/problem.h
+- ext/lcmseqrun/src/queue.h
+- ext/lcmseqrun/src/stdlib2.h
+- ext/lcmseqrun/src/trsact.h
+- ext/lcmseqrun/src/vec.h
+- ext/lcmseq0run/src/aheap.c
+- ext/lcmseq0run/src/base.c
+- ext/lcmseq0run/src/itemset.c
+- ext/lcmseq0run/src/itemset_zero.c
+- ext/lcmseq0run/src/lcm_seq.c
+- ext/lcmseq0run/src/lcm_seq_zero.c
+- ext/lcmseq0run/src/problem.c
+- ext/lcmseq0run/src/problem_zero.c
+- ext/lcmseq0run/src/queue.c
+- ext/lcmseq0run/src/stdlib2.c
+- ext/lcmseq0run/src/trsact.c
+- ext/lcmseq0run/src/vec.c
+- ext/lcmseq0run/src/aheap.h
+- ext/lcmseq0run/src/base.h
+- ext/lcmseq0run/src/itemset.h
+- ext/lcmseq0run/src/problem.h
+- ext/lcmseq0run/src/queue.h
+- ext/lcmseq0run/src/stdlib2.h
+- ext/lcmseq0run/src/trsact.h
+- ext/lcmseq0run/src/vec.h
+- ext/sspcrun/src/_sspc.c
+- ext/sspcrun/src/aheap.c
+- ext/sspcrun/src/base.c
+- ext/sspcrun/src/fstar.c
+- ext/sspcrun/src/grhfil.c
+- ext/sspcrun/src/itemset.c
+- ext/sspcrun/src/problem.c
+- ext/sspcrun/src/queue.c
+- ext/sspcrun/src/sample.c
+- ext/sspcrun/src/sspc.c
+- ext/sspcrun/src/sspc2.c
+- ext/sspcrun/src/stdlib2.c
+- ext/sspcrun/src/trsact.c
+- ext/sspcrun/src/vec.c
+- ext/sspcrun/src/aheap.h
+- ext/sspcrun/src/base.h
+- ext/sspcrun/src/fstar.h
+- ext/sspcrun/src/itemset.h
+- ext/sspcrun/src/problem.h
+- ext/sspcrun/src/queue.h
+- ext/sspcrun/src/stdlib2.h
+- ext/sspcrun/src/trsact.h
+- ext/sspcrun/src/vec.h
+- ext/macerun/src/aheap.c
+- ext/macerun/src/itemset.c
+- ext/macerun/src/mace.c
+- ext/macerun/src/problem.c
+- ext/macerun/src/queue.c
+- ext/macerun/src/sgraph.c
+- ext/macerun/src/stdlib2.c
+- ext/macerun/src/vec.c
+- ext/macerun/src/aheap.h
+- ext/macerun/src/itemset.h
+- ext/macerun/src/problem.h
+- ext/macerun/src/queue.h
+- ext/macerun/src/sgraph.h
+- ext/macerun/src/stdlib2.h
+- ext/macerun/src/vec.h
+- ext/grhfilrun/src/_sspc.c
+- ext/grhfilrun/src/aheap.c
+- ext/grhfilrun/src/base.c
+- ext/grhfilrun/src/fstar.c
+- ext/grhfilrun/src/grhfil.c
+- ext/grhfilrun/src/itemset.c
+- ext/grhfilrun/src/problem.c
+- ext/grhfilrun/src/queue.c
+- ext/grhfilrun/src/sample.c
+- ext/grhfilrun/src/sspc.c
+- ext/grhfilrun/src/sspc2.c
+- ext/grhfilrun/src/stdlib2.c
+- ext/grhfilrun/src/trsact.c
+- ext/grhfilrun/src/vec.c
+- ext/grhfilrun/src/aheap.h
+- ext/grhfilrun/src/base.h
+- ext/grhfilrun/src/fstar.h
+- ext/grhfilrun/src/itemset.h
+- ext/grhfilrun/src/problem.h
+- ext/grhfilrun/src/queue.h
+- ext/grhfilrun/src/stdlib2.h
+- ext/grhfilrun/src/trsact.h
+- ext/grhfilrun/src/vec.h
+- ext/lcmtransrun/extconf.rb
+- ext/lcmtransrun/lcmtransrun.cpp
+- lib/nysol/enumLcmEp.rb
+- lib/nysol/enumLcmEsp.rb
+- lib/nysol/enumLcmIs.rb
+- lib/nysol/enumLcmSeq.rb
+- lib/nysol/items.rb
+- lib/nysol/seqDB.rb
+- lib/nysol/taxonomy.rb
+- lib/nysol/traDB.rb
+- lib/nysol/take.rb
+- bin/mclique.rb
+- bin/mbiclique.rb
+- bin/mbipolish.rb
+- bin/mclique2g.rb
+- bin/mcliqueInfo.rb
+- bin/mgdiff.rb
+- bin/mitemset.rb
+- bin/mpolishing.rb
+- bin/msequence.rb
+- bin/mfriends.rb
+- bin/mccomp.rb
+- bin/mhifriend.rb
+- bin/mhipolish.rb
+- bin/mpal.rb
+- bin/mtra2gc.rb
+- bin/mtra2g.rb
+homepage: http://www.nysol.jp/
+licenses: []
+metadata: {}
+post_install_message: 
+rdoc_options: []
+require_paths:
+- lib
+required_ruby_version: !ruby/object:Gem::Requirement
+  requirements:
+  - - '>='
+    - !ruby/object:Gem::Version
+      version: '0'
+required_rubygems_version: !ruby/object:Gem::Requirement
+  requirements:
+  - - '>='
+    - !ruby/object:Gem::Version
+      version: '0'
+requirements: []
+rubyforge_project: 
+rubygems_version: 2.0.14
+signing_key: 
+specification_version: 4
+summary: nysol TAKE tools
+test_files: []