rroonga 0.9.5-x86-mingw32 → 1.0.1-x86-mingw32

data/vendor/local/share/groonga/doc/ja/source/type.txt

@@ -0,0 +1,118 @@
+.. highlightlang:: none
+
+データ型
+========
+
+名前
+----
+
+groonga データ型
+
+説明
+----
+
+groonga は、格納するデータの型を区別します。
+
+groongaのデータベースでは、テーブルの主キーや、カラムの値はいずれも何らかの型に属します。また通常は、一つのテーブルの中の全てのレコードについて、カラムの値は共通となります。
+
+主キーの型とカラムの型には、groongaで予め定義済みの型か、ユーザが定義する型、またはユーザが定義したテーブルを指定することができます。
+
+主キーの型に他のテーブルを指定する場合は、そのテーブルは、主キーの型となるテーブルのサブセットとなります。
+
+カラムの型に他のテーブルを指定する場合は、そのカラムは、カラムの型となるテーブルの参照キーとなります。
+
+組込型
+------
+
+以下の型が組込型としてあらかじめ定義されています。
+
+``Object``
+
+  任意のテーブルに属する全てのレコード [#]_
+
+``Bool``
+
+  bool型。trueとfalse。
+
+``Int8``
+
+  8bit符号付き整数。
+
+``UInt8``
+
+  8bit符号なし整数。
+
+``Int16``
+
+  16bit符号付き整数。
+
+``UInt16``
+
+  16bit符号なし整数。
+
+``Int32``
+
+  32bit符号付き整数。
+
+``UInt32``
+
+  32bit符号なし整数。
+
+``Int64``
+
+  64bit符号付き整数。
+
+``UInt64``
+
+  64bit符号なし整数。
+
+``Float``
+
+  ieee754形式の64bit浮動小数点数。
+
+``Time``
+
+  1970年1月1日0時0分0秒からの経過マイクロ秒数を64bit符号付き整数で表現した値。
+
+``ShortText``
+
+  4Kbyte以下の文字列。
+
+``Text``
+
+  64Kbyte以下の文字列。
+
+``LongText``
+
+  2Gbyte以下の文字列。
+
+``TokyoGeoPoint``
+
+  日本測地系緯度経度座標。緯度と経度はミリ秒単位での整数。
+  "経度のミリ秒x緯度のミリ秒"という文字列表現を持つ。
+  度分秒形式であれば、x度y分z秒は(((x * 60) + y) * 60 + z) * 1000という計算式で変換した値を代入します。
+
+``WGS84GeoPoint``
+
+  世界測地系緯度経度座標。緯度と経度はミリ秒単位での整数。
+  "経度のミリ秒x緯度のミリ秒"という文字列表現を持つ。
+  度分秒形式であれば、x度y分z秒は(((x * 60) + y) * 60 + z) * 1000という計算式で変換した値を代入します。
+
+型に関する制限事項
+------------------
+
+テーブルの主キーに指定できない型
+^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
+
+Text型とLongText型については、テーブルの主キーに指定することはできません。
+
+ベクトルとして格納できない型
+^^^^^^^^^^^^^^^^^^^^^^^^^^^^
+
+groongaのカラムは、ある型のベクトルを保存することができます。しかし、ShortText, Text, LongTextの３つの型についてはベクトルとして保存することはできません。
+
+テーブル型は、ベクトルとして格納することができます。よって、ShortTextのベクトルを保存したい場合には、主キーがShortText型のテーブルを別途作成し、そのテーブルを型として利用します。
+
+.. rubric:: 脚注
+
+.. [#] Object型はv1.2でサポートされます。

data/vendor/local/share/groonga/doc/ja/source/update_execution_example.py

@@ -0,0 +1,113 @@
+#!/usr/bin/env python
+# -*- coding: utf-8; -*-　
+
+from subprocess import *
+from select import select
+from sys import argv,stdout
+import os
+
+GROONGA_PATH = "/usr/bin/groonga"
+DB_PATH = "/tmp/example.db"
+
+os.system('rm -rf %s*' % DB_PATH)
+ioobj = Popen([GROONGA_PATH, '-n', DB_PATH], stdin = PIPE, stdout = PIPE)
+ioin  = ioobj.stdin
+ioout = ioobj.stdout
+
+fout = None
+
+def execmd(cmd, fout):
+  a = '> ' + cmd + "\n"
+  stdout.write(a)
+  stdout.flush()
+  ioin.write(cmd + "\n")
+  ioin.flush()
+  if fout:
+    fout.write(a + "  ")
+  while True:
+    out = select([ioout], [], [], 0.2)
+    if len(out[0]):
+      a = ioout.read(1)
+      if a != None:
+        stdout.write(a)
+        if fout:
+          if a == '\n':
+            fout.write(a + "  ")
+          else:
+            fout.write(a)
+    else:
+      stdout.flush()
+      break
+
+def readfile(fname, outflag):
+  if outflag > 32:
+    print "!!!! INCLUDE DEPTH OVER !!!!"
+    raise
+  b = fname.rfind('/')
+  if b < 0:
+    rootdir = './'
+  else:
+    rootdir = fname[0:b+1]
+
+  fi = open(fname, 'r')
+  dat = fi.read().split("\n")
+  fi.close()
+
+  line = 0;
+  while len(dat):
+    cmd = dat.pop(0)
+    if cmd.startswith('.. groonga-command'):
+      print '### command start'
+      fout = None
+      while len(dat):
+        cmd = dat.pop(0)
+        if cmd.startswith('.. include:: '):
+          a = rootdir + cmd[13:]
+          if outflag == 0:
+            dir_name = os.path.dirname(a)
+            if not os.path.exists(dir_name):
+              os.makedirs(dir_name)
+            fout = open(a, 'w')
+            print '### write start : ' + a
+            fout.write("実行例 ::\n\n  ")
+        elif cmd.startswith('.. .. '):
+          a = cmd[6:]
+          if fout:
+            fout.write(a + "\n  ")
+          print a
+        elif cmd.startswith('..'):
+          if cmd.replace(' ','').replace("\t",'') == '..':
+            while len(dat):
+              if dat[0] == '' or (dat[0][0] != ' ' and dat[0][0] != '	'):
+                break
+              execmd(dat.pop(0), fout)
+          else:
+            cmd = cmd[3:]
+            execmd(cmd, fout)
+        else:
+          print '### command end'
+          if fout:
+            fout.close()
+          break
+    elif cmd.startswith('.. groonga-include : '):
+      a = rootdir + cmd[21:]
+      print '###>>> include : ' + a
+      readfile(a, outflag + 1)
+      print '###<<< include end'
+
+
+if len(argv) > 1:
+  readfile(argv[1], 0)
+else:
+  for root, dirs, files in os.walk('./'):
+    for fname in files:
+      if fname.lower().endswith('.txt'):
+        b = os.path.join(root, fname)
+        print "===" + b
+        readfile(b, 0)
+
+if fout:
+  fout.close()
+ioin.close()
+ioout.close()
+

data/vendor/local/share/groonga/examples/dictionary/edict/edict2grn.rb

@@ -0,0 +1,46 @@
+#!/usr/bin/ruby
+# -*- coding: utf-8 -*-
+
+$KCODE = 'u'
+
+require 'kconv'
+
+class String
+  def to_json
+    a = split(//).map {|char|
+      case char
+      when '"' then '\\"'
+      when '\\' then '\\\\'
+      when "\b" then '\b'
+      when "\f" then '\f'
+      when "\n" then '\n'
+      when "\r" then ''
+      when "\t" then '\t'
+      else char
+      end
+    }
+    "\"#{a.join('')}\""
+  end
+end
+
+class Array
+  def to_json
+    '[' + map {|element|
+      element.to_json
+    }.join(',') + ']'
+  end
+end
+
+puts <<END
+column_create item edict_desc COLUMN_SCALAR ShortText
+column_create bigram item_edict_desc COLUMN_INDEX|WITH_POSITION item edict_desc
+load --table item
+[["_key","edict_desc"],
+END
+
+while !STDIN.eof?
+  line = Kconv.toutf8(gets.strip)
+  key, body = line.split('/', 2)
+  puts [key, body].to_json
+end
+puts ']'

data/vendor/local/share/groonga/examples/dictionary/edict/edict_import.sh

@@ -0,0 +1,10 @@
+#!/bin/sh
+
+if [ 2 != $# ]; then
+  echo "usage: $0 db_path edict.gz_path"
+  exit 1
+fi
+
+if zcat $2 | ./edict2grn.rb | groonga $1 > /dev/null; then
+  echo "edict data loaded."
+fi

data/vendor/local/share/groonga/examples/dictionary/eijiro/eijiro2grn.rb

@@ -0,0 +1,61 @@
+#!/usr/bin/ruby
+# -*- coding: utf-8 -*-
+
+$KCODE = 'u'
+
+require 'rubygems'
+require 'fastercsv'
+
+class String
+  def to_json
+    a = split(//).map {|char|
+      case char
+      when '"' then '\\"'
+      when '\\' then '\\\\'
+      when "\b" then '\b'
+      when "\f" then '\f'
+      when "\n" then '\n'
+      when "\r" then ''
+      when "\t" then '\t'
+      else char
+      end
+    }
+    "\"#{a.join('')}\""
+  end
+end
+
+class Array
+  def to_json
+    '[' + map {|element|
+      element.to_json
+    }.join(',') + ']'
+  end
+end
+
+puts <<END
+column_create item eijiro_trans COLUMN_SCALAR ShortText
+column_create item eijiro_exp COLUMN_SCALAR ShortText
+column_create item eijiro_level COLUMN_SCALAR Int32
+column_create item eijiro_memory COLUMN_SCALAR Int32
+column_create item eijiro_modify COLUMN_SCALAR Int32
+column_create item eijiro_pron COLUMN_SCALAR ShortText
+column_create item eijiro_filelink COLUMN_SCALAR ShortText
+column_create bigram item_eijiro_trans COLUMN_INDEX|WITH_POSITION item eijiro_trans
+load --table item
+[["_key","norm","eijiro_trans","eijiro_exp","eijiro_level","eijiro_memory","eijiro_modify","eijiro_pron","eijiro_filelink","kana"],
+END
+
+n = 0
+FasterCSV.new(ARGF, :row_sep => "\r\n").each {|l|
+  if n > 0
+    keyword,word,trans,exp,level,memory,modify,pron,filelink = l
+    kana = ''
+    if trans =~ /【＠】(.*?)(【|$)/
+      kana = $1.split("、")
+    end
+    puts [word,keyword,trans,exp,level,memory,modify,pron,filelink,kana].map{|e| e || ''}.to_json
+  end
+  n += 1
+}
+
+puts "]"

data/vendor/local/share/groonga/examples/dictionary/eijiro/eijiro_import.sh

@@ -0,0 +1,10 @@
+#!/bin/sh
+
+if [ 2 != $# ]; then
+  echo "usage: $0 db_path eijiro.csv_path"
+  exit 1
+fi
+
+if iconv -f UCS2 -t UTF8 $2 | ./eijiro2grn.rb | groonga $1 > /dev/null; then
+  echo "eijiro data loaded."
+fi

data/vendor/local/share/groonga/examples/dictionary/gene95/gene2grn.rb

@@ -0,0 +1,46 @@
+#!/usr/bin/ruby
+# -*- coding: utf-8 -*-
+
+$KCODE = 'u'
+
+require 'kconv'
+
+class String
+  def to_json
+    a = split(//).map {|char|
+      case char
+      when '"' then '\\"'
+      when '\\' then '\\\\'
+      when "\b" then '\b'
+      when "\f" then '\f'
+      when "\n" then '\n'
+      when "\r" then ''
+      when "\t" then '\t'
+      else char
+      end
+    }
+    "\"#{a.join('')}\""
+  end
+end
+
+class Array
+  def to_json
+    '[' + map {|element|
+      element.to_json
+    }.join(',') + ']'
+  end
+end
+
+puts <<END
+column_create item gene95_desc COLUMN_SCALAR ShortText
+column_create bigram item_gene95_desc COLUMN_INDEX|WITH_POSITION item gene95_desc
+load --table item
+[["_key","gene95_desc"],
+END
+
+while !STDIN.eof?
+  key = Kconv.toutf8(gets.strip)
+  body = Kconv.toutf8(gets.strip)
+  puts [key, body].to_json
+end
+puts ']'

data/vendor/local/share/groonga/examples/dictionary/gene95/gene_import.sh

@@ -0,0 +1,10 @@
+#!/bin/sh
+
+if [ 2 != $# ]; then
+  echo "usage: $0 db_path gene.txt_path"
+  exit 1
+fi
+
+if cat $2 | ./gene2grn.rb | groonga $1 > /dev/null; then
+  echo "gene95 data loaded."
+fi

data/vendor/local/share/groonga/examples/dictionary/html/css/dictionary.css

@@ -0,0 +1,3 @@
+.result {
+	color: #0080f0;
+}

data/vendor/local/share/groonga/examples/dictionary/html/index.html

@@ -0,0 +1,26 @@
+<?xml version="1.0" encoding="UTF-8"?>
+<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
+<html xmlns="http://www.w3.org/1999/xhtml" xml:lang="ja" lang="ja">
+<head>
+<meta http-equiv="Content-Language" content="ja" />
+<meta http-equiv="content-type" content="text/html; charset=utf-8" />
+<title>groonga</title>
+<meta http-equiv="content-style-type" content="text/css" />
+<meta http-equiv="content-script-type" content="text/javascript" />
+<link  type="text/css" rel="stylesheet" href="css/dictionary.css" />
+</head>
+<body>
+<form action="javascript:(function(){$('.search').blur()})()" name="search" id="search">
+<input type="text" size="60" maxlength="60" name="key" class="search" />
+<input type="submit" value="検索"/>
+</form>
+<script type="text/javascript" src="js/jquery-1.4.2.min.js"></script>
+<script type="text/javascript" src="js/dictionary.js"></script>
+<script type="text/javascript">
+$(document).ready(function(){
+  $(".search").lookup("http://" + location.host + "/d/suggest");
+});
+</script>
+<div id="result"></div>
+</body>
+</html>