anbt-sql-formatter 0.0.1

data/lib/anbt-sql-formatter/token.rb

@@ -0,0 +1,79 @@
+# -*- coding: utf-8 -*-
+
+require "pp"
+
+class AnbtSql
+  class TokenConstants
+
+    # 空文字. TAB,CR等も１つの文字列として含む。
+    SPACE = :space
+
+    # 記号. " <="のような２つで１つの記号もある。
+    SYMBOL = :symbol
+
+    # キーワード. "SELECT", "ORDER"など.
+    KEYWORD = :keyword
+
+    # 名前. テーブル名、列名など。
+    # ダブルクォーテーションが付く場合がある。
+    NAME = :name
+
+    # 値. 数値（整数、実数）、文字列など。
+    VALUE = :value
+
+    # コメント. シングルラインコメントとマルチラインコメントがある。
+    COMMENT = :comment
+
+    # SQL文の終わり.
+    END_OF_SQL = :end_of_sql
+
+    # 解析不可能なトークン. 通常のSQLではありえない。
+    UNKNOWN = :unknown
+  end
+
+
+  ##
+  # [_type] type of token
+  # [string] string of token
+  # [pos] ソース文字列の先頭からのトークンの位置をあらわす。
+  #       値は ゼロ(ZERO)オリジン。
+  #       デフォルト値 -1 の場合には「位置情報に意味がない」ことをあらわす。
+  #
+  class AbstractToken
+    attr_accessor :_type, :string, :pos
+
+    @_type = nil
+
+    @string = nil
+
+    @pos = -1
+
+    #
+    # このバリューオブジェクトの文字列表現を取得する。
+    # 
+    # オブジェクトのシャロー範囲でしか to_s されない点に注意。
+    # 
+    # @return:: バリューオブジェクトの文字列表現。
+    #
+    def to_s
+      buf = ""
+      buf << "AbstractAnbtSqlToken["
+      buf << "_type="   + @_type
+      buf << ",string=" + @string
+      buf << ",pos="    + @pos
+      buf << "]"
+      
+      buf
+    end
+  end
+
+
+  class Token < AbstractToken
+    def initialize(type, string, pos=nil)
+      @_type = type
+      @string = string
+
+      @pos = pos || -1
+    end
+  end
+end

data/lib/anbt-sql-formatter/version.rb

@@ -0,0 +1,7 @@
+module Anbt
+  module Sql
+    module Formatter
+      VERSION = "0.0.1"
+    end
+  end
+end

data/misc/anbt-sql-formatter-customize-example

@@ -0,0 +1,65 @@
+#! /usr/bin/ruby
+# -*- coding: utf-8 -*-
+
+require "pp"
+
+require "anbt-sql-formatter/formatter"
+
+=begin
+rule のプロパティを修正するだけではなく
+さらに踏み込んでカスタマイズしたい場合は
+formatter.rb 内の AnbtSql::Formatter#format_list_main_loop 
+などをオーバーライドすると良いでしょう。
+
+Ruby に詳しくない場合は「Ruby オープンクラス」
+「Ruby モンキーパッチ」で検索してみてください。
+
+継承の方が分かりやすいという場合は
+継承でも良いと思います。
+=end
+
+# class AnbtSql::Formatter
+#   def format_list_main_loop(tokens)
+#     # メソッドの処理を書き換える
+#   end
+# end
+
+
+if $0 == __FILE__
+  src = ""
+  while line = gets
+    src << line
+  end
+
+  rule = AnbtSql::Rule.new
+
+  # rule のプロパティを修正することで
+  # 動作をカスタマイズします。
+  # 詳細については rule.rb をご覧ください。
+
+  # キーワードを大文字・小文字に変換しない
+  rule.keyword = AnbtSql::Rule::KEYWORD_NONE
+  
+  # 複数単語のキーワードを登録
+  rule.kw_multi_words << "INNER JOIN"
+  rule.kw_nl_x << "INNER JOIN"
+
+  # "THEN" の前で改行するのをやめさせる
+  rule.kw_nl_x -= ["THEN"]
+  # "WHEN" の前で改行させるようにする
+  rule.kw_nl_x << "WHEN"
+
+  # User defined additional functions:
+  # ユーザ定義関数の追加: 
+  %w(count sum substr date).each{|func_name|
+    rule.function_names << func_name.upcase
+  }
+
+  #rule.indent_string = "    "
+  #rule.indent_string = "('-')"
+  rule.indent_string = "|   "
+  
+  formatter = AnbtSql::Formatter.new(rule)
+  result = formatter.format(src)
+  print result
+end

data/misc/anbt-sql-formatter-for-sakura-editor.js

@@ -0,0 +1,165 @@
+// ���� 3�‚̃p�X�����g���̊‹��ɍ��킹�ď��������Ă��������B
+
+// ruby.exe �̏ꏊ
+var envPath = "C:\\ruby\\bin\\ruby.exe";
+
+// �T�N���G�f�B�^�̃}�N����u���Ă���t�H���_
+var macroDir = "C:\\apps\\sakuraW_rXXXX\\macros\\";
+
+// anbt-sql-formatter �̃t�H���_
+var asfHome = "C:\\apps\\anbt-sql-formatter\\";
+
+
+//================================
+
+
+function checkPath( path ){
+  if( ! path.match( /\\$/ ) ){
+    path += "\\";
+  }
+  
+  return path;
+}
+
+macroDir = checkPath( macroDir );
+asfHome  = checkPath( asfHome );
+
+
+//================================
+
+
+var scriptPath   = asfHome + "bin\\anbt-sql-formatter";
+var libDir       = asfHome + "lib";
+
+var macroPath    = macroDir + "anbt-sql-formatter-for-sakura-editor.js";
+var tempFileSrc  = macroDir + "____temp_src.txt";
+var tempFileDest = macroDir + "____temp_dest.txt";
+
+var timeoutSec   = 10;
+
+
+//================================
+
+
+var ForReading = 1;
+var ForWriting = 2;
+
+var wShell = new ActiveXObject( "WScript.Shell" );
+
+
+//================================
+
+
+function pathExists( varName, type ){
+  var path = eval(varName);
+  var fso = new ActiveXObject( "Scripting.FileSystemObject" );
+  var typeMsg;
+  var result = true;
+
+  switch(type){
+  case "file":
+    typeMsg = "�t�@�C��";
+    if( ! fso.FileExists( path ) ){
+      result = false;
+    }
+    break;
+  case "folder":
+    typeMsg = "�t�H���_";
+    if( ! fso.FolderExists( path ) ){
+      result = false;
+    }
+    break;
+  default:
+    wShell.Popup( "�ϐ� type �̎w�肪�Ԉ���Ă��܂��B" );
+    return;
+  }
+
+  if( ! result ){
+    wShell.Popup( typeMsg + ' "' + path + "\" �����‚���܂���B\n�ϐ� " + varName + " �̃p�X�w����m�F���Ă��������B" );
+    return false;
+  }else{
+    return true;
+  }
+}
+
+
+//================================
+
+
+function writeFile( path, content ){
+  var fso = new ActiveXObject( "Scripting.FileSystemObject" );
+  var fout = fso.CreateTextFile( path );
+  fout.WriteLine( content );
+  fout.Close();
+}
+
+
+function readFile( path ){
+  var fso = new ActiveXObject( "Scripting.FileSystemObject" ); 
+  var fout = fso.OpenTextFile( path, ForReading ); 
+  var content = fout.ReadAll();
+  fout.Close(); 
+  return content;
+}
+
+
+//================================
+
+
+function callFromSakuraEditor(){
+  if(    ! pathExists( "envPath" , "file" )
+      || ! pathExists( "macroDir", "folder" )
+      || ! pathExists( "asfHome" , "folder" )
+  ){
+    return;
+  }
+
+  var selectedStr = GetSelectedString(0);
+  var fso = new ActiveXObject( "Scripting.FileSystemObject" );
+  if( fso.FileExists( tempFileSrc  ) ){ fso.GetFile( tempFileSrc  ).Delete(); }
+  if( fso.FileExists( tempFileDest ) ){ fso.GetFile( tempFileDest ).Delete(); }
+
+  writeFile( tempFileSrc, selectedStr );
+
+  var commandStr = 'cscript "' + macroPath + '"';
+  var vbHide = 0; //�E�B���h�E���\��
+  wShell.Run( commandStr, vbHide, true );
+
+  insText( readFile( tempFileDest ) );
+
+  if( fso.FileExists( tempFileSrc  ) ){ fso.GetFile( tempFileSrc  ).Delete(); }
+  if( fso.FileExists( tempFileDest ) ){ fso.GetFile( tempFileDest ).Delete(); }
+}
+
+
+function callFromCScript(){
+  var commandStr = 'cmd /c  ' + envPath + ' -I ' + libDir + ' "' + scriptPath +'"  "'+ tempFileSrc + '"' ;
+  var execObj = wShell.Exec( commandStr );
+
+  // �������I�����邩�A�܂��̓^�C���A�E�g����܂ő҂�
+  var startSec = (new Date()).getTime();
+  while( execObj.status == 0){
+    WScript.Sleep( 500 );
+    if( (new Date()).getTime() - startSec > timeoutSec ){ break; }
+  }
+
+  var result;
+  if( execObj.exitCode == 0){
+    result = execObj.StdOut.ReadAll();
+  }else{
+    result = execObj.StdErr.ReadAll();
+  }
+  writeFile( tempFileDest, result );
+}
+
+
+//================================
+
+
+if( typeof(Editor) != "undefined" ){
+  callFromSakuraEditor();
+}else if( typeof(WScript) != "undefined" ){
+  callFromCScript();
+}else{
+  wShell.Popup( "�Ăяo�������킩��܂���B" );
+}

data/readme.ja.txt

@@ -0,0 +1,107 @@
+= anbt-sql-formatter
+
+(C) 2010 sonota <yosiot8753@gmail.com>
+
+
+== 概要
+
+Java製の SQL整形ツール BlancoSqlFormatter
+
+blancoSqlFormatter - SQL整形ライブラリ
+http://www.igapyon.jp/blanco/blancosqlformatter.html
+
+を Ruby に移植したものです。
+完全な移植を目指したものではなく、改造が加わっています。
+
+
+== インストール
+
+ $ ruby setup.rb
+
+
+== 使い方
+
+標準入力で SQL を渡します。
+
+ $ echo "select a,b from c;" | anbt-sql-formatter
+ SELECT
+         a
+         , b
+     FROM
+         c
+ ;
+ $
+
+後は適宜 Emacs などエディタと連携させたりして使ってください。
+
+
+== ライセンス
+
+GNU Lesser General Public License.
+
+
+== 著者
+
+sonota:: Ruby へ移植
+
+次はオリジナルの Java版のクレジットの写しです。
+
+渡辺義則 / Yoshinori WATANABE / A-san:: 初期バージョンの開発
+伊賀敏樹 (Tosiki Iga / いがぴょん):: 維持メンテ担当
+
+
+== Java版からの変更点覚書
+
+=== 全般
+
+* 名前空間 AnbtSql を導入。また、ファイル名を
+  AnbtSqlFormatter.java → formatter.rb
+  といったように変更。
+
+=== formatter.rb / coarse-tokenizer.rb
+
+* #format_list から #format_list_main_loop などを分離した。
+* 粗トーカナイズ処理を coarse-tokenizer.rb に分離。
+  おそらく Java版からの一番大きな変更。
+  本質的に SQL とは関係の薄い文字列とコメントのトーカナイズだけを別に行う。
+
+
+== その他の変更点
+
+* フロントエンドのサンプル追加。
+* テストを追加（特に単体テスト）。
+
+
+== 処理の概要
+
+1. AnbtSql::Parser
+   1. 粗トークン（文字列、コメント、それ以外）に分割
+   2. トークンに分割
+2. AnbtSql::Formatter
+   1. トークンのリストを元にインデント等を整形
+
+
+== カスタマイズ
+
+* formatter に与える rule に追加
+  * 関数として扱うキーワードの追加
+  * 特定の改行・インデンテーション規則に対応するキーワードを追加
+  * インデントに用いる文字を指定
+  * キーワードの大文字・小文字指定
+* もっと細かくカスタマイズしたい場合は
+  AnbtSql::Formatter#format_list_main_loop を
+  継承、またはモンキーパッチング等で修正（オーバーライド）してください。
+
+
+== テスト
+
+ $ ruby setup.rb test
+
+
+== その他
+
+* 一行コメントの次でインデントが乱れる点が修正候補となっていたため
+  修正した。
+  AnbtSql::Formatter#format_list_main_loop 内で対処したが、
+  やっていることは末尾の改行を削っているだけなので
+  もっと前のトークン分割時に対処した方が良いかも。

data/readme.txt

@@ -0,0 +1,58 @@
+= anbt-sql-formatter
+
+(C) 2010 sonota (yosiot8753@gmail.com)
+
+
+== Description
+
+A tool for SQL formatting ported from 
+{BlancoSqlFormatter}[http://sourceforge.jp/projects/blancofw/releases/?package_id=4732].
+
+
+== Install
+
+ $ ruby setup.rb
+
+
+== Usage
+
+ $ echo "select a,b from c;" | anbt-sql-formatter
+ SELECT
+         a
+         , b
+     FROM
+         c
+ ;
+ $
+
+
+== License
+
+GNU Lesser General Public License.
+
+
+== Authors
+
+sonota:: Porting to Ruby
+
+Following are Authors of BlancoSqlFormatter(original Java version).
+
+渡辺義則 / Yoshinori WATANABE / A-san:: Early development
+伊賀敏樹 (Tosiki Iga / いがぴょん):: Maintainance
+
+
+== Customize
+
+* In AnbtSql::Rule:
+  * Function names
+  * Rules for linefeed and indentation
+  * Characters for indentation
+  * Upcase or Downcase
+* More farther: 
+  Override AnbtSql::Formatter#format_list_main_loop
+  by inheritance or monkeypathcing.
+
+
+== Test
+
+ $ ruby setup.rb test