endlessruby 0.0.1

data/History.txt

@@ -0,0 +1,4 @@
+=== 0.0.1 2011-11-17
+
+* Alpha:
+  * initial release

data/Manifest.txt

@@ -0,0 +1,30 @@
+History.txt
+Manifest.txt
+README.rdoc
+Rakefile
+bin/endlessruby
+lib/endlessruby.rb
+lib/endlessruby/extensions.rb
+lib/endlessruby/main.rb
+src/endlessruby.er
+src/endlessruby/extensions.er
+src/endlessruby/main.er
+src/er.er
+spec/blank_line_spec.rb
+spec/build_self_spec.rb
+spec/comment_spec.rb
+spec/concrete_examples/case_1_simply_test_case.er
+spec/concrete_examples/case_1_simply_test_case.rb
+spec/concrete_examples_spec.rb
+spec/endlessruby_spec.rb
+spec/here_document_spec.rb
+spec/require_spec.rb
+spec/semicolon_spec.rb
+spec/simply_spec.rb
+spec/spec.opts
+spec/spec_helper.rb
+spec/test_data/er_omission.er
+spec/test_data/file.er
+spec/test_data/rb_omission.rb
+spec/test_data/ruby_script.rb
+tasks/rspec.rake

data/README.rdoc

@@ -0,0 +1,53 @@
+= EndlessRuby
+
+* http://github.com/pasberth/EndlessRuby
+
+== DESCRIPTION:
+
+EndlessRuby は Ruby を end なしで書けるプリプロセッサまたはコンパイラです。
+* EndlessRuby で書かれたソースコードを Ruby プログラムから require
+* EndlessRuby で書かれたソースコードを ピュア Ruby にコンパイル
+ができます。
+
+基本的にRubyの構文からendを取り除いただけで書けます。endを取り除かなくても実行可能です。
+EndlessRubyの独自な拡張的な構文はありません。
+ただ行単位で処理しているので def method; a; end みたいな書式できません。
+
+コンパイルする場合は
+$ endlessruby -c src/example.er src/more.er -o lib
+とします。
+この場合、
+src/example.er => lib/example.rb
+src/more.er => lib/more.rb
+として書き出されます。
+
+実行する場合は
+$ endlessruby src/example.er
+
+コンパイルされていないEndlessRubyのファイルをrequire する場合は
+
+require 'endlessruby'
+require 'example.er'
+
+たぶんバグだらけです
+
+== FEATURES/PROBLEMS:
+
+* def method; a; end みたいな書式に対応
+
+== SYNOPSIS:
+
+= REQUIREMENTs
+
+* ruby 1.8.7, 1.9.1, or 1.9.2 ...
+* rubygems
+
+== INSTALL:
+
+* sudo gem install endlessruby
+
+== LICENSE:
+
+(The MIT License)
+
+Copyright (c) 2011 pasberth

data/Rakefile

@@ -0,0 +1,11 @@
+require 'rubygems'
+gem 'hoe', '>= 2.1.0'
+require 'hoe'
+require 'fileutils'
+require './lib/EndlessRuby'
+
+$hoe = Hoe.spec 'endlessruby' do
+  self.developer 'pasberth', 'pasberth@gmail.com'
+  self.rubyforge_name       = self.name
+  self.readme_file = 'README.rdoc'
+end

data/bin/endlessruby

@@ -0,0 +1,5 @@
+#!/usr/bin/env ruby
+
+require "endlessruby"
+require "endlessruby/main"
+EndlessRuby::Main.main ARGV

data/lib/endlessruby/extensions.rb

@@ -0,0 +1,75 @@
+#!/usr/bin/env ruby
+# -*- coding: utf-8 -*-
+
+require 'rubygems'
+
+module Kernel
+
+  alias endlessruby_original_require require
+
+  # EndlessRuby によって再定義された require です。
+  # たいていのこのrequireはオリジナルなrequireまたはrubygemsのrequireがSyntaxErrorによって失敗した場合のみ機能します。
+  # SytanxError によってrequireが失敗した場合、pathを探してpathまたはpath.erの名前のファイルをEndlessRubyの構文として評価します。
+  # pathが./または/で以外で始まる場合は$LOAD_PATHと$:をそれぞれ参照してpathを探します。
+  # もしpathがそれらで始まる場合はそれぞれ参照しません。(つまり通常のrequireの動作と同じです)
+  def require path
+    at = caller
+    endlessruby_original_require path
+  rescue SyntaxError, LoadError
+    case path
+    when /^\.\/.*?$/, /^\/.*?$/
+      unless File.exist? path
+        if File.exist? "#{path}.er"
+          path = "#{path}.er"
+        else
+          $@ = at
+          raise LoadError, "no such file to load -- #{path}"
+        end
+      end
+
+      if File.directory? path
+        $@ = at
+        raise LoadError, "Is a directory - #{path}"
+      end
+
+      open(path) do |file|
+        begin
+          EndlessRuby.ereval file.read, TOPLEVEL_BINDING, path
+        rescue Exception => e
+          $@ = at
+          raise e
+        end
+        return true
+      end
+    else
+      is_that_dir = false
+      ($LOAD_PATH | $:).each do |load_path|
+        real_path = File.join load_path, path
+        unless File.exist? real_path
+          if File.exist? "#{real_path}.er"
+            real_path = "#{real_path}.er"
+          else
+            next
+          end
+        end
+
+        next is_that_dir = true if File.directory? real_path
+        open(real_path) do |file|
+          begin
+            EndlessRuby.ereval file.read, TOPLEVEL_BINDING, real_path
+          rescue Exception => e
+            $@ = at
+            raise e
+          end
+        end
+        return true
+      end
+      $@ = at
+      if is_that_dir
+        raise LoadError, "Is a directory - #{path}"
+      else
+        raise LoadError, "no such file to load -- #{path}"
+      end
+    end
+  end
+end

data/lib/endlessruby/main.rb

@@ -0,0 +1,124 @@
+#!/usr/bin/env ruby
+# -*- coding: utf-8 -*-
+
+module EndlessRuby::Main
+
+  extend self
+  extend EndlessRuby
+  include EndlessRuby
+
+  # er ファイルから読み込みそれをピュアなRubyにコンパイルしてrbに書き出します
+  def compile er, rb
+    open(er) do |erfile|
+      open(rb, "w") do |rbfile|
+        rbfile.write ER2PR(erfile.read)
+      end
+    end
+  end
+
+  # rbファイルを読み込みそれからすべてのendを取り除きます。
+  def decompile rb, er
+    open(rb) do |rbfile|
+      open(er, "w") do |erfile|
+        erfile.write PR2ER(rbfile.read)
+      end
+    end
+  end
+
+
+  # EndlessRuby::Main.main と同じ動作をします。このモジュールをincludeした場合に使用します。
+  def endlessruby argv
+    EndlessRuby::Main.main argv
+  end
+
+  # $ endlessruby.rb args とまったく同じ動作をします。argvはARGVと同じ形式でなければなりません。
+  def self.main argv
+
+    if argv.first && File.exist?(argv.first)
+      $PROGRAM_NAME = argv.shift
+      open $PROGRAM_NAME do |file|
+        EndlessRuby.ereval file.read, TOPLEVEL_BINDING, $PROGRAM_NAME
+      end
+      return true
+    end
+
+    require 'optparse'
+
+    options = {
+    }
+
+    parser = OptionParser.new do |opts|
+      opts.on '-o OUT' do |out|
+        options[:out] = out
+      end
+
+      opts.on '-c', '--compile' do |c|
+        options[:compile] = true
+      end
+
+      opts.on '-d', '--decompile' do |d|
+        options[:decompile] = true
+      end
+
+      opts.on '-r' do |r|
+        options[:recursive] = true
+      end
+    end
+
+    parser.parse! argv
+
+    if options[:compile]
+      out = options[:out] || '.'
+
+      argv.each do |er|
+        unless File.exist? er
+          puts "no such file to load -- #{er}"
+          next
+        end
+
+        if File.directory? er
+          unless options[:recursive]
+            puts "Is a directory - #{er}"
+            next
+          end
+          # Unimolementation
+          next
+        end
+
+        rb = er
+        if er =~ /^(.*)\.er$/
+          rb = $1
+        end
+        rb = File.split(rb)[1]
+        rb = File.join(out, "#{rb}.rb")
+        compile er, rb
+      end
+    elsif options[:decompile]
+      out = options[:out] || '.'
+
+      argv.each do |rb|
+        unless File.exist? rb
+          puts "no such file to load -- #{rb}"
+          next
+        end
+
+        if File.directory? rb
+          unless options[:recursive]
+            puts "Is a directory - #{rb}"
+            next
+          end
+          # Unimolementation
+          next
+        end
+
+        er = rb
+        if rb =~ /^(.*)\.rb$/
+          er = $1
+        end
+        er = File.split(er)[1]
+        er = File.join(out, "#{er}.er")
+        decompile rb, er
+      end
+    end
+  end
+end

data/lib/endlessruby.rb

@@ -0,0 +1,243 @@
+#!/usr/bin/env ruby
+# -*- coding: utf-8 -*-
+
+$:.unshift(File.dirname(__FILE__)) unless
+  $:.include?(File.dirname(__FILE__)) || $:.include?(File.expand_path(File.dirname(__FILE__)))
+
+require 'endlessruby/extensions'
+
+# EndlessRubyはRubyをendを取り除いて書けます。
+#
+# erファイルをrequire
+#   require 'homuhomu.er' | require 'homuhomu'
+#
+# erファイルを実行
+#   $ path/to/endlessruby.rb homuhomu.er
+#
+# erファイルをコンパイル
+#   $ path/to/endlessruby.rb -c src/homuhomu.er -o lib
+#   # => src/homuhomu.er をコンパイルして lib/homuhomu.rb を書き出します。
+#   #  -o が省略された場合はカレントディレクトリに書き出します。
+#
+# Example:
+#   class EndlessRubyWorld
+#
+#     def self.hello!
+#       puts "hello!"
+#
+#
+#   [-2, -1, 0, 1, 2].reject do |x|
+#     x < 0
+#   end.each do |n|
+#     puts n
+#
+module EndlessRuby
+
+  # EndlessRuby のバージョンです
+  VERSION = "0.0.1"
+
+  extend self
+
+  private
+
+  # 内部で使用します。空業かどうか判定します。
+  def blank_line? line
+    return true unless line
+    (line.chomp.gsub /\s+?/, '') == ""
+  end
+
+  # 内部で使用します。インデントを取り除きます
+  def unindent line
+    line  =~ /^\s*?(\S.*?)$/
+    $1
+  end
+  # 内部で使用します。インデントします
+  def indent line, level, indent="  "
+    "#{indent * level}#{line}"
+  end
+
+  # 内部で使用します。インデントの数を数えます。
+  def indent_count line, indent="  "
+    return 0 unless line
+    if line =~ /^#{indent}(.*?)$/
+      1 + (indent_count $1, indent)
+    else
+      0
+    end
+  end
+
+  # 内部で使用します。ブロックを作るキーワード群です。
+  BLOCK_KEYWORDS = [
+    [/^if(:?\s|\().*?$/, /^elsif(:?\s|\().*?$/, /^else(?:$|\s+)/],
+    [/^unless(:?\s|\().*?$/, /^elsif(:?\s|\().*?$/, /^else(?:$|\s+)/],
+    [/^while(:?\s|\().*?$/],
+    [/^until(:?\s|\().*?$/],
+    [/^case(:?\s|\().*?$/, /^when(:?\s|\().*?$/, /^else(?:$|\s+)/],
+    [/^def\s.*?$/, /^rescue(:?$|\s|\().*?$/, /^else(?:$|\s+)/, /^ensure(?:$|\s+)/],
+    [/^class\s.*?$/],
+    [/^module\s.*?$/],
+    [/^begin(?:$|\s+)/, /^rescue(:?$|\s|\().*?$/, /^else(?:$|\s+)/, /^ensure(?:$|\s+)/],
+    [/^.*?\s+do(:?$|\s|\|)/]
+  ]
+
+  public
+
+  # 文字列をEndlessRubyの構文として実行します。引数の意味はKernel#evalと同じです
+  def ereval(src, binding=TOPLEVEL_BINDING, filename=__FILE__, lineno=1)
+    at = caller
+    eval(ER2PR(src), binding, filename, lineno)
+  rescue Exception => e
+    $@ = at
+    raise e
+  end
+
+  # Rubyの構文をEndlessRubyの構文に変換します。
+  def pure_ruby_to_endless_ruby src
+    @decompile = true
+    s = ER2RB(src)
+    @decompile = nil
+    s
+  end
+
+
+  alias RB2ER pure_ruby_to_endless_ruby
+  alias PR2ER pure_ruby_to_endless_ruby
+
+  # EndlessRubyの構文をピュアなRubyの構文に変換します。
+  def endless_ruby_to_pure_ruby src
+    endless = src.split "\n"
+
+    pure = []
+    i = 0
+    while i < endless.length
+      pure << (currently_line = endless[i])
+
+      if currently_line =~ /(.*)(?:^|(?:(?!\\).))\#(?!\{).*$/
+        currently_line = $1
+      end
+
+      if blank_line? currently_line
+        i += 1
+        next
+      end
+
+      # ブロックを作らない構文なら単に無視する 
+      next i += 1 unless BLOCK_KEYWORDS.any? { |k| k[0] =~ unindent(currently_line)  }
+
+      # ブロックに入る
+      keyword = BLOCK_KEYWORDS.each { |k| break k if k[0] =~ unindent(currently_line)  }
+
+      currently_indent_depth = indent_count currently_line
+      base_indent_depth = currently_indent_depth
+
+      inner_statements = []
+      # def method1
+      #   statemetns
+      # # document of method2
+      # def method2
+      #   statements
+      # のような場合にコメントの部分はmethod1内に含まないようにする。
+      # def method1
+      #   statemetns
+      # # comment
+      #   return
+      # のような場合と区別するため。
+      comment_count = 0
+      in_here_document = nil
+      while i < endless.length
+
+        inner_currently_line = endless[i + 1]
+
+        if inner_currently_line =~ /(.*)(?:^|(?:(?!\\).))\#(?!\{).*$/
+          if blank_line?($1) && currently_indent_depth >= indent_count(inner_currently_line)
+            comment_count += 1
+          end
+          inner_currently_line = $1
+        elsif blank_line? inner_currently_line
+          comment_count += 1
+        end
+
+        if blank_line? inner_currently_line
+          inner_statements << endless[i + 1]
+          i += 1
+          next
+        end
+
+        just_after_indent_depth = indent_count inner_currently_line
+
+        # 次の行がendならば意図のあるものなのでendを持ちあ揚げない
+        if inner_currently_line =~ /^\s*end(?!\w).*$/
+          comment_count = 0
+        end
+
+        if base_indent_depth < just_after_indent_depth
+          comment_count = 0
+        end
+
+        if in_here_document
+          if (in_here_document[0] == '' && inner_currently_line =~ /^#{in_here_document[1]}\s*$/) || # <<DEFINE case
+              (in_here_document[0] == '-' && inner_currently_line =~ /^\s*#{in_here_document[1]}\s*$/) # <<-DEFINE case
+            in_here_document = nil
+            inner_statements << endless[i + 1]
+            i += 1
+            next
+          else
+            inner_statements << endless[i + 1]
+            i += 1
+            next
+          end
+        end
+
+        if inner_currently_line =~ /^.*?\<\<(\-?)(\w+)(?!\w).*$/
+          in_here_document = [$1, $2]
+        end
+
+        if base_indent_depth > indent_count(inner_currently_line)
+          break
+        end
+
+        if base_indent_depth == indent_count(inner_currently_line)
+          unless keyword[1..-1].any? { |k| k =~ unindent(inner_currently_line) }
+            break
+          end
+        end
+
+        inner_statements << endless[i + 1]
+        i += 1
+      end
+
+      # endをコメントより上の行へ持ち上げる
+      if 0 < comment_count
+        comment_count.times do
+          inner_statements.pop
+        end
+        i -= comment_count
+      end
+
+      pure += ER2PR(inner_statements.join("\n")).split "\n"
+      # 次の行がendならばendを補完しない(ワンライナーのため)
+      unless @decompile
+        unless endless[i + 1] && endless[i + 1] =~ /^\s*end(?!\w).*$/
+          pure << "#{'  '*currently_indent_depth}end"
+        end
+      else
+        # メソッドチェインは削除しない
+        if endless[i + 1] && endless[i + 1] =~ /^\s*end(?:\s|$)\s*$/
+          i += 1
+        end
+      end
+
+      i += 1
+    end
+    pure.join "\n"
+  end
+
+  alias to_pure_ruby endless_ruby_to_pure_ruby
+  alias ER2PR endless_ruby_to_pure_ruby
+  alias ER2RB endless_ruby_to_pure_ruby
+end
+
+if __FILE__ == $PROGRAM_NAME
+  require 'endlessruby/main'
+  EndlessRuby::Main.main ARGV
+end

data/spec/blank_line_spec.rb

@@ -0,0 +1,24 @@
+require File.dirname(__FILE__) + '/spec_helper.rb'
+
+describe "blank lines" do
+
+  it "blank line ending" do
+    ER2RB(<<DEFINE).should == 
+module Kenel
+  def method1
+    statements
+
+    return
+DEFINE
+    <<DEFINE.chomp!
+module Kenel
+  def method1
+    statements
+
+    return
+  end
+end
+DEFINE
+  end
+
+end

data/spec/build_self_spec.rb

@@ -0,0 +1,52 @@
+# -*- coding: utf-8 -*-
+require File.dirname(__FILE__) + '/spec_helper.rb'
+
+bin = File.dirname(__FILE__) + "/../bin"
+src = File.dirname(__FILE__) + "/../src"
+lib = File.dirname(__FILE__) + "/../lib"
+
+describe EndlessRuby, "must can compile self" do
+
+  myself_sources = [
+    "#{src}/endlessruby.er",
+    "#{lib}/endlessruby.rb",
+   "#{src}/endlessruby/main.er",
+   "#{lib}/endlessruby/main.rb",
+   "#{src}/endlessruby/extensions.er",
+   "#{lib}/endlessruby/extensions.rb",
+   "#{src}/er.er",
+   "#{bin}/endlessruby",
+  ]
+  myself_sources.each_slice(2) do |er, rb|
+    it "must can compile #{er} to #{rb}" do
+      begin
+        rb = open rb
+        er = open er
+
+        ER2RB(er.read).should == rb.read
+      ensure
+        rb.close
+        er.close
+      end
+    end
+  end
+
+  myself_sources.each_slice(2) do |er, rb|
+    it "must can decompile #{rb} to #{er}" do
+      begin
+        rb = open rb
+        er = open er
+
+        s = er.read
+        # 改行は取り除く
+        s = ERSpecHelper.chomp s
+
+        RB2ER(rb.read).should == s
+      ensure
+        rb.close
+        er.close
+      end
+    end
+  end
+
+end

data/spec/comment_spec.rb

@@ -0,0 +1,64 @@
+require File.dirname(__FILE__) + '/spec_helper.rb'
+
+describe "comment out case" do
+
+  it "comment" do
+    ER2RB(<<DEFINE).should == 
+#TODO:
+# proc do |item|
+#   statements
+DEFINE
+    <<DEFINE.chomp!
+#TODO:
+# proc do |item|
+#   statements
+DEFINE
+  end
+
+  it "simple comment" do
+    ER2RB(<<DEFINE).should == 
+#TODO:
+# proc do |item|
+#   statements
+DEFINE
+    <<DEFINE.chomp!
+#TODO:
+# proc do |item|
+#   statements
+DEFINE
+  end
+
+end
+
+describe "rdoc case" do
+
+  it "rerurned" do
+    ER2RB(<<DEFINE).should == 
+# DOCUMENT LINE 1
+# DOCUMENT LINE 2
+def method1
+  statements
+  return
+# DOCUMENT LINE 1
+# DOCUMENT LINE 2
+def method1
+  statements
+  return
+DEFINE
+    <<DEFINE.chomp!
+# DOCUMENT LINE 1
+# DOCUMENT LINE 2
+def method1
+  statements
+  return
+end
+# DOCUMENT LINE 1
+# DOCUMENT LINE 2
+def method1
+  statements
+  return
+end
+DEFINE
+  end
+
+end