guess4r 0.0.1.20120401.1

data/.gitignore

@@ -0,0 +1,6 @@
+*~
+Makefile
+*.log
+*.o
+*.so
+pkg/

data/BSDL

@@ -0,0 +1,22 @@
+Copyright (C) 2012 wanabe All rights reserved.
+
+Redistribution and use in source and binary forms, with or without
+modification, are permitted provided that the following conditions
+are met:
+1. Redistributions of source code must retain the above copyright
+notice, this list of conditions and the following disclaimer.
+2. Redistributions in binary form must reproduce the above copyright
+notice, this list of conditions and the following disclaimer in the
+documentation and/or other materials provided with the distribution.
+
+THIS SOFTWARE IS PROVIDED BY THE AUTHOR AND CONTRIBUTORS ``AS IS'' AND
+ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
+IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
+ARE DISCLAIMED.  IN NO EVENT SHALL THE AUTHOR OR CONTRIBUTORS BE LIABLE
+FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
+DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
+OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
+HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
+LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
+OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
+SUCH DAMAGE.

data/BSDL.ja

@@ -0,0 +1,19 @@
+Copyright (C) 2012 wanabe All rights reserved.
+
+本ソフトウェアの、以下の制限に従う限り、変更の有無によらず、
+ソースコード及びバイナリ形式の再頒布と使用を許可します。
+
+1.  ソースコードの再頒布時は、上記の著作権表示、本条件一覧、および
+    下記免責条項を含めること。
+2.  バイナリ形式の再頒布時は、上記の著作権表示、本条件一覧、および
+    下記免責条項を、付属のドキュメント等の可読資料に含めること。
+
+本ソフトウェアは、著作権者およびコントリビューターによって「現状のまま」
+提供されており、明示黙示を問わず、商業的な使用可能性、および特定の目的に対する
+適合性に関する暗黙の保証も含め、またそれに限定されない、いかなる保証もありません。
+著作権者もコントリビューターも、事由のいかんを問わず、 損害発生の原因いかんを問わず、
+かつ責任の根拠が契約であるか厳格責任であるか（過失その他の）不法行為であるかを問わず、
+仮にそのような損害が発生する可能性を知らされていたとしても、本ソフトウェアの
+使用によって発生した（代替品または代用サービスの調達、使用の喪失、データの喪失、
+利益の喪失、業務の中断も含め、またそれに限定されない）直接損害、間接損害、
+偶発的な損害、特別損害、懲罰的損害、または結果損害について、一切責任を負わないものとします。 

data/COPYING

@@ -0,0 +1,56 @@
+Ruby is copyrighted free software by wanabe <s.wanabe@gmail.com>.
+You can redistribute it and/or modify it under either the terms of the
+2-clause BSDL (see the file BSDL), or the conditions below:
+
+  1. You may make and give away verbatim copies of the source form of the
+     software without restriction, provided that you duplicate all of the
+     original copyright notices and associated disclaimers.
+
+  2. You may modify your copy of the software in any way, provided that
+     you do at least ONE of the following:
+
+       a) place your modifications in the Public Domain or otherwise
+          make them Freely Available, such as by posting said
+	  modifications to Usenet or an equivalent medium, or by allowing
+	  the author to include your modifications in the software.
+
+       b) use the modified software only within your corporation or
+          organization.
+
+       c) give non-standard binaries non-standard names, with
+          instructions on where to get the original software distribution.
+
+       d) make other distribution arrangements with the author.
+
+  3. You may distribute the software in object code or binary form,
+     provided that you do at least ONE of the following:
+
+       a) distribute the binaries and library files of the software,
+	  together with instructions (in the manual page or equivalent)
+	  on where to get the original distribution.
+
+       b) accompany the distribution with the machine-readable source of
+	  the software.
+
+       c) give non-standard binaries non-standard names, with
+          instructions on where to get the original software distribution.
+
+       d) make other distribution arrangements with the author.
+
+  4. You may modify and include the part of the software into any other
+     software (possibly commercial).  But some files in the distribution
+     are not written by the author, so that they are not under these terms.
+
+     For the list of those files and their copying conditions, see the
+     file LEGAL.
+
+  5. The scripts and library files supplied as input to or produced as 
+     output from the software do not automatically fall under the
+     copyright of the software, but belong to whomever generated them, 
+     and may be sold commercially, and may be aggregated with this
+     software.
+
+  6. THIS SOFTWARE IS PROVIDED "AS IS" AND WITHOUT ANY EXPRESS OR
+     IMPLIED WARRANTIES, INCLUDING, WITHOUT LIMITATION, THE IMPLIED
+     WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
+     PURPOSE.

data/COPYING.ja

@@ -0,0 +1,51 @@
+本プログラムはワナベ <s.wanabe@gmail.com> によるフリーソフトウェアです．
+2-clause BSDLまたは以下に示す条件で本プログラムを再配布できます．
+2-clause BSDLについてはBSDLファイルを参照して下さい．
+
+  1. 複製は制限なく自由です．
+
+  2. 以下の条件のいずれかを満たす時に本プログラムのソースを
+     自由に変更できます．
+
+     (a) ネットニューズにポストしたり，作者に変更を送付する
+         などの方法で，変更を公開する．
+
+     (b) 変更した本プログラムを自分の所属する組織内部だけで
+         使う．
+
+     (c) 変更点を明示したうえ，ソフトウェアの名前を変更する．
+         そのソフトウェアを配布する時には変更前の本プログラ
+         ムも同時に配布する．または変更前の本プログラムのソー
+         スの入手法を明示する．
+
+     (d) その他の変更条件を作者と合意する．
+
+  3. 以下の条件のいずれかを満たす時に本プログラムをコンパイ
+     ルしたオブジェクトコードや実行形式でも配布できます．
+
+     (a) バイナリを受け取った人がソースを入手できるように，
+         ソースの入手法を明示する．
+
+     (b) 機械可読なソースコードを添付する．
+
+     (c) 変更を行ったバイナリは名前を変更したうえ，オリジナ
+         ルのソースコードの入手法を明示する．
+
+     (d) その他の配布条件を作者と合意する．
+
+  4. 他のプログラムへの引用はいかなる目的であれ自由です．た
+     だし，本プログラムに含まれる他の作者によるコードは，そ
+     れぞれの作者の意向による制限が加えられる場合があります．
+
+     それらファイルの一覧とそれぞれの配布条件などに付いては
+     LEGALファイルを参照してください．
+
+  5. 本プログラムへの入力となるスクリプトおよび，本プログラ
+     ムからの出力の権利は本プログラムの作者ではなく，それぞ
+     れの入出力を生成した人に属します．また，本プログラムに
+     組み込まれるための拡張ライブラリについても同様です．
+
+  6. 本プログラムは無保証です．作者は本プログラムをサポート
+     する意志はありますが，プログラム自身のバグあるいは本プ
+     ログラムの実行などから発生するいかなる損害に対しても責
+     任を持ちません．

data/Gemfile

@@ -0,0 +1,4 @@
+source 'https://rubygems.org'
+
+# Specify your gem's dependencies in guess4r.gemspec
+gemspec

data/LICENSE

@@ -0,0 +1,22 @@
+The zlib/libpng License
+
+Copyright (c) 2012 wanabe
+
+This software is provided 'as-is', without any express or implied
+warranty. In no event will the authors be held liable for any damages
+arising from the use of this software.
+
+Permission is granted to anyone to use this software for any purpose,
+including commercial applications, and to alter it and redistribute it
+freely, subject to the following restrictions:
+
+    1. The origin of this software must not be misrepresented; you must not
+    claim that you wrote the original software. If you use this software
+    in a product, an acknowledgment in the product documentation would be
+    appreciated but is not required.
+
+    2. Altered source versions must be plainly marked as such, and must not be
+    misrepresented as being the original software.
+
+    3. This notice may not be removed or altered from any source
+    distribution.

data/README.md

@@ -0,0 +1,52 @@
+guess4r (仮）
+=============
+
+guess4r は、libguess を Ruby から扱うことを目的にしたライブラリ（のつもり）です。
+
+ビルド・インストール
+--------------------
+ruby >= 1.9.X と libguess が必要です。
+
+    $ ruby extconf.rb
+    $ make
+    $ sudo make install
+
+基本手順はこうなります。各自の環境にあわせて変更してください。
+
+使い方
+------
+
+    confused_string.encoding                    # => #<Encoding:ASCII-8BIT>
+    confused_string.guess_encoding              # => #<Encoding:Windows-31J>
+    confused_string.guess.encoding              # => #<Encoding:Windows-31J>
+    confused_string.guess!                      # => "\x{8356}\x{8374}\x{8367}JIS\x{95B6}\x{8E9A}\x{97F1}"
+    confused_string.encoding                    # => #<Encoding:Windows-31J>
+    guess_open("unknown") {|f| f.read.encoding} # => #<Encoding:EUC-JP>
+
+guess_open は判別のために open -> close -> 再度 open という処理を行いますので注意してください。
+
+ライセンス
+----------
+
+COPYING, COPYING.ja, BSDL, BSDL.ja, ZLIBL, ZLIBL.ja のいずれかのファイルに従ってください。
+前半の 3 ファイルは ruby のものをそのまま拝借しただけです。
+要約すると、2-clause BSD ライセンスか zlib/libpng ライセンスか Ruby の独自ライセンス部分
+またはそれぞれの和訳、のいずれかお好きなものをお選びください、ということです。
+なお和訳については、
+[OSI承認オープンソースライセンス 日本語参考訳](http://sourceforge.jp/projects/opensource/wiki/licenses)
+を参考にさせていただきました。
+
+その他
+======
+
+## 開発動機
+
+libguess の ruby バインディングとしては
+[libguess-ruby](http://raa.ruby-lang.org/project/libguess-ruby/)
+がすでにありますが、
+
+*   ライセンスに "Ruby's" とあり、最終更新日の 2007-04-19 時点のものか最新のものでもよいのかわからない。
+    最終更新日時点と解釈すると、BSDL ではなく GPL と Ruby の独自条項のデュアルライセンスとなり、個人的にちょっと嫌。
+*   Ruby 1.9 以降は M17N が入ったのだから、せっかくならそれを使いたい。
+
+という私のわがままにより、guess4r をでっち上げることにしました。

data/Rakefile

@@ -0,0 +1,14 @@
+#!/usr/bin/env rake
+require "bundler/gem_tasks"
+
+task :default do
+  Dir.chdir "ext"
+  system("ruby extconf.rb") if !File.exist?("Makefile")
+  system("make")
+  Dir.chdir ".."
+end
+
+task :test => [:default] do
+  $:.unshift "./ext"
+  load "test/test_guess4r.rb"
+end

data/ZLIBL

@@ -0,0 +1,22 @@
+The zlib/libpng License
+
+Copyright (c) 2012 wanabe
+
+This software is provided 'as-is', without any express or implied
+warranty. In no event will the authors be held liable for any damages
+arising from the use of this software.
+
+Permission is granted to anyone to use this software for any purpose,
+including commercial applications, and to alter it and redistribute it
+freely, subject to the following restrictions:
+
+    1. The origin of this software must not be misrepresented; you must not
+    claim that you wrote the original software. If you use this software
+    in a product, an acknowledgment in the product documentation would be
+    appreciated but is not required.
+
+    2. Altered source versions must be plainly marked as such, and must not be
+    misrepresented as being the original software.
+
+    3. This notice may not be removed or altered from any source
+    distribution.

data/ZLIBL.ja

@@ -0,0 +1,18 @@
+zlib/libpng ライセンス
+
+Copyright (c) 2012 ワナベ
+
+本ソフトウェアは「現状のまま」明示的か暗黙的かを問わず、無保証で提供されます。
+本ソフトウェアの使用によるいかなる損害についても、作者は一切の責任を負いません。
+
+以下の制限に従う限り、商用アプリケーションを含めて、本ソフトウェアを
+任意の目的に使用し、自由に改変して再頒布することをすべての人に許可します。
+
+   1. 本ソフトウェアの出自について虚偽の表示をしてはいけません。
+      あなたがオリジナルのソフトウェアを作成したと主張してはいけません。
+      あなたが本ソフトウェアを製品内で使用する場合、
+      製品の文書に謝辞を入れていただければ幸いですが、必須ではありません。
+   2. ソースを変更した場合は、そのことを明示する必要があります。
+      オリジナルのソフトウェアであるという虚偽の表示をしてはいけません。
+   3. ソースの頒布物において、この表示を削除または変更したりしてはいけません。
+

data/ext/extconf.rb

@@ -0,0 +1,3 @@
+require "mkmf"
+
+have_library("guess") && create_makefile("guess")

data/ext/guess.c

@@ -0,0 +1,72 @@
+#include <stdio.h>
+#include <ruby.h>
+#include <ruby/encoding.h>
+#include <libguess/libguess.h>
+
+#ifndef GUESS_REGION_DEFAULT
+#define GUESS_REGION_DEFAULT GUESS_REGION_JP
+#endif
+
+VALUE guess4r_enc__guess_region(VALUE klass) {
+  return rb_ivar_get(klass, rb_intern("guess_region"));
+}
+
+static rb_encoding* _guess_encoding(VALUE str) {
+  rb_encoding *enc;
+  const char *encname;
+
+  encname = libguess_determine_encoding(RSTRING_PTR(str), RSTRING_LEN(str),
+                                        RSTRING_PTR(guess4r_enc__guess_region(rb_cEncoding)));
+  return rb_enc_find(encname);
+}
+
+static VALUE guess4r_str__guess_encoding(VALUE str) {
+  return rb_enc_from_encoding(_guess_encoding(str));
+}
+
+static VALUE guess4r_str__guess_bang(VALUE str) {
+  return rb_enc_associate(str, _guess_encoding(str));
+}
+
+static VALUE guess4r_str__guess(VALUE str) {
+  return guess4r_str__guess_bang(rb_str_dup(str));
+}
+
+static VALUE guess4r_f__guess_open(int argc, VALUE *argv) {
+  VALUE *args, opt, f, str, enc;
+  int i;
+
+  args = ALLOCA_N(VALUE, argc + 1);
+  args[0] = argv[0];
+  if (TYPE(argv[argc - 1]) != T_HASH) {
+    args[1] = args[argc++] = rb_hash_new();
+  } else {
+    args[1] = argv[argc - 1];
+  }
+
+  rb_hash_aset(args[1], ID2SYM(rb_intern("encoding")), rb_const_get(rb_cEncoding, rb_intern("ASCII_8BIT")));
+  rb_funcall(args[1], rb_intern("delete"), 1, ID2SYM(rb_intern("external_encoding")));
+  rb_funcall(args[1], rb_intern("delete"), 1, ID2SYM(rb_intern("internal_encoding")));
+  f = rb_funcall2(rb_mKernel, rb_intern("open"), 2, args);
+  str = rb_funcall(f, rb_intern("read"), 0);
+  enc = guess4r_str__guess_encoding(str);
+  rb_funcall(f, rb_intern("close"), 0);
+  rb_hash_aset(args[1], ID2SYM(rb_intern("encoding")), enc);
+
+  MEMCPY(args, argv, VALUE, argc - 1);
+  return rb_funcall_passing_block(rb_mKernel, rb_intern("open"), argc, args);
+}
+
+VALUE guess4r_enc__guess_region_set(VALUE klass, VALUE str) {
+  return rb_str_replace(guess4r_enc__guess_region(klass), str);
+}
+
+void Init_guess() {
+  rb_define_method(rb_cString, "guess_encoding", guess4r_str__guess_encoding, 0);
+  rb_define_method(rb_cString, "guess!", guess4r_str__guess_bang, 0);
+  rb_define_method(rb_cString, "guess", guess4r_str__guess, 0);
+  rb_define_global_function("guess_open", guess4r_f__guess_open, -1);
+  rb_ivar_set(rb_cEncoding, rb_intern("guess_region"), rb_str_new2(GUESS_REGION_DEFAULT));
+  rb_define_singleton_method(rb_cEncoding, "guess_region", guess4r_enc__guess_region, 0);
+  rb_define_singleton_method(rb_cEncoding, "guess_region=", guess4r_enc__guess_region_set, 1);
+}

data/guess4r.gemspec

@@ -0,0 +1,18 @@
+# -*- encoding: utf-8 -*-
+
+Gem::Specification.new do |gem|
+  gem.authors       = ["wanabe"]
+  gem.email         = ["s.wanabe@gmail.com"]
+  gem.description   = "libguess binding for ruby 1.9 or later."
+  gem.summary       = "libguess binding for ruby 1.9 or later."
+  gem.homepage      = ""
+
+  gem.files         = `git ls-files`.split($\)
+  gem.executables   = gem.files.grep(%r{^bin/}).map{ |f| File.basename(f) }
+  gem.test_files    = gem.files.grep(%r{^(test|spec|features)/})
+  gem.name          = "guess4r"
+  gem.require_paths = ["ext"]
+  gem.version       = "0.0.1.20120401.1"
+  gem.extensions << "ext/extconf.rb"
+
+end

data/test/test_guess4r.rb

@@ -0,0 +1,57 @@
+# coding:utf-8
+require "test/unit"
+require "guess"
+
+class TestGuess < Test::Unit::TestCase
+  def setup
+    test_string = "本日は晴天なり"
+    @codings = ["sjis", "utf-8", "euc-jp"].map do |name|
+      Encoding.find(name)
+    end
+    @strings = @codings.map do |coding|
+      test_string.encode(coding).force_encoding(Encoding::ASCII_8BIT)
+    end
+  end
+
+  def test_string_guess_encoding
+    assert_equal(@codings, @strings.map {|str| str.guess_encoding})
+  end
+
+  def test_string_guess
+    guessed_table = @strings.map do |str|
+      str.dup.guess!
+    end
+
+    assert_equal(@codings, @strings.map {|str| str.guess.encoding})
+    assert_equal(@codings, guessed_table.map {|str| str.encoding})
+    assert(@strings.all? {|str| str.encoding == Encoding::ASCII_8BIT})
+  end
+
+  def test_io_guess_open
+    default_external = Encoding.default_external
+    Encoding.default_external = Encoding::ASCII_8BIT
+
+    begin
+      io = nil
+      open("README.md") do |f|
+        assert_equal(Encoding::ASCII_8BIT, f.external_encoding)
+      end
+      guess_open("README.md") do |f|
+        io = f
+        assert_equal(Encoding::UTF_8, f.external_encoding)
+      end
+      assert(io.closed?)
+      guess_open("README.md", :encoding => Encoding::US_ASCII) do |f|
+        assert_equal(Encoding::UTF_8, f.external_encoding)
+      end
+      guess_open("README.md", :external_encoding => Encoding::US_ASCII) do |f|
+        assert_equal(Encoding::UTF_8, f.external_encoding)
+      end
+      assert_raise(ArgumentError) do
+        guess_open("README.md", "r:SJIS") {}
+      end
+    ensure
+      Encoding.default_external = default_external
+    end
+  end
+end

metadata

@@ -0,0 +1,63 @@
+--- !ruby/object:Gem::Specification
+name: guess4r
+version: !ruby/object:Gem::Version
+  version: 0.0.1.20120401.1
+  prerelease: 
+platform: ruby
+authors:
+- wanabe
+autorequire: 
+bindir: bin
+cert_chain: []
+date: 2012-04-01 00:00:00.000000000 Z
+dependencies: []
+description: libguess binding for ruby 1.9 or later.
+email:
+- s.wanabe@gmail.com
+executables: []
+extensions:
+- ext/extconf.rb
+extra_rdoc_files: []
+files:
+- .gitignore
+- BSDL
+- BSDL.ja
+- COPYING
+- COPYING.ja
+- Gemfile
+- LICENSE
+- README.md
+- Rakefile
+- ZLIBL
+- ZLIBL.ja
+- ext/extconf.rb
+- ext/guess.c
+- guess4r.gemspec
+- test/test_guess4r.rb
+homepage: ''
+licenses: []
+post_install_message: 
+rdoc_options: []
+require_paths:
+- ext
+required_ruby_version: !ruby/object:Gem::Requirement
+  none: false
+  requirements:
+  - - ! '>='
+    - !ruby/object:Gem::Version
+      version: '0'
+required_rubygems_version: !ruby/object:Gem::Requirement
+  none: false
+  requirements:
+  - - ! '>='
+    - !ruby/object:Gem::Version
+      version: '0'
+requirements: []
+rubyforge_project: 
+rubygems_version: 1.8.11
+signing_key: 
+specification_version: 3
+summary: libguess binding for ruby 1.9 or later.
+test_files:
+- test/test_guess4r.rb
+has_rdoc: