extlzma 0.4

checksums.yaml

@@ -0,0 +1,7 @@
+---
+SHA1:
+  metadata.gz: bf82c1e2d9fb2f56d0e2851f795fdfa76e556997
+  data.tar.gz: 4de5e918bced2b329be0c59325dc73607628f67d
+SHA512:
+  metadata.gz: dda370856be76ff47634847c113b12289147d33e0a219a53416f7622c46a117c0e37a69e19434047f9d72902b400f3e3c04f7b74060d9060de116e64b58376a4
+  data.tar.gz: 22dbbcff9d81e58c81c4eb2d11ae33a9d7c126108bea980f692f35b90b91da0562e31e700dccfa495d9691b73261d6e606421d4483c6d536237febe66dc79aad

data/HISTORY.ja.md

@@ -0,0 +1,29 @@
+# extlzma 更新履歴
+
+## extlzma-0.4 (2016-5-8)
+
+  * 名称を liblzma から extlzma に変更
+  * ext/liblzma.c を機能ごとに分割
+  * LZMA::Stream が提供する機能を最低限のみとするように変更
+      * ``liblzma:lzma_code()`` を実行するのに最低限必要となる処理・機能のみの提供となるように変更しました。
+      * バッファリングなどの高級機能については、新設された LZMA::Encoder / LZMA::Decoder が提供します。
+      * LZMA::Stream は互換性を失っています。以前の stream.update、
+        stream.flush、stream.finish メソッドは元々 ``liblzma:lzma_code()`` を用いていたため、
+        stream.code に統合された形となっています。
+  * LZMA::Utils.crc32 および LZMA::Utils.crc64 で与える文字列オブジェクトのロックを排除
+      * これまで ``ruby:rb_str_locktmp()`` と ``ruby:rb_str_unlocktmp()``
+        を用いて文字列オブジェクトにロックをかけてきましたが、これを廃止しました。
+      * LZMA::Utils.crc32 / LZMA::Utils.crc64 を実行中に変更する可能性がある場合は、
+        利用者側で排他的ロックを行うか、str.dup によってオブジェクトを複製する必要があります。
+  * LZMA::Utils.crcXX に関する追加機能
+      * LZMA::Utils.crc32\_digest / LZMA::Utils.crc32\_hexdigest
+      * LZMA::Utils.crc64\_digest / LZMA::Utils.crc64\_hexdigest
+    これらは LZMA::Utils::CRCXX.digest や LZMA::Utils::CRCXX.hexdigest を呼び出します。
+
+## liblzma-0.3 (2013-2-21)
+
+(NO INFORMATION)
+
+## liblzma-0.2 (2012-3-31)
+
+(NO INFORMATION)

data/LICENSE

@@ -0,0 +1,26 @@
+extlzma license (2-clause BSD License)
+
+Copyright (c) 2011, dearblue. All rights reserved.
+
+Redistribution and use in source and binary forms, with or
+without modification, are permitted provided that the following
+conditions are met:
+
+  1. Redistributions of source code must retain the above copyright
+     notice, this list of conditions and the following disclaimer.
+  2. Redistributions in binary form must reproduce the above copyright
+     notice, this list of conditions and the following disclaimer in
+     the documentation and/or other materials provided with the
+     distribution.
+
+THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS
+"AS IS" AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT
+LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR
+A PARTICULAR PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT
+HOLDER OR CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL,
+SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT
+LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE,
+DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY
+THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
+(INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE
+OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.

data/README.md

@@ -0,0 +1,44 @@
+
+# extlzma - lzma for Ruby
+
+  * **package name**: extlzma
+  * **author**: dearblue (mailto:dearblue@users.osdn.me)
+  * **report issue to**: <https://osdn.jp/projects/rutsubo/ticket/>
+  * **how to install**: ``gem install extlzma``
+  * **version**: 0.4
+  * **release quality**: thechnical preview
+  * **license**: BSD-2-Clause (二条項BSDライセンス)
+  * **dependency gems**: none
+  * **dependency external c libraries**: liblzma <http://tukaani.org/xz/>
+  * **bundled external c libraries**: none
+
+This document is written in Japanese.
+
+
+## はじめに
+
+xz ユーティリティに含まれる liblzma の ruby バインディングです。
+
+MinGW32 および FreeBSD 10.3R amd64 で動作確認を行っています。
+
+MinGW32 向けにはバイナリパッケージも用意してあります (もしかしたら ruby-mswin32 でも動作するかもしれません)。
+
+
+## 利用できる主な機能
+
+※カッコ内は、本来の liblzma が提供する関数を示す
+
+  * LZMA::Stream::Encoder / LZMA::Stream::Decoder (lzma\_stream\_encoder / lzma\_stream\_decoder)
+  * LZMA::Stream::RawEncoder / LZMA::Stream::RawDecoder (lzma\_raw\_encoder / lzma\_raw\_decoder)
+  * LZMA::Filter::LZMA1 / LZMA::Filter::LZMA2 / LZMA::Filter::Delta
+  * LZMA.crc32 / LZMA.crc64 (lzma\_crc32 / lzma\_crc64)
+
+
+## 実際に利用するには
+
+まともな文書化が出来ていないため、gem パッケージ内の『examples』ディレクトリに含まれる各サンプルを頼りにして下さい。
+
+
+## ライセンスについて
+
+extlzma は、二条項 BSD ライセンスの下で利用できます。

data/Rakefile

@@ -0,0 +1,212 @@
+
+require "pathname"
+require "rake/clean"
+
+docnames = "{README,LICENSE,CHANGELOG,Changelog,HISTORY}"
+doctypes = "{,.txt,.rd,.rdoc,.md,.markdown}"
+cexttypes = "{c,C,cc,cxx,cpp,h,H,hh}"
+
+DOC = FileList["#{docnames}{,.ja}#{doctypes}"] +
+      FileList["{contrib,ext}/**/#{docnames}{,.ja}#{doctypes}"] +
+      FileList["ext/**/*.#{cexttypes}"]
+EXT = FileList["ext/**/*"]
+BIN = FileList["bin/*"]
+LIB = FileList["lib/**/*.rb"]
+SPEC = FileList["spec/**/*"]
+TEST = FileList["test/**/*"]
+EXAMPLE = FileList["examples/**/*"]
+GEMSTUB_SRC = "gemstub.rb"
+RAKEFILE = [File.basename(__FILE__), GEMSTUB_SRC]
+EXTRA = []
+EXTCONF = FileList["ext/**/extconf.rb"]
+EXTCONF.reject! { |n| !File.file?(n) }
+EXTMAP = {}
+
+load GEMSTUB_SRC
+
+EXTMAP.dup.each_pair do |dir, name|
+  EXTMAP[Pathname.new(dir).cleanpath.to_s] = Pathname.new(name).cleanpath.to_s
+end
+
+GEMSTUB.extensions += EXTCONF
+GEMSTUB.executables += FileList["bin/*"].map { |n| File.basename n }
+GEMSTUB.executables.sort!
+
+PACKAGENAME = "#{GEMSTUB.name}-#{GEMSTUB.version}"
+GEMFILE = "#{PACKAGENAME}.gem"
+GEMSPEC = "#{PACKAGENAME}.gemspec"
+
+GEMSTUB.files += DOC + EXT + EXTCONF + BIN + LIB + SPEC + TEST + EXAMPLE + RAKEFILE + EXTRA
+GEMSTUB.files.sort!
+if GEMSTUB.rdoc_options.nil? || GEMSTUB.rdoc_options.empty?
+  readme = %W(.md .markdown .rd .rdoc .txt #{""}).map { |ext| "README#{ext}" }.find { |m| DOC.find { |n| n == m } }
+  GEMSTUB.rdoc_options = %w(--charset UTF-8) + (readme ? %W(-m #{readme}) : [])
+end
+GEMSTUB.extra_rdoc_files += DOC + LIB + EXT.reject { |n| n.include?("/externals/") || !%w(.h .hh .c .cc .cpp .cxx).include?(File.extname(n)) }
+GEMSTUB.extra_rdoc_files.sort!
+
+GEMSTUB_TRYOUT = GEMSTUB.dup
+GEMSTUB_TRYOUT.version = "#{GEMSTUB.version}#{Time.now.strftime(".TRYOUT.%Y%m%d.%H%M%S")}"
+PACKAGENAME_TRYOUT = "#{GEMSTUB.name}-#{GEMSTUB_TRYOUT.version}"
+GEMFILE_TRYOUT = "#{PACKAGENAME_TRYOUT}.gem"
+GEMSPEC_TRYOUT = "#{PACKAGENAME_TRYOUT}.gemspec"
+
+CLEAN << GEMSPEC << GEMSPEC_TRYOUT
+CLOBBER << GEMFILE
+
+task :default => :tryout do
+  $stderr.puts <<-EOS
+#{__FILE__}:#{__LINE__}:
+\ttype ``rake release'' to build release package.
+  EOS
+end
+
+desc "build tryout package"
+task :tryout
+
+desc "build release package"
+task :release => :all
+
+unless EXTCONF.empty?
+  RUBYSET ||= (ENV["RUBYSET"] || "").split(",")
+
+  if RUBYSET.nil? || RUBYSET.empty?
+    $stderr.puts <<-EOS
+#{__FILE__}:
+|
+| If you want binary gem package, launch rake with ``RUBYSET`` enviroment
+| variable for set ruby interpreters by comma separated.
+|
+|   e.g.) $ rake RUBYSET=ruby
+|     or) $ rake RUBYSET=ruby21,ruby22,ruby23
+|
+    EOS
+  else
+    platforms = RUBYSET.map { |ruby| `#{ruby} --disable-gems -e "puts RUBY_PLATFORM"`.chomp }
+    platforms1 = platforms.uniq
+    unless platforms1.size == 1 && !platforms1[0].empty?
+      abort <<-EOS
+#{__FILE__}:#{__LINE__}: different platforms:
+#{RUBYSET.zip(platforms).map { |ruby, platform| "%24s => %s" % [ruby, platform] }.join("\n")}
+ABORTED.
+      EOS
+    end
+    PLATFORM = platforms1[0]
+
+    RUBY_VERSIONS = RUBYSET.map do |ruby|
+      ver = `#{ruby} --disable-gems -e "puts RUBY_VERSION"`.slice(/\d+\.\d+/)
+      raise "failed ruby checking - ``#{ruby}''" unless $?.success?
+      [ver, ruby]
+    end
+
+    SOFILES_SET = RUBY_VERSIONS.map { |(ver, ruby)|
+      EXTCONF.map { |extconf|
+        extdir = Pathname.new(extconf).cleanpath.dirname.to_s
+        case
+        when soname = EXTMAP[extdir.sub(/^ext\//i, "")]
+          soname = soname.sub(/\.so$/i, "")
+        when extdir == "ext" || extdir == "."
+          soname = GEMSTUB.name
+        else
+          soname = File.basename(extdir)
+        end
+
+        [ruby, File.join("lib", "#{soname.sub(/(?<=\/)|^(?!.*\/)/, "#{ver}/")}.so"), extconf]
+      }
+    }.flatten(1)
+    SOFILES = SOFILES_SET.map { |(ruby, sopath, extconf)| sopath }
+
+    GEMSTUB_NATIVE = GEMSTUB.dup
+    GEMSTUB_NATIVE.files += SOFILES
+    GEMSTUB_NATIVE.platform = Gem::Platform.new(PLATFORM).to_s
+    GEMSTUB_NATIVE.extensions.clear
+    GEMFILE_NATIVE = "#{GEMSTUB_NATIVE.name}-#{GEMSTUB_NATIVE.version}-#{GEMSTUB_NATIVE.platform}.gem"
+    GEMSPEC_NATIVE = "#{GEMSTUB_NATIVE.name}-#{GEMSTUB_NATIVE.platform}.gemspec"
+
+    task :all => ["native-gem", GEMFILE]
+
+    desc "build binary gem package"
+    task "native-gem" => GEMFILE_NATIVE
+
+    desc "generate binary gemspec"
+    task "native-gemspec" => GEMSPEC_NATIVE
+
+    file GEMFILE_NATIVE => DOC + EXT + EXTCONF + BIN + LIB + SPEC + TEST + EXAMPLE + SOFILES + RAKEFILE + [GEMSPEC_NATIVE] do
+      sh "gem build #{GEMSPEC_NATIVE}"
+    end
+
+    file GEMSPEC_NATIVE => RAKEFILE do
+      File.write(GEMSPEC_NATIVE, GEMSTUB_NATIVE.to_ruby, mode: "wb")
+    end
+
+    desc "build c-extension libraries"
+    task "sofiles" => SOFILES
+
+    SOFILES_SET.each do |(ruby, soname, extconf)|
+      sodir = File.dirname(soname)
+      makefile = File.join(sodir, "Makefile")
+
+      CLEAN << GEMSPEC_NATIVE << sodir
+      CLOBBER << GEMFILE_NATIVE
+
+      directory sodir
+
+      desc "generate Makefile for binary extension library"
+      file makefile => [sodir, extconf] do
+        rel_extconf = Pathname.new(extconf).relative_path_from(Pathname.new(sodir)).to_s
+        cd sodir do
+          sh *%W"#{ruby} #{rel_extconf} --ruby=#{ruby} #{ENV["EXTCONF"]}"
+        end
+      end
+
+      desc "build binary extension library"
+      file soname => [makefile] + EXT do
+        cd sodir do
+          sh "make"
+        end
+      end
+    end
+  end
+end
+
+
+task :all => GEMFILE
+task :tryout => GEMFILE_TRYOUT
+
+desc "generate local rdoc"
+task :rdoc => DOC + LIB do
+  sh *(%w(rdoc) + GEMSTUB.rdoc_options + DOC + LIB)
+end
+
+desc "launch rspec"
+task rspec: :all do
+  sh "rspec"
+end
+
+desc "build gem package"
+task gem: GEMFILE
+
+desc "generate gemspec"
+task gemspec: GEMSPEC
+
+desc "print package name"
+task "package-name" do
+  puts PACKAGENAME
+end
+
+file GEMFILE => DOC + EXT + EXTCONF + BIN + LIB + SPEC + TEST + EXAMPLE + RAKEFILE + [GEMSPEC] do
+  sh "gem build #{GEMSPEC}"
+end
+
+file GEMFILE_TRYOUT => DOC + EXT + EXTCONF + BIN + LIB + SPEC + TEST + EXAMPLE + RAKEFILE + [GEMSPEC_TRYOUT] do
+#file GEMFILE_TRYOUT do
+  sh "gem build #{GEMSPEC_TRYOUT}"
+end
+
+file GEMSPEC => RAKEFILE do
+  File.write(GEMSPEC, GEMSTUB.to_ruby, mode: "wb")
+end
+
+file GEMSPEC_TRYOUT => RAKEFILE do
+  File.write(GEMSPEC_TRYOUT, GEMSTUB_TRYOUT.to_ruby, mode: "wb")
+end

data/examples/01-easy_using.rb

@@ -0,0 +1,58 @@
+#!/usr/bin/env ruby
+#vim: set fileencoding:utf-8
+
+# この ruby スクリプトは extlzma の利用手引きを兼ねたサンプルスクリプトです。
+
+
+# このファイルにはメソッドを 1 回呼ぶだけで、圧縮・伸長を行う方法を記述しています。
+#
+# 今回利用するクラス/モジュール/メソッド
+# * LZMA.encode
+# * LZMA.decode
+
+
+# ruby で extlzma の機能を利用するのに必要なのは、次の一文のみです
+require "extlzma"
+
+
+# 圧縮するデータを用意します
+original_data = "0123456789abcdefghijklmnopqrstuvwxyz\n" * 10
+
+
+# extlzma を使って、データを圧縮します (xz データストリームそのものが出力されます)
+encoded_data = LZMA.encode(original_data)
+
+
+# 圧縮レベルを変える場合は、第二引数に 0 から 9 の整数値を与えます
+# この例は xz -1 と等価です
+# (『9』を与える場合、作業メモリ空間が 700 MB ほど必要になります)
+encoded_data = LZMA.encode(original_data, 1)
+
+
+# さらに細かい調整は、圧縮レベル (プリセット値) の後にハッシュ値を指定します
+# この例ではプリセット値を省略しています
+# (プリセット値の規定値は liblzma 由来であり、『6』です)
+encoded_data = LZMA.encode(original_data, mode: LZMA::MODE_FAST)
+
+# この他にどんな値が与えられるかは、LZMA::Filter::LZMA2.new を参考にしてください
+
+
+# 必要であればファイルに書き出しましょう
+# xz データストリームそのものです
+File.write("sample.txt.xz", encoded_data, mode: "wb")
+
+# 出力されたファイルが xz ユーティリティ (もしくは 7-Zip) で開けることを確認してください
+
+
+
+# 圧縮されたデータを伸張してみましょう
+# たったこれだけです
+puts LZMA.decode(encoded_data)
+
+
+# 今回は処理したいデータをあらかじめ用意してから、一気に処理を行う方法を提示しました。
+# しかしながら現実には、少しずつデータを処理していく必要のある事例も少なくありません。
+# データを少しずつ圧縮・伸張していく、ストリーム志向での処理は 02-* にて提示します。
+
+
+# [EOF]

data/examples/02-streaming.rb

@@ -0,0 +1,71 @@
+#!/usr/bin/env ruby
+#vim: set fileencoding:utf-8
+
+# この ruby スクリプトは extlzma の利用手引きを兼ねたサンプルスクリプトです。
+
+
+# このファイルではオンメモリでは難しい大きなデータを処理する方法を提示します。
+#
+# 今回利用するクラス/モジュール/メソッド
+# * LZMA.encode
+# * LZMA.decode
+# * LZMA::Encoder#<< (LZMA::Encoder#write)
+# * LZMA::Encoder#finish
+# * LZMA::Decoder#read
+
+
+# 始めはお決まりで
+require "extlzma"
+
+# 今回のサンプルでファイルI/Oを再現するためにStringIOを利用します
+require "stringio"
+
+# 圧縮元となるデータを用意します
+original_data = "abcdefghijklmnopqrstuvwxyz" * 50
+
+
+# まずは圧縮してみましょう
+src = StringIO.new(original_data)
+dest = StringIO.new("")
+encoder = LZMA.encode(dest)   ## 圧縮器の生成
+while buf = src.read(50)
+  encoder << buf              ## データの圧縮
+end
+encoder.finish                ## 最終処理を忘れずに実行して下さい
+p dest.string # => 圧縮された xz データ
+
+
+# 上の処理はブロックを用いて次のように置き換えることが出来ます
+src = StringIO.new(original_data)
+dest = StringIO.new("")
+LZMA.encode(dest) do |encoder|  ## 圧縮器の生成
+  while buf = src.read(50)
+    encoder << buf              ## データの圧縮
+  end
+end                             ## finish は不要
+p dest.string # => 圧縮された xz データ
+
+
+# 次は伸長処理です
+encoded_data = dest.string
+
+src = StringIO.new(encoded_data)
+dest = StringIO.new("")
+decoder = LZMA.decode(src)
+while buf = dest.read(50)
+  dest << buf
+end
+puts(dest.string == original_data ? "data ok" : "bad data")
+
+# これもブロックを用いて置き換えることが出来ます
+src = StringIO.new(encoded_data)
+dest = StringIO.new("")
+LZMA.decode(src) do |decoder|
+  while buf = dest.read(50)
+    dest << buf
+  end
+end
+puts(dest.string == original_data ? "data ok" : "bad data")
+
+
+# [EOF]