nayutaya-ironnews-utility 0.3.0

data/Rakefile

@@ -0,0 +1,34 @@
+
+NAME = "nayutaya-ironnews-utility"
+
+task :default => :gemspec
+
+desc "generate gemspec file from template"
+task :gemspec do
+  require "erb"
+  require "lib/ironnews_utility"
+
+  src  = File.open("#{NAME}.gemspec.erb", "rb") { |file| file.read }
+  erb  = ERB.new(src, nil, "-")
+
+  version = IronnewsUtility::VERSION
+  date    = Time.now.strftime("%Y-%m-%d")
+
+  files      = Dir.glob("**/*").select { |s| File.file?(s) }.reject { |s| /\.gem\z/ =~ s }
+  test_files = Dir.glob("test/**").select { |s| File.file?(s) }
+
+  File.open("#{NAME}.gemspec", "wb") { |file|
+    file.write(erb.result(binding))
+  }
+end
+
+desc "build gem"
+task :build do
+  sh "gem build #{NAME}.gemspec"
+end
+
+task :push do
+  require "lib/ironnews_utility"
+  target = "#{NAME}-#{IronnewsUtility::VERSION}.gem"
+  sh "gem push #{target}"
+end

data/lib/ironnews_utility/canonical_table.rb

@@ -0,0 +1,19 @@
+
+module IronnewsUtility
+  CanonicalTable = [
+    [%r'\A(http://[a-z]+\.yomiuri\.co\.jp/.+)\?from=[a-z0-9]+\Z', '\1'].freeze,
+    [%r'\A(http://japan\.cnet\.com/.+)\?ref=rss\Z', '\1'].freeze,
+    [%r'\A(http://journal\.mycom\.co\.jp/.+)\?rt=na\Z', '\1index.html'].freeze,
+    [%r'\A(http://mainichi\.jp/.+)\?inb=[a-z]+\Z', '\1'].freeze,
+    [%r'\A(http://mainichi\.jp/.+)\?link_id=[A-Z0-9]+\Z', '\1'].freeze,
+    [%r'\A(http://news\.searchina\.ne\.jp/.+)&pt=large\Z', '\1'].freeze,
+    [%r'\A(http://techon\.nikkeibp\.co\.jp/.+)\?ref=rss\Z', '\1'].freeze,
+    [%r'\A(http://www\.asahi\.com/.+)\?ref=rss\Z', '\1'].freeze,
+    [%r'\A(http://www\.chunichi\.co\.jp/.+)\?ref=rank\Z', '\1'].freeze,
+    [%r'\A(http://www\.jiji\.com/.+)&j1\Z', '\1'].freeze,
+    [%r'\A(http://www\.jiji\.com/.+)&n=1\Z', '\1'].freeze,
+    [%r'\A(http://www\.jiji\.com/jc/c\?g=.+?)&rel=j7(&k=\d+)\Z', '\1\2'].freeze,
+    [%r'\A(http://www\.tetsudo\.com/.+)\?tag=as\.rss\Z', '\1'].freeze,
+    [%r'\Ahttp://slashdot\.jp/articles/(\d+/\d+/\d+/\d+)\.shtml', 'http://slashdot.jp/article.pl?sid=\1'].freeze,
+  ].freeze
+end

data/lib/ironnews_utility/cleanse_title_table.rb

@@ -0,0 +1,19 @@
+
+module IronnewsUtility
+  CleanseTitleTable = {
+    "mainichi.jp" => [%r'\A(.+) - 毎日ｊｐ\(毎日新聞\)\Z', '\1'].freeze,
+    "mytown.asahi.com" => [%r'\Aasahi\.com:(.+)-マイタウン(.+)\Z', '\1 - \2'].freeze,
+    "sankei.jp.msn.com" => [%r'\A(.+) - MSN産経ニュース\Z', '\1'].freeze,
+    "www.47news.jp" => [%r'\A(.+) - 47NEWS（よんななニュース）\Z', '\1'].freeze,
+    "www.asahi.com" => [%r'\Aasahi\.com（朝日新聞社）：(.+)\Z', '\1'].freeze,
+    "www.chunichi.co.jp" => [%r'\A中日新聞:(.+)\(CHUNICHI Web\)\Z', '\1'].freeze,
+    "www.yomiuri.co.jp" => [%r'\A(.+) : YOMIURI ONLINE（読売新聞）\Z', '\1'].freeze,
+    "www.jiji.com" => [%r'\A時事ドットコム：(.+)\Z', '\1'].freeze,
+    "slashdot.jp" => [%r'\A(.+) - スラッシュドット・ジャパン\Z', '\1'].freeze,
+    "www.tokyo-np.co.jp" => [%r'\A東京新聞:(.+)\(TOKYO Web\)\Z', '\1'].freeze,
+    "www.hokkaido-np.co.jp" => [%r'\A(.+)−北海道新聞\[青森からこんにちは\]\Z', '\1'].freeze,
+    "japan.cnet.com" => [%r'\A(.+) - CNET Japan\Z', '\1'].freeze,
+    "gigazine.net" => [%r'\A(.+) - GIGAZINE\Z', '\1'].freeze,
+    "www.kobe-np.co.jp" => [%r'\A神戸新聞｜(.+)\Z', '\1'].freeze,
+  }.freeze
+end

data/lib/ironnews_utility/core.rb

@@ -0,0 +1,29 @@
+
+require "uri"
+require File.join(File.dirname(__FILE__), "canonical_table")
+require File.join(File.dirname(__FILE__), "filter_table")
+require File.join(File.dirname(__FILE__), "cleanse_title_table")
+
+module IronnewsUtility
+  def self.get_canonical_url(url)
+    url = url.dup
+    CanonicalTable.find { |pattern, replace|
+      !!url.sub!(pattern, replace)
+    }
+    return url
+  end
+
+  def self.reject?(url)
+    return FilterTable.any? { |pattern| pattern =~ url }
+  end
+
+  def self.cleanse_title(url, title)
+    uri = URI.parse(url)
+    pattern, replace = CleanseTitleTable[uri.host]
+    if pattern
+      return title.gsub(pattern, replace)
+    else
+      return title
+    end
+  end
+end

data/lib/ironnews_utility/filter_table.rb

@@ -0,0 +1,43 @@
+
+module IronnewsUtility
+  FilterTable = [
+    %r'\Ahttp://cambodiawatch\.net/', # 理由: title要素に記事名が含まれていないため
+    %r'\Ahttp://car\.nikkei\.co\.jp/news/', # 理由: title要素に記事名が含まれていないため
+    %r'\Ahttp://car\.nikkei\.co\.jp/release/', # 理由: title要素に記事名が含まれていないため
+    %r'\Ahttp://cargo-news\.co\.jp/', # 理由: title要素に記事名が含まれていないため
+    %r'\Ahttp://contents\.innolife\.net/', # 理由: title要素に記事名が含まれていないため
+    %r'\Ahttp://japan\.donga\.com/', # 理由: title要素に記事名が含まれていないため
+    %r'\Ahttp://japanese\.donga\.com/', # 理由: title要素に記事名が含まれていないため
+    %r'\Ahttp://mainichi\.jp/life/money/kabu/nsj/news/', # 理由: title要素に記事名が含まれていないため
+    %r'\Ahttp://markets\.nikkei\.co\.jp/', # 理由: title要素に記事名が含まれていないため
+    %r'\Ahttp://news\.ibc\.co\.jp/', # 理由: title要素に記事名が含まれていないため
+    %r'\Ahttp://news\.searchina\.ne\.jp/', # 理由: 記事の閲覧が有料であるため
+    %r'\Ahttp://release\.nikkei\.co\.jp/', # 理由: title要素に記事名が含まれていないため
+    %r'\Ahttp://rkk\.jp/', # 理由: title要素に記事名が含まれていないため
+    %r'\Ahttp://www2\.knb\.ne\.jp/', # 理由: title要素に記事名が含まれていないため
+    %r'\Ahttp://www\.chemicaldaily\.co\.jp/news/', # 理由: title要素に記事名が含まれていないため
+    %r'\Ahttp://www\.chugoku-np\.co\.jp/News/Tn', # 理由: title要素に記事名が含まれていないため
+    %r'\Ahttp://www\.hab\.co\.jp/headline/', # 理由: title要素に記事名が含まれていないため
+    %r'\Ahttp://www\.iwate-np\.co\.jp/', # 理由: title要素に記事名が含まれていないため
+    %r'\Ahttp://www\.japanjournals\.com/', # 理由: title要素に記事名が含まれていないため
+    %r'\Ahttp://www\.keidanren\.or\.jp/', # 理由: title要素に記事名が含まれていないため
+    %r'\Ahttp://www\.kentsu\.co\.jp/', # 理由: title要素に記事名が含まれていないため
+    %r'\Ahttp://www\.mxtv\.co\.jp/mxnews/news/', # 理由: title要素に記事名が含まれていないため
+    %r'\Ahttp://www\.nikkei\.co\.jp/kaigai/', # 理由: title要素に記事名が含まれていないため
+    %r'\Ahttp://www\.nikkei\.co\.jp/kyushu/news/', # 理由: title要素に記事名が含まれていないため
+    %r'\Ahttp://www\.nikkei\.co\.jp/news/', # 理由: title要素に記事名が含まれていないため
+    %r'\Ahttp://www\.pjnews\.net/', # 理由: title要素に記事名が含まれていないため
+    %r'\Ahttp://www\.portfolio\.nl/', # 理由: title要素に記事名が含まれていないため
+    %r'\Ahttp://www\.sanpo-pub\.co\.jp/column/', # 理由: title要素に記事名が含まれていないため
+    %r'\Ahttp://www\.shonai-nippo\.co\.jp/', # 理由: title要素に記事名が含まれていないため
+    %r'\Ahttp://www\.tohkaishimpo\.com/', # 理由: title要素に記事名が含まれていないため
+    %r'\Ahttp://www\.toyama\.hokkoku\.co\.jp/subpage/', # 理由: title要素に記事名が含まれていないため
+    %r'\Ahttp://www\.travelvision\.jp/', # 理由: title要素に記事名が含まれていないため
+    %r'\Ahttp://www\.usfl\.com/Daily/News/', # 理由: title要素に記事名が含まれていないため
+    %r'\Ahttp://www\.wbs\.co\.jp/', # 理由: title要素に記事名が含まれていないため
+    %r'\Ahttp://www\.xinhua\.jp/', # 理由: 記事の閲覧が有料であるため
+    %r'\Ahttp://www\.tku\.co\.jp/pc/news/', # 理由: title要素に記事名が含まれていないため
+    %r'\Ahttp://www\.mbs\.jp/news/', # 理由: 記事の閲覧可能期間が短いため
+    %r'\Ahttp://news\.tbs\.co\.jp/newseye/', # 理由: 記事の閲覧可能期間が短いため
+  ].freeze
+end

data/lib/ironnews_utility/version.rb

@@ -0,0 +1,4 @@
+
+module IronnewsUtility
+  VERSION = "0.3.0"
+end

data/lib/ironnews_utility.rb

@@ -0,0 +1,3 @@
+
+require File.join(File.dirname(__FILE__), "ironnews_utility", "version")
+require File.join(File.dirname(__FILE__), "ironnews_utility", "core")

data/nayutaya-ironnews-utility.gemspec

@@ -0,0 +1,44 @@
+
+Gem::Specification.new do |s|
+  s.specification_version     = 2
+  s.required_rubygems_version = Gem::Requirement.new(">= 0")
+  s.required_ruby_version     = Gem::Requirement.new(">= 1.8.6")
+
+  s.name    = "nayutaya-ironnews-utility"
+  s.version = "0.3.0"
+  s.date    = "2010-01-12"
+
+  s.authors = ["Yuya Kato"]
+  s.email   = "yuyakato@gmail.com"
+
+  s.summary     = "ironnews-utility"
+  s.description = "ironnews-utility"
+  s.homepage    = "http://github.com/nayutaya/ironnews-utility/"
+
+  s.rubyforge_project = nil
+  s.has_rdoc          = false
+  s.require_paths     = ["lib"]
+
+  s.files = [
+    "lib/ironnews_utility/canonical_table.rb",
+    "lib/ironnews_utility/cleanse_title_table.rb",
+    "lib/ironnews_utility/core.rb",
+    "lib/ironnews_utility/filter_table.rb",
+    "lib/ironnews_utility/version.rb",
+    "lib/ironnews_utility.rb",
+    "nayutaya-ironnews-utility.gemspec",
+    "nayutaya-ironnews-utility.gemspec.erb",
+    "Rakefile",
+    "test/alltests.rb",
+    "test/canonical_test.rb",
+    "test/cleanse_title_test.rb",
+    "test/filter_test.rb",
+  ]
+  s.test_files = [
+    "test/alltests.rb",
+    "test/canonical_test.rb",
+    "test/cleanse_title_test.rb",
+    "test/filter_test.rb",
+  ]
+  s.extra_rdoc_files = []
+end

data/nayutaya-ironnews-utility.gemspec.erb

@@ -0,0 +1,33 @@
+
+Gem::Specification.new do |s|
+  s.specification_version     = 2
+  s.required_rubygems_version = Gem::Requirement.new(">= 0")
+  s.required_ruby_version     = Gem::Requirement.new(">= 1.8.6")
+
+  s.name    = <%= NAME.dump %>
+  s.version = <%= version.dump %>
+  s.date    = <%= date.dump %>
+
+  s.authors = ["Yuya Kato"]
+  s.email   = "yuyakato@gmail.com"
+
+  s.summary     = "ironnews-utility"
+  s.description = "ironnews-utility"
+  s.homepage    = "http://github.com/nayutaya/ironnews-utility/"
+
+  s.rubyforge_project = nil
+  s.has_rdoc          = false
+  s.require_paths     = ["lib"]
+
+  s.files = [
+<%- files.each { |path| -%>
+    <%= path.dump %>,
+<%- } -%>
+  ]
+  s.test_files = [
+<%- test_files.each { |path| -%>
+    <%= path.dump %>,
+<%- } -%>
+  ]
+  s.extra_rdoc_files = []
+end

data/test/alltests.rb

@@ -0,0 +1,4 @@
+#! ruby -Ku
+
+require "test/unit"
+Test::Unit::AutoRunner.run(true, File.dirname(__FILE__), ['--pattern=/_test\.rb\Z/'])

data/test/canonical_test.rb

@@ -0,0 +1,23 @@
+#! ruby -Ku
+
+$:.unshift(File.join(File.dirname(__FILE__), "..", "lib"))
+
+require "test/unit"
+require "ironnews_utility"
+
+class CanonicalTest < Test::Unit::TestCase
+  def setup
+    @module = IronnewsUtility
+  end
+
+  def test_get_canonical_url
+    cases = File.open(File.join(File.dirname(__FILE__), "..", "..", "canonical_cases.txt"), "rb") { |file|
+      file.map { |line|
+        line.chomp.split(/\t/)
+      }
+    }
+    cases.each { |value, expected|
+      assert_equal(expected, @module.get_canonical_url(value), value)
+    }
+  end
+end

data/test/cleanse_title_test.rb

@@ -0,0 +1,23 @@
+#! ruby -Ku
+
+$:.unshift(File.join(File.dirname(__FILE__), "..", "lib"))
+
+require "test/unit"
+require "ironnews_utility"
+
+class CleanseTitleTest < Test::Unit::TestCase
+  def setup
+    @module = IronnewsUtility
+  end
+
+  def test_cleanse_title
+    cases = File.open(File.join(File.dirname(__FILE__), "..", "..", "cleanse_title_cases.txt"), "rb") { |file|
+      file.map { |line|
+        line.chomp.split(/\t/)
+      }
+    }
+    cases.each { |url, title, expected|
+      assert_equal(expected, @module.cleanse_title(url, title), title)
+    }
+  end
+end

data/test/filter_test.rb

@@ -0,0 +1,26 @@
+#! ruby -Ku
+
+$:.unshift(File.join(File.dirname(__FILE__), "..", "lib"))
+
+require "test/unit"
+require "ironnews_utility"
+
+class FilterTest < Test::Unit::TestCase
+  def setup
+    @module = IronnewsUtility
+  end
+
+  def test_reject__ok
+    File.foreach(File.join(File.dirname(__FILE__), "..", "..", "filter_cases_ok.txt")) { |line|
+      url = line.chomp
+      assert_equal(false, @module.reject?(url), url)
+    }
+  end
+
+  def test_reject__ng
+    File.foreach(File.join(File.dirname(__FILE__), "..", "..", "filter_cases_ng.txt")) { |line|
+      url = line.chomp
+      assert_equal(true, @module.reject?(url), url)
+    }
+  end
+end

metadata

@@ -0,0 +1,70 @@
+--- !ruby/object:Gem::Specification 
+name: nayutaya-ironnews-utility
+version: !ruby/object:Gem::Version 
+  version: 0.3.0
+platform: ruby
+authors: 
+- Yuya Kato
+autorequire: 
+bindir: bin
+cert_chain: []
+
+date: 2010-01-12 00:00:00 +09:00
+default_executable: 
+dependencies: []
+
+description: ironnews-utility
+email: yuyakato@gmail.com
+executables: []
+
+extensions: []
+
+extra_rdoc_files: []
+
+files: 
+- lib/ironnews_utility/canonical_table.rb
+- lib/ironnews_utility/cleanse_title_table.rb
+- lib/ironnews_utility/core.rb
+- lib/ironnews_utility/filter_table.rb
+- lib/ironnews_utility/version.rb
+- lib/ironnews_utility.rb
+- nayutaya-ironnews-utility.gemspec
+- nayutaya-ironnews-utility.gemspec.erb
+- Rakefile
+- test/alltests.rb
+- test/canonical_test.rb
+- test/cleanse_title_test.rb
+- test/filter_test.rb
+has_rdoc: true
+homepage: http://github.com/nayutaya/ironnews-utility/
+licenses: []
+
+post_install_message: 
+rdoc_options: []
+
+require_paths: 
+- lib
+required_ruby_version: !ruby/object:Gem::Requirement 
+  requirements: 
+  - - ">="
+    - !ruby/object:Gem::Version 
+      version: 1.8.6
+  version: 
+required_rubygems_version: !ruby/object:Gem::Requirement 
+  requirements: 
+  - - ">="
+    - !ruby/object:Gem::Version 
+      version: "0"
+  version: 
+requirements: []
+
+rubyforge_project: 
+rubygems_version: 1.3.5
+signing_key: 
+specification_version: 2
+summary: ironnews-utility
+test_files: 
+- test/alltests.rb
+- test/canonical_test.rb
+- test/cleanse_title_test.rb
+- test/filter_test.rb