nayutaya-ironnews-utility 0.3.0 → 0.3.1

data/Rakefile

@@ -3,6 +3,21 @@ NAME = "nayutaya-ironnews-utility"
 
 task :default => :gemspec
 
+task :version do
+  require "lib/ironnews_utility/version"
+  cur_version  = IronnewsUtility::VERSION
+  next_version = cur_version.succ
+  puts("#{cur_version} -> #{next_version}")
+
+  filename = File.join(File.dirname(__FILE__), "lib", "ironnews_utility", "version.rb")
+  File.open(filename, "wb") { |file|
+    file.puts
+    file.puts(%|module IronnewsUtility|)
+    file.puts(%|  VERSION = "#{next_version}"|)
+    file.puts(%|end|)
+  }
+end
+
 desc "generate gemspec file from template"
 task :gemspec do
   require "erb"

data/lib/ironnews_utility/cleanse_title_table.rb

@@ -1,19 +1,121 @@
 
 module IronnewsUtility
   CleanseTitleTable = {
-    "mainichi.jp" => [%r'\A(.+) - 毎日ｊｐ\(毎日新聞\)\Z', '\1'].freeze,
-    "mytown.asahi.com" => [%r'\Aasahi\.com:(.+)-マイタウン(.+)\Z', '\1 - \2'].freeze,
-    "sankei.jp.msn.com" => [%r'\A(.+) - MSN産経ニュース\Z', '\1'].freeze,
-    "www.47news.jp" => [%r'\A(.+) - 47NEWS（よんななニュース）\Z', '\1'].freeze,
-    "www.asahi.com" => [%r'\Aasahi\.com（朝日新聞社）：(.+)\Z', '\1'].freeze,
-    "www.chunichi.co.jp" => [%r'\A中日新聞:(.+)\(CHUNICHI Web\)\Z', '\1'].freeze,
-    "www.yomiuri.co.jp" => [%r'\A(.+) : YOMIURI ONLINE（読売新聞）\Z', '\1'].freeze,
-    "www.jiji.com" => [%r'\A時事ドットコム：(.+)\Z', '\1'].freeze,
-    "slashdot.jp" => [%r'\A(.+) - スラッシュドット・ジャパン\Z', '\1'].freeze,
-    "www.tokyo-np.co.jp" => [%r'\A東京新聞:(.+)\(TOKYO Web\)\Z', '\1'].freeze,
-    "www.hokkaido-np.co.jp" => [%r'\A(.+)−北海道新聞\[青森からこんにちは\]\Z', '\1'].freeze,
-    "japan.cnet.com" => [%r'\A(.+) - CNET Japan\Z', '\1'].freeze,
-    "gigazine.net" => [%r'\A(.+) - GIGAZINE\Z', '\1'].freeze,
-    "www.kobe-np.co.jp" => [%r'\A神戸新聞｜(.+)\Z', '\1'].freeze,
+    "gigazine.net" => [
+      [%r'\A(.+) - GIGAZINE\Z', '\1'].freeze,
+    ].freeze,
+    "headlines.yahoo.co.jp" => [
+      [%r'\A(.+) - Yahoo!ニュース\Z', '\1'].freeze,
+      [%r'\A(.+)（.+）\Z', '\1'].freeze,
+    ].freeze,
+    "japan.cnet.com" => [
+      [%r'\A(.+) - CNET Japan\Z', '\1'].freeze,
+    ].freeze,
+    "journal.mycom.co.jp" => [
+      [%r'\A(.+) \| マイコミジャーナル\Z', '\1'].freeze,
+    ].freeze,
+    "kyushu.yomiuri.co.jp" => [
+      [%r'\A(.+) : 九州発 : YOMIURI ONLINE（読売新聞）\Z', '\1'].freeze,
+    ].freeze,
+    "mainichi.jp" => [
+      [%r'\A(.+) - 毎日ｊｐ\(毎日新聞\)\Z', '\1'].freeze,
+      [%r'\A(.+) － 毎日ｊｐ\(毎日新聞\)\Z', '\1'].freeze,
+    ].freeze,
+    "mytown.asahi.com" => [
+      [%r'\Aasahi\.com:(.+)-マイタウン(.+)\Z', '\1 - \2'].freeze,
+    ].freeze,
+    "news.kanaloco.jp" => [
+      [%r'\A(.+)：ローカルニュース : ニュース : カナロコ -- 神奈川新聞社\Z', '\1'].freeze,
+    ].freeze,
+    "news24.jp" => [
+      [%r'\A(.+) \| 日テレNEWS24\Z', '\1'].freeze,
+    ].freeze,
+    "osaka.yomiuri.co.jp" => [
+      [%r'\A(.+) : 関西発 : YOMIURI ONLINE（読売新聞）\Z', '\1'].freeze,
+    ].freeze,
+    "response.jp" => [
+      [%r'\A(.+) \| レスポンス自動車ニュース（Response.jp）\Z', '\1'].freeze,
+    ].freeze,
+    "sankei.jp.msn.com" => [
+      [%r'\A(.+) - MSN産経ニュース\Z', '\1'].freeze,
+      [%r'\A(.+)  \(\d+/\d+ページ\)\Z', '\1'].freeze,
+    ].freeze,
+    "slashdot.jp" => [
+      [%r'\A(.+) - スラッシュドット・ジャパン\Z', '\1'].freeze,
+    ].freeze,
+    "svr.sanyo.oni.co.jp" => [
+      [%r'\A(.+) - 山陽新聞地域ニュース\Z', '\1'].freeze,
+    ].freeze,
+    "techon.nikkeibp.co.jp" => [
+      [%r'\A(.+) - Tech-On！\Z', '\1'].freeze,
+    ].freeze,
+    "www.47news.jp" => [
+      [%r'\A(.+) - 47NEWS（よんななニュース）\Z', '\1'].freeze,
+      [%r'\A(.+) - 47NEWS \(よんななニュース\)\Z', '\1'].freeze,
+    ].freeze,
+    "www.afpbb.com" => [
+      [%r'\A(.+)　国際ニュース : AFPBB News\Z', '\1'].freeze,
+    ].freeze,
+    "www.asahi.com" => [
+      [%r'\Aasahi\.com（朝日新聞社）：(.+)\Z', '\1'].freeze,
+      [%r'\Aasahi\.com：(.+)\Z', '\1'].freeze,
+      [%r'\A(.+) - ことばなるほどね！ - 学ぼう\Z', '\1'].freeze,
+      [%r'\A(.+) - 最新ニュース - 読もう\Z', '\1'].freeze,
+      [%r'\Aasahi\.com （朝日新聞社）：(.+)\Z', '\1'].freeze,
+    ].freeze,
+    "www.business-i.jp" => [
+      [%r'\A(.+) - FujiSankei Business i\.／Bloomberg GLOBAL FINANCE\Z', '\1'].freeze,
+    ].freeze,
+    "www.chugoku-np.co.jp" => [
+      [%r'\A(.+) - 中国新聞\Z', '\1'].freeze,
+    ].freeze,
+    "www.chunichi.co.jp" => [
+      [%r'\A中日新聞:(.+)\(CHUNICHI Web\)\Z', '\1'].freeze,
+    ].freeze,
+    "www.cnn.co.jp" => [
+      [%r'\ACNN\.co\.jp：(.+)\Z', '\1'].freeze,
+    ].freeze,
+    "www.fnn-news.com" => [
+      [%r'\AFNNニュース: (.+)\Z', '\1'].freeze,
+    ].freeze,
+    "www.hokkaido-np.co.jp" => [
+      [%r'\A(.+)−北海道新聞\[.+\]\Z', '\1'].freeze,
+    ].freeze,
+    "www.jiji.com" => [
+      [%r'\A時事ドットコム：(.+)\Z', '\1'].freeze,
+    ].freeze,
+    "www.kahoku.co.jp" => [
+      [%r'\A河北新報　東北のニュース／(.+)\Z', '\1'].freeze,
+      [%r'\A河北新報 (.+)\Z', '\1'].freeze,
+    ].freeze,
+    "www.kobe-np.co.jp" => [
+      [%r'\A神戸新聞｜(.+)\Z', '\1'].freeze,
+      [%r'\A全国海外ニュース｜(.+)\Z', '\1'].freeze,
+      [%r'\A事件・事故｜(.+)\Z', '\1'].freeze,
+    ].freeze,
+    "www.kyoto-np.co.jp" => [
+      [%r'\A(.+)：京都新聞\Z', '\1'].freeze,
+    ].freeze,
+    "www.mutusinpou.co.jp" => [
+      [%r'\A(.+) by 陸奥新報\Z', '\1'].freeze,
+    ].freeze,
+    "www.nagasaki-np.co.jp" => [
+      [%r'\A龍〜なが　長崎新聞ホームページ：(.+)\Z', '\1'].freeze,
+    ].freeze,
+    "www.nhk.or.jp" => [
+      [%r'\ANHKニュース　(.+)\Z', '\1'].freeze,
+    ].freeze,
+    "www.nishinippon.co.jp" => [
+      [%r'\A(.+) / 西日本新聞\Z', '\1'].freeze,
+    ].freeze,
+    "www.tetsudo.com" => [
+      [%r'\A(.+) - 鉄道コム\Z', '\1'].freeze,
+    ].freeze,
+    "www.tokyo-np.co.jp" => [
+      [%r'\A東京新聞:(.+)\(TOKYO Web\)\Z', '\1'].freeze,
+    ].freeze,
+    "www.yomiuri.co.jp" => [
+      [%r'\A(.+) : YOMIURI ONLINE（読売新聞）\Z', '\1'].freeze,
+    ].freeze,
   }.freeze
 end

data/lib/ironnews_utility/core.rb

@@ -18,12 +18,14 @@ module IronnewsUtility
   end
 
   def self.cleanse_title(url, title)
-    uri = URI.parse(url)
-    pattern, replace = CleanseTitleTable[uri.host]
-    if pattern
-      return title.gsub(pattern, replace)
-    else
-      return title
-    end
+    uri   = URI.parse(url)
+    title = title.dup
+
+    patterns = CleanseTitleTable[uri.host] || []
+    patterns.each { |pattern, replace|
+      title.gsub!(pattern, replace)
+    }
+
+    return title
   end
 end

data/lib/ironnews_utility/filter_table.rb

@@ -8,10 +8,12 @@ module IronnewsUtility
     %r'\Ahttp://contents\.innolife\.net/', # 理由: title要素に記事名が含まれていないため
     %r'\Ahttp://japan\.donga\.com/', # 理由: title要素に記事名が含まれていないため
     %r'\Ahttp://japanese\.donga\.com/', # 理由: title要素に記事名が含まれていないため
+    %r'\Ahttp://jp\.reuters\.com/', # 理由: 記事名の取得に失敗することが多く、かつ鉄道関連の記事が少ないため
     %r'\Ahttp://mainichi\.jp/life/money/kabu/nsj/news/', # 理由: title要素に記事名が含まれていないため
     %r'\Ahttp://markets\.nikkei\.co\.jp/', # 理由: title要素に記事名が含まれていないため
     %r'\Ahttp://news\.ibc\.co\.jp/', # 理由: title要素に記事名が含まれていないため
     %r'\Ahttp://news\.searchina\.ne\.jp/', # 理由: 記事の閲覧が有料であるため
+    %r'\Ahttp://news\.tbs\.co\.jp/newseye/', # 理由: 記事の閲覧可能期間が短いため
     %r'\Ahttp://release\.nikkei\.co\.jp/', # 理由: title要素に記事名が含まれていないため
     %r'\Ahttp://rkk\.jp/', # 理由: title要素に記事名が含まれていないため
     %r'\Ahttp://www2\.knb\.ne\.jp/', # 理由: title要素に記事名が含まれていないため
@@ -22,6 +24,7 @@ module IronnewsUtility
     %r'\Ahttp://www\.japanjournals\.com/', # 理由: title要素に記事名が含まれていないため
     %r'\Ahttp://www\.keidanren\.or\.jp/', # 理由: title要素に記事名が含まれていないため
     %r'\Ahttp://www\.kentsu\.co\.jp/', # 理由: title要素に記事名が含まれていないため
+    %r'\Ahttp://www\.mbs\.jp/news/', # 理由: 記事の閲覧可能期間が短いため
     %r'\Ahttp://www\.mxtv\.co\.jp/mxnews/news/', # 理由: title要素に記事名が含まれていないため
     %r'\Ahttp://www\.nikkei\.co\.jp/kaigai/', # 理由: title要素に記事名が含まれていないため
     %r'\Ahttp://www\.nikkei\.co\.jp/kyushu/news/', # 理由: title要素に記事名が含まれていないため
@@ -30,14 +33,12 @@ module IronnewsUtility
     %r'\Ahttp://www\.portfolio\.nl/', # 理由: title要素に記事名が含まれていないため
     %r'\Ahttp://www\.sanpo-pub\.co\.jp/column/', # 理由: title要素に記事名が含まれていないため
     %r'\Ahttp://www\.shonai-nippo\.co\.jp/', # 理由: title要素に記事名が含まれていないため
+    %r'\Ahttp://www\.tku\.co\.jp/pc/news/', # 理由: title要素に記事名が含まれていないため
     %r'\Ahttp://www\.tohkaishimpo\.com/', # 理由: title要素に記事名が含まれていないため
     %r'\Ahttp://www\.toyama\.hokkoku\.co\.jp/subpage/', # 理由: title要素に記事名が含まれていないため
     %r'\Ahttp://www\.travelvision\.jp/', # 理由: title要素に記事名が含まれていないため
     %r'\Ahttp://www\.usfl\.com/Daily/News/', # 理由: title要素に記事名が含まれていないため
     %r'\Ahttp://www\.wbs\.co\.jp/', # 理由: title要素に記事名が含まれていないため
     %r'\Ahttp://www\.xinhua\.jp/', # 理由: 記事の閲覧が有料であるため
-    %r'\Ahttp://www\.tku\.co\.jp/pc/news/', # 理由: title要素に記事名が含まれていないため
-    %r'\Ahttp://www\.mbs\.jp/news/', # 理由: 記事の閲覧可能期間が短いため
-    %r'\Ahttp://news\.tbs\.co\.jp/newseye/', # 理由: 記事の閲覧可能期間が短いため
   ].freeze
 end

data/lib/ironnews_utility/version.rb

@@ -1,4 +1,4 @@
 
 module IronnewsUtility
-  VERSION = "0.3.0"
+  VERSION = "0.3.1"
 end

data/nayutaya-ironnews-utility.gemspec

@@ -5,8 +5,8 @@ Gem::Specification.new do |s|
   s.required_ruby_version     = Gem::Requirement.new(">= 1.8.6")
 
   s.name    = "nayutaya-ironnews-utility"
-  s.version = "0.3.0"
-  s.date    = "2010-01-12"
+  s.version = "0.3.1"
+  s.date    = "2010-01-15"
 
   s.authors = ["Yuya Kato"]
   s.email   = "yuyakato@gmail.com"

metadata

@@ -1,7 +1,7 @@
 --- !ruby/object:Gem::Specification 
 name: nayutaya-ironnews-utility
 version: !ruby/object:Gem::Version 
-  version: 0.3.0
+  version: 0.3.1
 platform: ruby
 authors: 
 - Yuya Kato
@@ -9,7 +9,7 @@ autorequire:
 bindir: bin
 cert_chain: []
 
-date: 2010-01-12 00:00:00 +09:00
+date: 2010-01-15 00:00:00 +09:00
 default_executable: 
 dependencies: []