nayutaya-ironnews-utility 0.3.6 → 0.3.7

data/lib/ironnews_utility/canonical_table.rb

@@ -5,11 +5,13 @@ module IronnewsUtility
     [%r'\A(http://[a-z]+\.yomiuri\.co\.jp/.+)\?from=[a-z0-9]+\Z', '\1'].freeze,
     [%r'\A(http://japan\.cnet\.com/.+)\?ref=rss\Z', '\1'].freeze,
     [%r'\A(http://journal\.mycom\.co\.jp/.+)\?rt=na\Z', '\1index.html'].freeze,
+    [%r'\A(http://journal\.mycom\.co\.jp/.+/)\Z', '\1index.html'].freeze,
     [%r'\A(http://mainichi\.jp/.+)\?inb=[a-z]+\Z', '\1'].freeze,
     [%r'\A(http://mainichi\.jp/.+)\?link_id=[A-Z0-9]+\Z', '\1'].freeze,
     [%r'\A(http://news\.searchina\.ne\.jp/.+)&pt=large\Z', '\1'].freeze,
     [%r'\A(http://techon\.nikkeibp\.co\.jp/.+)\?ref=rss\Z', '\1'].freeze,
     [%r'\A(http://www\.asahi\.com/.+)\?ref=rss\Z', '\1'].freeze,
+    [%r'\A(http://www\.asahi\.com/.+)_01(\.html)\Z', '\1\2'].freeze,
     [%r'\A(http://www\.chunichi\.co\.jp/.+)\?ref=rank\Z', '\1'].freeze,
     [%r'\A(http://www\.jiji\.com/.+)&j1\Z', '\1'].freeze,
     [%r'\A(http://www\.jiji\.com/.+)&n=1\Z', '\1'].freeze,

data/lib/ironnews_utility/cleanse_title_table.rb

@@ -39,6 +39,9 @@ module IronnewsUtility
     "response.jp" => [
       [%r'\A(.+) \| レスポンス自動車ニュース（Response.jp）\Z', '\1'].freeze,
     ].freeze,
+    "rocketnews24.com" => [
+      [%r'\A(.+) – ロケットニュース24（β）\Z', '\1'].freeze,
+    ].freeze,
     "sankei.jp.msn.com" => [
       [%r'\A(.+) - MSN産経ニュース\Z', '\1'].freeze,
       [%r'\A(.+) \(\d+/\d+ページ\)\Z', '\1'].freeze,
@@ -68,6 +71,9 @@ module IronnewsUtility
       [%r'\A(.+) - (社会|国際|トラベル|ビジネス・経済|政治|サイエンス)\Z', '\1'].freeze,
       [%r'\A(.+) - (関西|関西交通・旅ニュース)\Z', '\1'].freeze,
     ].freeze,
+    "www.bloomberg.co.jp" => [
+      [%r'\A(.+) - Bloomberg\.co\.jp\Z', '\1'].freeze,
+    ].freeze,
     "www.business-i.jp" => [
       [%r'\A(.+) - FujiSankei Business i\.／Bloomberg GLOBAL FINANCE\Z', '\1'].freeze,
     ].freeze,
@@ -80,23 +86,37 @@ module IronnewsUtility
     "www.cnn.co.jp" => [
       [%r'\ACNN\.co\.jp：(.+)\Z', '\1'].freeze,
     ].freeze,
+    "www.ehime-np.co.jp" => [
+      [%r'\A(.+) 愛媛新聞社ONLINE\Z', '\1'].freeze,
+    ].freeze,
     "www.fnn-news.com" => [
       [%r'\AFNNニュース: (.+)\Z', '\1'].freeze,
     ].freeze,
+    "www.gifu-np.co.jp" => [
+      [%r'\A(.+)(?: |　−　)岐阜新聞 Web\Z', '\1'].freeze,
+    ].freeze,
     "www.hokkaido-np.co.jp" => [
       [%r'\A(.+)−北海道新聞\[.+\]\Z', '\1'].freeze,
     ].freeze,
+    "www.j-cast.com" => [
+      [%r'\A(.+) : J-CAST(?:ニュース|会社ウォッチ|モノウォッチ|テレビウォッチ)\Z', '\1'].freeze,
+      [%r'\A(.+) \(\d+/\d+\)\Z', '\1'].freeze,
+    ].freeze,
     "www.jiji.com" => [
       [%r'\A時事ドットコム：(.+)\Z', '\1'].freeze,
     ].freeze,
     "www.kahoku.co.jp" => [
-      [%r'\A河北新報　東北のニュース／(.+)\Z', '\1'].freeze,
+      [%r'\A河北新報　(?:東北|内外)のニュース／(.+)\Z', '\1'].freeze,
       [%r'\A河北新報 (.+)\Z', '\1'].freeze,
     ].freeze,
+    "www.kfb.co.jp" => [
+      [%r'\A(.+) :: 福島県内ニュース :: KFB福島放送\Z', '\1'].freeze,
+    ].freeze,
     "www.kobe-np.co.jp" => [
       [%r'\A神戸新聞｜(.+)\Z', '\1'].freeze,
       [%r'\A全国海外ニュース｜(.+)\Z', '\1'].freeze,
-      [%r'\A事件・事故｜(.+)\Z', '\1'].freeze,
+      [%r'\A(?:淡路|阪神・北摂|姫路・西播磨|但馬|東播磨|神戸)｜(.+)\Z', '\1'].freeze,
+      [%r'\A(?:事件・事故|社会|文化|経済)｜(.+)\Z', '\1'].freeze,
     ].freeze,
     "www.kyoto-np.co.jp" => [
       [%r'\A(.+)：京都新聞\Z', '\1'].freeze,
@@ -110,19 +130,52 @@ module IronnewsUtility
     "www.nhk.or.jp" => [
       [%r'\ANHKニュース　(.+)\Z', '\1'].freeze,
     ].freeze,
+    "www.nikkansports.com" => [
+      [%r'\A(.+) : nikkansports.com\Z', '\1'].freeze,
+    ].freeze,
     "www.nishinippon.co.jp" => [
       [%r'\A(.+) / 西日本新聞\Z', '\1'].freeze,
     ].freeze,
+    "www.sankei-kansai.com" => [
+      [%r'\A(.+)：産経関西（産経新聞大阪本社公式ニュースサイト）\Z', '\1'].freeze,
+    ].freeze,
+    "www.sankeibiz.jp" => [
+      [%r'\A(.+) - SankeiBiz（サンケイビズ）\Z', '\1'].freeze,
+      [%r'\A(.+) \(\d+/\d+ページ\)\Z', '\1'].freeze,
+    ].freeze,
+    "www.shikoku-np.co.jp" => [
+      [%r'\A(.+) \| 四国新聞社\Z', '\1'].freeze,
+      [%r'\A(.+) \| (?:香川の|全国|スポーツ)ニュース\Z', '\1'].freeze,
+      [%r'\A(.+)―四国新聞社\Z', '\1'].freeze,
+    ].freeze,
+    "www.shimotsuke.co.jp" => [
+      [%r'\A(.+) ｜下野新聞「ＳＯＯＮ」\Z', '\1'].freeze,
+    ].freeze,
+    "www.shinmai.co.jp" => [
+      [%r'\A信濃毎日新聞［信毎web］　(.+)\Z', '\1'].freeze,
+      [%r'\A(.+)｜信濃毎日新聞［信毎web］\Z', '\1'].freeze,
+      [%r'\A(.+)｜(?:長野全県|東北信|中南信)ダイジェスト\Z', '\1'].freeze,
+    ].freeze,
+    "www.sponichi.co.jp" => [
+      [%r'\A(.+) ― スポニチ Sponichi Annex ニュース\Z', '\1'].freeze,
+      [%r'\A(.+) ― スポニチ Sponichi Annex 大阪\Z', '\1'].freeze,
+    ].freeze,
     "www.tetsudo.com" => [
       [%r'\A(.+) - 鉄道コム\Z', '\1'].freeze,
     ].freeze,
     "www.tokyo-np.co.jp" => [
       [%r'\A東京新聞:(.+)\(TOKYO Web\)\Z', '\1'].freeze,
     ].freeze,
+    "www.toonippo.co.jp" => [
+      [%r'\A(.+)／Ｗｅｂ東奥・ニュース\d{14}\Z', '\1'].freeze,
+    ].freeze,
     "www.yomiuri.co.jp" => [
       [%r'\A(.+) : YOMIURI ONLINE（読売新聞）\Z', '\1'].freeze,
       [%r'\A(.+) : (社会|マネー・経済|国際|地域|旅ゅ〜ん！)\Z', '\1'].freeze,
       [%r'\A(.+) : 経済ニュース\Z', '\1'].freeze,
     ].freeze,
+    "yamagata-np.jp" => [
+      [%r'\A(.+)｜山形新聞\Z', '\1'].freeze,
+    ].freeze,
   }.freeze
 end

data/lib/ironnews_utility/filter_table.rb

@@ -11,18 +11,20 @@ module IronnewsUtility
     %r'\Ahttp://japan\.donga\.com/', # 理由: title要素に記事名が含まれていないため
     %r'\Ahttp://japanese\.donga\.com/', # 理由: title要素に記事名が含まれていないため
     %r'\Ahttp://jp\.reuters\.com/', # 理由: 記事名の取得に失敗することが多く、かつ鉄道関連の記事が少ないため
-    %r'\Ahttp://mainichi\.jp/enta/sports/baseball/news/', # 理由: title要素に記事名が含まれていないため
+    %r'\Ahttp://mainichi\.jp/enta/sports/baseball/news/m', # 理由: title要素に記事名が含まれていないため
     %r'\Ahttp://mainichi\.jp/life/money/kabu/nsj/news/', # 理由: title要素に記事名が含まれていないため
     %r'\Ahttp://mainichi\.jp/select/.+?/news/m', # 理由: title要素に記事名が含まれていないため
     %r'\Ahttp://mainichi\.pheedo\.jp/', # 理由: リダイレクト用URLであるため
     %r'\Ahttp://markets\.nikkei\.co\.jp/', # 理由: title要素に記事名が含まれていないため
     %r'\Ahttp://news\.ibc\.co\.jp/', # 理由: title要素に記事名が含まれていないため
+    %r'\Ahttp://news\.rkb\.ne\.jp/', # 理由: title要素に記事名が含まれていないため
     %r'\Ahttp://news\.searchina\.ne\.jp/', # 理由: 記事の閲覧が有料であるため
     %r'\Ahttp://news\.tbs\.co\.jp/newseye/', # 理由: 記事の閲覧可能期間が短いため
     %r'\Ahttp://release\.nikkei\.co\.jp/', # 理由: title要素に記事名が含まれていないため
     %r'\Ahttp://rkk\.jp/', # 理由: title要素に記事名が含まれていないため
     %r'\Ahttp://rss\.asahi\.com/', # 理由: リダイレクト用URLであるため
     %r'\Ahttp://rss\.rssad\.jp/', # 理由: リダイレクト用URLであるため
+    %r'\Ahttp://sports\.nikkei\.co\.jp/', # 理由: title要素に記事名が含まれていないため
     %r'\Ahttp://www.pheedo.jp/', # 理由: リダイレクト用URLであるため
     %r'\Ahttp://www2\.knb\.ne\.jp/', # 理由: title要素に記事名が含まれていないため
     %r'\Ahttp://www\.asahi\.com/english/weekly/', # 理由: title要素に記事名が含まれていないため
@@ -53,7 +55,6 @@ module IronnewsUtility
     %r'\Ahttp://www\.wbs\.co\.jp/', # 理由: title要素に記事名が含まれていないため
     %r'\Ahttp://www\.worldtimes\.co\.jp/today/', # 理由: title要素に記事名が含まれていないため
     %r'\Ahttp://www\.xinhua\.jp/', # 理由: 記事の閲覧が有料であるため
-    %r'\Ahttp://sports\.nikkei\.co\.jp/', # 理由: title要素に記事名が含まれていないため
-    %r'\Ahttp://news\.rkb\.ne\.jp/', # 理由: title要素に記事名が含まれていないため
+    %r'\Ahttp://mytown\.asahi\.com/.+/news\.php\Z', # 理由: 実体が存在しないため
   ].freeze
 end

data/lib/ironnews_utility/version.rb

@@ -1,4 +1,4 @@
 
 module IronnewsUtility
-  VERSION = "0.3.6"
+  VERSION = "0.3.7"
 end

data/nayutaya-ironnews-utility.gemspec

@@ -5,8 +5,8 @@ Gem::Specification.new do |s|
   s.required_ruby_version     = Gem::Requirement.new(">= 1.8.6")
 
   s.name    = "nayutaya-ironnews-utility"
-  s.version = "0.3.6"
-  s.date    = "2010-01-29"
+  s.version = "0.3.7"
+  s.date    = "2010-02-18"
 
   s.authors = ["Yuya Kato"]
   s.email   = "yuyakato@gmail.com"

metadata

@@ -1,7 +1,7 @@
 --- !ruby/object:Gem::Specification 
 name: nayutaya-ironnews-utility
 version: !ruby/object:Gem::Version 
-  version: 0.3.6
+  version: 0.3.7
 platform: ruby
 authors: 
 - Yuya Kato
@@ -9,7 +9,7 @@ autorequire:
 bindir: bin
 cert_chain: []
 
-date: 2010-01-29 00:00:00 +09:00
+date: 2010-02-18 00:00:00 +09:00
 default_executable: 
 dependencies: []