nayutaya-ironnews-utility 0.3.7 → 0.3.8

Sign up to get free protection for your applications and to get access to all the features.
@@ -1,21 +1,107 @@
1
1
 
2
2
  module IronnewsUtility
3
3
  CleanseTitleTable = {
4
+ "4510plan.jp" => [
5
+ [%r'\A(.+)|シゴトの計画\Z', '\1'].freeze,
6
+ ].freeze,
7
+ "auto-affairs.com" => [
8
+ [%r'\A(.+) 国際自動車ニュース\Z', '\1'].freeze,
9
+ ].freeze,
10
+ "b.hatena.ne.jp" => [
11
+ [%r'\A(.+) - はてなブックマークニュース\Z', '\1'].freeze,
12
+ ].freeze,
13
+ "bb.watch.impress.co.jp" => [
14
+ [%r'\A(.+)-BB Watch\Z', '\1'].freeze,
15
+ ].freeze,
16
+ "bizmakoto.jp" => [
17
+ [%r'\ABusiness Media 誠:(.+)\Z', '\1'].freeze,
18
+ [%r'\A(.+)\(\d+/\d+\)\Z', '\1'].freeze,
19
+ ].freeze,
20
+ "blog.hokkaido-np.co.jp" => [
21
+ [%r'\A北の駅の待合室: (.+)\Z', '\1'].freeze,
22
+ ].freeze,
23
+ "diamond.jp" => [
24
+ [%r'\A(.+) \| ダイヤモンド・オンライン\Z', '\1'].freeze,
25
+ ].freeze,
4
26
  "gigazine.net" => [
5
27
  [%r'\A(.+) - GIGAZINE\Z', '\1'].freeze,
6
28
  ].freeze,
29
+ "hachioji.keizai.biz" => [
30
+ [%r'\A(.+) - 八王子経済新聞\Z', '\1'].freeze,
31
+ ].freeze,
32
+ "hakata.keizai.biz" => [
33
+ [%r'\A(.+) - 博多経済新聞\Z', '\1'].freeze,
34
+ ].freeze,
35
+ "haneda.keizai.biz" => [
36
+ [%r'\A(.+) - 羽田経済新聞\Z', '\1'].freeze,
37
+ ].freeze,
7
38
  "headlines.yahoo.co.jp" => [
8
39
  [%r'\A(.+) - Yahoo!ニュース\Z', '\1'].freeze,
9
40
  [%r'\A(.+)(.+)\Z', '\1'].freeze,
10
41
  ].freeze,
42
+ "hiroshima.keizai.biz" => [
43
+ [%r'\A(.+) - 広島経済新聞\Z', '\1'].freeze,
44
+ ].freeze,
45
+ "hochi.yomiuri.co.jp" => [
46
+ [%r'\A(.+):スポーツ報知\Z', '\1'].freeze,
47
+ [%r'\A(.+):スポーツ報知大阪版\Z', '\1'].freeze,
48
+ ].freeze,
11
49
  "japan.cnet.com" => [
12
50
  [%r'\A(.+) - CNET Japan\Z', '\1'].freeze,
51
+ [%r'\A(.+):ニュースクリップ\Z', '\1'].freeze,
52
+ ].freeze,
53
+ "japan.techinsight.jp" => [
54
+ [%r'\ATechinsight » (.+)\Z', '\1'].freeze,
55
+ ].freeze,
56
+ "japanese.cri.cn" => [
57
+ [%r'\A(.+) - 中国国際放送局\Z', '\1'].freeze,
58
+ ].freeze,
59
+ "japanese.joins.com" => [
60
+ [%r'\A中央日報 - (.+)\Z', '\1'].freeze,
13
61
  ].freeze,
14
62
  "journal.mycom.co.jp" => [
15
63
  [%r'\A(.+) \| マイコミジャーナル\Z', '\1'].freeze,
64
+ [%r'\A(.+) \| (経営|ライフ|携帯|パソコン|エンタープライズ|ホビー|クリエイティブ)\Z', '\1'].freeze,
65
+ ].freeze,
66
+ "jp.ibtimes.com" => [
67
+ [%r'\A(.+) \| IBTimes\(アイビータイムズ\)\Z', '\1'].freeze,
68
+ ].freeze,
69
+ "jp.wsj.com" => [
70
+ [%r'\A(.+) - WSJ\.com\Z', '\1'].freeze,
71
+ [%r'\A(.+) - The Wall Street Journal, Japan Online Edition\Z', '\1'].freeze,
72
+ [%r'\A(.+) / The Wall Street Journal, Japan Online Edition\Z', '\1'].freeze,
73
+ [%r'\A(.+) / ホーム\Z', '\1'].freeze,
74
+ [%r'\A(.+) / ビジネス・企業\Z', '\1'].freeze,
75
+ [%r'\A(.+) / 自動車\Z', '\1'].freeze,
76
+ [%r'\A(.+) / 決算\Z', '\1'].freeze,
77
+ [%r'\A(.+) / 金融・マーケット\Z', '\1'].freeze,
78
+ [%r'\A(.+) / 金融\Z', '\1'].freeze,
79
+ [%r'\A(.+) / 国内\Z', '\1'].freeze,
80
+ [%r'\A(.+) / 企業ニュース\Z', '\1'].freeze,
81
+ [%r'\A(.+) / 経済\Z', '\1'].freeze,
82
+ [%r'\A(.+) / 政治\Z', '\1'].freeze,
83
+ [%r'\A(.+) / 国際\Z', '\1'].freeze,
84
+ [%r'\A(.+) / 中国\Z', '\1'].freeze,
85
+ ].freeze,
86
+ "k-tai.impress.co.jp" => [
87
+ [%r'\A(.+) - ケータイ Watch\Z', '\1'].freeze,
88
+ ].freeze,
89
+ "karasuma.keizai.biz" => [
90
+ [%r'\A(.+) - 烏丸経済新聞\Z', '\1'].freeze,
91
+ ].freeze,
92
+ "kobe.keizai.biz" => [
93
+ [%r'\A(.+) - 神戸経済新聞\Z', '\1'].freeze,
94
+ ].freeze,
95
+ "kumanichi.com" => [
96
+ [%r'\A(.+)│ くまにちコム\Z', '\1'].freeze,
97
+ ].freeze,
98
+ "kyobashi.keizai.biz" => [
99
+ [%r'\A(.+) - 京橋経済新聞\Z', '\1'].freeze,
16
100
  ].freeze,
17
101
  "kyushu.yomiuri.co.jp" => [
18
102
  [%r'\A(.+) : 九州発 : YOMIURI ONLINE(読売新聞)\Z', '\1'].freeze,
103
+ [%r'\A(.+) : 九州経済\Z', '\1'].freeze,
104
+ [%r'\A(.+) : 地域版\Z', '\1'].freeze,
19
105
  ].freeze,
20
106
  "mainichi.jp" => [
21
107
  [%r'\A(.+) - 毎日jp\(毎日新聞\)\Z', '\1'].freeze,
@@ -27,6 +113,16 @@ module IronnewsUtility
27
113
  "news.kanaloco.jp" => [
28
114
  [%r'\A(.+):ローカルニュース : ニュース : カナロコ -- 神奈川新聞社\Z', '\1'].freeze,
29
115
  ].freeze,
116
+ "news.livedoor.com" => [
117
+ [%r'\A(.+) - livedoor ニュース\Z', '\1'].freeze,
118
+ ].freeze,
119
+ "news.walkerplus.com" => [
120
+ [%r'\A(.+) - 東京ウォーカー\Z', '\1'].freeze,
121
+ [%r'\A(.+) - 関西ウォーカー\Z', '\1'].freeze,
122
+ [%r'\A(.+) - 東海ウォーカー\Z', '\1'].freeze,
123
+ [%r'\A(.+) - 北海道ウォーカー\Z', '\1'].freeze,
124
+ [%r'\A(.+) - 福岡ウォーカー\Z', '\1'].freeze,
125
+ ].freeze,
30
126
  "news24.jp" => [
31
127
  [%r'\A(.+) \| 日テレNEWS24\Z', '\1'].freeze,
32
128
  ].freeze,
@@ -42,6 +138,10 @@ module IronnewsUtility
42
138
  "rocketnews24.com" => [
43
139
  [%r'\A(.+) – ロケットニュース24(β)\Z', '\1'].freeze,
44
140
  ].freeze,
141
+ "ryukyushimpo.jp" => [
142
+ [%r'\A(.+) - 沖縄の新聞、地域のニュース\Z', '\1'].freeze,
143
+ [%r'\A(.+) - 琉球新報\Z', '\1'].freeze,
144
+ ].freeze,
45
145
  "sankei.jp.msn.com" => [
46
146
  [%r'\A(.+) - MSN産経ニュース\Z', '\1'].freeze,
47
147
  [%r'\A(.+) \(\d+/\d+ページ\)\Z', '\1'].freeze,
@@ -55,10 +155,25 @@ module IronnewsUtility
55
155
  "techon.nikkeibp.co.jp" => [
56
156
  [%r'\A(.+) - Tech-On!\Z', '\1'].freeze,
57
157
  ].freeze,
158
+ "thai.news-agency.jp" => [
159
+ [%r'\A(.+)タイニュース速報ポータルサイトータイランド通信\Z', '\1'].freeze,
160
+ ].freeze,
161
+ "umeda.keizai.biz" => [
162
+ [%r'\A(.+) - 梅田経済新聞\Z', '\1'].freeze,
163
+ ].freeze,
164
+ "woman.excite.co.jp" => [
165
+ [%r'\A(.+)|ウーマンエキサイト おでかけ 旅とお散歩\Z', '\1'].freeze,
166
+ ].freeze,
167
+ "www.373news.com" => [
168
+ [%r'\A(.+) : 南日本新聞エリアニュース\Z', '\1'].freeze,
169
+ ].freeze,
58
170
  "www.47news.jp" => [
59
171
  [%r'\A(.+) - 47NEWS(よんななニュース)\Z', '\1'].freeze,
60
172
  [%r'\A(.+) - 47NEWS \(よんななニュース\)\Z', '\1'].freeze,
61
173
  ].freeze,
174
+ "www.4gamer.net" => [
175
+ [%r'\A4Gamer\.net ― (.+)\Z', '\1'].freeze,
176
+ ].freeze,
62
177
  "www.afpbb.com" => [
63
178
  [%r'\A(.+) 国際ニュース : AFPBB News\Z', '\1'].freeze,
64
179
  ].freeze,
@@ -77,21 +192,35 @@ module IronnewsUtility
77
192
  "www.business-i.jp" => [
78
193
  [%r'\A(.+) - FujiSankei Business i\./Bloomberg GLOBAL FINANCE\Z', '\1'].freeze,
79
194
  ].freeze,
195
+ "www.chibanippo.co.jp" => [
196
+ [%r'\A(.+)|ちばとぴ ちばの耳より情報満載 千葉日報ウェブ\Z', '\1'].freeze,
197
+ ].freeze,
80
198
  "www.chugoku-np.co.jp" => [
81
199
  [%r'\A(.+) - 中国新聞\Z', '\1'].freeze,
82
200
  ].freeze,
83
201
  "www.chunichi.co.jp" => [
84
- [%r'\A中日新聞:(.+)\(CHUNICHI Web\)\Z', '\1'].freeze,
202
+ [%r'\A(.+)\(CHUNICHI Web\)\Z', '\1'].freeze,
203
+ [%r'\A中日新聞:(.+)\Z', '\1'].freeze,
204
+ [%r'\A中日スポーツ:(.+)\Z', '\1'].freeze,
85
205
  ].freeze,
86
206
  "www.cnn.co.jp" => [
87
207
  [%r'\ACNN\.co\.jp:(.+)\Z', '\1'].freeze,
88
208
  ].freeze,
209
+ "www.daily.co.jp" => [
210
+ [%r'\A(.+)/デイリースポーツonline\Z', '\1'].freeze,
211
+ ].freeze,
89
212
  "www.ehime-np.co.jp" => [
90
213
  [%r'\A(.+) 愛媛新聞社ONLINE\Z', '\1'].freeze,
91
214
  ].freeze,
92
215
  "www.fnn-news.com" => [
93
216
  [%r'\AFNNニュース: (.+)\Z', '\1'].freeze,
94
217
  ].freeze,
218
+ "www.fukuishimbun.co.jp" => [
219
+ [%r'\A(.+) 福井のニュース:福井新聞\Z', '\1'].freeze,
220
+ [%r'\A(.+) 福井新聞\Z', '\1'].freeze,
221
+ [%r'\A福井のニュース: (.+)\Z', '\1'].freeze,
222
+ [%r'\A全国のニュース: (.+)\Z', '\1'].freeze,
223
+ ].freeze,
95
224
  "www.gifu-np.co.jp" => [
96
225
  [%r'\A(.+)(?: | − )岐阜新聞 Web\Z', '\1'].freeze,
97
226
  ].freeze,
@@ -121,21 +250,56 @@ module IronnewsUtility
121
250
  "www.kyoto-np.co.jp" => [
122
251
  [%r'\A(.+):京都新聞\Z', '\1'].freeze,
123
252
  ].freeze,
253
+ "www.morningstar.co.jp" => [
254
+ [%r'\A(.+) /モーニングスター\Z', '\1'].freeze,
255
+ [%r'\A(.+)/ 株式NEWS\Z', '\1'].freeze,
256
+ [%r'\A(.+)/ 投信NEWS\Z', '\1'].freeze,
257
+ ].freeze,
124
258
  "www.mutusinpou.co.jp" => [
125
259
  [%r'\A(.+) by 陸奥新報\Z', '\1'].freeze,
126
260
  ].freeze,
127
261
  "www.nagasaki-np.co.jp" => [
128
262
  [%r'\A龍〜なが 長崎新聞ホームページ:(.+)\Z', '\1'].freeze,
129
263
  ].freeze,
264
+ "www.news24.jp" => [
265
+ [%r'\A(.+) \| NNNニュース\Z', '\1'].freeze,
266
+ ].freeze,
130
267
  "www.nhk.or.jp" => [
131
268
  [%r'\ANHKニュース (.+)\Z', '\1'].freeze,
132
269
  ].freeze,
270
+ "www.niigata-nippo.co.jp" => [
271
+ [%r'\A新潟日報社 netpark ::: (.+)\Z', '\1'].freeze,
272
+ ].freeze,
273
+ "www.nikkan.co.jp" => [
274
+ [%r'\A(.+):日刊工業新聞\Z', '\1'].freeze,
275
+ ].freeze,
133
276
  "www.nikkansports.com" => [
134
277
  [%r'\A(.+) : nikkansports.com\Z', '\1'].freeze,
135
278
  ].freeze,
279
+ "www.nikkei.co.jp" => [
280
+ [%r'\A(.+) \| 日経ネット関西版\Z', '\1'].freeze,
281
+ ].freeze,
282
+ "www.nikkeibp.co.jp" => [
283
+ [%r'\A(.+) \| nikkei BPnet 〈日経BPネット〉\Z', '\1'].freeze,
284
+ ].freeze,
136
285
  "www.nishinippon.co.jp" => [
137
286
  [%r'\A(.+) / 西日本新聞\Z', '\1'].freeze,
138
287
  ].freeze,
288
+ "www.nnn.co.jp" => [
289
+ [%r'\A(.+) - NetNihonkai-日本海新聞\Z', '\1'].freeze,
290
+ ].freeze,
291
+ "www.okinawatimes.co.jp" => [
292
+ [%r'\A沖縄タイムス \| (.+)\Z', '\1'].freeze,
293
+ ].freeze,
294
+ "www.recordchina.co.jp" => [
295
+ [%r'\Aレコードチャイナ:(.+)\Z', '\1'].freeze,
296
+ ].freeze,
297
+ "www.saga-s.co.jp" => [
298
+ [%r'\A(.+) :佐賀新聞の情報コミュニティサイト ひびの\Z', '\1'].freeze,
299
+ ].freeze,
300
+ "www.sanin-chuo.co.jp" => [
301
+ [%r'\A山陰中央新報 - (.+)\Z', '\1'].freeze,
302
+ ].freeze,
139
303
  "www.sankei-kansai.com" => [
140
304
  [%r'\A(.+):産経関西(産経新聞大阪本社公式ニュースサイト)\Z', '\1'].freeze,
141
305
  ].freeze,
@@ -143,6 +307,15 @@ module IronnewsUtility
143
307
  [%r'\A(.+) - SankeiBiz(サンケイビズ)\Z', '\1'].freeze,
144
308
  [%r'\A(.+) \(\d+/\d+ページ\)\Z', '\1'].freeze,
145
309
  ].freeze,
310
+ "www.sannichi.co.jp" => [
311
+ [%r'\A(.+) - 山梨日日新聞 みるじゃん\Z', '\1'].freeze,
312
+ ].freeze,
313
+ "www.sanspo.com" => [
314
+ [%r'\A(.+) - SANSPO\.COM\Z', '\1'].freeze,
315
+ ].freeze,
316
+ "www.sanyo.oni.co.jp" => [
317
+ [%r'\A(.+) - 山陽新聞地域ニュース\Z', '\1'].freeze,
318
+ ].freeze,
146
319
  "www.shikoku-np.co.jp" => [
147
320
  [%r'\A(.+) \| 四国新聞社\Z', '\1'].freeze,
148
321
  [%r'\A(.+) \| (?:香川の|全国|スポーツ)ニュース\Z', '\1'].freeze,
@@ -156,6 +329,11 @@ module IronnewsUtility
156
329
  [%r'\A(.+)|信濃毎日新聞[信毎web]\Z', '\1'].freeze,
157
330
  [%r'\A(.+)|(?:長野全県|東北信|中南信)ダイジェスト\Z', '\1'].freeze,
158
331
  ].freeze,
332
+ "www.shinshu-liveon.jp" => [
333
+ [%r'\A(.+) - 信州・長野県の生活をもっと楽しく!イベント情報や話題が満載のサイト!\Z', '\1'].freeze,
334
+ [%r'\A(.+) \| 信州Liveon\Z', '\1'].freeze,
335
+ [%r'\A(.+) \| トピックス\Z', '\1'].freeze,
336
+ ].freeze,
159
337
  "www.sponichi.co.jp" => [
160
338
  [%r'\A(.+) ― スポニチ Sponichi Annex ニュース\Z', '\1'].freeze,
161
339
  [%r'\A(.+) ― スポニチ Sponichi Annex 大阪\Z', '\1'].freeze,
@@ -169,11 +347,24 @@ module IronnewsUtility
169
347
  "www.toonippo.co.jp" => [
170
348
  [%r'\A(.+)/Web東奥・ニュース\d{14}\Z', '\1'].freeze,
171
349
  ].freeze,
350
+ "www.topics.or.jp" => [
351
+ [%r'\A(.+) - 徳島新聞社\Z', '\1'].freeze,
352
+ ].freeze,
353
+ "www.toyokeizai.net" => [
354
+ [%r'\A(.+) \| 投資・経済・ビジネスの東洋経済オンライン\Z', '\1'].freeze,
355
+ [%r'\A(.+) \| 企業戦略\Z', '\1'].freeze,
356
+ ].freeze,
172
357
  "www.yomiuri.co.jp" => [
173
358
  [%r'\A(.+) : YOMIURI ONLINE(読売新聞)\Z', '\1'].freeze,
174
359
  [%r'\A(.+) : (社会|マネー・経済|国際|地域|旅ゅ〜ん!)\Z', '\1'].freeze,
175
360
  [%r'\A(.+) : 経済ニュース\Z', '\1'].freeze,
176
361
  ].freeze,
362
+ "www.zaikei.co.jp" => [
363
+ [%r'\A\[財経新聞\] (.+)\Z', '\1'].freeze,
364
+ ].freeze,
365
+ "www3.nhk.or.jp" => [
366
+ [%r'\ANHKニュース (.+)\Z', '\1'].freeze,
367
+ ].freeze,
177
368
  "yamagata-np.jp" => [
178
369
  [%r'\A(.+)|山形新聞\Z', '\1'].freeze,
179
370
  ].freeze,
@@ -26,6 +26,10 @@ module IronnewsUtility
26
26
  title.gsub!(pattern, replace)
27
27
  }
28
28
 
29
+ title.strip!
30
+ title.gsub!(/\A +/, "") # 全角スペース
31
+ title.gsub!(/ +\z/, "") # 全角スペース
32
+
29
33
  return title
30
34
  end
31
35
  end
@@ -1,4 +1,4 @@
1
1
 
2
2
  module IronnewsUtility
3
- VERSION = "0.3.7"
3
+ VERSION = "0.3.8"
4
4
  end
@@ -5,8 +5,8 @@ Gem::Specification.new do |s|
5
5
  s.required_ruby_version = Gem::Requirement.new(">= 1.8.6")
6
6
 
7
7
  s.name = "nayutaya-ironnews-utility"
8
- s.version = "0.3.7"
9
- s.date = "2010-02-18"
8
+ s.version = "0.3.8"
9
+ s.date = "2010-03-10"
10
10
 
11
11
  s.authors = ["Yuya Kato"]
12
12
  s.email = "yuyakato@gmail.com"
@@ -17,7 +17,7 @@ class CleanseTitleTest < Test::Unit::TestCase
17
17
  }
18
18
  }
19
19
  cases.each { |url, title, expected|
20
- assert_equal(expected, @module.cleanse_title(url, title), title)
20
+ assert_equal(expected, @module.cleanse_title(url, title), url)
21
21
  }
22
22
  end
23
23
  end
metadata CHANGED
@@ -1,7 +1,7 @@
1
1
  --- !ruby/object:Gem::Specification
2
2
  name: nayutaya-ironnews-utility
3
3
  version: !ruby/object:Gem::Version
4
- version: 0.3.7
4
+ version: 0.3.8
5
5
  platform: ruby
6
6
  authors:
7
7
  - Yuya Kato
@@ -9,7 +9,7 @@ autorequire:
9
9
  bindir: bin
10
10
  cert_chain: []
11
11
 
12
- date: 2010-02-18 00:00:00 +09:00
12
+ date: 2010-03-10 00:00:00 +09:00
13
13
  default_executable:
14
14
  dependencies: []
15
15