wombat 2.7.0 → 2.8.0
Sign up to get free protection for your applications and to get access to all the features.
- checksums.yaml +5 -5
- data/CHANGELOG.md +4 -0
- data/Gemfile +1 -1
- data/Gemfile.lock +65 -61
- data/VERSION +1 -1
- data/fixtures/vcr_cassettes/follow_relative_links.yml +352 -352
- data/fixtures/vcr_cassettes/xml_with_namespace.yml +1 -1
- data/spec/integration/follow_relative_links_spec.rb +3 -3
- data/spec/spec_helper.rb +1 -1
- data/wombat.gemspec +7 -7
- metadata +4 -4
@@ -2,7 +2,7 @@
|
|
2
2
|
http_interactions:
|
3
3
|
- request:
|
4
4
|
method: get
|
5
|
-
uri: http://ws.audioscrobbler.com/2.0/?
|
5
|
+
uri: http://ws.audioscrobbler.com/2.0/?api_key=060decb474b73437d5bbec37f527ae7b&location=San%20Francisco&method=geo.getevents
|
6
6
|
body: ''
|
7
7
|
headers:
|
8
8
|
accept:
|
@@ -8,7 +8,7 @@ describe 'following pages referred by relative links' do
|
|
8
8
|
crawler.send(:include, Wombat::Crawler)
|
9
9
|
|
10
10
|
crawler.base_url "http://liteproblog.ru/"
|
11
|
-
crawler.path '
|
11
|
+
crawler.path 'vocabulary'
|
12
12
|
|
13
13
|
crawler.vocabulary 'css=.postcontent ul li a', :follow do
|
14
14
|
entry do
|
@@ -23,8 +23,8 @@ describe 'following pages referred by relative links' do
|
|
23
23
|
|
24
24
|
# There are many entries. It's enough to check first three ones
|
25
25
|
results["vocabulary"][0..2].should == [
|
26
|
-
{"entry"=>{"word"=>"Dmoz", "description"=>"Dmoz - второй по популярности каталог сайтов после Яндекс-Каталога. Адрес каталога Dmoz - .\r\n\r\nЗаметка: Как вы думаете, мебель из Китая дорого стоит? Правильно, она недорогая. поставляет не только мебель, но и китайскую сантехнику, люстры, светильники и многое другое. Если вы хотите здорово съэкономить, то не пропустите такую возможность."}},
|
27
|
-
{"entry"=>{"word"=>"PR", "description"=>"PR - PageRank - показатель Google для конкретной страницы сайта. Зависит от количества ссылок на страницу и от качества этих ссылок. Учитываются и ссылки с внутренних страниц сайта. PR влияет на выдачу в поисковой системе Google. Повысить PR сайту можно внутренней перелинковкой. PR бывает тулбарный и внутренний. Апдейт PR происходит, как правило, несколько раз в год. Сейчас у этого блога PR=2, а у сайта PR равен 3."}},
|
26
|
+
{"entry"=>{"word"=>"Dmoz", "description"=>"Dmoz - второй по популярности каталог сайтов после Яндекс-Каталога. Адрес каталога Dmoz - .\r\n\r\nЗаметка: Как вы думаете, мебель из Китая дорого стоит? Правильно, она недорогая. поставляет не только мебель, но и китайскую сантехнику, люстры, светильники и многое другое. Если вы хотите здорово съэкономить, то не пропустите такую возможность."}},
|
27
|
+
{"entry"=>{"word"=>"PR", "description"=>"PR - PageRank - показатель Google для конкретной страницы сайта. Зависит от количества ссылок на страницу и от качества этих ссылок. Учитываются и ссылки с внутренних страниц сайта. PR влияет на выдачу в поисковой системе Google. Повысить PR сайту можно внутренней перелинковкой. PR бывает тулбарный и внутренний. Апдейт PR происходит, как правило, несколько раз в год. Сейчас у этого блога PR=2, а у сайта PR равен 3."}},
|
28
28
|
{"entry"=>{"word"=>"Sape (сапа)", "description"=>"Sape (сапа) - это самая популярная в России биржа ссылок. Адрес: www.sape.ru. Веб-мастер может продать ссылки со своего сайта, а оптимизатор купить ссылки. Продажа ссылок осуществляется с ежемесячной оплатой. Цена на ссылки устанавливается веб-мастером для своего сайта. Для продажи ссылок на сайте размещается специальный код системы и в дальнейшем вся продажа происходит автоматически через веб-интерфейс Sape.\r\n\r\nЗаметка: Интересует монтаж и эксплуатация противопожарных металлических ДПМ или ? Читайте технологическую документацию и нормативные документы."}}
|
29
29
|
]
|
30
30
|
end
|
data/spec/spec_helper.rb
CHANGED
data/wombat.gemspec
CHANGED
@@ -2,16 +2,16 @@
|
|
2
2
|
# DO NOT EDIT THIS FILE DIRECTLY
|
3
3
|
# Instead, edit Jeweler::Tasks in Rakefile, and run 'rake gemspec'
|
4
4
|
# -*- encoding: utf-8 -*-
|
5
|
-
# stub: wombat 2.
|
5
|
+
# stub: wombat 2.8.0 ruby lib
|
6
6
|
|
7
7
|
Gem::Specification.new do |s|
|
8
8
|
s.name = "wombat".freeze
|
9
|
-
s.version = "2.
|
9
|
+
s.version = "2.8.0"
|
10
10
|
|
11
11
|
s.required_rubygems_version = Gem::Requirement.new(">= 0".freeze) if s.respond_to? :required_rubygems_version=
|
12
12
|
s.require_paths = ["lib".freeze]
|
13
13
|
s.authors = ["Felipe Lima".freeze]
|
14
|
-
s.date = "
|
14
|
+
s.date = "2018-11-28"
|
15
15
|
s.description = "Generic Web crawler with a DSL that parses structured data from web pages".freeze
|
16
16
|
s.email = "felipe.lima@gmail.com".freeze
|
17
17
|
s.extra_rdoc_files = [
|
@@ -86,7 +86,7 @@ Gem::Specification.new do |s|
|
|
86
86
|
s.homepage = "http://felipecsl.github.com/wombat".freeze
|
87
87
|
s.licenses = ["MIT".freeze]
|
88
88
|
s.required_ruby_version = Gem::Requirement.new(">= 1.9".freeze)
|
89
|
-
s.rubygems_version = "2.
|
89
|
+
s.rubygems_version = "2.7.3".freeze
|
90
90
|
s.summary = "Ruby DSL to scrape web pages".freeze
|
91
91
|
|
92
92
|
if s.respond_to? :specification_version then
|
@@ -102,7 +102,7 @@ Gem::Specification.new do |s|
|
|
102
102
|
s.add_development_dependency(%q<jeweler>.freeze, [">= 0"])
|
103
103
|
s.add_development_dependency(%q<rspec>.freeze, [">= 0"])
|
104
104
|
s.add_development_dependency(%q<vcr>.freeze, [">= 0"])
|
105
|
-
s.add_development_dependency(%q<
|
105
|
+
s.add_development_dependency(%q<webmock>.freeze, [">= 0"])
|
106
106
|
s.add_development_dependency(%q<coveralls>.freeze, [">= 0"])
|
107
107
|
else
|
108
108
|
s.add_dependency(%q<mechanize>.freeze, [">= 0"])
|
@@ -114,7 +114,7 @@ Gem::Specification.new do |s|
|
|
114
114
|
s.add_dependency(%q<jeweler>.freeze, [">= 0"])
|
115
115
|
s.add_dependency(%q<rspec>.freeze, [">= 0"])
|
116
116
|
s.add_dependency(%q<vcr>.freeze, [">= 0"])
|
117
|
-
s.add_dependency(%q<
|
117
|
+
s.add_dependency(%q<webmock>.freeze, [">= 0"])
|
118
118
|
s.add_dependency(%q<coveralls>.freeze, [">= 0"])
|
119
119
|
end
|
120
120
|
else
|
@@ -127,7 +127,7 @@ Gem::Specification.new do |s|
|
|
127
127
|
s.add_dependency(%q<jeweler>.freeze, [">= 0"])
|
128
128
|
s.add_dependency(%q<rspec>.freeze, [">= 0"])
|
129
129
|
s.add_dependency(%q<vcr>.freeze, [">= 0"])
|
130
|
-
s.add_dependency(%q<
|
130
|
+
s.add_dependency(%q<webmock>.freeze, [">= 0"])
|
131
131
|
s.add_dependency(%q<coveralls>.freeze, [">= 0"])
|
132
132
|
end
|
133
133
|
end
|
metadata
CHANGED
@@ -1,14 +1,14 @@
|
|
1
1
|
--- !ruby/object:Gem::Specification
|
2
2
|
name: wombat
|
3
3
|
version: !ruby/object:Gem::Version
|
4
|
-
version: 2.
|
4
|
+
version: 2.8.0
|
5
5
|
platform: ruby
|
6
6
|
authors:
|
7
7
|
- Felipe Lima
|
8
8
|
autorequire:
|
9
9
|
bindir: bin
|
10
10
|
cert_chain: []
|
11
|
-
date:
|
11
|
+
date: 2018-11-28 00:00:00.000000000 Z
|
12
12
|
dependencies:
|
13
13
|
- !ruby/object:Gem::Dependency
|
14
14
|
name: mechanize
|
@@ -137,7 +137,7 @@ dependencies:
|
|
137
137
|
- !ruby/object:Gem::Version
|
138
138
|
version: '0'
|
139
139
|
- !ruby/object:Gem::Dependency
|
140
|
-
name:
|
140
|
+
name: webmock
|
141
141
|
requirement: !ruby/object:Gem::Requirement
|
142
142
|
requirements:
|
143
143
|
- - ">="
|
@@ -255,7 +255,7 @@ required_rubygems_version: !ruby/object:Gem::Requirement
|
|
255
255
|
version: '0'
|
256
256
|
requirements: []
|
257
257
|
rubyforge_project:
|
258
|
-
rubygems_version: 2.
|
258
|
+
rubygems_version: 2.7.3
|
259
259
|
signing_key:
|
260
260
|
specification_version: 4
|
261
261
|
summary: Ruby DSL to scrape web pages
|