wombat 2.7.0 → 2.8.0
This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
- checksums.yaml +5 -5
- data/CHANGELOG.md +4 -0
- data/Gemfile +1 -1
- data/Gemfile.lock +65 -61
- data/VERSION +1 -1
- data/fixtures/vcr_cassettes/follow_relative_links.yml +352 -352
- data/fixtures/vcr_cassettes/xml_with_namespace.yml +1 -1
- data/spec/integration/follow_relative_links_spec.rb +3 -3
- data/spec/spec_helper.rb +1 -1
- data/wombat.gemspec +7 -7
- metadata +4 -4
@@ -2,7 +2,7 @@
|
|
2
2
|
http_interactions:
|
3
3
|
- request:
|
4
4
|
method: get
|
5
|
-
uri: http://ws.audioscrobbler.com/2.0/?
|
5
|
+
uri: http://ws.audioscrobbler.com/2.0/?api_key=060decb474b73437d5bbec37f527ae7b&location=San%20Francisco&method=geo.getevents
|
6
6
|
body: ''
|
7
7
|
headers:
|
8
8
|
accept:
|
@@ -8,7 +8,7 @@ describe 'following pages referred by relative links' do
|
|
8
8
|
crawler.send(:include, Wombat::Crawler)
|
9
9
|
|
10
10
|
crawler.base_url "http://liteproblog.ru/"
|
11
|
-
crawler.path '
|
11
|
+
crawler.path 'vocabulary'
|
12
12
|
|
13
13
|
crawler.vocabulary 'css=.postcontent ul li a', :follow do
|
14
14
|
entry do
|
@@ -23,8 +23,8 @@ describe 'following pages referred by relative links' do
|
|
23
23
|
|
24
24
|
# There are many entries. It's enough to check first three ones
|
25
25
|
results["vocabulary"][0..2].should == [
|
26
|
-
{"entry"=>{"word"=>"Dmoz", "description"=>"Dmoz - второй по популярности каталог сайтов после Яндекс-Каталога. Адрес каталога Dmoz - .\r\n\r\nЗаметка: Как вы думаете, мебель из Китая дорого стоит? Правильно, она недорогая. поставляет не только мебель, но и китайскую сантехнику, люстры, светильники и многое другое. Если вы хотите здорово съэкономить, то не пропустите такую возможность."}},
|
27
|
-
{"entry"=>{"word"=>"PR", "description"=>"PR - PageRank - показатель Google для конкретной страницы сайта. Зависит от количества ссылок на страницу и от качества этих ссылок. Учитываются и ссылки с внутренних страниц сайта. PR влияет на выдачу в поисковой системе Google. Повысить PR сайту можно внутренней перелинковкой. PR бывает тулбарный и внутренний. Апдейт PR происходит, как правило, несколько раз в год. Сейчас у этого блога PR=2, а у сайта PR равен 3."}},
|
26
|
+
{"entry"=>{"word"=>"Dmoz", "description"=>"Dmoz - второй по популярности каталог сайтов после Яндекс-Каталога. Адрес каталога Dmoz - .\r\n\r\nЗаметка: Как вы думаете, мебель из Китая дорого стоит? Правильно, она недорогая. поставляет не только мебель, но и китайскую сантехнику, люстры, светильники и многое другое. Если вы хотите здорово съэкономить, то не пропустите такую возможность."}},
|
27
|
+
{"entry"=>{"word"=>"PR", "description"=>"PR - PageRank - показатель Google для конкретной страницы сайта. Зависит от количества ссылок на страницу и от качества этих ссылок. Учитываются и ссылки с внутренних страниц сайта. PR влияет на выдачу в поисковой системе Google. Повысить PR сайту можно внутренней перелинковкой. PR бывает тулбарный и внутренний. Апдейт PR происходит, как правило, несколько раз в год. Сейчас у этого блога PR=2, а у сайта PR равен 3."}},
|
28
28
|
{"entry"=>{"word"=>"Sape (сапа)", "description"=>"Sape (сапа) - это самая популярная в России биржа ссылок. Адрес: www.sape.ru. Веб-мастер может продать ссылки со своего сайта, а оптимизатор купить ссылки. Продажа ссылок осуществляется с ежемесячной оплатой. Цена на ссылки устанавливается веб-мастером для своего сайта. Для продажи ссылок на сайте размещается специальный код системы и в дальнейшем вся продажа происходит автоматически через веб-интерфейс Sape.\r\n\r\nЗаметка: Интересует монтаж и эксплуатация противопожарных металлических ДПМ или ? Читайте технологическую документацию и нормативные документы."}}
|
29
29
|
]
|
30
30
|
end
|
data/spec/spec_helper.rb
CHANGED
data/wombat.gemspec
CHANGED
@@ -2,16 +2,16 @@
|
|
2
2
|
# DO NOT EDIT THIS FILE DIRECTLY
|
3
3
|
# Instead, edit Jeweler::Tasks in Rakefile, and run 'rake gemspec'
|
4
4
|
# -*- encoding: utf-8 -*-
|
5
|
-
# stub: wombat 2.
|
5
|
+
# stub: wombat 2.8.0 ruby lib
|
6
6
|
|
7
7
|
Gem::Specification.new do |s|
|
8
8
|
s.name = "wombat".freeze
|
9
|
-
s.version = "2.
|
9
|
+
s.version = "2.8.0"
|
10
10
|
|
11
11
|
s.required_rubygems_version = Gem::Requirement.new(">= 0".freeze) if s.respond_to? :required_rubygems_version=
|
12
12
|
s.require_paths = ["lib".freeze]
|
13
13
|
s.authors = ["Felipe Lima".freeze]
|
14
|
-
s.date = "
|
14
|
+
s.date = "2018-11-28"
|
15
15
|
s.description = "Generic Web crawler with a DSL that parses structured data from web pages".freeze
|
16
16
|
s.email = "felipe.lima@gmail.com".freeze
|
17
17
|
s.extra_rdoc_files = [
|
@@ -86,7 +86,7 @@ Gem::Specification.new do |s|
|
|
86
86
|
s.homepage = "http://felipecsl.github.com/wombat".freeze
|
87
87
|
s.licenses = ["MIT".freeze]
|
88
88
|
s.required_ruby_version = Gem::Requirement.new(">= 1.9".freeze)
|
89
|
-
s.rubygems_version = "2.
|
89
|
+
s.rubygems_version = "2.7.3".freeze
|
90
90
|
s.summary = "Ruby DSL to scrape web pages".freeze
|
91
91
|
|
92
92
|
if s.respond_to? :specification_version then
|
@@ -102,7 +102,7 @@ Gem::Specification.new do |s|
|
|
102
102
|
s.add_development_dependency(%q<jeweler>.freeze, [">= 0"])
|
103
103
|
s.add_development_dependency(%q<rspec>.freeze, [">= 0"])
|
104
104
|
s.add_development_dependency(%q<vcr>.freeze, [">= 0"])
|
105
|
-
s.add_development_dependency(%q<
|
105
|
+
s.add_development_dependency(%q<webmock>.freeze, [">= 0"])
|
106
106
|
s.add_development_dependency(%q<coveralls>.freeze, [">= 0"])
|
107
107
|
else
|
108
108
|
s.add_dependency(%q<mechanize>.freeze, [">= 0"])
|
@@ -114,7 +114,7 @@ Gem::Specification.new do |s|
|
|
114
114
|
s.add_dependency(%q<jeweler>.freeze, [">= 0"])
|
115
115
|
s.add_dependency(%q<rspec>.freeze, [">= 0"])
|
116
116
|
s.add_dependency(%q<vcr>.freeze, [">= 0"])
|
117
|
-
s.add_dependency(%q<
|
117
|
+
s.add_dependency(%q<webmock>.freeze, [">= 0"])
|
118
118
|
s.add_dependency(%q<coveralls>.freeze, [">= 0"])
|
119
119
|
end
|
120
120
|
else
|
@@ -127,7 +127,7 @@ Gem::Specification.new do |s|
|
|
127
127
|
s.add_dependency(%q<jeweler>.freeze, [">= 0"])
|
128
128
|
s.add_dependency(%q<rspec>.freeze, [">= 0"])
|
129
129
|
s.add_dependency(%q<vcr>.freeze, [">= 0"])
|
130
|
-
s.add_dependency(%q<
|
130
|
+
s.add_dependency(%q<webmock>.freeze, [">= 0"])
|
131
131
|
s.add_dependency(%q<coveralls>.freeze, [">= 0"])
|
132
132
|
end
|
133
133
|
end
|
metadata
CHANGED
@@ -1,14 +1,14 @@
|
|
1
1
|
--- !ruby/object:Gem::Specification
|
2
2
|
name: wombat
|
3
3
|
version: !ruby/object:Gem::Version
|
4
|
-
version: 2.
|
4
|
+
version: 2.8.0
|
5
5
|
platform: ruby
|
6
6
|
authors:
|
7
7
|
- Felipe Lima
|
8
8
|
autorequire:
|
9
9
|
bindir: bin
|
10
10
|
cert_chain: []
|
11
|
-
date:
|
11
|
+
date: 2018-11-28 00:00:00.000000000 Z
|
12
12
|
dependencies:
|
13
13
|
- !ruby/object:Gem::Dependency
|
14
14
|
name: mechanize
|
@@ -137,7 +137,7 @@ dependencies:
|
|
137
137
|
- !ruby/object:Gem::Version
|
138
138
|
version: '0'
|
139
139
|
- !ruby/object:Gem::Dependency
|
140
|
-
name:
|
140
|
+
name: webmock
|
141
141
|
requirement: !ruby/object:Gem::Requirement
|
142
142
|
requirements:
|
143
143
|
- - ">="
|
@@ -255,7 +255,7 @@ required_rubygems_version: !ruby/object:Gem::Requirement
|
|
255
255
|
version: '0'
|
256
256
|
requirements: []
|
257
257
|
rubyforge_project:
|
258
|
-
rubygems_version: 2.
|
258
|
+
rubygems_version: 2.7.3
|
259
259
|
signing_key:
|
260
260
|
specification_version: 4
|
261
261
|
summary: Ruby DSL to scrape web pages
|