kudzu 1.3.1 → 1.3.3

Sign up to get free protection for your applications and to get access to all the features.
Files changed (38) hide show
  1. checksums.yaml +4 -4
  2. data/lib/kudzu/adapter/memory/frontier.rb +2 -0
  3. data/lib/kudzu/adapter/memory/model/link.rb +2 -0
  4. data/lib/kudzu/adapter/memory/model/page.rb +2 -0
  5. data/lib/kudzu/adapter/memory/repository.rb +2 -0
  6. data/lib/kudzu/adapter/memory.rb +2 -0
  7. data/lib/kudzu/agent/all.rb +2 -0
  8. data/lib/kudzu/agent/fetcher.rb +2 -0
  9. data/lib/kudzu/agent/http/connection.rb +2 -0
  10. data/lib/kudzu/agent/http/connection_pool.rb +2 -0
  11. data/lib/kudzu/agent/page_filterer.rb +2 -0
  12. data/lib/kudzu/agent/reference.rb +2 -0
  13. data/lib/kudzu/agent/response.rb +2 -0
  14. data/lib/kudzu/agent/robots/parser.rb +2 -0
  15. data/lib/kudzu/agent/robots/txt.rb +2 -0
  16. data/lib/kudzu/agent/robots.rb +2 -0
  17. data/lib/kudzu/agent/sleeper.rb +2 -0
  18. data/lib/kudzu/agent/url_extractor.rb +2 -0
  19. data/lib/kudzu/agent/url_filterer.rb +2 -0
  20. data/lib/kudzu/agent/util/charset_detector.rb +2 -0
  21. data/lib/kudzu/agent/util/content_type_parser.rb +2 -0
  22. data/lib/kudzu/agent/util/matcher.rb +2 -0
  23. data/lib/kudzu/agent/util/mime_type_detector.rb +2 -0
  24. data/lib/kudzu/agent/util/title_parser.rb +2 -0
  25. data/lib/kudzu/agent.rb +2 -0
  26. data/lib/kudzu/callback.rb +2 -0
  27. data/lib/kudzu/common.rb +2 -0
  28. data/lib/kudzu/config/filter.rb +2 -0
  29. data/lib/kudzu/config.rb +2 -1
  30. data/lib/kudzu/crawler.rb +2 -0
  31. data/lib/kudzu/model/all.rb +2 -0
  32. data/lib/kudzu/model/base.rb +2 -0
  33. data/lib/kudzu/model/link.rb +2 -0
  34. data/lib/kudzu/model/page.rb +2 -0
  35. data/lib/kudzu/thread_pool.rb +2 -0
  36. data/lib/kudzu/version.rb +3 -1
  37. data/lib/kudzu.rb +2 -0
  38. metadata +6 -6
checksums.yaml CHANGED
@@ -1,7 +1,7 @@
1
1
  ---
2
2
  SHA256:
3
- metadata.gz: 2893a15f2faff7f0697f7ce39f16a6f0e9c0972645c5e19aafb5751153432480
4
- data.tar.gz: a8b9b0230be54ca43852e5b0700e1ea329258cbffcba284772f8d025ee14cbcf
3
+ metadata.gz: 23938da09ecb4c4e3ff461895fc9f13d23e5a0fdfe9bc3418ce293a7f67f1983
4
+ data.tar.gz: 72ca0abdfb26e500cb6697722cb29fc7f785678aafb91310d1302c0bddce05c1
5
5
  SHA512:
6
- metadata.gz: 568b1bf560acb842ba3fa768c68078be503f271f7b1eed383ac67e8529bc568fc5ba720fc35f3c4e6973c07beede61baf39710d33ddfc13d01d75dbf14e2b090
7
- data.tar.gz: 2537befd681ca91912003aad92b02ae69666afcc9fc816b330064c34547e0b94c5981d86ba369f45644b6161cb1fdbc980aea49aef7ec33e2be5a7b698597545
6
+ metadata.gz: 652f2a2d5bfe9c7b4741ea719e819f6dd48265b6f8069be81d5cc632f44e8230e24d10346d7c2084359a40012b1de1ac75e31b63fbaadb38effc674636dcfc33
7
+ data.tar.gz: 6a5edeea524e8ddae6ca35de93dbf265fb828dccd1afa330b525fdeb34cec75cd21227e208be755926192fbc36f8dbac340d89d5a6c25485f392aecb84171d16
@@ -1,3 +1,5 @@
1
+ # frozen_string_literal: true
2
+
1
3
  module Kudzu
2
4
  module Adapter
3
5
  module Memory
@@ -1,3 +1,5 @@
1
+ # frozen_string_literal: true
2
+
1
3
  module Kudzu
2
4
  module Adapter
3
5
  module Memory
@@ -1,3 +1,5 @@
1
+ # frozen_string_literal: true
2
+
1
3
  module Kudzu
2
4
  module Adapter
3
5
  module Memory
@@ -1,3 +1,5 @@
1
+ # frozen_string_literal: true
2
+
1
3
  module Kudzu
2
4
  module Adapter
3
5
  module Memory
@@ -1,3 +1,5 @@
1
+ # frozen_string_literal: true
2
+
1
3
  Dir[File.join(__dir__, 'memory/**/*.rb')].each do |file|
2
4
  require_relative file
3
5
  end
@@ -1,3 +1,5 @@
1
+ # frozen_string_literal: true
2
+
1
3
  Dir[File.join(__dir__, '**/*.rb')].each do |file|
2
4
  require_relative file
3
5
  end
@@ -1,3 +1,5 @@
1
+ # frozen_string_literal: true
2
+
1
3
  module Kudzu
2
4
  class Agent
3
5
  class Fetcher
@@ -1,3 +1,5 @@
1
+ # frozen_string_literal: true
2
+
1
3
  module Kudzu
2
4
  class Agent
3
5
  class Http
@@ -1,3 +1,5 @@
1
+ # frozen_string_literal: true
2
+
1
3
  module Kudzu
2
4
  class Agent
3
5
  class Http
@@ -1,3 +1,5 @@
1
+ # frozen_string_literal: true
2
+
1
3
  module Kudzu
2
4
  class Agent
3
5
  class PageFilterer
@@ -1,3 +1,5 @@
1
+ # frozen_string_literal: true
2
+
1
3
  module Kudzu
2
4
  class Agent
3
5
  class Reference < Kudzu::Model::Base
@@ -1,3 +1,5 @@
1
+ # frozen_string_literal: true
2
+
1
3
  module Kudzu
2
4
  class Agent
3
5
  class Response < Kudzu::Model::Base
@@ -1,3 +1,5 @@
1
+ # frozen_string_literal: true
2
+
1
3
  module Kudzu
2
4
  class Agent
3
5
  class Robots
@@ -1,3 +1,5 @@
1
+ # frozen_string_literal: true
2
+
1
3
  module Kudzu
2
4
  class Agent
3
5
  class Robots
@@ -1,3 +1,5 @@
1
+ # frozen_string_literal: true
2
+
1
3
  module Kudzu
2
4
  class Agent
3
5
  class Robots
@@ -1,3 +1,5 @@
1
+ # frozen_string_literal: true
2
+
1
3
  module Kudzu
2
4
  class Agent
3
5
  class Sleeper
@@ -1,3 +1,5 @@
1
+ # frozen_string_literal: true
2
+
1
3
  module Kudzu
2
4
  class Agent
3
5
  class UrlExtractor
@@ -1,3 +1,5 @@
1
+ # frozen_string_literal: true
2
+
1
3
  module Kudzu
2
4
  class Agent
3
5
  class UrlFilterer
@@ -1,3 +1,5 @@
1
+ # frozen_string_literal: true
2
+
1
3
  module Kudzu
2
4
  class Agent
3
5
  class Util
@@ -1,3 +1,5 @@
1
+ # frozen_string_literal: true
2
+
1
3
  module Kudzu
2
4
  class Agent
3
5
  class Util
@@ -1,3 +1,5 @@
1
+ # frozen_string_literal: true
2
+
1
3
  module Kudzu
2
4
  class Agent
3
5
  class Util
@@ -1,3 +1,5 @@
1
+ # frozen_string_literal: true
2
+
1
3
  module Kudzu
2
4
  class Agent
3
5
  class Util
@@ -1,3 +1,5 @@
1
+ # frozen_string_literal: true
2
+
1
3
  module Kudzu
2
4
  class Agent
3
5
  class Util
data/lib/kudzu/agent.rb CHANGED
@@ -1,3 +1,5 @@
1
+ # frozen_string_literal: true
2
+
1
3
  require_relative 'agent/all'
2
4
 
3
5
  module Kudzu
@@ -1,3 +1,5 @@
1
+ # frozen_string_literal: true
2
+
1
3
  module Kudzu
2
4
  class Callback
3
5
  CALLBACKS = [:on_success, # 2xx
data/lib/kudzu/common.rb CHANGED
@@ -1,3 +1,5 @@
1
+ # frozen_string_literal: true
2
+
1
3
  module Kudzu
2
4
  class Common
3
5
  class << self
@@ -1,3 +1,5 @@
1
+ # frozen_string_literal: true
2
+
1
3
  module Kudzu
2
4
  class Config
3
5
  class Filter
data/lib/kudzu/config.rb CHANGED
@@ -1,4 +1,5 @@
1
- require 'ostruct'
1
+ # frozen_string_literal: true
2
+
2
3
  require_relative 'config/filter'
3
4
 
4
5
  module Kudzu
data/lib/kudzu/crawler.rb CHANGED
@@ -1,3 +1,5 @@
1
+ # frozen_string_literal: true
2
+
1
3
  require_relative 'model/all'
2
4
  require_relative 'adapter/memory'
3
5
  require_relative 'agent'
@@ -1,3 +1,5 @@
1
+ # frozen_string_literal: true
2
+
1
3
  Dir[File.join(__dir__, '*.rb')].each do |file|
2
4
  require_relative file
3
5
  end
@@ -1,3 +1,5 @@
1
+ # frozen_string_literal: true
2
+
1
3
  module Kudzu
2
4
  module Model
3
5
  class Base
@@ -1,3 +1,5 @@
1
+ # frozen_string_literal: true
2
+
1
3
  module Kudzu
2
4
  module Model
3
5
  module Link
@@ -1,3 +1,5 @@
1
+ # frozen_string_literal: true
2
+
1
3
  module Kudzu
2
4
  module Model
3
5
  module Page
@@ -1,3 +1,5 @@
1
+ # frozen_string_literal: true
2
+
1
3
  module Kudzu
2
4
  class ThreadPool
3
5
  def initialize(size)
data/lib/kudzu/version.rb CHANGED
@@ -1,3 +1,5 @@
1
+ # frozen_string_literal: true
2
+
1
3
  module Kudzu
2
- VERSION = '1.3.1'
4
+ VERSION = '1.3.3'
3
5
  end
data/lib/kudzu.rb CHANGED
@@ -1,3 +1,5 @@
1
+ # frozen_string_literal: true
2
+
1
3
  require 'net/http'
2
4
  require 'http-cookie'
3
5
  require 'addressable'
metadata CHANGED
@@ -1,14 +1,14 @@
1
1
  --- !ruby/object:Gem::Specification
2
2
  name: kudzu
3
3
  version: !ruby/object:Gem::Version
4
- version: 1.3.1
4
+ version: 1.3.3
5
5
  platform: ruby
6
6
  authors:
7
7
  - Yoshikazu Kaneta
8
- autorequire:
8
+ autorequire:
9
9
  bindir: bin
10
10
  cert_chain: []
11
- date: 2023-06-23 00:00:00.000000000 Z
11
+ date: 2024-10-17 00:00:00.000000000 Z
12
12
  dependencies:
13
13
  - !ruby/object:Gem::Dependency
14
14
  name: addressable
@@ -213,7 +213,7 @@ homepage: https://github.com/kanety/kudzu
213
213
  licenses:
214
214
  - MIT
215
215
  metadata: {}
216
- post_install_message:
216
+ post_install_message:
217
217
  rdoc_options: []
218
218
  require_paths:
219
219
  - lib
@@ -228,8 +228,8 @@ required_rubygems_version: !ruby/object:Gem::Requirement
228
228
  - !ruby/object:Gem::Version
229
229
  version: '0'
230
230
  requirements: []
231
- rubygems_version: 3.3.3
232
- signing_key:
231
+ rubygems_version: 3.5.11
232
+ signing_key:
233
233
  specification_version: 4
234
234
  summary: A simple web crawler for ruby
235
235
  test_files: []