simple2ch 0.1.8 → 1.1.0

checksums.yaml

@@ -1,7 +1,7 @@
 ---
 SHA1:
-  metadata.gz: a828cfa87f21889ba2484cb3d9671f105ef269ae
-  data.tar.gz: 2d966a2833cd5e664f0de975605f7f39c41c9d22
+  metadata.gz: 43d1380870c6d075419424891d4352ef6186d990
+  data.tar.gz: 4aee2a9072f121ffdb6cb8e2cbcf3fa4fb4abb37
 SHA512:
-  metadata.gz: 2978f20a31058b412ea155168b9b5df645079f8938398a38f041ff17520e04958f13b7938cfb0e3d94bd4f90ad6b9416ceede5e58116222f81312b74775556a4
-  data.tar.gz: e8b2bc6562634309cf9a87e5b2f487b82b5c8a4aefb3563588a01fca7fdd7d2dcc755e6e419106f13795a34987b56ba4c671fd23186ec6bacd927f9ff40650f9
+  metadata.gz: 90fe3acbd460eca6f3c405fffec2e4392a18c4adf65e8660289905c63cc61eebfc366cc8b9a18b2fd64e036b4628dbd5131b191893796dcb125b7638be01a018
+  data.tar.gz: 2f2dd214ed6f8579e257e07b98165ae4746e88c715a849c27d3c2712a8b19c375f959803cc92720b489483015ffea9241d80264f5238decd6f3b18581051ca75

data/.gitignore

@@ -119,3 +119,4 @@ build/
 # unless supporting rvm < 1.11.0 or doing something fancy, ignore this:
 .rvmrc
 
+.bin

data/.rubocop.yml

@@ -0,0 +1,25 @@
+AllCops:
+  TargetRubyVersion: 2.3
+  Includes:
+    - Gemfile
+    - Rakefile
+  Excludes:
+    - bin/**
+    - vendor/**
+    - .bundle/**
+
+SymbolArray:
+  Enabled: true
+
+CollectionMethods:
+  PreferredMethods:
+    collect: 'map'
+    inject: 'reduce'
+    detect: 'find'
+    find_all: 'select'
+
+SpaceInsideHashLiteralBraces:
+  EnforcedStyleIsWithSpaces: false
+
+Style/AsciiComments:
+  Enabled: false

data/.travis.yml

@@ -0,0 +1,8 @@
+language: ruby
+rvm:
+ - 2.1.7
+ - 2.2.2
+ - 2.2.3
+ - 2.3.0
+bundler_args: --jobs=2
+script: bundle exec rspec

data/README.md

@@ -4,18 +4,19 @@
 Ruby用の2chの簡易リーダーです。
 
 ![gem version](https://badge.fury.io/rb/simple2ch.svg)
-[リファレンス](http://dogwood008.github.io/simple2ch/)
+[リファレンス](http://www.rubydoc.info/gems/simple2ch/)
 
 ## 更新内容
 
-* [v0.1.8]
-	* 機能追加
-		* URLからスレを取得した時に，subject.txtに当該スレが無い場合，タイトルをdatの解析結果から取得するよう変更
-* [v0.1.7]
-	* 機能追加
-		* Thre#url, Thre#dat_urlの追加
-	* バグ修正
-		* エンコーディング関連
+## [v1.1.0]
+
+* 全面的にメソッド数を見直し、大幅なリファクタリング
+  * v0.X 系とは互換性一部なし
+* クラス名変更： Res -> Response, Thre -> Thread
+
+## [v0.1.9]
+
+* 著者をプレインテキストで返すメソッドを追加
 
 ## Installation
 
@@ -38,48 +39,41 @@ Or install it yourself as:
 require 'simple2ch'
 ```
 
-### Simple2ch
+### Simple2ch:BBS
 
 ```ruby
-boards = Simple2ch.boards 'http://open2ch.net' #=> [#<Simple2ch::Board>, ..., #<Simple2ch::Board>]
+bbs = Simple2ch::BBS(:sc)
+bbs.boards #=> [#<Simple2ch::Board>, ...]
 ```
 
 ### Simple2ch::Board
+
 ```ruby
-board = boards.find{|b| b.title == 'プログラム'} #=> #<Simple2ch::Board>
-board.title #=> "プログラム"
-board.thres #=> [#<Simple2ch::Thre>, ..., #<Simple2ch::Thre>]
+news_boards = bbs.boards.find_all { |b| b.title.include?('ニュース') } #=> [#<Simple2ch::Board>...]
+news_board = news_boards.first
+news_board.title #=> "ニュース速報α"
+news_board.threads #=> [#<Simple2ch::Thread>, ...]
 ```
 
 ### Simple2ch::Thre
 
 ```ruby
-thre = board.thres.find{|t| t.title == 'さぁRubyはじめるよ'} #=> #<Simple2ch::Thre>
-reses = thre.reses #=> [#<Simple2ch::Res>, ..., #<Simple2ch::Res>]
+thread = news_board.threads.first
+thread.resonses #=> [#<Simple2ch::Response>, ...]
 ```
 
 #### URLを直接指定して取得
 
 ```ruby
-thre = Simple2ch::Thre.create_from_url('http://toro.open2ch.net/test/read.cgi/tech/1371956681/l50') #=> #<Simple2ch::Thre>
-thre.title #=> "さぁRubyはじめるよ"
-reses = thre.reses
-```
-
-#### 板を指定して取得
-
-```ruby
-board = Simple2ch::Board.new('ニュー速VIP', 'http://viper.open2ch.net/news4vip/')
-thres = board.thres #=>[#<Simple2ch::Thre>, ..., #<Simple2ch::Thre>]
-thre = thres.find{|t| t.title == 'プログラム'}
-reses = thre.reses
+thread = Simple2ch::Thread.new('http://toro.open2ch.net/test/read.cgi/tech/1371956681/') #=> #<Simple2ch::Thre>
+thread.title #=> "さぁRubyはじめるよ"
 ```
 
-
 ### Simple2ch::Res
 
 ```ruby
-res = reses[0] #=> #<Simple2ch::Res>
+thread.responses #=> [#<Simple2ch::Response>, ...]
+res = thread.responses[0] #=> #<Simple2ch::Response>
 res.res_num #=> 1
 res.contents #=> "Ruby覚えたいなぁ"
 res.author #=> "s"
@@ -88,7 +82,6 @@ res.date #=> 2013-06-23 12:04:41 +0900
 res.mail #=> ""
 ```
 
-
 ## Contributing
 
 1. Fork it ( https://github.com/dogwood008/simple2ch/fork )

data/UPDATES.md

@@ -1,20 +1,53 @@
-[v0.1.5]
+## [v1.1.0]
+
+* 全面的にメソッド数を見直し、大幅なリファクタリング
+  * v0.X 系とは互換性一部なし
+* クラス名変更： Res -> Response, Thre -> Thread
+
+## [v0.1.9]
+
+* 著者をプレインテキストで返すメソッドを追加
+
+## [v0.1.8]
+
+* 機能追加
+  * URLからスレを取得した時に，subject.txtに当該スレが無い場合，タイトルをdatの解析結果から取得するよう変更
+  
+## [v0.1.7]
+
+* 機能追加
+  * Thre#url, Thre#dat_urlの追加
+* バグ修正
+  * エンコーディング関連
+
+## [v0.1.6]
+
+* 機能追加
+  * 板一覧の取得に対応
+  * URLからスレの取得に対応
+
+
+## [v0.1.5]
+
 * デバッグ
   * StandardErrorで例外を捕縛できない問題を修正
 * 機能追加
   * おーぷん２ちゃんねる対応
-  
-[v0.1.4]
+
+## [v0.1.4]
+
 * デバッグ
   * Thre#resesを実行した際に、IDを持たないレスがあれば、DatParseExceptionが起きる問題を修正
 * エイリアス追加
   * Thre#resをThre#resesのエイリアスに設定
 
-[v0.1.3]
+## [v0.1.3]
+
 * デバッグ
   * Res#received_anchors呼び出し時にNoThreGivenExceptionが起きる場合がある問題を修正
 
-[v0.1.2]
+## [v0.1.2]
+
 * リファクタリングとデバッグ
 * メソッド修正
   * Thre#reses(Array<Fixnum>)で指定したレス番号のレスを取得
@@ -25,14 +58,16 @@
   * Res#received_anchors(Thre)
     * 自レスへの被レスを返す
 
-[v0.1.1]
+## [v0.1.1]
+
 * メソッド追加
   * Res#anchorsの追加
     * レス中のアンカーを抽出する
 * 必要gemの追加
   * Charwidthを追加
 
-[v0.1.0]
+## [v0.1.0]
+
 * メソッド名の変更
   * Thre.new から Thre.parse に変更
   * Thre.newは引数の数を変更
@@ -42,7 +77,8 @@
   * その他
 * その他微細な修正
 
-[v0.0.2]
+## [v0.0.2]
+
 * メソッド名の変更
   * Board#threads から Board#thres に変更
 * ドキュメントの再生成
@@ -51,5 +87,6 @@
   * 使用法などを追加
   * yardの結果を追加
 
-[v0.0.1]
+## [v0.0.1]
+
 * 初版

data/lib/simple2ch.rb

@@ -1,108 +1,92 @@
-require "simple2ch/version"
+require 'simple2ch/version'
+require 'singleton'
 
 module Simple2ch
-  DEBUG = false
-
-  require 'simple2ch/simple2ch_exception'
-  require 'simple2ch/board'
-  require 'simple2ch/dat'
-  require 'simple2ch/res'
-  require 'simple2ch/thre'
+  require_relative './simple2ch/simple2ch_error'
+  require_relative './simple2ch/board'
+  require_relative './simple2ch/dat'
+  require_relative './simple2ch/response'
+  require_relative './simple2ch/thread'
+  require_relative './simple2ch/regex'
+  require_relative './simple2ch/bbs'
+  require 'socket'
   require 'open-uri'
   require 'time'
   require 'charwidth'
-  require 'pp' if DEBUG
-
-  def self.root
-    File.dirname __dir__
-  end
-
-  # Module variables
-  @@boards = {}
+  require 'retryable'
+  require 'bbs_2ch_url_validator'
+  require 'pry'
 
   # HTTPでGETする
-  # @param [URI] url URL
+  # @param [URI or Bbs2chUrlValidator::UrlInfo or String] url URL
   # @return [String] 取得本文
-  def self.fetch(url)
-    encode = if url.to_s.index('subject.txt') || url.to_s.index('.dat') || url.to_s.index('bbsmenu')
-                    'SHIFT_JIS'
-                  else
-                    'UTF-8'
-                  end
-    OpenURI.open_uri(url, 'r:binary').read.force_encoding(encode).encode('utf-8', undef: :replace, invalid: :replace, replace: '〓')
-  end
-
-  # bbsmenuのURLが渡されればセットして，板リストを返す
-  # @param [String] bbsmenu_url bbs_menuのURL
-  # @option [Boolean] force_refresh キャッシュを利用せず板リストを再取得する
-  # @return [Array<Simple2ch::Board>] 板リスト
-  def self.boards(bbsmenu_url=nil, force_refresh:nil)
-    if bbsmenu_url
-      bbsmenu_urls = {
-        net: 'http://menu.2ch.net/bbsmenu.html', sc: 'http://2ch.sc/bbsmenu.html', open: 'http://open2ch.net/bbsmenu.html'
-      }
-      # http://www.rubular.com/r/u1TJbQAULD
-      board_extract_regex = /<A HREF=http:\/\/(?<subdomain>\w+).(?<openflag>open|)2ch.(?<tld>sc|net)\/(?<board_name>\w+)\/>(?<board_name_ja>.+)<\/A>/
-      type_of_2ch = self.type_of_2ch(bbsmenu_url)
-
-      if force_refresh || (boards=@@boards.fetch(type_of_2ch, [])).size == 0
-        prepared_bbsmenu_url = bbsmenu_urls[type_of_2ch]
-
-        data = nil
-        boards_array = []
-
-        raise RuntimeError, "Failed to fetch #{url}" if (data = fetch(URI.parse(prepared_bbsmenu_url))).empty?
-        raise RuntimeError, "Failed to parse #{url}" if (boards_array=data.scan(board_extract_regex).uniq).empty?
-
-        boards_array.each do |b|
-          boards << Simple2ch::Board.new(b[4],"http://#{b[0]}.#{b[1]}2ch.#{b[2]}/#{b[3]}/")
-        end
-        @@boards[type_of_2ch] = boards
-      end
+  def self.fetch(url, encode = nil)
+    url_obj = URI.parse(url.to_s)
+    encode ||= encoded_in_sjis?(url) ? 'sjis' : 'utf-8'
+    errors_to_retry = [OpenURI::HTTPError, SocketError]
+    Retryable.retryable(tries: 5, on: errors_to_retry, sleep: 3) do
+      OpenURI.open_uri(url_obj, "r:#{encode}")
+             .read
+             .encode('utf-8', undef: :replace, invalid: :replace, replace: '〓')
     end
-    @@boards[type_of_2ch]
   end
 
   # 2chのタイプを返す
   # @param [String] url URL
   # @return [Symbol] :open or :net or :sc
-  # @raise [NotA2chUrlException] 2chのURLでないURLが与えられた際に発生
+  # @raise [NotA2chUrlError] 2chのURLでないURLが与えられた際に発生
   def self.type_of_2ch(url)
-    parsed_url = self.parse_url(url)
-    openflag = parsed_url[:openflag]
-    tld = parsed_url[:tld]
-    if openflag && tld=='net'
+    parsed_url = Bbs2chUrlValidator::URL.parse(url)
+    raise NotA2chUrlError, "Given URL: #{url}" unless parsed_url
+    case true
+    when parsed_url.is_open && parsed_url.tld == 'net'
       :open
-    elsif !openflag && tld=='net'
+    when !parsed_url.is_open && parsed_url.tld == 'net'
       :net
-    elsif !openflag && tld=='sc'
+    when !parsed_url.is_open && parsed_url.tld == 'sc'
       :sc
     else
-      raise NotA2chUrlException, "Given URL: #{url}"
+      binding.pry
+      raise NotA2chUrlError, "Given URL: #{url}"
     end
   end
 
-  # URLを分解する
-  # @param [String] url URL
-  # @return [Array<String>] 結果(thread_key等が該当無しの場合，nilを返す)
-  # @raise [NotA2chUrlException] 2chのURLでないURLが与えられた際に発生
-  def self.parse_url(url)
-    # http://www.rubular.com/r/h63xdfmQIH
-    case url.to_s
-      when /http:\/\/(?<server_name>.+)\.(?<openflag>open)?2ch.(?<tld>net|sc)\/test\/read.cgi\/(?<board_name>.+)\/(?<thread_key>[0-9]+)/,
-          /http:\/\/(?<server_name>.+)\.(?<openflag>open)?2ch.(?<tld>net|sc)\/(?<board_name>.+)\/subject\.txt/,
-          /http:\/\/(?<server_name>.+)\.(?<openflag>open)?2ch\.(?<tld>net|sc)\/(?<board_name>.+)\//,
-          /http:\/\/(?<server_name>.+)\.(?<openflag>open)?2ch\.(?<tld>net|sc)\/(?<board_name>\w+)/,
-          /http:\/\/(?<server_name>.+)\.(?<openflag>open)?2ch.(?<tld>net|sc)\/(.+)\/dat\/(?<thread_key>[0-9]+)\.dat/,
-          /http:\/\/(?:(?<server_name>.*)\.)?(?:(?<openflag>open)?)2ch\.(?<tld>sc|net)/
-        {server_name: ($~[:server_name] rescue nil),
-         board_name: ($~[:board_name] rescue nil),
-         openflag: ($~[:openflag] rescue nil),
-         tld: $~[:tld],
-         thread_key: ($~[:thread_key] rescue nil) }
-      else
-        raise NotA2chUrlException, "Given URL: #{url}"
+  # @param [Object] url
+  # @param [Hash] type
+  def self.generate_url(type, url, params = {})
+    # bbs:     http://www.2ch.sc/, http://open2ch.net/
+    # board:   http://viper.2ch.sc/news4vip/, http://viper.open2ch.net/news4vip/
+    # dat:     http://viper.2ch.sc/news4vip/dat/9990000001.dat, http://viper.open2ch.net/news4vip/dat/1439127670.dat
+    # subject: http://viper.2ch.sc/news4vip/subject.txt, http://viper.open2ch.net/news4vip/subject.txt
+    # setting: http://viper.2ch.sc/news4vip/SETTING.TXT, http://viper.open2ch.net/news4vip/SETTING.TXT
+    # thread:  http://viper.2ch.sc/test/read.cgi/news4vip/9990000001/, http://viper.open2ch.net/test/read.cgi/news4vip/1439127670
+
+    url_obj = Bbs2chUrlValidator::URL.parse(url.to_s)
+    domain = "#{url_obj.open? ? 'open' : ''}2ch.#{url_obj.tld}"
+    board_name = params[:board_name] ? params[:board_name] : url_obj.board_name
+    case type
+    when :bbs
+      "http://www.#{domain}.#{url_obj.tld}/"
+    when :board
+      "http://#{url_obj.server_name}.#{domain}/#{board_name}/"
+    when :dat
+      url_obj.dat
+    when :subject
+      url_obj.subject
+    when :setting
+      url_obj.setting
+    when :thread
+      thread_key = params[:thread_key] ? params[:thread_key] : url_obj.thread_key
+      "http://#{url_obj.server_name}.#{domain}/test/read.cgi/#{board_name}/#{thread_key}/"
     end
   end
-end
 
+  private
+
+  def self.encoded_in_sjis?(url)
+    url.to_s.include?('subject.txt') ||
+      url.to_s.include?('SETTING.TXT') ||
+      url.to_s.include?('.dat') ||
+      url.to_s.include?('bbsmenu')
+  end
+end

data/lib/simple2ch/bbs.rb

@@ -0,0 +1,54 @@
+module Simple2ch
+  require 'socket'
+  require 'open-uri'
+  require 'time'
+  require 'charwidth'
+  require 'retryable'
+
+  class BBS
+    attr_reader :type_of_2ch, :boards, :updated_at
+
+    def initialize(type_of_2ch)
+      case type_of_2ch
+      when :sc, :open
+        @type_of_2ch = type_of_2ch
+      else
+        raise %{Invalid "type_of_2ch" given: #{type_of_2ch} (:sc or :open is correct.)}
+      end
+      @updated_at = Time.now
+    end
+
+    def root
+      File.dirname __dir__
+    end
+
+    # @option [Boolean] force_reload キャッシュを利用せず板リストを再取得する
+    # @return [Array<Simple2ch::Board>] 板リスト
+    def boards(force_reload: nil, bbsmenu_url: nil)
+      if force_reload
+        @boards = fetch_boards(bbsmenu_url)
+      else
+        @boards ||= fetch_boards(bbsmenu_url)
+      end
+    end
+
+    private
+
+    def fetch_boards(bbsmenu_url = nil)
+      bbsmenu_urls = {
+        sc: 'http://2ch.sc/bbsmenu.html', open: 'http://open2ch.net/bbsmenu.html'
+      }
+
+      bbsmenu_url = bbsmenu_urls[type_of_2ch] if bbsmenu_url.nil?
+      data = Simple2ch.fetch(URI.parse(bbsmenu_url))
+      raise "Failed to fetch #{bbsmenu_url}" if data.empty?
+      scaned_data = data.scan(Regex::BOARD_EXTRACT_REGEX).uniq
+      raise "Failed to parse #{bbsmenu_url}" if scaned_data.empty?
+
+      boards = scaned_data.map do |b|
+        Simple2ch::Board.new("http://#{b[0]}.#{b[1]}2ch.#{b[2]}/#{b[3]}/", title: b[4])
+      end
+      boards.compact
+    end
+  end
+end