simple2ch 0.1.8 → 1.1.0

data/lib/simple2ch/board.rb

@@ -1,80 +1,56 @@
 module Simple2ch
   class Board
-    # @return [URI] 板のURL
+    # @return [Bbs2chUrlValidator::URL] 板のURL
     attr_reader :url
     # @return [String] 板のタイトル
     attr_reader :title
-    # @return [String] サーバ名
-    attr_reader :server_name
-    # @return [String] 板の名前（コンピュータ名）
-    attr_reader :board_name
+    # @return [Time] 板オブジェクト更新日時
+    attr_reader :updated_at
 
 
     # @param [String] title 板の名前
     # @param [String] url 板のURL
     # @option [Boolean] fetch_title 板の名前を自動取得するか
-    def initialize(title, url, fetch_title:nil)
-      @server_name = @board_name = nil
-      @url = validate_url url
-      @title = if fetch_title
-                 (b=Simple2ch.boards(url).find{|bb| bb.url.to_s == @url.to_s}) &&  b.class!=Array ? b.title : nil
-               else
-                 title
-               end
-      @thres = []
+    def initialize(url, title: nil)
+      @url = validate_url(url)
+      @title = title
+      @updated_at = Time.now
     end
 
     # 板に属する全てのスレッドを返す
     # @return [Array<Thre>] 板に属する全てのスレッド
-    def thres
-      if @thres.size > 0
-        @thres
-      else
-        fetch_all_thres
-      end
-    end
-
-    # おーぷん2chか否かを返す
-    # @return [Boolean] おーぷん2chか否か
-    def open2ch?
-      @f_open2ch && true
+    def threads
+      @threads ||= fetch_all_threads
     end
 
-    # 2chタイプ名の取得
-    # @return [Symbol] 2chタイプ名(:net, :sc, :open)
-    def type_of_2ch
-      Simple2ch.type_of_2ch(@url.to_s)
+    def ==(other)
+      @url.to_s == other.url.to_s
     end
 
     private
-    # URLが正しいかバリデーションする
-    # @param [URI] url
-    # @raise [Simple2ch::NotA2chUrlException] 2chのフォーマットで無いURLを渡したときに発生
-    # @raise [URI::InvalidURIError] そもそもURLのフォーマットで無いときに発生
+
     def validate_url(url)
-      sp_uri = URI.parse url
-      if sp_uri.host.index '2ch'
-        parsed_url = Simple2ch.parse_url(url.to_s)
-        @server_name = parsed_url[:server_name]
-        @board_name = parsed_url[:board_name]
-        @f_open2ch = !(parsed_url[:openflag].to_s.empty?)
-        @tld = parsed_url[:tld]
-        URI.parse("http://#{server_name}.#{parsed_url[:openflag]}2ch.#{@tld}/#{board_name}/")
-      else
-        raise NotA2chUrlException, "Given URL :#{url}"
-      end
+      parsed = if url.instance_of?(Bbs2chUrlValidator::UrlInfo)
+                 url
+               else
+                 Bbs2chUrlValidator::URL.parse(url)
+               end
+      return parsed if parsed && !parsed.board_name.empty?
+      raise NotA2chBoardUrlError
     end
 
     # 板に属する全てのスレッドをsubject.txtから取得する
     # @return [Array<Thre>] 板に属する全てのスレッド
-    def fetch_all_thres
-      subject_url = @url+'subject.txt'
+    def fetch_all_threads
+      subject_url = @url.subject
 
       subject_txt = Simple2ch.fetch(subject_url)
+      @threads = []
       subject_txt.each_line do |line|
-        @thres << Thre.parse(self, line)
+        @threads << Simple2ch::Thread.parse(@url, line)
       end
-      @thres
+      @updated_at = Time.now
+      @threads
     end
   end
-end
+end

data/lib/simple2ch/dat.rb

@@ -4,60 +4,62 @@ module Simple2ch
     attr_reader :thread_key
     # @return [String] タイトル
     attr_reader :title
+    # @return [Bbs2chUrlValidator::UrlInfo] URL
+    attr_reader :url
 
     # @param [Thre] thre スレッド
     def initialize(thre)
       @thre = thre
       @thread_key = thre.thread_key
       @data = nil
-      @reses = nil
-      @f_kako_log = nil
+      @responses = nil
+      @is_kako_log = nil
     end
 
     # Datを解析して、レスを返す
     # @return [Array<Res>] レス
-    def reses
-      parse_dat unless @reses
-      @reses
+    def responses
+      parse_dat unless @responses
+      @responses
     end
 
     # Datを解析して過去ログかどうかを返す
     # @return [Boolean] 過去ログか否か
     def kako_log?
-      parse_dat if @f_kako_log.nil?
-      @f_kako_log
+      parse_dat if @is_kako_log.nil?
+      @is_kako_log
     end
 
-    private
-    # datのURLを返す
-    # @return [URI] datのURL
-    def dat_url
-      @thre.board.url+'dat/'+(@thread_key+'.dat')
+    # @return [Bbs2chUrlValidator::UrlInfo] dat URL
+    def url
+      Bbs2chUrlValidator::URL.parse(@thre.url.dat)
     end
 
+    private
+
     # datファイルを取得する
     # @return [String] 取得したdatファイルの中身
     def fetch_dat
-      @data ||= Simple2ch.fetch(dat_url)
+      @data ||= Simple2ch.fetch(url)
     end
 
     # datファイルを解析してResを作成する
     def parse_dat
       res_num = 0
-      @reses = []
-      @f_kako_log = false
+      @responses = []
+      @is_kako_log = false
       fetch_dat.each_line do |l|
         res_num += 1
         begin
           if res_num==1
-            title = l.split('<>').pop
+            title = l.split('<>').pop.chomp
             @title = title unless @title
           end
-          @reses << Res.parse(res_num, l, @thre)
-        rescue KakoLogException
-          @f_kako_log = true
+          @responses << Response.parse(res_num, l)
+        rescue KakoLogError
+          @is_kako_log = true
         end
       end
     end
   end
-end
+end

data/lib/simple2ch/regex.rb

@@ -0,0 +1,16 @@
+module Simple2ch
+  class Regex
+    # http://www.rubular.com/r/u1TJbQAULD
+    BOARD_EXTRACT_REGEX = /<A HREF=http:\/\/(?<subdomain>\w+).(?<openflag>open|)2ch.(?<tld>sc|net)\/(?<board_name>\w+)\/>(?<board_name_ja>.+)<\/A>/
+    # http://www.rubular.com/r/a43KJpItsL
+    OPEN2CH_THREAD_DATA_EXAMPLE_REGEX = /^<a href="(\/test\/read.cgi\/\w+\/\d{10}\/)l50">1: (.+) \(\d+\)<\/a>$/
+    # http://www.rubular.com/r/tjZefqnhP2
+    SC2CH_FIRST_RES_DATA_EXAMPLE_REGEX = /<dt>1 ：<font color=green><b>(.+)<\/b><\/font>：/
+    # http://www.rubular.com/r/Mn3dPVrtXc
+    OPEN2CH_FIRST_RES_DATA_EXAMPLE_REGEX = /^<dl><dt res=1><a class=num val=1 href=.\/1>1<\/a> ：<font color=#1c740d><b>(.+)<\/b>.+font color=red>主<\/font>/
+
+    constants(true).each do |c|
+      eval "#{c}.freeze"
+    end
+  end
+end

data/lib/simple2ch/{res.rb → response.rb}

@@ -1,5 +1,5 @@
 module Simple2ch
-  class Res
+  class Response
     # @return [Fixnum] レス番号
     attr_reader :res_num
     # @return [String] 投稿者名
@@ -12,86 +12,81 @@ module Simple2ch
     attr_reader :mail
     # @return [String] 内容
     attr_reader :contents
-    # @attr_writer [Thre] thre スレッド
-    attr_writer :thre
 
-    KAKO_LOG_INFO = '過去ログ ★<><>[過去ログ]<><em>■ このスレッドは過去ログ倉庫に格納されています</em><>'
+    KAKO_LOG_INFO = '過去ログ ★<><>[過去ログ]<><em>■ このスレッドは過去ログ倉庫に格納されています</em><>'.freeze
 
-    #
     # @param [Fixnum] res_num レス番号
     # @param [String] author 投稿者名
     # @param [String] author_id ID
     # @param [Time] date 書き込み日時
     # @param [String] mail メール欄
     # @param [String] contents 内容
-    def initialize(res_num, author: '', author_id: '', date: nil, mail: '', contents: '', thre: nil)
+    def initialize(res_num, author: '', author_id: '', date: nil, mail: '', contents: '')
       @res_num = res_num
       @author = author
       @author_id = author_id
       @date = date
       @mail = mail
       @contents = contents
-      @thre = thre
     end
 
     # Datの1行から各項目を分離して、Resオブジェクトを返す
     # @param [Fixnum] res_num レス番号
     # @param [String] contents datのデータ1行
     # @return [Res] 新規Resオブジェクト
-    # @raise [KakoLogException] 過去ログ情報をパースしようとした際に発生
-    def self.parse(res_num, contents, thre=nil)
-      unless contents.strip == KAKO_LOG_INFO
-        hash = parse_dat(contents)
-        hash[:thre] = thre if thre
-        return self.new(res_num, hash)
-      else
-        raise KakoLogException
-      end
+    # @raise [KakoLogError] 過去ログ情報をパースしようとした際に発生
+    def self.parse(res_num, contents)
+      raise KakoLogError if contents.strip == KAKO_LOG_INFO
+      hash = parse_dat(contents)
+      self.new(res_num, hash)
     end
 
     # アンカーを抽出する　荒らしの場合は空配列を返す
     # @return [Array<Fixnum>] 昇順ソート済みアンカー、荒らしの場合は空配列
     def anchors
       arashi_removal_regex = /(?:\d{1,4}(?:\]*>)?(?:>|\[＞,+-\]){1,2}){9}/
-      unless self.contents =~ arashi_removal_regex
-        splitter_regex = '[,、， 　]'
-        digit_regex = '(?:\d|[０-９])+'
-        hyphen_regex = '[−ｰー\-〜~〜]'
-        extracted = self.contents.scan /&gt;((?:#{digit_regex}(?:#{splitter_regex}|#{hyphen_regex})*)+)/
-        anchors = extracted.flatten.to_s.gsub(/[\"\[\]]/,'').split(/#{splitter_regex}/)
-        anchors.delete('')
-        anchors.map! do |a|
-          if a =~ /(#{digit_regex})#{hyphen_regex}(#{digit_regex})/
-            (Range.new parseInt($1), parseInt($2)).to_a
-          else
-            parseInt(a)
-          end
+      return [] if self.contents =~ arashi_removal_regex
+      splitter_regex = '[,、， 　]'
+      digit_regex = '(?:\d|[０-９])+'
+      hyphen_regex = '[−ｰー\-〜~〜]'
+      extracted = self.contents.scan /&gt;((?:#{digit_regex}(?:#{splitter_regex}|#{hyphen_regex})*)+)/
+      anchors = extracted.flatten.to_s.gsub(/[\"\[\]]/, '').split(/#{splitter_regex}/)
+      anchors.delete('')
+      anchors.map! do |a|
+        if a =~ /(#{digit_regex})#{hyphen_regex}(#{digit_regex})/
+          (Range.new parseInt($1), parseInt($2)).to_a
+        else
+          parseInt(a)
         end
-        anchors.flatten.uniq.sort
-      else
-        []
       end
+      anchors.flatten.uniq.sort
     end
 
-    # 自レスへのアンカーが書き込まれているレス番号を返す
-    # @return [Array<Fixnum>] レス番号
-    def received_anchors
-      thre = get_thre
-      received_anchors = thre.received_anchors
-      received_anchors.fetch(@res_num, [])
+    # あぼーんレスか否か
+    # @return [Boolean] あぼーんならtrue
+    def abone?
+      @date == 'あぼーん'
     end
 
-    private
-    # スレッドを取得する
-    # @return [Thre] スレッド
-    def get_thre
-      if @thre
-        @thre
-      else
-        raise NoThreGivenException
-      end
+    # レスの内容をテキスト情報で得る。&nbsp, &lt, &gt, <br>はそれぞれ「 」、「<」、「>」、「(改行)」に置換される。
+    # @return [String] テキスト情報でのレスの内容
+    def contents_text
+      require 'htmlentities'
+      anchor_regex = /<a href="\.\.\/test\/read.cgi\/.+\/\d{10}\/\d{1,4}" target="_blank">(>>\d{1,4})<\/a>/
+      @htmlentities ||= HTMLEntities.new
+      @htmlentities.decode(@contents).gsub('<br>', "\n").gsub(/<\/?b>/, '').gsub(anchor_regex, '\1')
     end
 
+    # HTMLタグを取り除いた投稿者名
+    # @return <String> HTMLタグを取り除いた投稿者名
+    def res_author_text
+      require 'htmlentities'
+      @htmlentities ||= HTMLEntities.new
+      @htmlentities.decode(@author).gsub('<br>', "\n").gsub(/<\/?b>/, '')
+    end
+
+    private
+
     # 全角数字をFixnumへ変換する
     # @param [String] strnum 全角数字
     # @return [Fixnum] 数字
@@ -101,9 +96,9 @@ module Simple2ch
 
     # Datの1行から各項目を分離して、Resオブジェクトを返すメソッドの実体
     # @param [String] dat datのデータ1行
-    # @raise [DatParseException] Datのパースに失敗したときに発生
+    # @raise [DatParseError] Datのパースに失敗したときに発生
     def self.parse_dat(dat)
-      split_date_and_id_regex = /(?<time>^\d{4}\/\d{2}\/\d{2}\(.\) ?\d{2}:\d{2}:\d{2}(\.\d{2})?)(?: ID:(?<author_id>\S+)$){0,1}/
+      split_date_and_id_regex = /(?<time>^\d{4}\/\d{2}\/\d{2}\(.\) ?\d{2}:\d{2}:\d{2}(\.\d{2,3})?)(?: ID:(?<author_id>(\S|.)+)$)?/
       ret = {}
       split = dat.split('<>')
       ret[:author] = split[0]
@@ -116,19 +111,25 @@ module Simple2ch
         ret[:author_id] = $~[:author_id]
       else
         if dat.index 'あぼーん'
-          {
-              author: 'あぼーん',
-              mail: 'あぼーん',
-              contents: 'あぼーん',
-              date: 'あぼーん',
-              author_id: 'あぼーん',
-          }
+          return a_bone_data
+        elsif dat.index 'Over 1000 Thread'
+          # do nothing
         else
-          raise DatParseException, "Data didn't match regex. Data:#{date_and_author_id}"
+          raise DatParseError, "Data didn't match regex. Data:#{date_and_author_id}"
         end
       end
 
       ret
     end
   end
+
+  def a_bone_data
+    {
+      author: 'あぼーん',
+      mail: 'あぼーん',
+      contents: 'あぼーん',
+      date: 'あぼーん',
+      author_id: 'あぼーん',
+    }
+  end
 end

data/lib/simple2ch/simple2ch_error.rb

@@ -0,0 +1,9 @@
+module Simple2ch
+  class Simple2chError < StandardError; end
+  class NotA2chUrlError < Simple2chError; end
+  class NotA2chBoardUrlError < NotA2chUrlError; end
+  class NotA2chThreadUrlError < NotA2chUrlError; end
+  class KakoLogError < Simple2chError; end
+  class DatParseError < Simple2chError; end
+  class NoThreGivenError < Simple2chError; end
+end

data/lib/simple2ch/thread.rb

@@ -0,0 +1,113 @@
+module Simple2ch
+  class Thread
+    # @return [String] スレッドキー(Unix time)
+    attr_reader :thread_key
+    # @return [Bbs2chUrlValidator::UrlInfo] URL
+    attr_reader :url
+
+    # @param [Bbs2chUrlValidator::UrlInfo] URL
+    # @param [String] title スレッド名
+    def initialize(url, title: nil)
+      @title = title
+      @url = if url.instance_of?(Bbs2chUrlValidator::UrlInfo)
+               url
+             else
+               Bbs2chUrlValidator::URL.parse(url)
+             end
+      raise NotA2chThreadUrlError.new "url: #{url}, title: #{title}" if !@url || @url.thread_key.nil?
+    end
+
+    # 板オブジェクトとsubject.txtの1行データを渡すとスレオブジェクトを返す
+    # @param [Bbs2chUrlValidator::UrlInfo] board_url スレッドが属する板情報
+    # @param [String] thread_data 0000000000.dat<>スレッドタイトル (レス数)
+    # @return [Simple2ch::Thread] スレ
+    def self.parse(board_url, thread_data)
+      thread_data.match(/(\d{10})\.dat<>(.+) \((\d+)\)/) do |m|
+        thread_key = m[1]
+        title = m[2].force_encoding('utf-8').chomp
+        thread_url = Simple2ch.generate_url(:thread, board_url, thread_key: thread_key)
+        self.new(thread_url, title: title)
+      end
+    end
+
+    # Datを解析して、レスを返す
+    # @param [Array<Fixnum>,Fixnum] num_of_responses 取得したいレス番号
+    def responses(num_of_responses = nil)
+      fetch_dat if @responses.nil?
+      case num_of_responses
+      when Array
+        raise 'Blank array was given.' if num_of_responses.empty?
+        @responses.find_all { |r| num_of_responses.index(r.res_num) }
+      when Fixnum
+        @responses.find { |r| r.res_num == num_of_responses }
+      when NilClass
+        @responses
+      end
+    end
+    alias response responses
+
+    # 過去ログかどうかを返す
+    # @return [Boolean] 過去ログか否か
+    def kako_log?
+      fetch_dat if @is_kako_log.nil?
+      @is_kako_log
+    end
+
+    # 全てのレスに対し、あるレスへのアンカーが書き込まれているレス番号のハッシュを返す
+    # @return [Hash]{ res_num<Fixnum> => res_nums<Array<Fixnum>> } レス番号のハッシュ
+    def received_anchors
+      @received_anchors ||= calc_received_anchors
+    end
+
+    # 2chタイプ名の取得
+    # @return [Symbol] 2chタイプ名(:sc, :open)
+    def type_of_2ch
+      Simple2ch.type_of_2ch(@url.to_s)
+    end
+
+    ## スレのURLを返す
+    ## @return [String] スレのURL
+    #def url(board: nil, thread_key: nil, force_refresh: false)
+    #  if @url && !force_refresh
+    #    @url
+    #  else
+    #    if board
+    #      parsed_url = Bbs2chUrlValidator::URL.parse(board.url.built_url)
+    #      Simple2ch.generate_url(:thread, parsed_url, thread_key: thread_key)
+    #    else
+    #      fail "Not implemented."
+    #    end
+    #  end
+    #end
+
+    # タイトルを返す
+    # @return [String] スレッドの名前
+    def title
+      fetch_dat unless @title
+      @title
+    end
+
+    private
+
+    # 全てのレスに対し、あるレスへのアンカーが書き込まれているレス番号のハッシュを返す
+    # @return [Hash]{ res_num<Fixnum> => res_nums<Array<Fixnum>> } レス番号のハッシュ
+    def calc_received_anchors
+      ret = {}
+      responses.each do |res|
+        res.anchors.each do |anchor|
+          ret.store(anchor, ret.fetch(anchor, []).push(res.res_num))
+        end
+      end
+      ret
+    end
+
+    # Datを取ってきてレスと過去ログかどうかを返す
+    # @return [Boolean] is_kako_log 過去ログか否か
+    def fetch_dat
+      dat = Dat.new(self)
+      @responses = dat.responses
+      @title = dat.title
+      @is_kako_log = dat.kako_log?
+    end
+  end
+end