baiduserp 0.0.2 → 0.1.0

data/README.md

@@ -1,29 +1,193 @@
 # Baiduserp
 
-TODO: Write a gem description
+此gem的目的是专门用来解析百度的搜索结果页.最主要的功能是能得到十个自然结果的排名和URL,以及左侧/右侧的广告的排名/URL.
+
+目前这个只是一个基本能用的版本,可能会有各种各样的问题,欢迎提BUG.
 
 ## Installation
 
-Add this line to your application's Gemfile:
+1. 系统要求
+
+Linux或Mac. Linux最好使用新版本的Ubuntu或Fedora系列.
+
+2. 安装ruby环境
+
+只支持ruby1.9及以上. 最好的安装ruby的方法是通过[RVM](https://rvm.io/),RVM的使用方法可以搜索一下,有很多教程.
+
+在最新的Ubuntu或Fedora系列的Linux中,也可以通过apt-get或yum安装ruby1.9.
 
-    gem 'baiduserp'
+3. 安装gem依赖
 
-And then execute:
+需要依赖nokogiri这个gem.而这个gem需要系统中的两个库.
+所以在ubuntu或者fedora下需要
 
-    $ bundle
+```
+$ sudo apt-get install libxslt-dev libxslt libxml2-dev libxml2  # ubuntu
+$ sudo yum install libxml2-devel libxml2 libxslt libxslt-devel  # fedora
+```
 
-Or install it yourself as:
+以上依赖安装完成后,
 
-    $ gem install baiduserp
+`$ gem install nokogiri`
+
+4. 最后我们安装 baiduserp gem
+
+`$ gem install baiduserp`
 
 ## Usage
 
-TODO: Write usage instructions here
+ruby 代码示例
+
+```
+require 'baiduserp'
+require 'open-uri'
+require 'pp'
+
+pp Baiduserp.search 'keyword'
+
+pp Baiduserp.parse open(http://www.baidu.com/s?wd=keyword).read.encode('UTF-8')
+
+```
+
+另外为了方便非ruby程序使用以及一次性调试,也提供了命令行调用方法,可以通过JSON格式交换数据:
+
+```
+$ baiduserp -h
+Usage: 
+1. baiduserp -s 'keyword' # search 'keyword' and print parse result
+2. baiduserp -s 'keyword' -o output.json # -o means save result to a file
+3. baiduserp -f 'file path' # parse html source code from file
+4. baiduserp -s 'keyword' -j # search 'keyword' and print parse result in JSON format
+    -s, --search Keyword             Search Keyword & Parse SERP
+    -j, --jsonprint                  Print result in JSON format
+    -o, --output Output              Save Result to File in JSON format
+    -f, --file File                  Parse Local File
+```
+
+最终结果采用了哈希表和数组相互嵌套的数据结构,其中,每条结果的paid值中,0代表自然结果,1代表左侧广告,2代表右侧广告.结果示例如下:
+
+```
+$ baiduserp -s 香港
+{:serp_results=>
+  [{:rank=>4001,
+    :url=>"Agoda.Com.Cn/Hong_Kong",
+    :title=>nil,
+    :content=>"Agoda.Com.Cn/Hong_Kong",
+    :paid=>1},
+   {:rank=>4002,
+    :url=>"WWW.XKCITS.COM///TEL0755-86178888",
+    :title=>nil,
+    :content=>"WWW.XKCITS.COM///TEL0755-86178888",
+    :paid=>1},
+   {:rank=>1,
+    :url=>"baike.baidu.com/view/2607.htm",
+    :title=>"香港_百度百科",
+    :content=>
+     "香港是一座繁华的国际化大都市。地处珠江以东，与广东省深圳市相接。1842年至1997年，香港曾经是英国的殖民地，1997年7月1日，依据中英政府共同签...   简介   - 历史概况   - 大事年表   - 地名来源   - 地理环境    - 更多>>  baike.baidu.com/view/2607.htm  2013-2-5 ",
+    :paid=>0,
+    :mu=>"http://baike.baidu.com/view/2607.htm"},
+   {:rank=>2,
+    :url=>"www.gov.hk/",
+    :title=>"GovHK 香港政府一站通:本港居民",
+    :content=>
+     "香港政府为当地居民提供的资讯和服务,内容包括通讯及科技、文化、康乐及运动、教育及培训、就业、环境、政府、法律及治安、保健及医疗服务、房屋及社会服务、入境事务...",
+    :paid=>0},
+   {:rank=>3,
+    :url=>"www.mafengwo.cn/travel-scenic-spot/m...",
+    :title=>"2013香港旅游攻略,香港自助游攻略,蚂蜂窝香港出游攻略游记 - 蚂蜂窝",
+    :content=>
+     "2013香港旅游攻略,介绍了香港旅游景点、线路、美食、住宿、地图等香港旅游攻略信息,了解香港旅游如莎莎化妆品、迪士尼、购物天堂和美食小吃等自助游攻略信息来蚂蜂窝...",
+    :paid=>0},
+   {:rank=>4,
+    :url=>"image.baidu.com",
+    :title=>"香港_百度图片 - 举报图片",
+    :content=>"相关推荐：香港电影金像奖提名香港地图香港迪士尼乐园香港海洋公园",
+    :paid=>0,
+    :mu=>
+     "http://image.baidu.com/i?tn=baiduimage&ct=201326592&lm=-1&cl=2&fr=ala1&word=%CF%E3%B8%DB"},
+   {:rank=>5,
+    :url=>"lvyou.baidu.com/",
+    :title=>"    香港旅游攻略_百度旅游",
+    :content=>
+     " 香港是亚洲繁华的大都市，地区及国际金融中心之一，条件优越的天然深水港，1842年至1997年是英国的殖民地，1997年7月1日回归中国。\n作为“...,旅游旺季为秋冬季节最佳...",
+    :paid=>0,
+    :mu=>"http://lvyou.baidu.com/scene/view/79c0adc41efa15d8330ab4f5"},
+   {:rank=>6,
+    :url=>"map.baidu.com/",
+    :title=>"香港特别行政区地图",
+    :content=>nil,
+    :paid=>0,
+    :mu=>
+     "http://map.baidu.com/?newmap=1&s=s%26wd%3D%25E9%25A6%2599%25E6%25B8%25AF%25E7%2589%25B9%25E5%2588%25AB%25E8%25A1%258C%25E6%2594%25BF%25E5%258C%25BA%26c%3D2912&fr=alac0&from=alamap"},
+   {:rank=>7,
+    :url=>nil,
+    :title=>"    中国香港天气预报_春节期间未来一周天气_中国天气网 - 最近访问：",
+    :content=>nil,
+    :paid=>0,
+    :baiduopen=>1,
+    :mu=>"http://www.weather.com.cn/weather/101320101.shtml"},
+   {:rank=>8,
+    :url=>nil,
+    :title=>" 香港吧 百度贴吧 ",
+    :content=>nil,
+    :paid=>0,
+    :mu=>"http://tieba.baidu.com/f?kw=%CF%E3%B8%DB&fr=ala0"},
+   {:rank=>9,
+    :url=>nil,
+    :title=>"香港的最新相关信息",
+    :content=>
+     "联手香港知名餐企 陶然居赴港开店 新华网重庆频道 2小时前今后,在香港也能吃到正宗芋儿鸡和田螺了。严琦昨日告诉商报记者,陶然居已与香港金百加集团达成合作协议——今年,金百加到重庆发展,陶然居则在香港开...",
+    :paid=>0,
+    :mu=>"http://www.baidu.com/s?tn=baidurt&rtt=1&bsst=1&wd=%CF%E3%B8%DB"},
+   {:rank=>10,
+    :url=>"hongkong.cncn.com/",
+    :title=>"香港旅游攻略2011_香港旅游网",
+    :content=>
+     "香港欣欣旅游网,提供香港香港旅游景点推荐、2月香港旅游攻略、香港旅行社、香港旅游线路、香港酒店预订、香港旅游地图等出行指南及旅游服务●欣欣旅游网 CNCN.com 更新...",
+    :paid=>0},
+   {:paid=>2,
+    :rank=>1,
+    :url=>"www.gay688.com",
+    :title=>"香港旅游",
+    :content=>"在深圳找香港旅游,我亲身体验,觉着最好的还是国际香港旅游,"},
+   {:paid=>2,
+    :rank=>2,
+    :url=>"www.galy678.com",
+    :title=>"国旅香港 港澳游四天三晚贵..",
+    :content=>"香港深圳国旅,2013特别港澳游观光路线,港澳游天天出团.贴心的"},
+   {:paid=>2,
+    :rank=>3,
+    :url=>"Hotel.Qunar.Com",
+    :title=>"香港-香港订酒店,就上去哪儿..",
+    :content=>"订香港酒店?驴友真实点评,酒店高清图,实时优惠价格,出行乐无忧!"},
+   {:paid=>2,
+    :rank=>4,
+    :url=>"DaoDao.com",
+    :title=>"去香港,看真实用户点评,来Da..",
+    :content=>"来DaoDao.com看香港相关的380家酒店,更有120000条旅客真实点评."}],
+ :result_num=>100000000,
+ :baidubrand=>0,
+ :related_keywords=>
+  ["香港天气",
+   "香港电影",
+   "香港大学",
+   "香港地图",
+   "苹果香港官网",
+   "香港地铁",
+   "香港中文大学",
+   "香港电视剧",
+   "香港旅游",
+   "苹果香港"]}
+```
 
 ## Contributing
 
+欢迎大家帮忙协助继续完善这个gem:
+
 1. Fork it
 2. Create your feature branch (`git checkout -b my-new-feature`)
 3. Commit your changes (`git commit -am 'Add some feature'`)
 4. Push to the branch (`git push origin my-new-feature`)
 5. Create new Pull Request
+
+或者可以到Issue页面提交问题,可以提BUG,新的需求,各种建议,等等.

data/lib/baiduserp/parser.rb

@@ -95,10 +95,6 @@ module Baiduserp
       url
     end
 
-    def parse_serp_title(id)
-
-    end
-
     def parse_serp_content(id)
       get_content_safe(@doc.search("//table[@id='#{id}']//font[@size='-1']"))
     end
@@ -107,7 +103,7 @@ module Baiduserp
       result = Hash.new
       result[:rank] = id
       result[:url] = parse_serp_url(id)
-      result[:title] = table.css('h3').first.content
+      result[:title] = get_content_safe(table.css('h3'))
       result[:content] = parse_serp_content(id)
 
       if id > 3000 # sem ads

data/lib/baiduserp/version.rb

@@ -1,3 +1,3 @@
 module Baiduserp
-  VERSION = "0.0.2"
+  VERSION = "0.1.0"
 end

metadata

@@ -1,7 +1,7 @@
 --- !ruby/object:Gem::Specification
 name: baiduserp
 version: !ruby/object:Gem::Version
-  version: 0.0.2
+  version: 0.1.0
   prerelease: 
 platform: ruby
 authors:
@@ -9,7 +9,7 @@ authors:
 autorequire: 
 bindir: bin
 cert_chain: []
-date: 2013-02-04 00:00:00.000000000 Z
+date: 2013-02-08 00:00:00.000000000 Z
 dependencies:
 - !ruby/object:Gem::Dependency
   name: nokogiri
@@ -40,7 +40,7 @@ files:
 - lib/baiduserp.rb
 - bin/baiduserp
 - README.md
-homepage: http://www.baidu.com/
+homepage: https://github.com/mqzhang/baiduserp
 licenses: []
 post_install_message: 
 rdoc_options: []