news2kindle 0.1.1

checksums.yaml

@@ -0,0 +1,7 @@
+---
+SHA1:
+  metadata.gz: 7d94ebc86c80c6feb22ad91f1467083a2d0ef3c7
+  data.tar.gz: 65e21c3bf9c757f41a030268b6e413370c0ccc16
+SHA512:
+  metadata.gz: 28ee0b8f40be33d8cbd401e13c4d5e03a628798056e069b7a539bff484f48483d6a052a088eff9ea1b55635fd0cd0427ff729540cc7eb85d9cf7150abefabcf3
+  data.tar.gz: f21b50fc0f883cf0d8eba883651e0ffb5a8680b905e5ce57bf0f546764cdfc39a885f6038634760b555003d43d4bf0b79af85af11959aff2155d29848eb6f09e

data/.gitignore

@@ -0,0 +1,12 @@
+.bundle
+.env
+.rspec_status
+.ruby-version
+/vendor/bundle
+nikkei-paid
+nikkei-free
+internet-watch
+/.bundle/
+/pkg/
+/spec/reports/
+/tmp/

data/.rspec

@@ -0,0 +1,3 @@
+--format documentation
+--color
+--require spec_helper

data/.tachikoma.yml

@@ -0,0 +1 @@
+strategy: 'bundler'

data/.travis.yml

@@ -0,0 +1,18 @@
+sudo: false
+cache: bundler
+
+before_install:
+  - gem install bundler -v 1.16.0.pre.3
+
+rvm:
+  - 2.3.5
+  - 2.4.2
+
+script: bundle exec rake
+
+branches:
+  only:
+    - master
+
+services:
+  - mongodb

data/Gemfile

@@ -0,0 +1,6 @@
+source "https://rubygems.org"
+
+git_source(:github) {|repo_name| "https://github.com/#{repo_name}" }
+
+# Specify your gem's dependencies in news2kindle.gemspec
+gemspec

data/Gemfile.lock

@@ -0,0 +1,119 @@
+PATH
+  remote: .
+  specs:
+    news2kindle (0.1.1)
+      dropbox_api
+      kindlegen
+      mail
+      mechanize
+      mongoid (~> 6.1)
+      nokogiri
+      pit
+      systemu
+
+GEM
+  remote: https://rubygems.org/
+  specs:
+    activemodel (5.1.4)
+      activesupport (= 5.1.4)
+    activesupport (5.1.4)
+      concurrent-ruby (~> 1.0, >= 1.0.2)
+      i18n (~> 0.7)
+      minitest (~> 5.1)
+      tzinfo (~> 1.1)
+    bson (4.2.2)
+    coderay (1.1.2)
+    concurrent-ruby (1.0.5)
+    diff-lcs (1.3)
+    domain_name (0.5.20170404)
+      unf (>= 0.0.5, < 1.0.0)
+    dropbox_api (0.1.10)
+      faraday (~> 0.9, ~> 0.8)
+      oauth2 (~> 1.1)
+    faraday (0.12.2)
+      multipart-post (>= 1.2, < 3)
+    http-cookie (1.0.3)
+      domain_name (~> 0.5)
+    i18n (0.9.0)
+      concurrent-ruby (~> 1.0)
+    jwt (1.5.6)
+    kindlegen (3.0.3)
+      rake
+      rubyzip
+    mail (2.6.6)
+      mime-types (>= 1.16, < 4)
+    mechanize (2.7.5)
+      domain_name (~> 0.5, >= 0.5.1)
+      http-cookie (~> 1.0)
+      mime-types (>= 1.17.2)
+      net-http-digest_auth (~> 1.1, >= 1.1.1)
+      net-http-persistent (~> 2.5, >= 2.5.2)
+      nokogiri (~> 1.6)
+      ntlm-http (~> 0.1, >= 0.1.1)
+      webrobots (>= 0.0.9, < 0.2)
+    method_source (0.9.0)
+    mime-types (3.1)
+      mime-types-data (~> 3.2015)
+    mime-types-data (3.2016.0521)
+    mini_portile2 (2.3.0)
+    minitest (5.10.3)
+    mongo (2.4.3)
+      bson (>= 4.2.1, < 5.0.0)
+    mongoid (6.2.1)
+      activemodel (~> 5.1)
+      mongo (>= 2.4.1, < 3.0.0)
+    multi_json (1.12.2)
+    multi_xml (0.6.0)
+    multipart-post (2.0.0)
+    net-http-digest_auth (1.4.1)
+    net-http-persistent (2.9.4)
+    nokogiri (1.8.1)
+      mini_portile2 (~> 2.3.0)
+    ntlm-http (0.1.1)
+    oauth2 (1.4.0)
+      faraday (>= 0.8, < 0.13)
+      jwt (~> 1.0)
+      multi_json (~> 1.3)
+      multi_xml (~> 0.5)
+      rack (>= 1.2, < 3)
+    pit (0.0.7)
+    pry (0.11.1)
+      coderay (~> 1.1.0)
+      method_source (~> 0.9.0)
+    rack (2.0.3)
+    rake (12.1.0)
+    rspec (3.6.0)
+      rspec-core (~> 3.6.0)
+      rspec-expectations (~> 3.6.0)
+      rspec-mocks (~> 3.6.0)
+    rspec-core (3.6.0)
+      rspec-support (~> 3.6.0)
+    rspec-expectations (3.6.0)
+      diff-lcs (>= 1.2.0, < 2.0)
+      rspec-support (~> 3.6.0)
+    rspec-mocks (3.6.0)
+      diff-lcs (>= 1.2.0, < 2.0)
+      rspec-support (~> 3.6.0)
+    rspec-support (3.6.0)
+    rubyzip (1.2.1)
+    systemu (2.6.5)
+    thread_safe (0.3.6)
+    tzinfo (1.2.3)
+      thread_safe (~> 0.1)
+    unf (0.1.4)
+      unf_ext
+    unf_ext (0.0.7.4)
+    webrobots (0.1.2)
+
+PLATFORMS
+  ruby
+
+DEPENDENCIES
+  bundler
+  news2kindle!
+  pry
+  rake
+  rspec
+
+BUNDLED WITH
+   1.16.0.pre.3

data/README.md

@@ -0,0 +1,59 @@
+# News2Kindle
+ニュースサイトを定期的にスクレイピングしてmobiファイルを生成し、Kindle Personal Documentへメールで送信するコマンドライン・ツール
+
+ニュースの電子書籍化と配信を自動化するソフトウェアとしては電子書籍管理ツールであるCalibreが豊富なレシピで抜きん出た存在ですが、クライアントPCを常時稼動しておかなくてはならず、環境面で稼働が難しい面があります。そこで、サーバ上でcronタスクとして稼働する仕組みを作りました。ただしレシピはまだぜんぜんありません(作者が使っている日経新聞電子版とINTERNET Watch、tDiaryのみ)。
+
+## 仕組み
+cronタスクとして動かすことを前提にしています。
+
+実際にどのサイトをmobiファイル化するのかという指定は、`~/.news2kindle`ないし`./news2kindle.yaml`のconfigファイルで指定します。configファイルのサンプルです:
+
+```yaml
+:tasks:
+  sites1:
+    :media:
+    - foo
+    - bar
+    :receiver:
+    - receiver1@example.com
+  sites2:
+    :media:
+    - buz
+    :receiver:
+    - dropbox:/Public
+:sender: hoge@example.com
+:email:
+  :address: smtp.sendgrid.net
+  :port: 587
+  :user_name: yes
+  :password: yes
+  :authentication: :plain
+:mongodb_uri: mongodb://localhost:27017/news2kindle
+```
+
+cronタスクを動かす時間によって、異なるニュースサイトにアクセスしたり、送り先を変えたいでしょう。そのため、コマンドに指定する「タスク(:tasks)」を分けて、それぞれに「メディア(:media)」と「送り先(:receiver)」を指定できるようになっています。receiverにはメールアドレスの他に「dropbox:」で始まるDropboxのディレクトリも指定できます。Dropboxを利用する場合には、Dropboxの開発者向けサービスから各種APIトークンを取得しておく必要があります。
+
+「送信元(:sender)」は、KPDサービスに登録してあるメールアドレスを指定します。
+
+「:email」は、メールサーバ(SMTP)の設定です。プログラムを動かしている環境からアクセスできるメールサーバの情報を指定します。なお、メールサーバが認証を必要とする場合は「:user_name」や「:password」を指定する必要がありますが、configファイルには直接書くことはありません。これらの項目を「yes」にしておくと、初回実行時にプログラムが聞いてきます(~/.pit/default.yamlというファイルに保存されます)。
+
+「:mongodb_uri」はURIの重複チェックをする場合にMongoDBの情報を指定します。日に何度も動かすと、すでに取得済みの記事が重複して含まれてしまいますが、それをチェックして除外したい場合に利用します。URIにパスワード等の情報が含まれている場合には「yes」とだけ指定しておくと、最初の実行時に尋ねてくるようになります(Pitによって安全な別ファイルに保管されます)。
+
+mobiファイルの生成に成功すると、指定したアドレスにメールを送ったり、Dropboxの指定フォルダに保存します。メールアドレスは、実際は〜@kindle.comになるでしょう(:receiver)。また、送信元のアドレスもKindle Personal Documentで許可したアドレスを指定して置く必要があります(:sender)。
+
+## 動かし方
+インストール方法:
+
+```sh
+% gem install news2kindle
+```
+
+news2kindleコマンドを実行すると、ヘルプが出ます。適切なconfigファイルがあれば、そこに記述してあるタスクを指定することで、mobiファイルが生成され、指定した送信先へ送られます。
+
+
+## ジェネレータの作り方
+あとで書く。
+
+## Contributing
+
+Bug reports and pull requests are welcome on GitHub at https://github.com/tdtds/news2kindle.

data/Rakefile

@@ -0,0 +1,6 @@
+require "bundler/gem_tasks"
+require "rspec/core/rake_task"
+
+RSpec::Core::RakeTask.new(:spec)
+
+task :default => :spec

data/bin/console

@@ -0,0 +1,14 @@
+#!/usr/bin/env ruby
+
+require "bundler/setup"
+require "news2kindle"
+
+# You can add fixtures and/or initialization code here to make experimenting
+# with your gem easier. You can also use a different console, if you like.
+
+# (If you use this, don't forget to add pry to your Gemfile!)
+# require "pry"
+# Pry.start
+
+require "irb"
+IRB.start(__FILE__)

data/bin/setup

@@ -0,0 +1,8 @@
+#!/usr/bin/env bash
+set -euo pipefail
+IFS=$'\n\t'
+set -vx
+
+bundle install
+
+# Do any other automated setup that you need to do here

data/bin/test-generator

@@ -0,0 +1,21 @@
+#!/usr/bin/env ruby
+require 'news2kindle'
+require 'kindlegen'
+require 'logger'
+
+News2Kindle::DupChecker.setup({
+	clients: {
+		default: {
+			uri: 'mongodb://localhost:27017/news2kindle'
+		}
+	}
+})
+
+ARGV.each do |task|
+	require "news2kindle/generator/#{task}"
+	gen = News2Kindle::Generator.const_get(task.split(/-/).map{|a|a.capitalize}.join)
+	Dir::mkdir(task)
+	gen.new(task).generate({now:Time::now}) do |opf|
+		Kindlegen.run(opf, '-o', "#{task}.mobi")
+	end
+end

data/exe/news2kindle

@@ -0,0 +1,107 @@
+#!/usr/bin/env ruby
+#
+# news2kindle: scraping news sites and generate kindle document
+#
+# Copyright (C) 2017 by TADA Tadashi <t@tdtds.jp>
+# Distributed under GPL
+#
+
+require 'news2kindle'
+require 'optparse'
+require 'open-uri'
+require 'yaml'
+
+module News2Kindle
+
+	class CLI
+		def run
+			conf, tasks = parse_options
+			News2Kindle.logger.level = Logger::DEBUG if conf[:verbose]
+
+			if conf[:mongodb_uri]
+				unless conf[:mongodb_uri] =~ %r|^mongodb://|
+					conf[:mongodb_uri] = Pit::get('news2kindle', require: {
+						mongodb_uri: 'MongoDB URI for Dupulicate Check starts with "mongodb://".'
+					})[:mongodb_uri]
+				end
+				if conf[:mongodb_uri]
+					DupChecker.setup({clients:{default:{uri:conf[:mongodb_uri]}}})
+				end
+			end
+
+			tasks.each do |name|
+				task = conf[:tasks][name]
+				usage("task '#{name}' not found") unless task
+
+				task[:media].each do |media|
+					begin
+						opts = {now: Time.now}.merge(task[:option] || {})
+						News2Kindle.logger.info "starting #{media}..."
+						Task::new(media).run(task[:receiver], conf[:sender], opts)
+					rescue
+						News2Kindle.logger.fatal($!)
+						raise
+					end
+				end
+			end
+		end
+
+	private
+		def parse_options(argv = ARGV)
+			op = OptionParser.new
+
+			self.class.module_eval do
+				define_method(:usage) do |msg = nil|
+					puts op.to_s
+					puts "error: #{msg}" if msg
+					exit 1
+				end
+			end
+
+			opts = {
+				verbose: false
+			}
+
+			op.on('-C', '--config VALUE', "configuration file") do |v|
+				usage("#{v} is not existent") unless Pathname(v).expand_path.exist?
+				opts[:config] = v
+			end
+			op.on('-s', '--sender VALUE', "sender e-mail address") do |v|
+				opts[:sender] = v
+			end
+			op.on('-m', '--mongodb-uri VALUE', "MongoDB URI for dupulicate check or 'no'") do |v|
+				opts[:mongodb_uri] = v == 'no' ? false : v
+			end
+			op.on('-V', '--verbose', "print verbose messages") do |v|
+				opts[:verbose] = true
+			end
+
+			op.banner += ' TASK1 [TASK2...]'
+			begin
+				args = op.parse(argv)
+			rescue OptionParser::InvalidOption => e
+				usage e.message
+			end
+
+			conf = nil
+			[opts[:config], './news2kindle.yaml', '~/.news2kindle'].each do |config_file|
+				begin
+					file = Pathname(config_file).expand_path
+					conf = YAML.load_file(file)
+					opts[:config] = file
+					break
+				rescue TypeError, Errno::ENOENT
+				end
+			end
+			usage 'needs configuration file ./news2kindle.yaml or ~/.news2kindle' unless conf
+			conf.merge!(opts)
+
+			if args.size < 1
+				usage "needs some tasks: #{conf[:tasks].keys.join(', ')}"
+			end
+			[conf, args]
+		end
+	end
+end
+
+News2Kindle::CLI.new.run

data/lib/news2kindle.rb

@@ -0,0 +1,12 @@
+require 'news2kindle/version'
+require 'news2kindle/task'
+require 'news2kindle/dup_checker'
+require 'logger'
+
+module News2Kindle
+	@logger = Logger.new(STDERR)
+	@logger.level = Logger::ERROR
+	@logger.formatter = proc{|severity, _, _, msg| "#{severity}: #{msg}\n"}
+	def self.logger; @logger; end
+	def self.logger=(logger); @logger = logger; end
+end

data/lib/news2kindle/dup_checker.rb

@@ -0,0 +1,41 @@
+# uri duplication checker
+#
+# Copyright (C) 2017 by TADA Tadashi <t@tdtds.jp>
+# Distributed under GPL.
+#
+require 'mongoid'
+
+module News2Kindle
+	class DupChecker
+		Mongo::Logger.level = Logger::WARN
+		@@mongoid_conf = nil
+
+		include Mongoid::Document
+		include Mongoid::Timestamps
+		store_in collection: 'uri'
+		field :uri, type: String
+
+		def self.setup(mongoid_conf)
+			@@mongoid_conf = mongoid_conf
+		end
+
+		def self.dup?(uri)
+			return false unless @@mongoid_conf
+			Mongoid::Config.load_configuration(@@mongoid_conf) if Mongoid::Config.clients.size == 0
+
+			begin
+				url = uri.to_s
+				if self.where(uri: uri.to_s).size == 0
+					self.create(uri: uri.to_s)
+					return false
+				else
+					return true
+				end
+			rescue Moped::Errors::ConnectionFailure
+				News2Kindle.logger.error $!
+				@@mongoid_conf = nil
+				return false
+			end
+		end
+	end
+end