fias 0.0.2 → 1.0.0

data/Rakefile

@@ -1,2 +1,7 @@
 require 'bundler/gem_tasks'
-load 'tasks/fias.rake'
+require 'rspec/core/rake_task'
+load 'tasks/download.rake'
+load 'tasks/db.rake'
+
+RSpec::Core::RakeTask.new(:spec)
+task default: :spec

data/config/synonyms.yml

@@ -0,0 +1,50 @@
+---
+- ['б.', 'большая', 'большой', 'большие', 'большое', 'бол.']
+- ['м.', 'малая', 'малый', 'малые', 'малое', 'мал.', 'маршала']
+- ['нижн.', 'нижняя', 'нижний', 'нижние', 'нижнее', 'ниж.']
+- ['верхн.', 'верхняя', 'верхний', 'верхние', 'верхнее', 'верх.']
+- ['ср.', 'средний', 'средняя', 'средние', 'среднее']
+- ['стар.', 'старый', 'старая', 'старые', 'старое']
+- ['новая', 'нов.', 'н.', 'новый', 'новое']
+- ['северное', 'северная', 'северный']
+- ['южное', 'южная', 'южный']
+- ['восточное', 'восточная', 'восточный']
+- ['западное', 'западная', 'западный']
+- ['соцтруда', 'соц.труда', '']
+- ['им', 'имени', 'им.', '']
+- ['ак.', 'академика', '']
+- ['героя советского союза', '']
+- ['героя ссср', '']
+- ['героя', '']
+- ['писателя', '']
+- ['генерала', '']
+- ['адмирала', '']
+- ['генерал-лейтенанта', '']
+- ['поэта-декабриста', '']
+- ['композитора', '']
+- ['братьев', 'бр.', '']
+- ['архитектора', '']
+- ['генерала армии', '']
+- ['космонавта', '']
+- ['милиционера', '']
+- ['авиаконструктора', '']
+- ['маршала', '']
+- ['авиаконструктора', '']
+- ['матроса', '']
+- ['профессора', '']
+- ['тиз', '']
+- ['реки', '']
+- ['солдата', '']
+- ['цюрупа', 'цурюпа', 'цурюпы', 'цюрупы']
+- ['в.о.', 'васильевского', 'васильевского острова', 'во', '']
+- ['п.с.', 'петроградки', 'петроградской стороны', 'пс', '']
+- ['пограничника', '']
+- ['линия', '']
+- ['вал', '']
+- ['канала', 'кан.', '']
+- ['комиссара', '']
+- ['лат.', 'латышских']
+- ['танкиста', '']
+- ['подводника', 'подв.', '']
+- ['совхоз', 'свх']
+- ['политрука', '']

data/examples/create.rb

@@ -0,0 +1,106 @@
+# Can be run in cloned repo
+# DATABASE_URL=postgres://localhost/fias bundle exec ruby create.rb
+
+require 'pg_data_encoder'
+require 'ruby-progressbar'
+require 'sequel'
+require 'active_support/core_ext/object/blank'
+require 'fias'
+
+def create_bar(count)
+  ProgressBar.create(total: count, format: '%a |%B| [%E] (%c/%C) %p%%')
+end
+
+DB = Sequel.connect(ENV['DATABASE_URL'])
+
+PREFIX = ENV['PREFIX'] || 'fias'
+
+FIAS_ADDRESS_OBJECTS_TABLE_NAME =
+  [PREFIX, 'address_objects'].delete_if(&:blank?).join('_').to_sym
+
+FIAS_ADDRESS_OBJECTS = DB[FIAS_ADDRESS_OBJECTS_TABLE_NAME]
+
+ADDRESS_OBJECTS_TABLE_NAME = :address_objects
+
+ADDRESS_OBJECTS = DB[ADDRESS_OBJECTS_TABLE_NAME]
+
+def create_table
+  puts 'Creating target table...'
+
+  DB.create_table(ADDRESS_OBJECTS_TABLE_NAME) do
+    primary_key :id
+
+    column :aoid, :uuid
+    column :aoguid, :uuid
+    column :parentguid, :uuid
+    column :parent_id, :integer
+    column :name, :text
+    column :abbr, :text
+    column :code, :text
+    column :center, :boolean
+  end
+end
+
+def copy_fias_data
+  puts 'Copying data from FIAS...'
+
+  encoder = PgDataEncoder::EncodeForCopy.new(
+    column_types: { 0 => :uuid, 1 => :uuid, 2 => :uuid }
+  )
+
+  # Nonhistorical records
+  scope = FIAS_ADDRESS_OBJECTS.where(livestatus: 1)
+
+  bar = create_bar(scope.count)
+
+  scope.each do |row|
+    bar.increment
+
+    encoder.add([
+      row[:aoid],
+      row[:aoguid],
+      row[:parentguid],
+      row[:formalname],
+      row[:shortname],
+      row[:code],
+      row[:centerst].to_i > 0
+    ])
+  end
+
+  io = encoder.get_io
+
+  columns = %i(aoid aoguid parentguid name abbr code center)
+
+  DB.copy_into(ADDRESS_OBJECTS_TABLE_NAME, columns: columns, format: :binary) do
+    begin
+      io.readpartial(65_536)
+    rescue EOFError => _e
+      nil
+    end
+  end
+end
+
+def restore_hierarchy
+  puts 'Restoring parent_id values...'
+  Fias::Import::RestoreParentId.new(ADDRESS_OBJECTS).restore
+end
+
+create_table
+copy_fias_data
+restore_hierarchy
+
+# Uncomment this migration if you want to use closure_tree for hierarchies:
+#
+# DB.create_table(:address_object_hierarchies) do
+#   column :ancestor_id, Integer
+#   column :descendant_id, Integer
+#   column :generations, Integer
+
+#   index [:ancestor_id, :descendant_id, :generations]
+#   index [:ancestor_id]
+#   index [:descendant_id]
+# end
+#
+# Use http://github.com/gzigzigzeo/pg_closure_tree_rebuild to fill it.
+#
+# Database ready!

data/examples/generate_index.rb

@@ -0,0 +1,63 @@
+# Can be run in cloned repo
+# DATABASE_URL=postgres://localhost/fias bundle exec ruby generate_index.rb
+
+require 'ruby-progressbar'
+require 'sequel'
+require 'active_support/core_ext/object/blank'
+require 'fias'
+
+def create_bar(count)
+  ProgressBar.create(total: count, format: '%a |%B| [%E] (%c/%C) %p%%')
+end
+
+DB = Sequel.connect(ENV['DATABASE_URL'])
+DB.extension :pg_array
+
+ADDRESS_OBJECTS_TABLE_NAME = :address_objects
+ADDRESS_OBJECTS = DB[ADDRESS_OBJECTS_TABLE_NAME]
+
+def alter_table
+  puts 'Adding tokens field...'
+
+  DB.alter_table(ADDRESS_OBJECTS_TABLE_NAME) do
+    add_column :tokens, 'text[]'
+    add_column :ancestry, 'integer[]'
+    add_column :forms, 'text[]'
+  end
+
+  DB.run 'CREATE INDEX idx_tokens on "address_objects" USING GIN ("tokens");'
+end
+
+def ancestry_for(id)
+  ADDRESS_OBJECTS
+    .select(:id)
+    .join(:address_object_hierarchies, ancestor_id: :id)
+    .where(address_object_hierarchies__descendant_id: id)
+    .order(:address_object_hierarchies__generations)
+    .select_map(:id) - [id]
+end
+
+def tokenize
+  puts 'Generating tokens for search...'
+
+  scope = ADDRESS_OBJECTS
+
+  bar = create_bar(scope.count)
+
+  scope.select(:id, :name).each do |row|
+    bar.increment
+
+    tokens = Fias::Name::Synonyms.tokens(row[:name])
+    forms = Fias::Name::Synonyms.forms(row[:name])
+    ancestry = ancestry_for(row[:id])
+
+    ADDRESS_OBJECTS.where(id: row[:id]).update(
+      tokens: Sequel.pg_array(tokens, :text),
+      forms:  Sequel.pg_array(forms, :text),
+      ancestry: Sequel.pg_array(ancestry, :integer)
+    )
+  end
+end
+
+alter_table
+tokenize

data/fias.gemspec

@@ -1,27 +1,39 @@
-# -*- encoding: utf-8 -*-
+# coding: utf-8
 lib = File.expand_path('../lib', __FILE__)
 $LOAD_PATH.unshift(lib) unless $LOAD_PATH.include?(lib)
 require 'fias/version'
 
-Gem::Specification.new do |gem|
-  gem.name          = "fias"
-  gem.version       = Fias::VERSION
-  gem.authors       = ["Victor Sokolov"]
-  gem.email         = ["gzigzigzeo@evilmartians.com"]
-  gem.description   = %q{Ruby wrapper to FIAS database}
-  gem.summary       = %q{Ruby wrapper to FIAS database}
-  gem.homepage      = "http://github.com/evilmartians/fias"
+Gem::Specification.new do |spec|
+  spec.name          = 'fias'
+  spec.version       = Fias::VERSION
+  spec.authors       = ['Victor Sokolov']
+  spec.email         = ['gzigzigzeo@evilmartians.com']
+  spec.summary       = %q{Imports Russian FIAS database into SQL}
+  spec.description   = %q{Imports Russian FIAS database into SQL (for Ruby on Rails on PostgreSQL projects)}
+  spec.homepage      = 'http://github.com/evilmartians/fias'
+  spec.license       = 'MIT'
 
-  gem.files         = `git ls-files`.split($/)
-  gem.executables   = gem.files.grep(%r{^bin/}).map{ |f| File.basename(f) }
-  gem.test_files    = gem.files.grep(%r{^(test|spec|features)/})
-  gem.require_paths = ["lib"]
+  spec.files         = `git ls-files -z`.split("\x0")
+  spec.executables   = spec.files.grep(%r{^bin/}) { |f| File.basename(f) }
+  spec.test_files    = spec.files.grep(%r{^(test|spec|features)/})
+  spec.require_paths = ['lib']
 
-  gem.add_dependency 'dbf'
-  gem.add_dependency 'rake'
-  gem.add_dependency 'activerecord', '> 3'
-  gem.add_dependency 'progress_bar'
-  gem.add_development_dependency 'pg'
-  gem.add_development_dependency 'sqlite3'
-  gem.add_development_dependency 'hirb'
-end
+  spec.add_dependency 'dbf'
+  spec.add_dependency 'activesupport', '> 3'
+  spec.add_dependency 'sequel'
+  spec.add_dependency 'pg_data_encoder'
+  spec.add_dependency 'httparty'
+  spec.add_dependency 'pg'
+  spec.add_dependency 'ruby-progressbar'
+  spec.add_dependency 'unicode'
+
+  spec.add_development_dependency 'bundler', '~> 1.7'
+  spec.add_development_dependency 'rake', '~> 10.0'
+  spec.add_development_dependency 'rspec'
+  spec.add_development_dependency 'simplecov'
+  spec.add_development_dependency 'rubocop'
+  spec.add_development_dependency 'webmock'
+  spec.add_development_dependency 'sqlite3'
+  spec.add_development_dependency 'codeclimate-test-reporter'
+  spec.add_development_dependency 'ruby-prof'
+end

data/lib/fias.rb

@@ -1,15 +1,202 @@
-require 'dbf'
+module Fias
+  class << self
+    attr_reader :config
 
-require 'active_record'
+    def configure(&block)
+      @config = Config.new(&block)
+    end
 
-require 'fias/version'
-require 'fias/dbf_wrapper'
-require 'fias/importer'
-require 'fias/importer/base'
-require 'fias/importer/pg'
-require 'fias/importer/sqlite'
+    def indivisible_words
+      @indivisible_words ||=
+        config
+        .synonyms
+        .flatten
+        .find_all { |w| w.include?(' ') }
+        .sort_by(&:size)
+        .reverse
+        .freeze
+    end
+
+    def word
+      @word ||=
+        /(#{ANNIVESARIES}|#{indivisible_words.join('|')}|[#{LETTERS}\"\'\d\.\)\(\/\-]+)(\s|\,|$)/ui
+    end
+  end
 
+  LETTERS        = /[а-яА-ЯёЁA-Za-z]/ui
+  ANNIVESARIES   = /(\d+)(\s\-|\-|\s)лет(ия)?/ui
+  INITIAL        = /#{Fias::LETTERS}{1,2}\./ui
+  INITIALS       = /(#{INITIAL}#{INITIAL}(#{INITIAL})?)(.+|$)/ui
+  SINGLE_INITIAL = /(\.|\s|^)(#{Fias::LETTERS}{1,3}\.)(.+|$)/ui
+  FEDERAL_CITIES = ['Москва', 'Санкт-Петербург', 'Севастополь', 'Байконур']
+end
+
+require 'unicode'
+require 'active_support/core_ext/object/blank'
+require 'active_support/core_ext/hash/slice'
+require 'active_support/core_ext/hash/keys'
+require 'active_support/hash_with_indifferent_access'
+require 'active_support/core_ext/enumerable'
+require 'active_support/core_ext/object/try'
+require 'active_support/core_ext/array/extract_options'
+require 'active_support/core_ext/array/wrap'
+require 'dbf'
+require 'httparty'
+require 'pg_data_encoder'
+require 'fias/version'
+require 'fias/config'
+require 'fias/import/dbf'
+require 'fias/import/tables'
+require 'fias/import/download_service'
+require 'fias/import/copy'
+require 'fias/import/restore_parent_id'
+require 'fias/name/canonical'
+require 'fias/name/append'
+require 'fias/name/extract'
+require 'fias/name/house_number'
+require 'fias/name/split'
+require 'fias/name/synonyms'
+require 'fias/query'
+require 'fias/query/params'
+require 'fias/query/finder'
+require 'fias/query/estimate'
 require 'fias/railtie' if defined?(Rails)
 
-module Fias
-end
+Fias.configure do |config|
+  config.add_name('автономный округ', 'АО')
+  config.add_name('автономная область', 'Аобл')
+  config.add_name('город', 'г.')
+  config.add_name('край', 'край')
+  config.add_name('область', 'обл.')
+  config.add_name('округ', 'округ')
+  config.add_name('республика', 'Респ.')
+  config.add_name('поселение', 'п.')
+  config.add_name('район', 'р-н')
+  config.add_name('территория', 'тер.')
+  config.add_name('улус', 'у.')
+  config.add_name('волость', 'волость')
+  config.add_name('дачный поселок', 'дп.')
+  config.add_name('курортный поселок', 'кп.')
+  config.add_name('массив', 'массив')
+  config.add_name('поселок', 'п.', %w(пос посёлок))
+  config.add_name('почтовое отделение', 'п/о')
+  config.add_name('поселок городского типа', 'пгт')
+  config.add_name('рабочий поселок', 'рп')
+  config.add_name('сельская администрация', 'с/а')
+  config.add_name('сельское муниципальное образо', 'с/мо')
+  config.add_name('сельский округ', 'с/о')
+  config.add_name('сельское поселение', 'с/п')
+  config.add_name('сельсовет', 'с/с')
+  config.add_name('аал', 'аал')
+  config.add_name('автодорога', 'автодорога')
+  config.add_name('арбан', 'арбан')
+  config.add_name('аул', 'аул')
+  config.add_name('выселки(ок)', 'высел')
+  config.add_name('городок', 'городок')
+  config.add_name('деревня', 'д.', %w(дер))
+  config.add_name('железнодорожная будка', 'ж/д_будка')
+  config.add_name('железнодорожная казарма', 'ж/д_казарм')
+  config.add_name('ж/д останов. (обгонный) пункт', 'ж/д_оп')
+  config.add_name('железнодорожная платформа', 'ж/д_платф')
+  config.add_name('железнодорожный пост', 'ж/д_пост')
+  config.add_name('железнодорожный разъезд', 'ж/д_рзд')
+  config.add_name('железнодорожная станция', 'ж/д_ст', ['ж/д ст'])
+  config.add_name('жилая зона', 'жилзона')
+  config.add_name('жилой район', 'жилрайон')
+  config.add_name('заимка', 'заимка')
+  config.add_name('казарма', 'казарма')
+  config.add_name('квартал', 'кв-л', ['кварт'])
+  config.add_name('кордон', 'кордон')
+  config.add_name('леспромхоз', 'лпх')
+  config.add_name('местечко', 'м.')
+  config.add_name('микрорайон', 'мкр.', %w(мкрн микр))
+  config.add_name('населенный пункт', 'нп')
+  config.add_name('остров', 'остров')
+  config.add_name('планировочный район', 'п/р')
+  config.add_name('поселок и(при) станция(и)', 'п/ст')
+  config.add_name('погост', 'погост')
+  config.add_name('починок', 'починок')
+  config.add_name('промышленная зона', 'промзона')
+  config.add_name('разъезд', 'рзд')
+  config.add_name('село', 'с.')
+  config.add_name('слобода', 'сл.')
+  config.add_name('садовое неком-е товарищество', 'снт', ['садоводство'])
+  config.add_name('станция', 'ст-я')
+  config.add_name('станица', 'ст-ца', %w(стн ст))
+  config.add_name('хутор', 'х.')
+  config.add_name('абонентский ящик', 'а/я')
+  config.add_name('аллея', 'аллея')
+  config.add_name('берег', 'берег')
+  config.add_name('бульвар', 'б-р', %w(бул бульв))
+  config.add_name('бугор', 'бугор')
+  config.add_name('вал', 'вал')
+  config.add_name('въезд', 'въезд')
+  config.add_name('гаражно-строительный кооператив', 'гск')
+  config.add_name('дорога', 'дор.')
+  config.add_name('животноводческая точка', 'жт')
+  config.add_name('заезд', 'заезд')
+  config.add_name('зона', 'зона')
+  config.add_name('канал', 'канал', ['кан'])
+  config.add_name('километр', 'км.')
+  config.add_name('кольцо', 'кольцо')
+  config.add_name('коса', 'коса')
+  config.add_name('линия', 'линия', ['лин'])
+  config.add_name('мост', 'мост')
+  config.add_name('набережная', 'наб.')
+  config.add_name('парк', 'парк')
+  config.add_name('переулок', 'пер.', ['пер-к'])
+  config.add_name('переезд', 'переезд')
+  config.add_name('площадь', 'пл.')
+  config.add_name('платформа', 'платф.')
+  config.add_name('площадка', 'пл-ка')
+  config.add_name('полустанок', 'полустанок')
+  config.add_name('проспект', 'пр-кт', ['пр', 'просп', 'пр-т'])
+  config.add_name('проезд', 'проезд', ['пр-д', 'прз', 'прд'])
+  config.add_name('просек', 'просек')
+  config.add_name('просека', 'просека')
+  config.add_name('проселок', 'проселок')
+  config.add_name('проток', 'проток')
+  config.add_name('протока', 'протока')
+  config.add_name('проулок', 'проулок')
+  config.add_name('ряды', 'ряды')
+  config.add_name('сад', 'сад')
+  config.add_name('сквер', 'сквер')
+  config.add_name('спуск', 'спуск')
+  config.add_name('строение', 'стр')
+  config.add_name('тоннель', 'тоннель')
+  config.add_name('тракт', 'тр.')
+  config.add_name('тупик', 'туп.')
+  config.add_name('улица', 'ул.')
+  config.add_name('участок', 'уч-к')
+  config.add_name('ферма', 'ферма')
+  config.add_name('шоссе', 'ш.', ['шос'])
+  config.add_name('эстакада', 'эстакада')
+  config.add_name('гаражно-строительный кооператив', 'гск')
+  config.add_name('дачное некоммерческое партнерство', 'днп')
+  config.add_name('некоммерческое партнерство', 'н/п')
+  config.add_name('садовое товарищество', 'снт')
+  config.add_name('фермерское хозяйство', 'ф/х')
+  config.add_name('коттеджный поселок', 'кп', ['коттеджный'])
+
+  config.add_exception(
+    'Чувашская Республика - Чувашия', 'Чувашия'
+  )
+  config.add_exception(
+    'Ханты-Мансийский Автономный округ - Югра',
+    'Ханты-Мансийский Автономный округ - Югра'
+  )
+
+  proper_names =
+    File.readlines(File.join(File.dirname(__FILE__), '../config/names.txt'))
+
+  proper_names.map(&:strip).each do |name|
+    config.add_proper_name(name)
+  end
+
+  synonyms =
+    YAML.load_file(File.join(File.dirname(__FILE__), '../config/synonyms.yml'))
+
+  synonyms.each do |synonym|
+    config.add_synonym(*synonym)
+  end
+end