fias 0.0.2 → 1.0.0

data/lib/fias/active_record/address_object.rb

@@ -1,231 +0,0 @@
-# encoding: utf-8
-# TODO: Поделить на файлы
-module Fias
-  class AddressObject < ActiveRecord::Base
-    # TODO: Тут надо понять как префикс передать
-    if defined?(Rails)
-      self.table_name = "#{Rails.application.config.fias.prefix}_address_objects"
-    else
-      self.table_name = "fias_address_objects"
-    end
-
-    self.primary_key = 'aoid'
-
-    alias_attribute :name, :formalname
-    alias_attribute :id, :aoid
-
-    # Родительские объекты (Ленобласть для Лодейнопольского района)
-    # Для "проезд 1-й Конной Лахты 2-й" - Санкт-Петербург и Ленинград.
-    # Блядь, 1-й проезд 2-й Конной Лахты, ебануться!
-    # http://maps.yandex.ru/?text=%D0%A0%D0%BE%D1%81%D1%81%D0%B8%D1%8F%2C%20%D0%A1%D0%B0%D0%BD%D0%BA%D1%82-%D0%9F%D0%B5%D1%82%D0%B5%D1%80%D0%B1%D1%83%D1%80%D0%B3%2C%202-%D0%B9%20%D0%BF%D1%80%D0%BE%D0%B5%D0%B7%D0%B4%201-%D0%B9%20%D0%9A%D0%BE%D0%BD%D0%BD%D0%BE%D0%B9%20%D0%9B%D0%B0%D1%85%D1%82%D1%8B&sll=30.123296%2C60.007056&ll=30.123848%2C60.007475&spn=0.010085%2C0.006017&z=17&l=map
-    has_many :parents,
-      class_name: 'AddressObject',
-      foreign_key: 'aoguid',
-      primary_key: 'parentguid'
-
-    # Дочерние объекты (например, улицы для города)
-    has_many :children,
-      class_name: 'AddressObject',
-      primary_key: 'aoguid',
-      foreign_key: 'parentguid'
-
-    # Предыдущие исторические версии названия (Ленинград для Питера)
-    # Может быть несколько, если произошло слияние
-    has_many :previous_versions,
-      class_name: 'AddressObject',
-      foreign_key: 'aoid',
-      primary_key: 'previd'
-
-    # Следующая исторические версии названия (Питер для Ленинграда)
-    # Может быть несколько, если произошло разделение
-    has_many :next_versions,
-      class_name: 'AddressObject',
-      foreign_key: 'aoid',
-      primary_key: 'nextid'
-
-    # Полное наименование типа объекта (город, улица)
-    belongs_to :address_object_type,
-      class_name: '::Fias::AddressObjectType',
-      foreign_key: 'shortname',
-      primary_key: 'scname'
-
-    # Актуальные записи (активные в настоящий момент)
-    # Проверено, что livestatus уже достаточен для идентификации
-    # актуальных объектов, вопреки показаниям вики.
-    scope :actual, where(livestatus: 1)
-
-    # Выбирает объекты определенного уровня, аргументы - символы из хеша
-    # AOLEVELS
-    scope :leveled, ->(*levels) {
-      levels = Array.wrap(levels).map { |level| AOLEVELS[level] }
-      where(aolevel: levels)
-    }
-
-    scope :sorted, order('formalname ASC')
-    scope :with_types, includes(:address_object_type)
-    scope :matching, ->(name) {
-      scope = if self.connection.adapter_name
-        where(%{ "formalname" @@ ? OR ? @@ "formalname"}, name, name)
-      else
-        where('formalname LIKE ?', "%#{name}%")
-      end
-
-      # Первыми идут центральные и крупные поселения
-      scope.order('aolevel ASC, centstatus DESC')
-    }
-
-    scope :same_region, ->(address_object) {
-      where(regioncode: address_object.regioncode)
-    }
-
-    # Значимые поселения
-    scope :central, where('centstatus > 0')
-
-    def has_history?
-      previd.present?
-    end
-
-    def actual?
-      livestatus == 1
-    end
-
-    # Актуальный родитель. Для 1-го проезда 2-й Конной Лахты - только Питер.
-    def parent
-      parents.actual.first
-    end
-
-    def aolevel_sym
-      AOLEVELS.key(aolevel)
-    end
-
-    # Название с сокращением / полным наименованием города
-    # "г. Санкт-Петербург" / "город Санкт-Петербург"
-    #
-    # Для работы метода требуется загрузить таблицу :address_object_types
-    #
-    # Параметр - режим:
-    #   :obviously - очевидный режим". В этом режиме "Дагестан" вместо
-    #                "Республика Дагестан", "АО" вместо "Автономная область",
-    #                но всегда "Краснодарский край"
-    #   :short     - дописываются "г." и "респ."
-    #   :long      - дописываются "город" и "Республика"
-    #
-    # Пример:
-    #   .abbrevated(:obviously)      # Тульская область, Хакасия, Еврейская Аобл.
-    #   .abbrevated(:short)          # Тульская область, Респ. Хакасия,  Еврейская Аобл.
-    #   .abbrevated(:long)           # Тульская область, Республика Хакасия, Еврейская автономная область
-    def abbrevated(mode = :obviously)
-      return name if address_object_type.blank? || shortname.blank?
-
-      case aolevel_sym
-      when :region
-        # "Ханты-Мансийский Автономный округ - Югра"
-        return name if regioncode == '86'
-
-        ending = name[-2..-1]
-
-        # Если название кончается на -ая -ий - по правилам русского языка
-        # нужно дописать в конец "область", "край"
-        must_append = SHN_MUST_APPEND_TO_ENDINGS.include?(ending) ||
-                      shortname == 'Чувашия'
-
-        must_abbrevate = must_append ||
-                         shortname == 'Чувашия' ||
-                         mode != :obviously
-
-        return name unless must_abbrevate
-
-        abbr = case mode
-          when :short
-            shortname
-          when :long
-            address_object_type.name
-          when :obviously
-            if SHN_LEAVE_SHORTS_INTACT.include?(shortname)
-              shortname
-            else
-              address_object_type.name
-            end
-        end
-
-        # Точка не ставится для АО, края, Чувашии и длинных названий
-        abbr = "#{abbr}." if mode == :short && not(shortname.in?(SHN_MUST_NOT_APPEND_DOT))
-
-        if not(must_append) && must_abbrevate
-          "#{abbr} #{name}"
-        else
-          # "Республика" => "республика", но "АО" остается
-          abbr = abbr.mb_chars.downcase if not(shortname.in?(SHN_LEAVE_SHORTS_INTACT))
-          "#{name} #{abbr}"
-        end
-      else
-        abbr = if mode == :long
-          address_object_type.try(:name)
-        else
-          shortname
-        end
-        "#{abbr} #{name}"
-      end
-    end
-
-    class << self
-      # Подробное описание см. в README
-      # TODO: OPERSTATUS
-      def match_existing(scope, fias_key_accessor, title_field_accessor, &block)
-        scope.find_each do |record|
-          aoid = record.send(fias_key_accessor)
-          title = record.send(title_field_accessor)
-
-          if aoid.present?
-            match = scoped.find_by_aoid(aoid)
-
-            if match.present?
-              unless match.actual?
-                next_versions = match.next_versions
-
-                if next_versions.empty?
-                  yield(:deleted, record, match)
-                elsif next_versions.count == 1
-                  next_version = next_versions.first
-                  previous_versions_of_current = next_version.previous_versions
-
-                  if previous_versions_of_current.count == 1
-                    yield(:updated, record, next_version)
-                  else
-                    yield(:joined, record, next_version, previous_versions_of_current)
-                  end
-                elsif next_versions.count > 1
-                  yield(:split, record, next_versions)
-                end
-              end
-            end
-          else
-            matches = scoped.matching(title)
-            yield(:match, record, *matches)
-          end
-        end
-      end
-
-      def match_missing(scope, address_object_key_field, &block)
-        scoped.each do |address_object|
-          unless scope.where(address_object_key_field => address_object.aoid).exists?
-            yield(:created, nil, address_object)
-          end
-        end
-      end
-    end
-
-    # Коды уровня адресного объекта
-    AOLEVELS = {
-      region: 1, autonomy: 2, district: 3, city: 4,
-      territory: 5, settlement: 6, street: 7,
-      additional_territory: 90, additional_territory_slave: 91
-    }
-
-    # Дописывать сокращения обязательно, "Самарская" выглядит странно,
-    # всегда должно быть "Самарская область", а "Дагестан" понятно и так.
-    SHN_MUST_APPEND_TO_ENDINGS = %w(ая ий)
-    SHN_MUST_NOT_APPEND_DOT = %w(край АО Чувашия) # Не дописывать точку к сокращению
-    SHN_LEAVE_SHORTS_INTACT = %w(АО Аобл Чувашия) # В очевидном режиме не разворачивать "АО" в "Автономная область"
-  end
-end

data/lib/fias/active_record/address_object_type.rb

@@ -1,15 +0,0 @@
-# encoding: utf-8
-module Fias
-  class AddressObjectType < ActiveRecord::Base
-    # TODO: Тут надо понять как префикс передать
-    if defined?(Rails)
-      self.table_name = "#{Rails.application.config.fias.prefix}_address_object_types"
-    else
-      self.table_name = "fias_address_object_types"
-    end
-    self.primary_key = 'scname'
-
-    alias_attribute :name, :socrname
-    alias_attribute :abbrevation, :scname
-  end
-end

data/lib/fias/dbf_wrapper.rb

@@ -1,90 +0,0 @@
-module Fias
-  # Класс для доступа к DBF-файлам ФИАС.
-  #
-  # Пример:
-  #   wrapper = Fias::DbfWrapper.new('tmp/fias')
-  #   wrapper.address_objects.record_count
-  #   wrapper.address_objects.each { |record| record.attributes }
-  #
-  # TODO: Добавить в инишилайзер tables, чтобы при создании проверять
-  # их наличие на диске
-  class DbfWrapper
-    # Открывает DBF-файлы ФИАСа
-    def initialize(pathspec)
-      unless Dir.exists?(pathspec)
-        raise ArgumentError, 'FIAS database path does not exists'
-      end
-      self.pathspec = pathspec
-
-      DBF_ACCESSORS.each do |accessor, dbf_name|
-        filename = File.join(pathspec, dbf_name)
-
-        if File.exists?(filename)
-          dbf = DBF::Table.new(filename, nil, DEFAULT_ENCODING)
-          send("#{accessor}=", dbf)
-        end
-      end
-    end
-
-    # Возвращает хеш {аксессор dbf-таблицы => таблица}
-    # На входе массив названий таблиц (строки), без параметров - все
-    # Макрос houses вернет все таблицы домов
-    #
-    # Пример:
-    #   wrapper = Fias::DbfWrapper.new('tmp/fias')
-    #   wrapper.tables(%w(address_objects address_object_types houses))
-    #   ... {
-    #   ...  address_objects: Dbf::Table(...),
-    #   ...  address_object_types: Dbf::Table(...),
-    #   ...  house1: Dbf::Table(...),
-    #   ...  ...
-    #   ...  house99: Dbf::Table(...)
-    #   ... }
-    def tables(*only)
-      only = only.first if only.first.is_a?(Array)
-      only = only.map(&:to_s)
-
-      hash = DBF_ACCESSORS.keys.map do |accessor|
-        accessor_s = accessor.to_s
-        is_houses = only.include?('houses') && accessor_s.starts_with?('house')
-
-        if only.include?(accessor_s) || is_houses
-          [accessor, send(accessor)]
-        end
-      end
-      Hash[*hash.compact.flatten]
-    end
-
-    # { house01: "HOUSE01"..house99: "HOUSE99" }
-    HOUSES_ACCESSORS = Hash[*(1..99).map { |n|
-      [("house%0.2d" % n).to_sym, "HOUSE%0.2d.dbf" % n]
-    }.flatten]
-
-    # Таблица соответствий аттрибутов класса DBF-файлам
-    DBF_ACCESSORS = {
-      address_object_types: 'SOCRBASE.DBF',
-      current_statuses: 'CURENTST.DBF',
-      actual_statuses: 'ACTSTAT.DBF',
-      operation_statuses: 'OPERSTAT.DBF',
-      center_statuses: 'CENTERST.DBF',
-      interval_statuses: 'INTVSTAT.DBF',
-      estate_statues: 'ESTSTAT.DBF',
-      structure_statuses: 'STRSTAT.DBF',
-      address_objects: 'ADDROBJ.DBF',
-      house_intervals: 'HOUSEINT.DBF',
-      landmarks: 'LANDMARK.DBF'
-    }.merge(
-      HOUSES_ACCESSORS
-    )
-
-    DEFAULT_ENCODING = Encoding::CP866
-
-    attr_reader   *DBF_ACCESSORS.keys
-    attr_reader   :houses
-
-    private
-    attr_accessor :pathspec
-    attr_writer   *DBF_ACCESSORS.keys
-    attr_writer   :houses
-  end
-end

data/lib/fias/importer.rb

@@ -1,30 +0,0 @@
-module Fias
-  module Importer
-    # Фактори-метод, возвращает ссылку на объект импортера
-    # Принимает параметры:
-    #   :adapter - название адаптера
-    #   :connection - прямое соединение с базой данных (connection.raw_connection)
-    def self.build(options = {})
-      adapter    = options.delete(:adapter) ||
-                   ActiveRecord::Base.connection_config[:adapter]
-
-      connection = options.delete(:connection) ||
-                   ActiveRecord::Base.connection.raw_connection
-
-      case adapter
-        when 'postgresql'
-          Pg.new(
-            connection,
-            options
-          )
-        when 'sqlite3'
-          Sqlite.new(
-            connection,
-            options
-          )
-        else
-          raise 'Only postgres & sqlite supported now, fork'
-      end
-    end
-  end
-end

data/lib/fias/importer/base.rb

@@ -1,59 +0,0 @@
-module Fias
-  module Importer
-    class Base
-      def initialize(connection, options = {})
-        self.prefix         = options.delete(:prefix) || 'fias'
-        self.connection     = connection
-      end
-
-      # На входе - хеш (имя таблицы => dbf)
-      def schema(tables)
-        "".tap do |s|
-          tables.each do |name, dbf|
-            if dbf.present?
-              s << schema_for(name, table_name(name), dbf)
-            end
-          end
-        end
-      end
-
-      def schema_for(name, table_name, dbf)
-        "".tap do |s|
-          s << %{create_table "#{table_name}", id: false do |t|\n}
-          s << schema_columns(name, dbf)
-          s << "end\n"
-        end
-      end
-
-      def import(tables, &block)
-        tables.each do |name, dbf|
-          if dbf
-            import_table(name, table_name(name), dbf, &block)
-          end
-        end
-      end
-
-      def import_table(name, table_name, dbf, &block)
-        raise NotImplementedError, 'Implement this in concrete class'
-      end
-
-      protected
-      attr_accessor :prefix, :connection
-
-      private
-      def table_name(name)
-        "#{prefix}_#{name}"
-      end
-
-      def schema_columns(accessor, table)
-        "".tap do |s|
-          table.columns.each do |column|
-            column_name = column.name.downcase
-            column_def  = column.schema_definition
-            s << "  t.column #{column_def}"
-          end
-        end
-      end
-    end
-  end
-end

data/lib/fias/importer/pg.rb

@@ -1,81 +0,0 @@
-module Fias
-  module Importer
-    # Класс для импорта данных из ФИАС в PostgreSQL.
-    # Используется COPY FROM STDIN.
-    class Pg < Base
-      def schema_for(name, table_name, dbf)
-        super + alter_table_to_pg_uuids(name, table_name)
-      end
-
-      private
-      def alter_table_to_pg_uuids(name, table_name)
-        "".tap do |s|
-          columns = CONVERT_TO_UUID[name]
-          if columns.present?
-            columns.each do |column|
-              s << %{ActiveRecord::Base.connection.execute("ALTER TABLE #{table_name} ALTER COLUMN #{column} TYPE UUID USING CAST (#{column} AS UUID);")\n}
-            end
-          end
-        end
-      end
-
-      def import_table(name, table_name, dbf, &block)
-        fields = table_fields(dbf)
-        columns = table_columns(fields)
-
-        truncate_table(table_name)
-        copy_from_stdin(table_name, columns)
-
-        dbf.each_with_index do |record, index|
-          should_import = yield(name, record.attributes, index) if block_given?
-
-          unless should_import === false
-            data = record.to_a
-            put_data(data)
-          end
-        end
-
-        put_copy_end
-      end
-
-      def truncate_table(table_name)
-        connection.exec "TRUNCATE TABLE #{table_name};"
-      end
-
-      def table_fields(table)
-        table.columns.map(&:name).map(&:downcase)
-      end
-
-      def table_columns(fields)
-        fields.join(', ')
-      end
-
-      def copy_from_stdin(table_name, columns)
-        sql = "COPY #{table_name} (#{columns}) FROM STDIN NULL AS '-nil-'\n"
-        connection.exec(sql)
-      end
-
-      def put_data(data)
-        data.map! { |item| item == "" ? '-nil-' : item }
-        line = data.join("\t") + "\n"
-        connection.put_copy_data(line)
-      end
-
-      def put_copy_end
-        connection.put_copy_end
-
-        while res = connection.get_result
-          result_status = res.res_status(res.result_status)
-          unless result_status == 'PGRES_COMMAND_OK'
-            raise "Import failure: #{result_status}"
-          end
-        end
-      end
-    end
-
-    # Эти поля нужно отконвертировать в тип UUID после создания
-    CONVERT_TO_UUID = {
-      address_objects: %w(aoguid aoid previd nextid parentguid)
-    }
-  end
-end