fias 0.0.1 → 0.0.2

data/README.md

@@ -16,33 +16,66 @@ gem 'fias', git: 'https://github.com/evilmartians/kladr.git'
 
 2. Скачать и распаковать базу ФИАС в tmp/fias (по умолчанию)
 
-# Создание таблиц в базе данных
+# Импорт структуры данных
 
 Возможны два варианта:
 
 ```
-rake fias:create_tables [DATABASE_URL=... PREFIX=... PATH=...]
+rake fias:create_tables [DATABASE_URL=... PREFIX=... PATH=... ONLY=...]
 ```
 
 Либо:
 
 ```
-rails g fias:migration [--path=... --prefix=...]
+rails g fias:migration [--path=... --prefix=... --only=...]
 ```
 
 Первый вариант - для использования гема вне рельсов, либо для случая, когда
 актуальная база ФИАС будет использоваться только для локального мапинга, и
 на продакшн попасть не должна.
 
+В параметре only можно передать имена нужных таблиц, houses - все
+таблицы домов.
+
 # Импорт данных
 
 ```
-rake fias:import:placements fias:import:houses PREFIX=fias PATH=tmp/fias
+rake fias:import PREFIX=fias PATH=tmp/fias ONLY=address_objects
+rake fias:import PREFIX=fias PATH=tmp/fias ONLY=houses
 ```
 
-Импорт данных разделен на два шага, по скольку, не всегда нужны данные
-о строениях, а их почти в 20 раз больше, чем остальных. В большинстве случаев
-достаточно городов и улиц.
+Первый пример импортирует только адресные объекты (без справочников),
+второй - только дома.
+
+Поддерживается импорт в Postgres и SQLite (нужно для :memory: баз)
+
+# Импорт данных в память (для рейк тасок)
+
+```ruby
+ActiveRecord::Base.configurations['fias'] = {
+  :adapter  => 'sqlite3',
+  :database => ':memory:'
+}
+Fias::AddressObject.establish_connection :fias
+
+fias = Fias::DbfWrapper.new('tmp/fias')
+importer = Fias::Importer.build(
+  adapter: 'sqlite3', connection: Fias::AddressObject.connection.raw_connection
+)
+tables = fias.tables(:address_objects)
+
+# Мигрейт. В таком виде так как стандартный мигратор всегда открывает новое
+# соединение с БД, а в случае с SQLite это означает пересоздание базы :memory:.
+Fias::AddressObject.connection.instance_exec do
+  eval(importer.schema(tables))
+end
+
+importer.import(tables) do |name, record, index|
+  record[:aclevel] == 1 # Только активные
+end
+
+Fias::AddressObject.count # И дальше импорт
+```
 
 # Некоторые замечания про ФИАС
 
@@ -55,24 +88,123 @@ rake fias:import:placements fias:import:houses PREFIX=fias PATH=tmp/fias
 образования хранится в поле AOGUID. Из внешних таблиц логично ссылаться
 на AOGUID, а не на AOID.
 
+# Маппинг, он же итерирование
+
+Задачи:
+
+1. Сопоставить базу приложения с ФИАСом.
+2. Уведомлять приложение об изменениях в связанных объектах ФИАСа.
+3. Уведомлять приложения о новых данных в ФИАСе.
+
+В таблице, с которой устанавливаются соответствия нужно создать поле для
+хранения UUID записи ФИАСа.
+
+На примере регионов:
+
+```ruby
+# Будем искать соответствия регионов приложения регионам в ФИАС
+scope = Region
+fias_scope = Fias::AddressObject.leveled(:region)
+
+# Обработчик событий итератора
+matcher = ->(action, record, *objects) {
+  match = objects.first
+
+  case action
+
+  # Появилась новая запись в ФИАСе
+  when :created
+    puts "Region #{match.abbrevated}"
+    Region.create!(
+      fias_reference: match.id,
+      title: match.abbrevated
+    )
+
+  # Элемент в ФИАСе обновлен, нужно (?) обновить базу приложения
+  when :updated
+    record.update_attributes(
+      title: match.abbrevated,
+      fias_reference: match.id
+    )
+    puts "#{record.title} became #{match.abbrevated}"
+
+  # Объект в ФИАСе был, но из актуального состояния перешел в неактуальное.
+  # Типа, Припять: умерший город.
+  # Скорее всего, такой элемент в базе приложения нужно скрыть.
+  when :deleted
+    raise NotImplementedError, "#{record.title} #{objects.first.abbrevated}"
+
+  # Элемент в ФИАСе разделился: например, поселение Черто-Полохово
+  # было преобразовано в две деревни: Чертово и Полохово
+  # В этом случае параметр objects содержит объекты ФИАСа, на которые
+  # разделился старый.
+  when :split
+    raise NotImplementedError
+
+  # Элемент в ФИАСе объединился
+  # Типа, присоединили Московскую область к Москве
+  # В этом случае objects.first это запись ФИАС о новом объекте, а остальные
+  # элементы objects - записи ФИАС объединившихся объектов.
+  when :joined
+    raise NotImplementedError
+
+  # Элементу базы приложения нет соответствия в ФИАСе. Пытаемся сопоставить
+  # и зафиксировать, если найшли соответствующий вариант.
+  when :match
+    match = objects.detect { |b| b.actual? || b.name == record.title }
+    if match.present?
+      record.update_attributes(
+        title: match.abbrevated,
+        fias_reference: match.id
+      )
+      puts "#{record.title} became #{match.abbrevated} (new)"
+    else
+      puts "Record not found #{record.title}"
+    end
+
+  else
+    raise 'Unknown action!'
+  end
+}
+
+# Итерирует существующие в базе приложения элементы
+#   fias_reference - название колонки с UUID соответствующей региону записи
+#   ФИАСа
+#   title - название региона
+fias_scope.match_existing(scope, :fias_reference, :title, &matcher)
+
+# Итерирует отсутствующие в базе приложения, но имеющиеся в скоупе
+# ФИАСа адреса.
+fias_scope.actual.match_missing(scope, :fias_reference, &matcher)
+```
+
+Примечания:
+
+1. В случае неоднозначного совпадения ФИАС и приложения, нужно ставить поиск
+соответствия на модерацию.
+2. В случае :split, :joined - тоже на модерацию. Хотя, разделения происходят
+и нечасто, однако, в ФИАСе таких случаев больше полутора тысяч.
+3. При начальном импорте данных из ФИАСа, #match_missing лучше начать вызывать
+только после того как соответствия старой базы ФИАСу будут полностью разрулены.
+
 # Работа с данными
 
 Существующие регионы:
 
-```
+```ruby
 Fias::AddressObject.actual.leveled(:region).all
 ```
 
 Подчиненные объекты в регионе (области, районы, столица региона):
 
-```
+```ruby
 region = Fias::AddressObject.actual.leveled(:region).first
 region.children.actual
 ```
 
 # TODO
 
-1. Индексы.
+1. Индексы. Индексы. ИНДЕКСЫ.
 
 # Полезные ссылки
 

data/fias.gemspec

@@ -21,4 +21,7 @@ Gem::Specification.new do |gem|
   gem.add_dependency 'rake'
   gem.add_dependency 'activerecord', '> 3'
   gem.add_dependency 'progress_bar'
+  gem.add_development_dependency 'pg'
+  gem.add_development_dependency 'sqlite3'
+  gem.add_development_dependency 'hirb'
 end

data/lib/fias.rb

@@ -3,8 +3,11 @@ require 'dbf'
 require 'active_record'
 
 require 'fias/version'
-require 'fias/import/dbf_wrapper'
-require 'fias/import/pg'
+require 'fias/dbf_wrapper'
+require 'fias/importer'
+require 'fias/importer/base'
+require 'fias/importer/pg'
+require 'fias/importer/sqlite'
 
 require 'fias/railtie' if defined?(Rails)
 

data/lib/fias/active_record/address_object.rb

@@ -1,9 +1,18 @@
+# encoding: utf-8
+# TODO: Поделить на файлы
 module Fias
   class AddressObject < ActiveRecord::Base
-    self.table_name = "#{Rails.application.config.fias.prefix}_address_objects"
+    # TODO: Тут надо понять как префикс передать
+    if defined?(Rails)
+      self.table_name = "#{Rails.application.config.fias.prefix}_address_objects"
+    else
+      self.table_name = "fias_address_objects"
+    end
+
     self.primary_key = 'aoid'
 
     alias_attribute :name, :formalname
+    alias_attribute :id, :aoid
 
     # Родительские объекты (Ленобласть для Лодейнопольского района)
     # Для "проезд 1-й Конной Лахты 2-й" - Санкт-Петербург и Ленинград.
@@ -20,17 +29,25 @@ module Fias
       primary_key: 'aoguid',
       foreign_key: 'parentguid'
 
-    # Предыдущая историческая версия названия (Ленинград для Питера)
-    belongs_to :next_version,
+    # Предыдущие исторические версии названия (Ленинград для Питера)
+    # Может быть несколько, если произошло слияние
+    has_many :previous_versions,
       class_name: 'AddressObject',
-      primary_key: 'aoid',
-      foreign_key: 'nextid'
+      foreign_key: 'aoid',
+      primary_key: 'previd'
 
-    # Следующая историческая версия названия (Питер для Ленинграда)
-    belongs_to :previous_version,
+    # Следующая исторические версии названия (Питер для Ленинграда)
+    # Может быть несколько, если произошло разделение
+    has_many :next_versions,
       class_name: 'AddressObject',
-      primary_key: 'aoid',
-      foreign_key: 'previd'
+      foreign_key: 'aoid',
+      primary_key: 'nextid'
+
+    # Полное наименование типа объекта (город, улица)
+    belongs_to :address_object_type,
+      class_name: '::Fias::AddressObjectType',
+      foreign_key: 'shortname',
+      primary_key: 'scname'
 
     # Актуальные записи (активные в настоящий момент)
     # Проверено, что livestatus уже достаточен для идентификации
@@ -45,18 +62,33 @@ module Fias
     }
 
     scope :sorted, order('formalname ASC')
+    scope :with_types, includes(:address_object_type)
+    scope :matching, ->(name) {
+      scope = if self.connection.adapter_name
+        where(%{ "formalname" @@ ? OR ? @@ "formalname"}, name, name)
+      else
+        where('formalname LIKE ?', "%#{name}%")
+      end
 
-    # Полное наименование типа объекта (город, улица)
-    belongs_to :address_object_type,
-      class_name: 'Fias::AddressObjectType',
-      primary_key: 'shortname',
-      foreign_key: 'scname'
+      # Первыми идут центральные и крупные поселения
+      scope.order('aolevel ASC, centstatus DESC')
+    }
+
+    scope :same_region, ->(address_object) {
+      where(regioncode: address_object.regioncode)
+    }
+
+    # Значимые поселения
+    scope :central, where('centstatus > 0')
 
-    # Есть ли исторические варианты записи?
     def has_history?
       previd.present?
     end
 
+    def actual?
+      livestatus == 1
+    end
+
     # Актуальный родитель. Для 1-го проезда 2-й Конной Лахты - только Питер.
     def parent
       parents.actual.first
@@ -66,11 +98,134 @@ module Fias
       AOLEVELS.key(aolevel)
     end
 
+    # Название с сокращением / полным наименованием города
+    # "г. Санкт-Петербург" / "город Санкт-Петербург"
+    #
+    # Для работы метода требуется загрузить таблицу :address_object_types
+    #
+    # Параметр - режим:
+    #   :obviously - очевидный режим". В этом режиме "Дагестан" вместо
+    #                "Республика Дагестан", "АО" вместо "Автономная область",
+    #                но всегда "Краснодарский край"
+    #   :short     - дописываются "г." и "респ."
+    #   :long      - дописываются "город" и "Республика"
+    #
+    # Пример:
+    #   .abbrevated(:obviously)      # Тульская область, Хакасия, Еврейская Аобл.
+    #   .abbrevated(:short)          # Тульская область, Респ. Хакасия,  Еврейская Аобл.
+    #   .abbrevated(:long)           # Тульская область, Республика Хакасия, Еврейская автономная область
+    def abbrevated(mode = :obviously)
+      return name if address_object_type.blank? || shortname.blank?
+
+      case aolevel_sym
+      when :region
+        # "Ханты-Мансийский Автономный округ - Югра"
+        return name if regioncode == '86'
+
+        ending = name[-2..-1]
+
+        # Если название кончается на -ая -ий - по правилам русского языка
+        # нужно дописать в конец "область", "край"
+        must_append = SHN_MUST_APPEND_TO_ENDINGS.include?(ending) ||
+                      shortname == 'Чувашия'
+
+        must_abbrevate = must_append ||
+                         shortname == 'Чувашия' ||
+                         mode != :obviously
+
+        return name unless must_abbrevate
+
+        abbr = case mode
+          when :short
+            shortname
+          when :long
+            address_object_type.name
+          when :obviously
+            if SHN_LEAVE_SHORTS_INTACT.include?(shortname)
+              shortname
+            else
+              address_object_type.name
+            end
+        end
+
+        # Точка не ставится для АО, края, Чувашии и длинных названий
+        abbr = "#{abbr}." if mode == :short && not(shortname.in?(SHN_MUST_NOT_APPEND_DOT))
+
+        if not(must_append) && must_abbrevate
+          "#{abbr} #{name}"
+        else
+          # "Республика" => "республика", но "АО" остается
+          abbr = abbr.mb_chars.downcase if not(shortname.in?(SHN_LEAVE_SHORTS_INTACT))
+          "#{name} #{abbr}"
+        end
+      else
+        abbr = if mode == :long
+          address_object_type.try(:name)
+        else
+          shortname
+        end
+        "#{abbr} #{name}"
+      end
+    end
+
+    class << self
+      # Подробное описание см. в README
+      # TODO: OPERSTATUS
+      def match_existing(scope, fias_key_accessor, title_field_accessor, &block)
+        scope.find_each do |record|
+          aoid = record.send(fias_key_accessor)
+          title = record.send(title_field_accessor)
+
+          if aoid.present?
+            match = scoped.find_by_aoid(aoid)
+
+            if match.present?
+              unless match.actual?
+                next_versions = match.next_versions
+
+                if next_versions.empty?
+                  yield(:deleted, record, match)
+                elsif next_versions.count == 1
+                  next_version = next_versions.first
+                  previous_versions_of_current = next_version.previous_versions
+
+                  if previous_versions_of_current.count == 1
+                    yield(:updated, record, next_version)
+                  else
+                    yield(:joined, record, next_version, previous_versions_of_current)
+                  end
+                elsif next_versions.count > 1
+                  yield(:split, record, next_versions)
+                end
+              end
+            end
+          else
+            matches = scoped.matching(title)
+            yield(:match, record, *matches)
+          end
+        end
+      end
+
+      def match_missing(scope, address_object_key_field, &block)
+        scoped.each do |address_object|
+          unless scope.where(address_object_key_field => address_object.aoid).exists?
+            yield(:created, nil, address_object)
+          end
+        end
+      end
+    end
+
     # Коды уровня адресного объекта
     AOLEVELS = {
       region: 1, autonomy: 2, district: 3, city: 4,
       territory: 5, settlement: 6, street: 7,
       additional_territory: 90, additional_territory_slave: 91
     }
+
+    # Дописывать сокращения обязательно, "Самарская" выглядит странно,
+    # всегда должно быть "Самарская область", а "Дагестан" понятно и так.
+    SHN_MUST_APPEND_TO_ENDINGS = %w(ая ий)
+    SHN_MUST_NOT_APPEND_DOT = %w(край АО Чувашия) # Не дописывать точку к сокращению
+    SHN_LEAVE_SHORTS_INTACT = %w(АО Аобл Чувашия) # В очевидном режиме не разворачивать "АО" в "Автономная область"
   end
 end

data/lib/fias/active_record/address_object_type.rb

@@ -1,8 +1,15 @@
+# encoding: utf-8
 module Fias
   class AddressObjectType < ActiveRecord::Base
-    self.table_name = "#{Rails.application.config.fias.prefix}_fias_address_object_types"
+    # TODO: Тут надо понять как префикс передать
+    if defined?(Rails)
+      self.table_name = "#{Rails.application.config.fias.prefix}_address_object_types"
+    else
+      self.table_name = "fias_address_object_types"
+    end
     self.primary_key = 'scname'
 
     alias_attribute :name, :socrname
+    alias_attribute :abbrevation, :scname
   end
 end

data/lib/fias/dbf_wrapper.rb

@@ -0,0 +1,90 @@
+module Fias
+  # Класс для доступа к DBF-файлам ФИАС.
+  #
+  # Пример:
+  #   wrapper = Fias::DbfWrapper.new('tmp/fias')
+  #   wrapper.address_objects.record_count
+  #   wrapper.address_objects.each { |record| record.attributes }
+  #
+  # TODO: Добавить в инишилайзер tables, чтобы при создании проверять
+  # их наличие на диске
+  class DbfWrapper
+    # Открывает DBF-файлы ФИАСа
+    def initialize(pathspec)
+      unless Dir.exists?(pathspec)
+        raise ArgumentError, 'FIAS database path does not exists'
+      end
+      self.pathspec = pathspec
+
+      DBF_ACCESSORS.each do |accessor, dbf_name|
+        filename = File.join(pathspec, dbf_name)
+
+        if File.exists?(filename)
+          dbf = DBF::Table.new(filename, nil, DEFAULT_ENCODING)
+          send("#{accessor}=", dbf)
+        end
+      end
+    end
+
+    # Возвращает хеш {аксессор dbf-таблицы => таблица}
+    # На входе массив названий таблиц (строки), без параметров - все
+    # Макрос houses вернет все таблицы домов
+    #
+    # Пример:
+    #   wrapper = Fias::DbfWrapper.new('tmp/fias')
+    #   wrapper.tables(%w(address_objects address_object_types houses))
+    #   ... {
+    #   ...  address_objects: Dbf::Table(...),
+    #   ...  address_object_types: Dbf::Table(...),
+    #   ...  house1: Dbf::Table(...),
+    #   ...  ...
+    #   ...  house99: Dbf::Table(...)
+    #   ... }
+    def tables(*only)
+      only = only.first if only.first.is_a?(Array)
+      only = only.map(&:to_s)
+
+      hash = DBF_ACCESSORS.keys.map do |accessor|
+        accessor_s = accessor.to_s
+        is_houses = only.include?('houses') && accessor_s.starts_with?('house')
+
+        if only.include?(accessor_s) || is_houses
+          [accessor, send(accessor)]
+        end
+      end
+      Hash[*hash.compact.flatten]
+    end
+
+    # { house01: "HOUSE01"..house99: "HOUSE99" }
+    HOUSES_ACCESSORS = Hash[*(1..99).map { |n|
+      [("house%0.2d" % n).to_sym, "HOUSE%0.2d.dbf" % n]
+    }.flatten]
+
+    # Таблица соответствий аттрибутов класса DBF-файлам
+    DBF_ACCESSORS = {
+      address_object_types: 'SOCRBASE.DBF',
+      current_statuses: 'CURENTST.DBF',
+      actual_statuses: 'ACTSTAT.DBF',
+      operation_statuses: 'OPERSTAT.DBF',
+      center_statuses: 'CENTERST.DBF',
+      interval_statuses: 'INTVSTAT.DBF',
+      estate_statues: 'ESTSTAT.DBF',
+      structure_statuses: 'STRSTAT.DBF',
+      address_objects: 'ADDROBJ.DBF',
+      house_intervals: 'HOUSEINT.DBF',
+      landmarks: 'LANDMARK.DBF'
+    }.merge(
+      HOUSES_ACCESSORS
+    )
+
+    DEFAULT_ENCODING = Encoding::CP866
+
+    attr_reader   *DBF_ACCESSORS.keys
+    attr_reader   :houses
+
+    private
+    attr_accessor :pathspec
+    attr_writer   *DBF_ACCESSORS.keys
+    attr_writer   :houses
+  end
+end

data/lib/fias/importer.rb

@@ -0,0 +1,30 @@
+module Fias
+  module Importer
+    # Фактори-метод, возвращает ссылку на объект импортера
+    # Принимает параметры:
+    #   :adapter - название адаптера
+    #   :connection - прямое соединение с базой данных (connection.raw_connection)
+    def self.build(options = {})
+      adapter    = options.delete(:adapter) ||
+                   ActiveRecord::Base.connection_config[:adapter]
+
+      connection = options.delete(:connection) ||
+                   ActiveRecord::Base.connection.raw_connection
+
+      case adapter
+        when 'postgresql'
+          Pg.new(
+            connection,
+            options
+          )
+        when 'sqlite3'
+          Sqlite.new(
+            connection,
+            options
+          )
+        else
+          raise 'Only postgres & sqlite supported now, fork'
+      end
+    end
+  end
+end

data/lib/fias/importer/base.rb

@@ -0,0 +1,59 @@
+module Fias
+  module Importer
+    class Base
+      def initialize(connection, options = {})
+        self.prefix         = options.delete(:prefix) || 'fias'
+        self.connection     = connection
+      end
+
+      # На входе - хеш (имя таблицы => dbf)
+      def schema(tables)
+        "".tap do |s|
+          tables.each do |name, dbf|
+            if dbf.present?
+              s << schema_for(name, table_name(name), dbf)
+            end
+          end
+        end
+      end
+
+      def schema_for(name, table_name, dbf)
+        "".tap do |s|
+          s << %{create_table "#{table_name}", id: false do |t|\n}
+          s << schema_columns(name, dbf)
+          s << "end\n"
+        end
+      end
+
+      def import(tables, &block)
+        tables.each do |name, dbf|
+          if dbf
+            import_table(name, table_name(name), dbf, &block)
+          end
+        end
+      end
+
+      def import_table(name, table_name, dbf, &block)
+        raise NotImplementedError, 'Implement this in concrete class'
+      end
+
+      protected
+      attr_accessor :prefix, :connection
+
+      private
+      def table_name(name)
+        "#{prefix}_#{name}"
+      end
+
+      def schema_columns(accessor, table)
+        "".tap do |s|
+          table.columns.each do |column|
+            column_name = column.name.downcase
+            column_def  = column.schema_definition
+            s << "  t.column #{column_def}"
+          end
+        end
+      end
+    end
+  end
+end

data/lib/fias/importer/pg.rb

@@ -0,0 +1,81 @@
+module Fias
+  module Importer
+    # Класс для импорта данных из ФИАС в PostgreSQL.
+    # Используется COPY FROM STDIN.
+    class Pg < Base
+      def schema_for(name, table_name, dbf)
+        super + alter_table_to_pg_uuids(name, table_name)
+      end
+
+      private
+      def alter_table_to_pg_uuids(name, table_name)
+        "".tap do |s|
+          columns = CONVERT_TO_UUID[name]
+          if columns.present?
+            columns.each do |column|
+              s << %{ActiveRecord::Base.connection.execute("ALTER TABLE #{table_name} ALTER COLUMN #{column} TYPE UUID USING CAST (#{column} AS UUID);")\n}
+            end
+          end
+        end
+      end
+
+      def import_table(name, table_name, dbf, &block)
+        fields = table_fields(dbf)
+        columns = table_columns(fields)
+
+        truncate_table(table_name)
+        copy_from_stdin(table_name, columns)
+
+        dbf.each_with_index do |record, index|
+          should_import = yield(name, record.attributes, index) if block_given?
+
+          unless should_import === false
+            data = record.to_a
+            put_data(data)
+          end
+        end
+
+        put_copy_end
+      end
+
+      def truncate_table(table_name)
+        connection.exec "TRUNCATE TABLE #{table_name};"
+      end
+
+      def table_fields(table)
+        table.columns.map(&:name).map(&:downcase)
+      end
+
+      def table_columns(fields)
+        fields.join(', ')
+      end
+
+      def copy_from_stdin(table_name, columns)
+        sql = "COPY #{table_name} (#{columns}) FROM STDIN NULL AS '-nil-'\n"
+        connection.exec(sql)
+      end
+
+      def put_data(data)
+        data.map! { |item| item == "" ? '-nil-' : item }
+        line = data.join("\t") + "\n"
+        connection.put_copy_data(line)
+      end
+
+      def put_copy_end
+        connection.put_copy_end
+
+        while res = connection.get_result
+          result_status = res.res_status(res.result_status)
+          unless result_status == 'PGRES_COMMAND_OK'
+            raise "Import failure: #{result_status}"
+          end
+        end
+      end
+    end
+
+    # Эти поля нужно отконвертировать в тип UUID после создания
+    CONVERT_TO_UUID = {
+      address_objects: %w(aoguid aoid previd nextid parentguid)
+    }
+  end
+end

data/lib/fias/importer/sqlite.rb

@@ -0,0 +1,38 @@
+module Fias
+  module Importer
+    # Нужно для :memory: баз в первую очередь
+    class Sqlite < Base
+      def import_table(name, table_name, dbf, &block)
+        truncate_table(table_name)
+
+        qmarks = ['?'] * dbf.columns.keys.size
+        qmarks = qmarks.join(', ')
+
+        dbf.each_with_index do |record, index|
+          data = record.attributes
+
+          should_import = yield(name, data, index) if block_given?
+
+          unless should_import === false
+            columns = data.keys.join(', ')
+
+            values = data.values.map do |value|
+              if value.is_a?(Date)
+                value.to_s
+              else
+                value
+              end
+            end
+
+            connection.execute("INSERT INTO #{table_name} (#{columns}) VALUES (#{qmarks});", values)
+          end
+        end
+      end
+
+      private
+      def truncate_table(table_name)
+        connection.execute "DELETE FROM #{table_name} WHERE 1"
+      end
+    end
+  end
+end

data/lib/fias/version.rb

@@ -1,3 +1,3 @@
 module Fias
-  VERSION = "0.0.1"
+  VERSION = "0.0.2"
 end

data/lib/generators/fias/migration.rb

@@ -4,14 +4,18 @@ module Fias
 
     class_option :prefix, type: :string, default: :fias, desc: 'Table names prefix'
     class_option :path, type: :string, default: 'tmp/fias', desc: 'Path to FIAS dbfs'
+    class_option :only, type: :string, default: '', desc: 'Only tables'
 
     source_root File.expand_path("../templates", __FILE__)
 
     def generate_migration
-      wrapper = Fias::Import::DbfWrapper.new(options.path)
-      importer = wrapper.build_importer(prefix: options.prefix)
-      @schema = importer.schema
-      @schema.gsub!("\n", "\n\t\t")
+      only = options.only.split(',').map(&:strip)
+      wrapper = Fias::DbfWrapper.new(options.path)
+      importer = Fias::Importer.build(prefix: options.prefix)
+
+      tables = wrapper.tables(only)
+      @schema = importer.schema(tables)
+      @schema.gsub!("\n", "\n    ")
 
       migration_template 'create_fias_tables.rb', 'db/migrate/create_fias_tables'
     end

data/tasks/fias.rake

@@ -25,46 +25,43 @@ namespace :fias do
       end
 
       fias_path = ENV['FIAS'] || 'tmp/fias'
-      wrapper = Fias::Import::DbfWrapper.new(fias_path)
-      importer = wrapper.build_importer(prefix: ENV['PREFIX'])
+      wrapper = Fias::DbfWrapper.new(fias_path)
+      importer = Fias::Importer.build(prefix: ENV['PREFIX'])
 
       yield(wrapper, importer)
     end
+
+    def only
+      only = ENV['ONLY'].to_s.split(',').map(&:strip)
+    end
   end
 
-  desc 'Create FIAS tables (could specify tables PREFIX, PATH to dbfs and DATABASE_URL)'
+  desc 'Create FIAS tables (could specify tables PREFIX, PATH to dbfs and DATABASE_URL, EXCLUDE or ONLY tables)'
   task may_be_rails(:create_tables) do
     within_connection do |wrapper, importer|
-      ActiveRecord::Schema.define { eval(importer.schema) }
+      tables = wrapper.tables(only)
+      # TODO: Добавить во враппер tables, это убрать
+      raise "DBF file not found for: #{key}" if tables.keys.any? { |key| key.nil? }
+      ActiveRecord::Schema.define do
+        eval(importer.schema(tables))
+      end
     end
   end
 
-  namespace :import do
-    desc 'Import FIAS data (without houses)'
-    task may_be_rails(:placements) do
-      within_connection do |wrapper, importer|
-        total_record_count = wrapper.tables.sum { |accessor, dbf| dbf.record_count }
-
-        puts 'Importing FIAS data...'
+  desc 'Import FIAS data'
+  task may_be_rails(:import) do
+    within_connection do |wrapper, importer|
+      tables = wrapper.tables(only)
 
-        bar = ProgressBar.new(total_record_count)
-        importer.import do
-          bar.increment!
-        end
+      total_record_count = tables.sum do |accessor, dbf|
+        dbf.present? ? dbf.record_count : 0
       end
-    end
 
-    desc 'Import FIAS data (houses)'
-    task may_be_rails(:houses) do
-      within_connection do |wrapper, importer|
-        total_record_count = wrapper.houses.sum { |region, dbf| dbf.record_count }
+      puts 'Importing FIAS data...'
 
-        puts 'Importing FIAS data (houses)...'
-
-        bar = ProgressBar.new(total_record_count)
-        importer.import_houses do
-          bar.increment!
-        end
+      bar = ProgressBar.new(total_record_count)
+      importer.import(tables) do
+        bar.increment!
       end
     end
   end

metadata

@@ -1,7 +1,7 @@
 --- !ruby/object:Gem::Specification
 name: fias
 version: !ruby/object:Gem::Version
-  version: 0.0.1
+  version: 0.0.2
   prerelease: 
 platform: ruby
 authors:
@@ -9,7 +9,7 @@ authors:
 autorequire: 
 bindir: bin
 cert_chain: []
-date: 2013-01-21 00:00:00.000000000 Z
+date: 2013-01-23 00:00:00.000000000 Z
 dependencies:
 - !ruby/object:Gem::Dependency
   name: dbf
@@ -75,6 +75,54 @@ dependencies:
     - - ! '>='
       - !ruby/object:Gem::Version
         version: '0'
+- !ruby/object:Gem::Dependency
+  name: pg
+  requirement: !ruby/object:Gem::Requirement
+    none: false
+    requirements:
+    - - ! '>='
+      - !ruby/object:Gem::Version
+        version: '0'
+  type: :development
+  prerelease: false
+  version_requirements: !ruby/object:Gem::Requirement
+    none: false
+    requirements:
+    - - ! '>='
+      - !ruby/object:Gem::Version
+        version: '0'
+- !ruby/object:Gem::Dependency
+  name: sqlite3
+  requirement: !ruby/object:Gem::Requirement
+    none: false
+    requirements:
+    - - ! '>='
+      - !ruby/object:Gem::Version
+        version: '0'
+  type: :development
+  prerelease: false
+  version_requirements: !ruby/object:Gem::Requirement
+    none: false
+    requirements:
+    - - ! '>='
+      - !ruby/object:Gem::Version
+        version: '0'
+- !ruby/object:Gem::Dependency
+  name: hirb
+  requirement: !ruby/object:Gem::Requirement
+    none: false
+    requirements:
+    - - ! '>='
+      - !ruby/object:Gem::Version
+        version: '0'
+  type: :development
+  prerelease: false
+  version_requirements: !ruby/object:Gem::Requirement
+    none: false
+    requirements:
+    - - ! '>='
+      - !ruby/object:Gem::Version
+        version: '0'
 description: Ruby wrapper to FIAS database
 email:
 - gzigzigzeo@evilmartians.com
@@ -91,8 +139,11 @@ files:
 - lib/fias.rb
 - lib/fias/active_record/address_object.rb
 - lib/fias/active_record/address_object_type.rb
-- lib/fias/import/dbf_wrapper.rb
-- lib/fias/import/pg.rb
+- lib/fias/dbf_wrapper.rb
+- lib/fias/importer.rb
+- lib/fias/importer/base.rb
+- lib/fias/importer/pg.rb
+- lib/fias/importer/sqlite.rb
 - lib/fias/railtie.rb
 - lib/fias/version.rb
 - lib/generators/fias/migration.rb
@@ -112,7 +163,7 @@ required_ruby_version: !ruby/object:Gem::Requirement
       version: '0'
       segments:
       - 0
-      hash: -2160443642439180378
+      hash: 493497803985021140
 required_rubygems_version: !ruby/object:Gem::Requirement
   none: false
   requirements:
@@ -121,7 +172,7 @@ required_rubygems_version: !ruby/object:Gem::Requirement
       version: '0'
       segments:
       - 0
-      hash: -2160443642439180378
+      hash: 493497803985021140
 requirements: []
 rubyforge_project: 
 rubygems_version: 1.8.24

data/lib/fias/import/dbf_wrapper.rb

@@ -1,83 +0,0 @@
-module Fias
-  module Import
-    # Класс для доступа к DBF-файлам ФИАС
-    # Пример:
-    #   wrapper = DbfWrapper.new('tmp/fias')
-    #   wrapper.address_objects.record_count
-    #   wrapper.address_objects.each { |record| record.attributes }
-    class DbfWrapper
-      def initialize(pathspec)
-        unless Dir.exists?(pathspec)
-          raise ArgumentError, 'FIAS database path does not exists'
-        end
-        self.pathspec = pathspec
-
-        TABLES_ACCESSORS.each do |key, dbf_name|
-          filename = File.join(pathspec, dbf_name)
-          dbf = DBF::Table.new(filename, nil, DEFAULT_ENCODING)
-
-          send("#{key}=", dbf)
-        end
-
-        self.houses = {}
-        Dir[File.join(pathspec, HOUSE_DBF_MASK)].each do |filename|
-          File.basename(filename) =~ /(\d+)/
-          region_code = $1.to_i
-
-          dbf = DBF::Table.new(filename, nil, DEFAULT_ENCODING)
-          self.houses[region_code] = dbf
-        end
-      end
-
-      def tables
-        hash = TABLES_ACCESSORS.keys.map do |accessor|
-          [accessor, send(accessor)]
-        end
-      end
-
-      def build_importer(options)
-        config = ActiveRecord::Base.connection_config
-        if config[:adapter] == 'postgresql'
-          import = Fias::Import::PgImporter.new(
-            ActiveRecord::Base.connection.raw_connection,
-            self,
-            options
-          )
-        else
-          raise 'Only postgres supported now, fork'
-        end
-      end
-
-      # Таблица соответствий аттрибутов класса DBF-файлам
-      TABLES_ACCESSORS = {
-        address_object_types: 'SOCRBASE.DBF',
-        current_statuses: 'CURENTST.DBF',
-        actual_statuses: 'ACTSTAT.DBF',
-        operation_statuses: 'OPERSTAT.DBF',
-        center_statuses: 'CENTERST.DBF',
-        interval_statuses: 'INTVSTAT.DBF',
-        estate_statues: 'ESTSTAT.DBF',
-        structure_statuses: 'STRSTAT.DBF',
-        address_objects: 'ADDROBJ.DBF',
-        house_intervals: 'HOUSEINT.DBF',
-        landmarks: 'LANDMARK.DBF'
-      }
-      HOUSE_DBF_MASK = 'HOUSE??.DBF'
-
-      # Эти поля нужно отконвертировать в тип UUID после создания
-      CONVERT_TO_UUID = {
-        address_objects: %w(aoguid aoid previd nextid parentguid)
-      }
-
-      DEFAULT_ENCODING = Encoding::CP866
-
-      attr_reader   *TABLES_ACCESSORS.keys
-      attr_reader   :houses
-
-      private
-      attr_accessor :pathspec
-      attr_writer   *TABLES_ACCESSORS.keys
-      attr_writer   :houses
-    end
-  end
-end

data/lib/fias/import/pg.rb

@@ -1,144 +0,0 @@
-module Fias
-  module Import
-    class PgImporter
-      # Класс для импорта данных из ФИАС в PostgreSQL.
-      # Используется COPY FROM STDIN.
-      def initialize(raw_connection, wrapper, options = {})
-        self.prefix         = options.delete(:prefix) || 'fias'
-        self.raw_connection = raw_connection
-        self.wrapper        = wrapper
-      end
-
-      # Генерирует схему базы для ActiveRecord в виде строки
-      def schema
-        "".tap do |s|
-          wrapper.tables.each do |accessor, table|
-            s << %{create_table "#{table_name(accessor)}", id: false do |t|\n}
-            s << dump_schema_for(accessor, table)
-            s << "end\n"
-
-            s << alter_table_to_pg_uuids(accessor)
-          end
-
-          s << %{create_table "#{table_name('houses')}", id: false do |t|\n}
-          s << dump_schema_for(:houses, wrapper.houses.values.first)
-          s << "  t.column :regioncode, :integer\n"
-          s << "end\n"
-        end
-      end
-
-      def import(&block)
-        wrapper.tables.each do |accessor, table|
-          import_table(accessor, table, &block)
-        end
-      end
-
-      def import_houses(&block)
-        wrapper.houses.each do |region, table|
-          import_houses_for_region(region, table, &block)
-        end
-      end
-
-      private
-      def dump_schema_for(accessor, table)
-        "".tap do |s|
-          table.columns.each do |column|
-            column_name = column.name.downcase
-            column_def = column.schema_definition
-            s << "  t.column #{column_def}"
-          end
-        end
-      end
-
-      def alter_table_to_pg_uuids(accessor)
-        "".tap do |s|
-          columns = wrapper.class::CONVERT_TO_UUID[accessor]
-          if columns.present?
-            columns.each do |column|
-              s << %{ActiveRecord::Base.connection.execute("ALTER TABLE #{table_name(accessor)} ALTER COLUMN #{column} TYPE UUID USING CAST (#{column} AS UUID);")\n}
-            end
-          end
-        end
-      end
-
-      def import_table(accessor, table, &block)
-        fields = table_fields(table)
-        columns = table_columns(fields)
-
-        tn = table_name(accessor)
-
-        truncate_table(tn)
-        copy_from_stdin(tn, columns)
-
-        table.each_with_index do |record|
-          data = record.to_a
-          put_data(data)
-          yield(accessor, data) if block_given?
-        end
-
-        put_copy_end
-      end
-
-      def import_houses_for_region(region, table, &block)
-        fields = table_fields(table)
-        fields << :regioncode
-        columns = table_columns(fields)
-
-        tn = table_name('houses')
-
-        truncate_table(tn)
-        copy_from_stdin(tn, columns)
-
-        table.each_with_index do |record|
-          data = record.to_a
-          data << region
-          put_data(data)
-          yield('houses', data) if block_given?
-        end
-
-        put_copy_end
-      end
-
-      def table_name(table)
-        "#{prefix}_#{table}"
-      end
-
-      def table_fields(table)
-        table.columns.map(&:name).map(&:downcase)
-      end
-
-      def table_columns(fields)
-        fields.join(',')
-      end
-
-      def truncate_table(table_name)
-        raw_connection.exec "TRUNCATE TABLE #{table_name};"
-      end
-
-      def copy_from_stdin(table_name, columns)
-        sql = "COPY #{table_name} (#{columns}) FROM STDIN NULL AS '-nil-'\n"
-        raw_connection.exec(sql)
-      end
-
-      def put_data(data)
-        data.map! { |item| item == "" ? '-nil-' : item }
-        line = data.join("\t") + "\n"
-        raw_connection.put_copy_data(line)
-      end
-
-      def put_copy_end
-        raw_connection.put_copy_end
-
-        while res = raw_connection.get_result
-          result_status = res.res_status(res.result_status)
-          unless result_status == 'PGRES_COMMAND_OK'
-            raise "Import failure: #{result_status}"
-          end
-        end
-      end
-
-      attr_accessor :raw_connection, :wrapper
-      attr_accessor :prefix, :table_mappings
-    end
-  end
-end