pbf_reverse_geocoder 0.1.0 → 0.2.0

checksums.yaml

@@ -1,7 +1,7 @@
 ---
 SHA256:
-  metadata.gz: 70731208b30a178b40807a72415fcf6aede25018caadf24b2606b152a87c6e81
-  data.tar.gz: 53526751cd21450e88880bb3e12175641a161fea6907531b0d33418240a49625
+  metadata.gz: 565ce530d13a4f82c66c492fedb67fb04c4582f946a742c9f9bafbc61d5c7489
+  data.tar.gz: 7ef4a199766300d85fc56546ffcb5b8f228b02ce175498a17d5d58795e916dca
 SHA512:
-  metadata.gz: d7fcf2add8ef30e4fb13eb349787d49e632c0de0001b97a159f2b7ca9d73364e52a8f6d5f367989422338948be134f2e0408055342e24863c0c831d1b8e98264
-  data.tar.gz: 6a80ed60cdc9c56e9a052568d541e84fdd864b3113894ef95bafc5c419fcda3beebeeee1150be6147f4683e7a5a3653b20ac3ab3d446eea27b443a1fc2a1d5f3
+  metadata.gz: f02fc27bd784f5d50bc9f742e5a6a20da1b9fed09eba10025c8c39a28ef931bc1187a565253f2c349c9b2a61ca49d1af3f255fff05923256645c618e1d4bcb42
+  data.tar.gz: b427b846715628849378482459bf20e1462bc26afe4bda1cff82144df7ed4a034d9105c14f95bebbc2a004f7701e7cff3d17de0b306dc7226a3749ae3479c6c7

data/README.md

@@ -40,7 +40,12 @@ tiles_dir = './tiles'  # ダウンロードしたタイルの場所
 result = PbfReverseGeocoder.reverse_geocode(139.7671, 35.6812, tiles_dir)
 
 puts result
-# => { "prefecture" => "東京都", "city" => "千代田区", "code" => "13101" }
+# => {
+#      "prefecture" => "東京都",
+#      "city" => "千代田区",
+#      "municipality" => "千代田区",
+#      "code" => "13101"
+#    }
 ```
 
 ### より詳しい使用例
@@ -73,6 +78,18 @@ end
 # 札幌駅: 北海道 札幌市北区 (01102)
 ```
 
+### 取得できる情報
+
+`reverse_geocode` は行政区域の階層を加工せず返します。返却は下記の正規化キーのみ（N03_*は返しません）。
+
+- `prefecture`: 都道府県 (`N03_001`)
+- `sub_prefecture`: 支庁/振興局など (`N03_002`)
+- `county`: 郡 (`N03_003`)
+- `municipality`: 市区町村 (`N03_004`)
+- `ward`: 政令市の行政区 (`N03_005` がある場合)
+- `city`: `municipality` と `ward` を連結した互換用フィールド
+- `code`: 全国地方公共団体コード (`N03_007` を5桁でゼロ埋め)
+
 ### Railsでの使用例
 
 ```ruby
@@ -98,81 +115,37 @@ end
 
 ### タイルデータの準備
 
-このgemを使用するには、事前にPBF形式のタイルデータを準備する必要があります。
+国土交通省の最新行政区域データ（例: [N03-2025](https://nlftp.mlit.go.jp/ksj/gml/datalist/KsjTmplt-N03-2025.html)）を、そのままの属性でタイル化して利用します。リポジトリ直下に `N03-20250101_GML.zip` と展開済みの `N03-20250101_GML/` を配置済みです。
 
-以下の2つの方法があります：
+**必要なツール**
+- [tippecanoe](https://github.com/felt/tippecanoe)（必須）
+- [ogr2ogr](https://gdal.org/programs/ogr2ogr.html)（GeoJSON が同梱されていない場合のみ）
 
-#### 方法1: Geoloniaのリポジトリから取得
-
-[@geolonia/open-reverse-geocoder](https://github.com/geolonia/open-reverse-geocoder)のリポジトリから直接タイルを取得できます。
+**データの取得例**
 
 ```bash
-# Geoloniaのリポジトリをクローン（タイルのみ）
-git clone --depth 1 --filter=blob:none --sparse \
-  https://github.com/geolonia/open-reverse-geocoder.git
-
-cd open-reverse-geocoder
-git sparse-checkout set docs/tiles
-
-# タイルをホスティング用のディレクトリに配置
-cp -r docs/tiles /path/to/hosting/directory
+# 2025年版N03データをダウンロード（約数百MB）
+curl -LO https://nlftp.mlit.go.jp/ksj/gml/data/N03/N03-2025/N03-20250101_GML.zip
+unzip N03-20250101_GML.zip
 ```
 
-> **💡 配置例**
-> - **Webサーバ**: `public/tiles`（Rails/Nginxなど）
-> - **共有ストレージ**: NFS/S3マウントポイントなど
-> - **アプリケーション内蔵**: `vendor/tiles`
-> - タイルは約560個、合計サイズは数十MB程度です
-> 
-> **ホスティングのポイント**:
-> - タイルデータは全サーバで共有可能（読み取り専用）
-> - CDN経由での配信も可能（PBFファイルはバイナリ）
-> - コンテナ環境ではボリュームマウントで共有
-
-#### 方法2: ソースデータから自分でビルド（最新データが必要な場合）
-
-国土数値情報から最新の行政区域データを使って、自分でタイルをビルドすることもできます。
-
-**🔧 必要なツール:**
-- [ogr2ogr](https://gdal.org/programs/ogr2ogr.html) - GDALツール（GeoJSON変換用）
-- [Tippecanoe](https://github.com/felt/tippecanoe) - Mapboxのタイル生成ツール
-- [mb-util](https://github.com/mapbox/mbutil) - MBTiles変換ツール
-
-**macOSの場合:**
+**タイル作成（加工なし）**
 
 ```bash
-# 必要なツールをインストール
-brew install gdal tippecanoe
-pip install mbutil
+# 2025年版N03データをタイル化する例
+ruby scripts/build_tiles.rb --source N03-20250101_GML --tiles-dir ./tiles --layer N03
 ```
 
-**🏗️ ビルド手順:**
+- ズームレベルは `--zoom` で変更可能（デフォルト10固定の全国範囲）
+- GeoJSONを直接使う場合は `--geojson path/to/N03.geojson` を指定
+- GeoJSON が無い場合、Shapefile から `ogr2ogr` で自動変換します
 
-```bash
-# 1. 元のリポジトリをクローン（ビルドスクリプトを使用）
-git clone https://github.com/geolonia/open-reverse-geocoder.git
-cd open-reverse-geocoder
-
-# 2. 依存関係をインストール
-npm install
-
-# 3. タイルをビルド（国土数値情報から自動ダウンロード＆ビルド）
-npm run build:tiles
+**動作確認コマンド**
 
-# 4. ビルドされたタイルをコピー
-cp -r docs/tiles /path/to/your/project/tiles
+```bash
+ruby scripts/reverse_geocode.rb --tiles-dir ./tiles --lng 139.7671 --lat 35.6812
 ```
-
-**ビルドプロセスの詳細:**
-
-1. 国土数値情報から最新の[行政区域データ](https://nlftp.mlit.go.jp/ksj/gml/datalist/KsjTmplt-N03-v2_4.html)をダウンロード
-2. `ogr2ogr`でShapefileをGeoJSONに変換
-3. プロパティ調整スクリプトを実行（prefecture, city, codeフィールドを整形）
-4. `tippecanoe`でMBTilesを生成（非圧縮で出力）
-5. `mb-util`でタイルを分解して静的ファイル化
-
-
-> 詳細は[@geolonia/open-reverse-geocoder](https://github.com/geolonia/open-reverse-geocoder#%E3%82%BF%E3%82%A4%E3%83%AB%E3%81%AE%E3%83%93%E3%83%AB%E3%83%89%E6%96%B9%E6%B3%95)のREADMEを参照してください。
+東京駅周辺なら東京都千代田区（コード13101）が返る想定です。
 
 #### ディレクトリ構造
 
@@ -191,20 +164,27 @@ tiles/
         └── 413.pbf
 ```
 
+※ `tiles/` は `.gitignore` 済みです。生成物はコミット不要です。
+
 #### タイルの範囲について
 
 - **ズームレベル10固定**: このライブラリは @geolonia/open-reverse-geocoder と同じくズームレベル10のタイルのみを使用します（約30km四方）
-- **日本全体**: X座標 896-926、Y座標 396-413の範囲で日本全国をカバー
+- **日本全体**: X座標 896-926、Y座標 396-413の範囲で日本全国をカバー（N03公式データに基づく）
 - **個別地域**: 必要な地域のタイルのみをダウンロードすることも可能
 
+> 既存の Geolonia タイル（layer: `japanese-admins`）も互換性のため読み込めますが、最新データを使う場合は上記のN03公式データを推奨します。
+
 ### 戻り値
 
 成功時:
 ```ruby
 {
-  "prefecture" => "東京都",
-  "city" => "千代田区",
-  "code" => "13101"  # 全国地方公共団体コード
+  "prefecture" => "北海道",
+  "sub_prefecture" => "石狩振興局",
+  "city" => "札幌市中央区",
+  "municipality" => "札幌市",
+  "ward" => "中央区",
+  "code" => "01101"  # 全国地方公共団体コード（5桁ゼロ埋め）
 }
 ```
 

data/example.rb

@@ -11,6 +11,8 @@ result = PbfReverseGeocoder.reverse_geocode(139.7671, 35.6812, tiles_dir)
 if result
   puts "都道府県: #{result['prefecture']}"
   puts "市区町村: #{result['city']}"
+  puts "市町村: #{result['municipality']}" if result['municipality']
+  puts "行政区: #{result['ward']}" if result['ward']
   puts "地方公共団体コード: #{result['code']}"
 else
   puts '該当する行政区域が見つかりませんでした'

data/lib/pbf_reverse_geocoder/pbf_tile_reader.rb

@@ -2,14 +2,18 @@
 
 require_relative 'simple_pbf_parser'
 require_relative 'geometry_decoder'
+require 'zlib'
+require 'stringio'
 
 # PBFタイルを読み込んでフィーチャー一覧を返すモジュール
 module PbfReverseGeocoder
 
   class PbfTileReader
 
-    # @geoloniaと同じレイヤー名
-    LAYER_NAME = 'japanese-admins'
+    # サポートするレイヤー名
+    # - 最新のN03タイルをそのまま使う場合: N03
+    # - 互換用: @geolonia/open-reverse-geocoder の japanese-admins
+    LAYER_NAMES = ['N03', 'N03-2025', 'japanese-admins'].freeze
 
     # PBFタイルを読み込んでフィーチャー一覧を返す
     #
@@ -24,14 +28,22 @@ module PbfReverseGeocoder
     def self.read_tile(tile_path, tile_x, tile_y, zoom)
       return [] unless File.exist?(tile_path)
 
-      # バイナリ読み込み
+      # バイナリ読み込み（gzipなら展開）
       pbf_data = File.binread(tile_path)
+      if gzip?(pbf_data)
+        begin
+          pbf_data = Zlib::GzipReader.new(StringIO.new(pbf_data)).read
+        rescue Zlib::GzipFile::Error
+          warn "Failed to gunzip tile: #{tile_path}"
+          return []
+        end
+      end
 
       # SimplePbfParserでパース
       tile = SimplePbfParser.parse(pbf_data)
 
       # japanese-admins レイヤーを抽出
-      layer = tile[:layers].find { |l| l[:name] == LAYER_NAME }
+      layer = find_layer(tile)
       return [] unless layer
 
       # フィーチャーをGeoJSON形式に変換
@@ -74,16 +86,80 @@ module PbfReverseGeocoder
         key = layer[:keys][key_idx]
         value_obj = layer[:values][val_idx]
 
-        # 値を文字列として取得
-        value = value_obj&.dig(:string_value) || ''
+        value = extract_value(value_obj)
+        props[key] = value unless key.nil?
+      end
+
+      normalize_properties(props)
+    end
+
+    # 値オブジェクトからRuby値を抽出
+    #
+    # @param value_obj [Hash, nil]
+    # @return [Object, nil]
+    def self.extract_value(value_obj)
+      return '' unless value_obj
+
+      value_obj[:string_value] ||
+        value_obj[:float_value] ||
+        value_obj[:double_value] ||
+        value_obj[:int_value] ||
+        value_obj[:uint_value] ||
+        value_obj[:sint_value] ||
+        value_obj[:bool_value] ||
+        ''
+    end
 
-        props[key] = value
+    # N03形式のプロパティを標準化
+    #
+    # - N03_* を pref/municipality/ward などに正規化
+    # - city は municipality と ward を連結した互換フィールド
+    #
+    # @param props [Hash]
+    # @return [Hash]
+    def self.normalize_properties(props)
+      prefecture = props['prefecture'] || props['N03_001']
+      sub_prefecture = props['sub_prefecture'] || props['N03_002']
+      county = props['county'] || props['N03_003']
+      municipality = props['municipality'] || props['city'] || props['N03_004']
+      ward = props['ward'] || props['N03_005']
+
+      code = props['code'] || props['N03_007'] || props['id']
+      code = code.to_i.to_s if code.is_a?(Integer)
+      code = code.to_s.rjust(5, '0') if code
+
+      if ward.to_s.empty? && municipality == props['city']
+        # 分離されていない市+区の文字列を分割（例: 大阪市中央区）
+        if municipality && (m = municipality.match(/\A(.+市)(.+区)\z/))
+          municipality = m[1]
+          ward = m[2]
+        end
       end
 
-      props
+      city = props['city'] || [municipality, ward].compact.join
+
+      result = {}
+      result['prefecture'] = prefecture if prefecture
+      result['sub_prefecture'] = sub_prefecture if sub_prefecture
+      result['county'] = county if county
+      result['municipality'] = municipality if municipality
+      result['ward'] = ward if ward
+      result['city'] = city unless city.nil? || city.empty?
+      result['code'] = code if code
+
+      result
+    end
+
+    def self.find_layer(tile)
+      tile[:layers].find { |l| LAYER_NAMES.include?(l[:name]) } ||
+        tile[:layers].first
+    end
+
+    def self.gzip?(data)
+      data.bytes[0, 2] == [0x1f, 0x8b]
     end
 
-    private_class_method :decode_properties
+    private_class_method :decode_properties, :extract_value, :find_layer, :gzip?
 
   end
 

data/lib/pbf_reverse_geocoder/simple_pbf_parser.rb

@@ -143,6 +143,32 @@ module PbfReverseGeocoder
         wire_type = field_key & 0x7
 
         case wire_type
+        when WIRE_TYPE_VARINT
+          number, pos = read_varint(data, pos)
+          case field_number
+          when 4
+            value[:int_value] = number
+          when 5
+            value[:uint_value] = number
+          when 6
+            value[:sint_value] = zigzag_decode(number)
+          when 7
+            value[:bool_value] = number != 0
+          end
+        when WIRE_TYPE_32BIT
+          # float_value
+          if field_number == 2
+            bytes = data[pos, 4]
+            pos += 4
+            value[:float_value] = bytes.pack('C*').unpack1('e')
+          end
+        when WIRE_TYPE_64BIT
+          # double_value
+          if field_number == 3
+            bytes = data[pos, 8]
+            pos += 8
+            value[:double_value] = bytes.pack('C*').unpack1('E')
+          end
         when WIRE_TYPE_LENGTH_DELIMITED
           length, pos = read_varint(data, pos)
           value_bytes = data[pos, length]
@@ -220,8 +246,13 @@ module PbfReverseGeocoder
       pos
     end
 
+    def self.zigzag_decode(value)
+      (value >> 1) ^ -(value & 1)
+    end
+
     private_class_method :parse_layer, :parse_feature, :parse_value,
-                         :read_varint, :unpack_packed_varint, :skip_field
+                         :read_varint, :unpack_packed_varint, :skip_field,
+                         :zigzag_decode
 
   end
 

data/lib/pbf_reverse_geocoder/version.rb

@@ -1,5 +1,5 @@
 # frozen_string_literal: true
 
 module PbfReverseGeocoder
-  VERSION = '0.1.0'
+  VERSION = '0.2.0'
 end

data/lib/pbf_reverse_geocoder.rb

@@ -29,7 +29,13 @@ module PbfReverseGeocoder
     tile_path = TileCalculator.tile_path(tile_x, tile_y, zoom, tiles_dir)
 
     # PBFタイルを読み込んでパース
-    features = PbfTileReader.read_tile(tile_path, tile_x, tile_y, zoom)
+    features = PbfTileReader.read_tile(tile_path, tile_x, tile_y, zoom).map do |feature|
+      normalized = PbfTileReader.normalize_properties(feature[:properties])
+      {
+        geometry: feature[:geometry],
+        properties: normalized
+      }
+    end
 
     # 点を含むポリゴンを検索
     point = [lng, lat]

data/scripts/build_tiles.rb

@@ -0,0 +1,105 @@
+# frozen_string_literal: true
+
+# Build vector tiles from the raw N03 dataset without altering attributes.
+# Usage:
+#   ruby scripts/build_tiles.rb --source N03-20250101_GML --tiles-dir ./tiles
+#
+# Requirements:
+#   - tippecanoe
+#   - (optional) ogr2ogr when GeoJSON is not present in the source directory
+
+require 'optparse'
+require 'pathname'
+require 'fileutils'
+
+options = {
+  source: 'N03-20250101_GML',
+  tiles_dir: 'tiles',
+  zoom: 10,
+  layer: 'N03'
+}
+
+OptionParser.new do |opts|
+  opts.banner = 'Usage: ruby scripts/build_tiles.rb [options]'
+
+  opts.on('--source PATH', 'Path to the extracted N03 dataset directory') do |v|
+    options[:source] = v
+  end
+
+  opts.on('--geojson PATH', 'Use a specific GeoJSON file (skip conversion)') do |v|
+    options[:geojson] = v
+  end
+
+  opts.on('--tiles-dir PATH', 'Output directory for the generated tiles') do |v|
+    options[:tiles_dir] = v
+  end
+
+  opts.on('--zoom LEVEL', Integer, 'Zoom level (default: 10)') do |v|
+    options[:zoom] = v
+  end
+
+  opts.on('--layer NAME', 'Layer name to embed in tiles (default: N03)') do |v|
+    options[:layer] = v
+  end
+end.parse!
+
+def command_available?(cmd)
+  system("command -v #{cmd} >/dev/null 2>&1")
+end
+
+def find_first(pattern)
+  Dir.glob(pattern).first
+end
+
+def ensure_geojson(source_dir, geojson_override)
+  return Pathname.new(geojson_override).expand_path if geojson_override
+
+  geojson = find_first(source_dir.join('*.geojson').to_s)
+  return Pathname.new(geojson) if geojson
+
+  shp = find_first(source_dir.join('*.shp').to_s)
+  return nil unless shp
+
+  unless command_available?('ogr2ogr')
+    abort 'GeoJSON not found. Install GDAL (ogr2ogr) or provide --geojson to continue.'
+  end
+
+  geojson_path = Pathname.new(shp.sub(/\.shp\z/, '.geojson'))
+  puts "Converting Shapefile to GeoJSON with ogr2ogr -> #{geojson_path}"
+  system('ogr2ogr', '-f', 'GeoJSON', geojson_path.to_s, shp) || abort('ogr2ogr failed')
+
+  geojson_path
+end
+
+def build_tiles(geojson_path, tiles_dir, zoom, layer)
+  abort 'tippecanoe is required to build tiles' unless command_available?('tippecanoe')
+
+  FileUtils.rm_rf(tiles_dir)
+  FileUtils.mkdir_p(tiles_dir)
+
+  cmd = [
+    'tippecanoe',
+    '--output-to-directory', tiles_dir.to_s,
+    '--force',
+    '--layer', layer,
+    '-Z', zoom.to_s,
+    '-z', zoom.to_s,
+    '--no-feature-limit',
+    '--no-tile-size-limit',
+    geojson_path.to_s
+  ]
+
+  puts "Building tiles with tippecanoe (zoom=#{zoom}, layer=#{layer})"
+  system(*cmd) || abort('tippecanoe failed')
+
+  puts "Tiles created in #{tiles_dir}"
+end
+
+source_dir = Pathname.new(options[:source]).expand_path
+abort "Source directory not found: #{source_dir}" unless source_dir.directory?
+
+geojson_path = ensure_geojson(source_dir, options[:geojson])
+abort 'GeoJSON source could not be prepared.' unless geojson_path && geojson_path.file?
+
+build_tiles(geojson_path, Pathname.new(options[:tiles_dir]).expand_path,
+            options[:zoom], options[:layer])

data/scripts/reverse_geocode.rb

@@ -0,0 +1,35 @@
+# frozen_string_literal: true
+
+require 'optparse'
+require 'json'
+require_relative '../lib/pbf_reverse_geocoder'
+
+options = {
+  tiles_dir: './tiles',
+  lng: 139.7671,
+  lat: 35.6812
+}
+
+OptionParser.new do |opts|
+  opts.banner = 'Usage: ruby scripts/reverse_geocode.rb --tiles-dir ./tiles --lng 139.7671 --lat 35.6812'
+
+  opts.on('--tiles-dir PATH', 'Directory where PBF tiles are stored') do |v|
+    options[:tiles_dir] = v
+  end
+
+  opts.on('--lng FLOAT', Float, 'Longitude') do |v|
+    options[:lng] = v
+  end
+
+  opts.on('--lat FLOAT', Float, 'Latitude') do |v|
+    options[:lat] = v
+  end
+end.parse!
+
+result = PbfReverseGeocoder.reverse_geocode(options[:lng], options[:lat], options[:tiles_dir])
+
+if result
+  puts JSON.pretty_generate(result)
+else
+  warn 'No administrative area found for the given coordinate.'
+end

metadata

@@ -1,7 +1,7 @@
 --- !ruby/object:Gem::Specification
 name: pbf_reverse_geocoder
 version: !ruby/object:Gem::Version
-  version: 0.1.0
+  version: 0.2.0
 platform: ruby
 authors:
 - Keisuke Terada
@@ -74,7 +74,8 @@ files:
 - lib/pbf_reverse_geocoder/simple_pbf_parser.rb
 - lib/pbf_reverse_geocoder/tile_calculator.rb
 - lib/pbf_reverse_geocoder/version.rb
-- pbf_reverse_geocoder.gemspec
+- scripts/build_tiles.rb
+- scripts/reverse_geocode.rb
 homepage: https://github.com/keisuke2236/pbf_reverse_geocoder
 licenses:
 - MIT

data/pbf_reverse_geocoder.gemspec

@@ -1,40 +0,0 @@
-# frozen_string_literal: true
-
-require_relative 'lib/pbf_reverse_geocoder/version'
-
-Gem::Specification.new do |spec|
-  spec.name = 'pbf_reverse_geocoder'
-  spec.version = PbfReverseGeocoder::VERSION
-  spec.authors = ['Keisuke Terada']
-  spec.email = ['rorensu2236@gmail.com']
-
-  spec.summary = 'PBF-based reverse geocoding library for Japanese administrative areas'
-  spec.description = 'A lightweight reverse geocoding library that uses Mapbox Vector Tiles (PBF format) to find Japanese administrative areas (prefecture, city) from latitude/longitude coordinates. Ruby implementation of @geolonia/open-reverse-geocoder.'
-  spec.homepage = 'https://github.com/keisuke2236/pbf_reverse_geocoder'
-  spec.license = 'MIT'
-  spec.required_ruby_version = '>= 3.0.0'
-
-  spec.metadata['homepage_uri'] = spec.homepage
-  spec.metadata['source_code_uri'] = 'https://github.com/keisuke2236/pbf_reverse_geocoder'
-  spec.metadata['changelog_uri'] = 'https://github.com/keisuke2236/pbf_reverse_geocoder/blob/main/CHANGELOG.md'
-  spec.metadata['rubygems_mfa_required'] = 'true'
-
-  # Specify which files should be added to the gem when it is released.
-  spec.files = Dir.chdir(__dir__) do
-    `git ls-files -z`.split("\x0").reject do |f|
-      (File.expand_path(f) == __FILE__) ||
-        f.start_with?(*%w[bin/ test/ spec/ features/ .git .github appveyor Gemfile])
-    end
-  end
-  spec.bindir = 'exe'
-  spec.executables = spec.files.grep(%r{\Aexe/}) { |f| File.basename(f) }
-  spec.require_paths = ['lib']
-
-  # Runtime dependencies
-  # (現時点では標準ライブラリのみ使用)
-
-  # Development dependencies
-  spec.add_development_dependency 'rake', '~> 13.0'
-  spec.add_development_dependency 'rspec', '~> 3.0'
-  spec.add_development_dependency 'rubocop', '~> 1.21'
-end