network-infra-utility 0.1.0 → 0.2.0

data/service/geodb/GeoAPI.md

@@ -0,0 +1,227 @@
+# GeoAPI 测试用例
+
+> 接口服务文件：`api.rb`  
+> 默认地址：`http://localhost:9292`（实际使用时替换 `localhost:9292` 为你的 `HOST:PORT`）  
+
+## 返回约定
+
+| 状态码 | 含义 | 响应体 |
+|--------|------|--------|
+| 200 | 成功 | 各接口对应的数据结构 |
+| 400 | 参数不合法 | `{"error":"IP不合法"}` / `{"error":"id不合法"}` / `{"error":"缺少参数 ..."}` |
+| 404 | 无结果 | `{"error":"无结果"}` |
+
+IP 合法性说明：含 `:` 按 IPv6 解析，否则按 IPv4 解析；非法地址统一返回 `IP不合法`。
+
+---
+
+## (1) ASN — `/geo/asn`
+
+### 1.1 `num` 查询（按 ASN 编号查所有地址段）
+
+| # | curl 命令 | 预期结果 |
+|---|-----------|----------|
+| 1.1.1 | `curl -s "localhost:9292/geo/asn?num=13335"` | 200，`asn:"13335"`，`count:2480`，含 `1.0.0.0/24`、`1.1.1.0/24` 等（Cloudflare）|
+| 1.1.2 | `curl -s "localhost:9292/geo/asn?num=38803"` | 200，含 `1.0.4.0/22`（Gtelecom）|
+| 1.1.3 | `curl -s "localhost:9292/geo/asn?num=999999999"` | 200，`count:0`，`results:[]`（无此 ASN）|
+| 1.1.4 | `curl -s "localhost:9292/geo/asn?num=abc"` | 200，`count:0`，`results:[]`（非数字按空结果返回）|
+
+### 1.2 `addr` 查询（按 IP 查所属 AS）
+
+| # | curl 命令 | 预期结果 |
+|---|-----------|----------|
+| 1.2.1 | `curl -s "localhost:9292/geo/asn?addr=1.0.0.5"` | 200，`network:"1.0.0.0/24"`，`autonomous_system_number:"13335"` |
+| 1.2.2 | `curl -s "localhost:9292/geo/asn?addr=2606:4700:4700::1111"` | 200，命中 Cloudflare AS13335 的 IPv6 段 |
+| 1.2.3 | `curl -s "localhost:9292/geo/asn?addr=0.0.0.0"` | 404，`{"error":"无结果"}` |
+| 1.2.4 | `curl -s "localhost:9292/geo/asn?addr=999.1.1.1"` | 400，`{"error":"IP不合法"}` |
+| 1.2.5 | `curl -s "localhost:9292/geo/asn?addr=nonip"` | 400，`{"error":"IP不合法"}` |
+
+### 1.3 缺参
+
+| # | curl 命令 | 预期结果 |
+|---|-----------|----------|
+| 1.3.1 | `curl -s "localhost:9292/geo/asn"` | 400，`{"error":"缺少参数 num 或 addr"}` |
+
+---
+
+## (2) City — `/geo/city?id=`
+
+### 2.1 id 命中
+
+| # | curl 命令 | 预期结果 |
+|---|-----------|----------|
+| 2.1.1 | `curl -s "localhost:9292/geo/city?id=11797"` | 200，伊朗（`country_iso_code:"IR"`，`time_zone:"Asia/Tehran"`）|
+| 2.1.2 | `curl -s "localhost:9292/geo/city?id=1814991"` | 200，中国（`country_iso_code:"CN"`，`time_zone:"Asia/Shanghai"`）|
+
+### 2.2 id 不合法
+
+| # | curl 命令 | 预期结果 |
+|---|-----------|----------|
+| 2.2.1 | `curl -s "localhost:9292/geo/city?id=abc"` | 400，`{"error":"id不合法"}` |
+| 2.2.2 | `curl -s "localhost:9292/geo/city?id=12a3"` | 400，`{"error":"id不合法"}` |
+| 2.2.3 | `curl -s "localhost:9292/geo/city?id="` | 400，`{"error":"id不合法"}`（空串不匹配 `\d+`）|
+
+### 2.3 id 无结果
+
+| # | curl 命令 | 预期结果 |
+|---|-----------|----------|
+| 2.3.1 | `curl -s "localhost:9292/geo/city?id=999999999"` | 404，`{"error":"无结果"}` |
+
+---
+
+## (3) City — `/geo/city?addr=`
+
+### 3.1 IPv4 查询
+
+| # | curl 命令 | 预期结果 |
+|---|-----------|----------|
+| 3.1.1 | `curl -s "localhost:9292/geo/city?addr=1.0.1.1"` | 200，`network:"1.0.1.0/24"`，`geoname` 嵌套"中国"，含 lat/lng/accuracy_radius |
+| 3.1.2 | `curl -s "localhost:9292/geo/city?addr=1.0.0.5"` | 200，`1.0.0.0/24`，`geoname_id:null`→`geoname:null`，`registered_country` 关联出注册国 |
+| 3.1.3 | `curl -s "localhost:9292/geo/city?addr=0.0.0.0"` | 404，`{"error":"无结果"}` |
+| 3.1.4 | `curl -s "localhost:9292/geo/city?addr=999.1.1.1"` | 400，`{"error":"IP不合法"}` |
+
+### 3.2 IPv6 查询
+
+| # | curl 命令 | 预期结果 |
+|---|-----------|----------|
+| 3.2.1 | `curl -s "localhost:9292/geo/city?addr=2606:4700:4700::1111"` | 200，命中 Cloudflare IPv6 段，`registered_country` 关联"美国"（US），`geoname`:null |
+
+### 3.3 缺参
+
+| # | curl 命令 | 预期结果 |
+|---|-----------|----------|
+| 3.3.1 | `curl -s "localhost:9292/geo/city"` | 400，`{"error":"缺少参数 id 或 addr"}` |
+
+---
+
+## (4) Country — `/geo/country?id=`
+
+### 4.1 id 命中
+
+| # | curl 命令 | 预期结果 |
+|---|-----------|----------|
+| 4.1.1 | `curl -s "localhost:9292/geo/country?id=49518"` | 200，`country_iso_code:"RW"`，`country_name:"卢旺达"` |
+| 4.1.2 | `curl -s "localhost:9292/geo/country?id=6252001"` | 200，`country_iso_code:"US"`，`country_name:"美国"` |
+| 4.1.3 | `curl -s "localhost:9292/geo/country?id=1814991"` | 200，`country_iso_code:"CN"`，`country_name:"中国"` |
+
+### 4.2 id 不合法
+
+| # | curl 命令 | 预期结果 |
+|---|-----------|----------|
+| 4.2.1 | `curl -s "localhost:9292/geo/country?id=abc"` | 400，`{"error":"id不合法"}` |
+| 4.2.2 | `curl -s "localhost:9292/geo/country?id=12.3"` | 400，`{"error":"id不合法"}` |
+| 4.2.3 | `curl -s "localhost:9292/geo/country?id="` | 400，`{"error":"id不合法"}` |
+
+### 4.3 id 无结果
+
+| # | curl 命令 | 预期结果 |
+|---|-----------|----------|
+| 4.3.1 | `curl -s "localhost:9292/geo/country?id=1"` | 404，`{"error":"无结果"}` |
+
+---
+
+## (5) Country — `/geo/country?addr=`
+
+### 5.1 IPv4 命中
+
+| # | curl 命令 | 预期结果 |
+|---|-----------|----------|
+| 5.1.1 | `curl -s "localhost:9292/geo/country?addr=1.0.1.1"` | 200，`network:"1.0.1.0/24"`，`geoname`+`registered_country` 均关联"中国" |
+
+### 5.2 IPv6 命中
+
+| # | curl 命令 | 预期结果 |
+|---|-----------|----------|
+| 5.2.1 | `curl -s "localhost:9292/geo/country?addr=2606:4700:4700::1111"` | 200，`network:"2606:4700:4700::/48"`，`registered_country`="美国"（US），`geoname`:null |
+| 5.2.2 | `curl -s "localhost:9292/geo/country?addr=2001:200::1"` | 200，`network:"2001:200::/32"`，`geoname`+`registered_country`="日本"（JP）|
+
+### 5.3 无结果
+
+| # | curl 命令 | 预期结果 |
+|---|-----------|----------|
+| 5.3.1 | `curl -s "localhost:9292/geo/country?addr=::1"` | 404，`{"error":"无结果"}` |
+| 5.3.2 | `curl -s "localhost:9292/geo/country?addr=0.0.0.0"` | 404，`{"error":"无结果"}` |
+
+### 5.4 IP 不合法
+
+| # | curl 命令 | 预期结果 |
+|---|-----------|----------|
+| 5.4.1 | `curl -s "localhost:9292/geo/country?addr=gggg::1"` | 400，`{"error":"IP不合法"}` |
+| 5.4.2 | `curl -s "localhost:9292/geo/country?addr=nonip"` | 400，`{"error":"IP不合法"}` |
+
+### 5.5 容错与缺参
+
+| # | curl 命令 | 预期结果 |
+|---|-----------|----------|
+| 5.5.1 | `curl -s "localhost:9292/geo/country?addr=%201.0.1.1"` | 200，命中"中国"（strip 容错）|
+| 5.5.2 | `curl -s "localhost:9292/geo/country"` | 400，`{"error":"缺少参数 id 或 addr"}` |
+
+---
+
+## 附：响应结构示例
+
+### ASN `num` 成功响应
+```json
+{
+  "asn": "13335",
+  "count": 2480,
+  "results": [
+    {
+      "network": "1.0.0.0/24",
+      "autonomous_system_number": "13335",
+      "autonomous_system_organization": "Cloudflare, Inc."
+    }
+  ]
+}
+```
+
+### ASN `addr` / IP 查所属 AS
+```json
+{
+  "network": "1.0.0.0/24",
+  "autonomous_system_number": "13335",
+  "autonomous_system_organization": "Cloudflare, Inc."
+}
+```
+
+### City / Country `addr` 成功响应（含 geo 关联）
+```json
+{
+  "network": "1.0.1.0/24",
+  "geoname_id": "1814991",
+  "registered_country_geoname_id": "1814991",
+  "represented_country_geoname_id": null,
+  "is_anonymous_proxy": "0",
+  "is_satellite_provider": "0",
+  "is_anycast": null,
+  "geoname": {
+    "geoname_id": "1814991",
+    "locale_code": "zh-CN",
+    "continent_code": "AS",
+    "continent_name": "亚洲",
+    "country_iso_code": "CN",
+    "country_name": "中国",
+    "is_in_european_union": "0"
+  },
+  "registered_country": {
+    "geoname_id": "1814991",
+    "locale_code": "zh-CN",
+    "continent_code": "AS",
+    "continent_name": "亚洲",
+    "country_iso_code": "CN",
+    "country_name": "中国",
+    "is_in_european_union": "0"
+  },
+  "represented_country": null
+}
+```
+
+---
+
+## 备注
+
+1. **ASN 的 `num` 非数字**：需求第(1)点只要求 city/country 的 id 做数字校验，未规定 asn 的 num。当前实现在 `num=abc` 时返回 `count:0`（空结果，状态 200）。如需返回 `400 ASN编号不合法`，可在 `api.rb` 中加一行校验。
+
+2. **city-IPv6.json**：当前 `geodb/` 目录下已生成此文件，IPv6 city 查询可正常命中。文件缺失时服务端会容错返回 `无结果`（404），不影响其他接口。
+
+3. **加载耗时（首次，含 JSON 解析）**：asn 约 3.5s / country-IPv4 约 2.9s / country-IPv6 约 3.6s / city-IPv4 约 22.8s，之后常驻内存走缓存，查询耗时约 0ms。

data/service/geodb/api.rb

@@ -0,0 +1,276 @@
+#coding:utf-8
+# GeoDB Roda API — IP 归属信息查询服务
+#
+# 作为 network-infra-utility 的命令行服务 (geo-api) 运行，
+# 亦可作为 rackup 配置由 config.ru 启动。
+#
+# 数据文件目录通过环境变量 GEODB_DATA_DIR 指定，默认 ./geodb/
+# 用 -d/--data-dir 参数 (命令行) 或设置该环境变量可指向任意位置。
+['cc','CasetDown/casetdown','network','roda'].each{|mod| require mod}
+
+module GeoDB
+  module_function
+
+  # 数据文件所在目录。
+  # 优先级: ENV['GEODB_DATA_DIR'] > ./geodb/
+  # 返回绝对路径并以分隔符结尾，便于直接拼接文件名。
+  # 与 geodb.rb 的 $prefix 含义一致，但此处只读不写。
+  def data_dir
+    d = ENV['GEODB_DATA_DIR'].to_s
+    d = 'geodb' if d.empty?
+    File.expand_path(d) + File::SEPARATOR
+  end
+
+  # 缓存: name => 已加载并处理好的结构
+  @store = {}
+  # asn 反向索引: autonomous_system_number => [record, ...]
+  @asn_index = {}
+  @lock = Mutex.new
+
+  # ---- 加载 ---------------------------------------------------------------
+
+  # 加载范围型 JSON (asn / city-IPv4 / city-IPv6 / country-IPv4 / country-IPv6)
+  # 返回按 start 升序的数组: [[start_num, end_num, record], ...]
+  # JSON 的键形如 "[16777217, 16777471]" (Ruby 数组键序列化后的字符串),
+  # 用 JSON.parse 还原为 [start, end] 两个整数.
+  def ranges(name)
+    @lock.synchronize do
+      return @store[name] if @store.key?(name)
+      path = "#{data_dir}#{name}.json"
+      unless File.exist?(path)
+        @store[name] = nil
+        return nil
+      end
+      raw = JSON.parse(File.binread(path))
+      arr = raw.map do |key, record|
+        start_num, end_num = JSON.parse(key)
+        [start_num.to_i, end_num.to_i, record]
+      end
+      arr.sort_by! { |s, _, _| s }
+      @store[name] = arr
+      # 为 asn 建立反向索引, num 查询 O(1)
+      if name == 'asn'
+        @asn_index.clear
+        arr.each do |_, _, r|
+          asn = r['autonomous_system_number']
+          (@asn_index[asn] ||= []) << r
+        end
+      end
+      arr
+    end
+  end
+
+  # 加载地理位置型 JSON (geo-city / geo-country)
+  # 返回扁平 Hash: { geoname_id_string => record }
+  def geo(name)
+    @lock.synchronize do
+      return @store[name] if @store.key?(name)
+      path = "#{data_dir}#{name}.json"
+      unless File.exist?(path)
+        @store[name] = nil
+        return nil
+      end
+      @store[name] = JSON.parse(File.binread(path))
+    end
+  end
+
+  # ---- IP 解析 ------------------------------------------------------------
+
+  # 把 IP 地址转为数字. 合法返回 Integer, 非法返回 nil.
+  # 自有库: IP.v4("1.2.3.4").number / IP.v6("::1").number
+  # 含冒号按 IPv6 处理, 否则按 IPv4 处理.
+  # 说明: 自有库对非法地址通常不抛异常而是返回非 Integer(nil/空串),
+  # 仅部分 IPv6 非法输入会抛 IPAddr::InvalidAddressError, 故双重兜底.
+  def ip_number(addr)
+    s = addr.to_s.strip
+    return nil if s.empty?
+    begin
+      n = s.include?(':') ? IP.v6(s).number : IP.v4(s).number
+      n.is_a?(Integer) ? n : nil
+    rescue
+      nil
+    end
+  end
+
+  # 判断地址族: 含冒号为 IPv6, 否则 IPv4
+  def ipv6?(addr)
+    addr.to_s.include?(':')
+  end
+
+  # ---- 范围二分查找 -------------------------------------------------------
+
+  # 在 ranges(name) 中查找包含 number 的范围, 返回对应 record, 未命中返回 nil.
+  # 范围互不重叠且按 start 升序, 用 bsearch_index 找最后一个 start<=number
+  # 的元素, 再校验 number<=end.
+  def find_range(name, number)
+    arr = ranges(name)
+    return nil unless arr && !arr.empty?
+    idx = arr.bsearch_index { |s, _, _| s > number }
+    cand = idx.nil? ? arr.last : (idx > 0 ? arr[idx - 1] : nil)
+    return nil unless cand
+    s, e, r = cand
+    (number >= s && number <= e) ? r : nil
+  end
+
+  # ---- ASN 接口 (1) -------------------------------------------------------
+
+  # /geo/asn?num=XXX  查出该 AS 的所有地址段
+  def asn_by_num(num)
+    ranges('asn') # 触发加载并建立反向索引
+    @asn_index[num.to_s] || []
+  end
+
+  # /geo/asn?addr=X.X.X.X  按 IP 查所属 AS
+  # 返回: :invalid(IP不合法) / nil(无结果) / record
+  def asn_by_addr(addr)
+    num = ip_number(addr)
+    return :invalid unless num
+    find_range('asn', num)
+  end
+
+  # ---- City 接口 (2)(3) ---------------------------------------------------
+
+  # /geo/city?id=XXX
+  # 返回: :invalid(id不合法) / nil(无结果) / record
+  def city_by_id(id)
+    return :invalid unless id.to_s.match?(/\A\d+\z/)
+    g = geo('geo-city')
+    g ? g[id.to_s] : nil
+  end
+
+  # /geo/city?addr=X.X.X.X  先查 city-IPv4/city-IPv6, 再关联 geo-city
+  # 返回: :invalid / nil / enriched_record
+  def city_by_addr(addr)
+    num = ip_number(addr)
+    return :invalid unless num
+    name = ipv6?(addr) ? 'city-IPv6' : 'city-IPv4'
+    r = find_range(name, num)
+    return nil unless r
+    enrich(r, 'geo-city')
+  end
+
+  # ---- Country 接口 (4)(5) ------------------------------------------------
+
+  # /geo/country?id=XXX
+  def country_by_id(id)
+    return :invalid unless id.to_s.match?(/\A\d+\z/)
+    g = geo('geo-country')
+    g ? g[id.to_s] : nil
+  end
+
+  # /geo/country?addr=X.X.X.X  先查 country-IPv4/country-IPv6, 再关联 geo-country
+  def country_by_addr(addr)
+    num = ip_number(addr)
+    return :invalid unless num
+    name = ipv6?(addr) ? 'country-IPv6' : 'country-IPv4'
+    r = find_range(name, num)
+    return nil unless r
+    enrich(r, 'geo-country')
+  end
+
+  # ---- 关联聚合 -----------------------------------------------------------
+
+  # 把范围型 record 与地理位置详情聚合:
+  # 保留 record 原字段, 并按 geoname_id / registered_country_geoname_id /
+  # represented_country_geoname_id 三个字段分别关联 geo 表, 输出为
+  # geoname / registered_country / represented_country 三个嵌套对象.
+  def enrich(record, geo_name)
+    g = geo(geo_name)
+    result = {}
+    record.each { |k, v| result[k] = v }
+    {
+      'geoname_id'                    => 'geoname',
+      'registered_country_geoname_id' => 'registered_country',
+      'represented_country_geoname_id'=> 'represented_country'
+    }.each do |id_key, out_key|
+      id = record[id_key]
+      result[out_key] = (id && g) ? g[id] : nil
+    end
+    result
+  end
+
+  # 预热: 启动时后台加载指定文件, 避免首次查询卡顿. 不调用则惰性加载.
+  def preload(*names)
+    names.each { |n| Thread.new { ranges(n) rescue geo(n) rescue nil } }
+  end
+end
+
+
+class GeoAPI < Roda
+  plugin :json   # 返回 Hash/Array 自动转 JSON
+
+  IDS = %w[geoname_id registered_country_geoname_id represented_country_geoname_id].freeze
+
+  route do |r|
+    r.root do
+      {
+        service: 'GeoDB API',
+        data_dir: GeoDB.data_dir,
+        endpoints: {
+          'asn'     => '/geo/asn?num=XXX | /geo/asn?addr=X.X.X.X',
+          'city'    => '/geo/city?id=XXX | /geo/city?addr=X.X.X.X',
+          'country' => '/geo/country?id=XXX | /geo/country?addr=X.X.X.X'
+        }
+      }
+    end
+
+    r.on 'geo' do
+      r.on 'asn' do
+        if r.params.key?('num')
+          res = GeoDB.asn_by_num(r.params['num'])
+          { asn: r.params['num'], count: res.length, results: res }
+        elsif r.params.key?('addr')
+          case (res = GeoDB.asn_by_addr(r.params['addr']))
+          when :invalid then response.status = 400; { error: 'IP不合法' }
+          when nil      then response.status = 404; { error: '无结果' }
+          else res
+          end
+        else
+          response.status = 400
+          { error: '缺少参数 num 或 addr' }
+        end
+      end
+
+      r.on 'city' do
+        if r.params.key?('id')
+          case (res = GeoDB.city_by_id(r.params['id']))
+          when :invalid then response.status = 400; { error: 'id不合法' }
+          when nil      then response.status = 404; { error: '无结果' }
+          else res
+          end
+        elsif r.params.key?('addr')
+          case (res = GeoDB.city_by_addr(r.params['addr']))
+          when :invalid then response.status = 400; { error: 'IP不合法' }
+          when nil      then response.status = 404; { error: '无结果' }
+          else res
+          end
+        else
+          response.status = 400
+          { error: '缺少参数 id 或 addr' }
+        end
+      end
+
+      r.on 'country' do
+        if r.params.key?('id')
+          case (res = GeoDB.country_by_id(r.params['id']))
+          when :invalid then response.status = 400; { error: 'id不合法' }
+          when nil      then response.status = 404; { error: '无结果' }
+          else res
+          end
+        elsif r.params.key?('addr')
+          case (res = GeoDB.country_by_addr(r.params['addr']))
+          when :invalid then response.status = 400; { error: 'IP不合法' }
+          when nil      then response.status = 404; { error: '无结果' }
+          else res
+          end
+        else
+          response.status = 400
+          { error: '缺少参数 id 或 addr' }
+        end
+      end
+    end
+
+    response.status = 404
+    { error: 'not found' }
+  end
+end

data/service/geodb/config.ru

@@ -0,0 +1,15 @@
+#coding:utf-8
+# GeoDB Roda API — rackup 配置入口
+#
+# 启动方式:
+#   rackup -o 0.0.0.0 -p 9292 service/geodb/config.ru
+#   rackup -o 0.0.0.0 -p 9292 -E production service/geodb/config.ru
+#
+# 也可通过 gem 命令行服务启动 (推荐):
+#   geo-api                         # 默认 ./geodb/ + 0.0.0.0:9292
+#   geo-api -d /data/ipdb -p 8080   # 指定数据目录与端口
+#
+# 数据目录通过环境变量 GEODB_DATA_DIR 指定，默认 ./geodb/
+require_relative 'api'
+
+run GeoAPI.app

data/service/geodb/geodb.rb

@@ -0,0 +1,97 @@
+#coding:utf-8
+['cc','CasetDown/casetdown','network'].each{|mod|require mod}
+CC.use 'file','enum','shell-tools'
+
+# USAGE>
+# GeoDB.load_asn("GeoLite2-ASN-CSV_*/*.csv")
+# GeoDB.load_city("GeoLite2-City-CSV_*/*.csv")
+# GeoDB.load_country("GeoLite2-Country-CSV_*/*.csv")
+
+module GeoDB
+    module_function
+
+    def load_asn dir_path="GeoLite2-ASN-CSV_*/*.csv", out_path=nil
+        out_path = "geodb/" unless out_path
+        Dir.mkdir(out_path) unless File.exist?(out_path)
+        asn = {}
+        Dir[dir_path].each do|path|
+            table = CSV.parse File.read(path)
+            head = table.first
+            bar = ProgressBar.new(table.length-1, title: "#{path.split("/").last}", theme: :classic, color: true)
+            table[1..-1].mapping(head).each do|record|
+                range = IP.range(record['network']).map{|ip|ip.number}
+                asn[range] = record
+                bar.update
+            end
+            bar.finish(message: "✨ 处理了 #{table.length-1} 条记录.")
+        end
+        File.write "#{out_path}asn.json", JSON.pretty_generate(asn)
+        return asn
+    end
+
+    def load_city dir_path="GeoLite2-City-CSV_*/*.csv", out_path=nil
+        out_path = "geodb/" unless out_path
+        Dir.mkdir(out_path) unless File.exist?(out_path)
+        city = {};geo = {}
+        Dir[dir_path].each do|path|
+            next unless path.include?("City-Locations-zh-CN")
+            table = CSV.parse File.read(path)
+            bar = ProgressBar.new(table.length-1, title: "#{path.split("/").last}", theme: :classic, color: true)
+            table[1..-1].mapping(table.first).each do|record|
+                geo[record['geoname_id']] = record
+                bar.update
+            end
+            bar.finish(message: "✨ 处理了 #{table.length-1} 条记录.")
+        end
+        File.write "#{out_path}geo-city.json", JSON.pretty_generate(geo)
+
+        Dir[dir_path].each do|path|
+            next unless path.include?("City-Blocks")
+            postfix = 'IPv4' if path.include?('IPv4')
+            postfix = 'IPv6' if path.include?('IPv6')
+            table = CSV.parse File.read(path)
+            bar = ProgressBar.new(table.length-1, title: "#{path.split("/").last}", theme: :classic, color: true)
+            table[1..-1].mapping(table.first).each do|record|
+                range = IP.range(record['network']).map{|ip|ip.number}
+                city[range] = record
+                bar.update
+            end
+            bar.finish(message: "✨ 处理了 #{table.length-1} 条记录.")
+            File.write "#{out_path}city-#{postfix}.json", city.to_json # JSON.pretty_generate(city)
+        end
+        return city,geo
+    end
+
+    def load_country dir_path="GeoLite2-Country-CSV_*/*.csv", out_path=nil
+        out_path = "geodb/" unless out_path
+        Dir.mkdir(out_path) unless File.exist?(out_path)
+        country = {};geo = {}
+        Dir[dir_path].each do|path|
+            next unless path.include?("Country-Locations-zh-CN")
+            table = CSV.parse File.read(path)
+            bar = ProgressBar.new(table.length-1, title: "#{path.split("/").last}", theme: :classic, color: true)
+            table[1..-1].mapping(table.first).each do|record|
+                geo[record['geoname_id']] = record
+                bar.update
+            end
+            bar.finish(message: "✨ 处理了 #{table.length-1} 条记录.")
+        end
+        File.write "#{out_path}geo-country.json", JSON.pretty_generate(geo)
+
+        Dir[dir_path].each do|path|
+            next unless path.include?("Country-Blocks")
+            postfix = 'IPv4' if path.include?('IPv4')
+            postfix = 'IPv6' if path.include?('IPv6')
+            table = CSV.parse File.read(path)
+            bar = ProgressBar.new(table.length-1, title: "#{path.split("/").last}", theme: :classic, color: true)
+            table[1..-1].mapping(table.first).each do|record|
+                range = IP.range(record['network']).map{|ip|ip.number}
+                country[range] = record
+                bar.update
+            end
+            bar.finish(message: "✨ 处理了 #{table.length-1} 条记录.")
+            File.write "#{out_path}country-#{postfix}.json", JSON.pretty_generate(country)
+        end
+        return country,geo
+    end
+end