faiss 0.1.3 → 0.2.0

metadata

@@ -1,14 +1,14 @@
 --- !ruby/object:Gem::Specification
 name: faiss
 version: !ruby/object:Gem::Version
-  version: 0.1.3
+  version: 0.2.0
 platform: ruby
 authors:
 - Andrew Kane
-autorequire: 
+autorequire:
 bindir: bin
 cert_chain: []
-date: 2020-10-22 00:00:00.000000000 Z
+date: 2021-05-23 00:00:00.000000000 Z
 dependencies:
 - !ruby/object:Gem::Dependency
   name: rice
@@ -16,14 +16,14 @@ dependencies:
     requirements:
     - - ">="
       - !ruby/object:Gem::Version
-        version: '2.2'
+        version: 4.0.2
   type: :runtime
   prerelease: false
   version_requirements: !ruby/object:Gem::Requirement
     requirements:
     - - ">="
       - !ruby/object:Gem::Version
-        version: '2.2'
+        version: 4.0.2
 - !ruby/object:Gem::Dependency
   name: numo-narray
   requirement: !ruby/object:Gem::Requirement
@@ -38,64 +38,8 @@ dependencies:
     - - ">="
       - !ruby/object:Gem::Version
         version: '0'
-- !ruby/object:Gem::Dependency
-  name: bundler
-  requirement: !ruby/object:Gem::Requirement
-    requirements:
-    - - ">="
-      - !ruby/object:Gem::Version
-        version: '0'
-  type: :development
-  prerelease: false
-  version_requirements: !ruby/object:Gem::Requirement
-    requirements:
-    - - ">="
-      - !ruby/object:Gem::Version
-        version: '0'
-- !ruby/object:Gem::Dependency
-  name: rake
-  requirement: !ruby/object:Gem::Requirement
-    requirements:
-    - - ">="
-      - !ruby/object:Gem::Version
-        version: '0'
-  type: :development
-  prerelease: false
-  version_requirements: !ruby/object:Gem::Requirement
-    requirements:
-    - - ">="
-      - !ruby/object:Gem::Version
-        version: '0'
-- !ruby/object:Gem::Dependency
-  name: rake-compiler
-  requirement: !ruby/object:Gem::Requirement
-    requirements:
-    - - ">="
-      - !ruby/object:Gem::Version
-        version: '0'
-  type: :development
-  prerelease: false
-  version_requirements: !ruby/object:Gem::Requirement
-    requirements:
-    - - ">="
-      - !ruby/object:Gem::Version
-        version: '0'
-- !ruby/object:Gem::Dependency
-  name: minitest
-  requirement: !ruby/object:Gem::Requirement
-    requirements:
-    - - ">="
-      - !ruby/object:Gem::Version
-        version: '5'
-  type: :development
-  prerelease: false
-  version_requirements: !ruby/object:Gem::Requirement
-    requirements:
-    - - ">="
-      - !ruby/object:Gem::Version
-        version: '5'
-description: 
-email: andrew@chartkick.com
+description:
+email: andrew@ankane.org
 executables: []
 extensions:
 - ext/faiss/extconf.rb
@@ -106,71 +50,21 @@ files:
 - README.md
 - ext/faiss/ext.cpp
 - ext/faiss/extconf.rb
+- ext/faiss/index.cpp
+- ext/faiss/index_binary.cpp
+- ext/faiss/kmeans.cpp
+- ext/faiss/numo.hpp
+- ext/faiss/pca_matrix.cpp
+- ext/faiss/product_quantizer.cpp
+- ext/faiss/utils.cpp
+- ext/faiss/utils.h
 - lib/faiss.rb
-- lib/faiss/index.rb
-- lib/faiss/index_binary.rb
-- lib/faiss/kmeans.rb
-- lib/faiss/pca_matrix.rb
-- lib/faiss/product_quantizer.rb
 - lib/faiss/version.rb
 - vendor/faiss/LICENSE
-- vendor/faiss/benchs/bench_6bit_codec.cpp
-- vendor/faiss/c_api/AutoTune_c.cpp
-- vendor/faiss/c_api/AutoTune_c.h
-- vendor/faiss/c_api/Clustering_c.cpp
-- vendor/faiss/c_api/Clustering_c.h
-- vendor/faiss/c_api/IndexFlat_c.cpp
-- vendor/faiss/c_api/IndexFlat_c.h
-- vendor/faiss/c_api/IndexIVFFlat_c.cpp
-- vendor/faiss/c_api/IndexIVFFlat_c.h
-- vendor/faiss/c_api/IndexIVF_c.cpp
-- vendor/faiss/c_api/IndexIVF_c.h
-- vendor/faiss/c_api/IndexLSH_c.cpp
-- vendor/faiss/c_api/IndexLSH_c.h
-- vendor/faiss/c_api/IndexPreTransform_c.cpp
-- vendor/faiss/c_api/IndexPreTransform_c.h
-- vendor/faiss/c_api/IndexShards_c.cpp
-- vendor/faiss/c_api/IndexShards_c.h
-- vendor/faiss/c_api/Index_c.cpp
-- vendor/faiss/c_api/Index_c.h
-- vendor/faiss/c_api/MetaIndexes_c.cpp
-- vendor/faiss/c_api/MetaIndexes_c.h
-- vendor/faiss/c_api/clone_index_c.cpp
-- vendor/faiss/c_api/clone_index_c.h
-- vendor/faiss/c_api/error_c.h
-- vendor/faiss/c_api/error_impl.cpp
-- vendor/faiss/c_api/error_impl.h
-- vendor/faiss/c_api/faiss_c.h
-- vendor/faiss/c_api/gpu/GpuAutoTune_c.cpp
-- vendor/faiss/c_api/gpu/GpuAutoTune_c.h
-- vendor/faiss/c_api/gpu/GpuClonerOptions_c.cpp
-- vendor/faiss/c_api/gpu/GpuClonerOptions_c.h
-- vendor/faiss/c_api/gpu/GpuIndex_c.cpp
-- vendor/faiss/c_api/gpu/GpuIndex_c.h
-- vendor/faiss/c_api/gpu/GpuIndicesOptions_c.h
-- vendor/faiss/c_api/gpu/GpuResources_c.cpp
-- vendor/faiss/c_api/gpu/GpuResources_c.h
-- vendor/faiss/c_api/gpu/StandardGpuResources_c.cpp
-- vendor/faiss/c_api/gpu/StandardGpuResources_c.h
-- vendor/faiss/c_api/gpu/macros_impl.h
-- vendor/faiss/c_api/impl/AuxIndexStructures_c.cpp
-- vendor/faiss/c_api/impl/AuxIndexStructures_c.h
-- vendor/faiss/c_api/index_factory_c.cpp
-- vendor/faiss/c_api/index_factory_c.h
-- vendor/faiss/c_api/index_io_c.cpp
-- vendor/faiss/c_api/index_io_c.h
-- vendor/faiss/c_api/macros_impl.h
-- vendor/faiss/demos/demo_imi_flat.cpp
-- vendor/faiss/demos/demo_imi_pq.cpp
-- vendor/faiss/demos/demo_ivfpq_indexing.cpp
-- vendor/faiss/demos/demo_sift1M.cpp
-- vendor/faiss/demos/demo_weighted_kmeans.cpp
 - vendor/faiss/faiss/AutoTune.cpp
 - vendor/faiss/faiss/AutoTune.h
 - vendor/faiss/faiss/Clustering.cpp
 - vendor/faiss/faiss/Clustering.h
-- vendor/faiss/faiss/DirectMap.cpp
-- vendor/faiss/faiss/DirectMap.h
 - vendor/faiss/faiss/IVFlib.cpp
 - vendor/faiss/faiss/IVFlib.h
 - vendor/faiss/faiss/Index.cpp
@@ -199,6 +93,8 @@ files:
 - vendor/faiss/faiss/IndexIVFFlat.h
 - vendor/faiss/faiss/IndexIVFPQ.cpp
 - vendor/faiss/faiss/IndexIVFPQ.h
+- vendor/faiss/faiss/IndexIVFPQFastScan.cpp
+- vendor/faiss/faiss/IndexIVFPQFastScan.h
 - vendor/faiss/faiss/IndexIVFPQR.cpp
 - vendor/faiss/faiss/IndexIVFPQR.h
 - vendor/faiss/faiss/IndexIVFSpectralHash.cpp
@@ -209,23 +105,23 @@ files:
 - vendor/faiss/faiss/IndexLattice.h
 - vendor/faiss/faiss/IndexPQ.cpp
 - vendor/faiss/faiss/IndexPQ.h
+- vendor/faiss/faiss/IndexPQFastScan.cpp
+- vendor/faiss/faiss/IndexPQFastScan.h
 - vendor/faiss/faiss/IndexPreTransform.cpp
 - vendor/faiss/faiss/IndexPreTransform.h
+- vendor/faiss/faiss/IndexRefine.cpp
+- vendor/faiss/faiss/IndexRefine.h
 - vendor/faiss/faiss/IndexReplicas.cpp
 - vendor/faiss/faiss/IndexReplicas.h
 - vendor/faiss/faiss/IndexScalarQuantizer.cpp
 - vendor/faiss/faiss/IndexScalarQuantizer.h
 - vendor/faiss/faiss/IndexShards.cpp
 - vendor/faiss/faiss/IndexShards.h
-- vendor/faiss/faiss/InvertedLists.cpp
-- vendor/faiss/faiss/InvertedLists.h
 - vendor/faiss/faiss/MatrixStats.cpp
 - vendor/faiss/faiss/MatrixStats.h
 - vendor/faiss/faiss/MetaIndexes.cpp
 - vendor/faiss/faiss/MetaIndexes.h
 - vendor/faiss/faiss/MetricType.h
-- vendor/faiss/faiss/OnDiskInvertedLists.cpp
-- vendor/faiss/faiss/OnDiskInvertedLists.h
 - vendor/faiss/faiss/VectorTransform.cpp
 - vendor/faiss/faiss/VectorTransform.h
 - vendor/faiss/faiss/clone_index.cpp
@@ -250,6 +146,8 @@ files:
 - vendor/faiss/faiss/gpu/GpuResources.h
 - vendor/faiss/faiss/gpu/StandardGpuResources.cpp
 - vendor/faiss/faiss/gpu/StandardGpuResources.h
+- vendor/faiss/faiss/gpu/impl/InterleavedCodes.cpp
+- vendor/faiss/faiss/gpu/impl/InterleavedCodes.h
 - vendor/faiss/faiss/gpu/impl/RemapIndices.cpp
 - vendor/faiss/faiss/gpu/impl/RemapIndices.h
 - vendor/faiss/faiss/gpu/perf/IndexWrapper-inl.h
@@ -257,10 +155,12 @@ files:
 - vendor/faiss/faiss/gpu/perf/PerfClustering.cpp
 - vendor/faiss/faiss/gpu/perf/PerfIVFPQAdd.cpp
 - vendor/faiss/faiss/gpu/perf/WriteIndex.cpp
+- vendor/faiss/faiss/gpu/test/TestCodePacking.cpp
 - vendor/faiss/faiss/gpu/test/TestGpuIndexBinaryFlat.cpp
 - vendor/faiss/faiss/gpu/test/TestGpuIndexFlat.cpp
 - vendor/faiss/faiss/gpu/test/TestGpuIndexIVFFlat.cpp
 - vendor/faiss/faiss/gpu/test/TestGpuIndexIVFPQ.cpp
+- vendor/faiss/faiss/gpu/test/TestGpuIndexIVFScalarQuantizer.cpp
 - vendor/faiss/faiss/gpu/test/TestGpuMemoryException.cpp
 - vendor/faiss/faiss/gpu/test/TestUtils.cpp
 - vendor/faiss/faiss/gpu/test/TestUtils.h
@@ -283,6 +183,7 @@ files:
 - vendor/faiss/faiss/impl/ProductQuantizer-inl.h
 - vendor/faiss/faiss/impl/ProductQuantizer.cpp
 - vendor/faiss/faiss/impl/ProductQuantizer.h
+- vendor/faiss/faiss/impl/ResultHandler.h
 - vendor/faiss/faiss/impl/ScalarQuantizer.cpp
 - vendor/faiss/faiss/impl/ScalarQuantizer.h
 - vendor/faiss/faiss/impl/ThreadedIndex-inl.h
@@ -295,11 +196,27 @@ files:
 - vendor/faiss/faiss/impl/lattice_Zn.cpp
 - vendor/faiss/faiss/impl/lattice_Zn.h
 - vendor/faiss/faiss/impl/platform_macros.h
+- vendor/faiss/faiss/impl/pq4_fast_scan.cpp
+- vendor/faiss/faiss/impl/pq4_fast_scan.h
+- vendor/faiss/faiss/impl/pq4_fast_scan_search_1.cpp
+- vendor/faiss/faiss/impl/pq4_fast_scan_search_qbs.cpp
+- vendor/faiss/faiss/impl/simd_result_handlers.h
 - vendor/faiss/faiss/index_factory.cpp
 - vendor/faiss/faiss/index_factory.h
 - vendor/faiss/faiss/index_io.h
+- vendor/faiss/faiss/invlists/BlockInvertedLists.cpp
+- vendor/faiss/faiss/invlists/BlockInvertedLists.h
+- vendor/faiss/faiss/invlists/DirectMap.cpp
+- vendor/faiss/faiss/invlists/DirectMap.h
+- vendor/faiss/faiss/invlists/InvertedLists.cpp
+- vendor/faiss/faiss/invlists/InvertedLists.h
+- vendor/faiss/faiss/invlists/InvertedListsIOHook.cpp
+- vendor/faiss/faiss/invlists/InvertedListsIOHook.h
+- vendor/faiss/faiss/invlists/OnDiskInvertedLists.cpp
+- vendor/faiss/faiss/invlists/OnDiskInvertedLists.h
 - vendor/faiss/faiss/python/python_callbacks.cpp
 - vendor/faiss/faiss/python/python_callbacks.h
+- vendor/faiss/faiss/utils/AlignedTable.h
 - vendor/faiss/faiss/utils/Heap.cpp
 - vendor/faiss/faiss/utils/Heap.h
 - vendor/faiss/faiss/utils/WorkerThread.cpp
@@ -312,35 +229,23 @@ files:
 - vendor/faiss/faiss/utils/hamming-inl.h
 - vendor/faiss/faiss/utils/hamming.cpp
 - vendor/faiss/faiss/utils/hamming.h
+- vendor/faiss/faiss/utils/ordered_key_value.h
+- vendor/faiss/faiss/utils/partitioning.cpp
+- vendor/faiss/faiss/utils/partitioning.h
+- vendor/faiss/faiss/utils/quantize_lut.cpp
+- vendor/faiss/faiss/utils/quantize_lut.h
 - vendor/faiss/faiss/utils/random.cpp
 - vendor/faiss/faiss/utils/random.h
+- vendor/faiss/faiss/utils/simdlib.h
+- vendor/faiss/faiss/utils/simdlib_avx2.h
+- vendor/faiss/faiss/utils/simdlib_emulated.h
 - vendor/faiss/faiss/utils/utils.cpp
 - vendor/faiss/faiss/utils/utils.h
-- vendor/faiss/misc/test_blas.cpp
-- vendor/faiss/tests/test_binary_flat.cpp
-- vendor/faiss/tests/test_dealloc_invlists.cpp
-- vendor/faiss/tests/test_ivfpq_codec.cpp
-- vendor/faiss/tests/test_ivfpq_indexing.cpp
-- vendor/faiss/tests/test_lowlevel_ivf.cpp
-- vendor/faiss/tests/test_merge.cpp
-- vendor/faiss/tests/test_omp_threads.cpp
-- vendor/faiss/tests/test_ondisk_ivf.cpp
-- vendor/faiss/tests/test_pairs_decoding.cpp
-- vendor/faiss/tests/test_params_override.cpp
-- vendor/faiss/tests/test_pq_encoding.cpp
-- vendor/faiss/tests/test_sliding_ivf.cpp
-- vendor/faiss/tests/test_threaded_index.cpp
-- vendor/faiss/tests/test_transfer_invlists.cpp
-- vendor/faiss/tutorial/cpp/1-Flat.cpp
-- vendor/faiss/tutorial/cpp/2-IVFFlat.cpp
-- vendor/faiss/tutorial/cpp/3-IVFPQ.cpp
-- vendor/faiss/tutorial/cpp/4-GPU.cpp
-- vendor/faiss/tutorial/cpp/5-Multiple-GPUs.cpp
 homepage: https://github.com/ankane/faiss
 licenses:
 - MIT
 metadata: {}
-post_install_message: 
+post_install_message:
 rdoc_options: []
 require_paths:
 - lib
@@ -348,15 +253,15 @@ required_ruby_version: !ruby/object:Gem::Requirement
   requirements:
   - - ">="
     - !ruby/object:Gem::Version
-      version: '2.4'
+      version: '2.6'
 required_rubygems_version: !ruby/object:Gem::Requirement
   requirements:
   - - ">="
     - !ruby/object:Gem::Version
       version: '0'
 requirements: []
-rubygems_version: 3.1.2
-signing_key: 
+rubygems_version: 3.2.3
+signing_key:
 specification_version: 4
 summary: Efficient similarity search and clustering for Ruby
 test_files: []

data/lib/faiss/index.rb

@@ -1,20 +0,0 @@
-module Faiss
-  class Index
-    def train(objects)
-      objects = Numo::SFloat.cast(objects) unless objects.is_a?(Numo::SFloat)
-      _train(objects.shape[0], objects)
-    end
-
-    def add(objects)
-      objects = Numo::SFloat.cast(objects) unless objects.is_a?(Numo::SFloat)
-      _add(objects.shape[0], objects)
-    end
-
-    def search(objects, k)
-      objects = Numo::SFloat.cast(objects) unless objects.is_a?(Numo::SFloat)
-      n = objects.shape[0]
-      distances, labels = _search(n, objects, k)
-      [Numo::SFloat.from_binary(distances).reshape(n, k), Numo::Int64.from_binary(labels).reshape(n, k)]
-    end
-  end
-end

data/lib/faiss/index_binary.rb

@@ -1,20 +0,0 @@
-module Faiss
-  class IndexBinary
-    def train(objects)
-      objects = Numo::UInt8.cast(objects) unless objects.is_a?(Numo::UInt8)
-      _train(objects.shape[0], objects)
-    end
-
-    def add(objects)
-      objects = Numo::UInt8.cast(objects) unless objects.is_a?(Numo::UInt8)
-      _add(objects.shape[0], objects)
-    end
-
-    def search(objects, k)
-      objects = Numo::UInt8.cast(objects) unless objects.is_a?(Numo::UInt8)
-      n = objects.shape[0]
-      distances, labels = _search(n, objects, k)
-      [Numo::UInt32.from_binary(distances).reshape(n, k), Numo::Int64.from_binary(labels).reshape(n, k)]
-    end
-  end
-end

data/lib/faiss/kmeans.rb

@@ -1,15 +0,0 @@
-module Faiss
-  class Kmeans
-    attr_reader :index
-
-    def train(objects)
-      objects = Numo::SFloat.cast(objects) unless objects.is_a?(Numo::SFloat)
-      @index = IndexFlatL2.new(d)
-      _train(objects.shape[0], objects, @index)
-    end
-
-    def centroids
-      Numo::SFloat.from_binary(_centroids).reshape(k, d)
-    end
-  end
-end

data/lib/faiss/pca_matrix.rb

@@ -1,15 +0,0 @@
-module Faiss
-  class PCAMatrix
-    def train(objects)
-      objects = Numo::SFloat.cast(objects) unless objects.is_a?(Numo::SFloat)
-      _train(objects.shape[0], objects)
-    end
-
-    def apply(objects)
-      objects = Numo::SFloat.cast(objects) unless objects.is_a?(Numo::SFloat)
-      n = objects.shape[0]
-      res = _apply(n, objects)
-      Numo::SFloat.from_binary(res).reshape(n, d_out)
-    end
-  end
-end

data/lib/faiss/product_quantizer.rb

@@ -1,22 +0,0 @@
-module Faiss
-  class ProductQuantizer
-    def train(objects)
-      objects = Numo::SFloat.cast(objects) unless objects.is_a?(Numo::SFloat)
-      _train(objects.shape[0], objects)
-    end
-
-    def compute_codes(objects)
-      objects = Numo::SFloat.cast(objects) unless objects.is_a?(Numo::SFloat)
-      n = objects.shape[0]
-      res = _compute_codes(n, objects)
-      Numo::UInt8.from_binary(res).reshape(n, m)
-    end
-
-    def decode(objects)
-      objects = Numo::UInt8.cast(objects) unless objects.is_a?(Numo::UInt8)
-      n = objects.shape[0]
-      res = _decode(n, objects)
-      Numo::SFloat.from_binary(res).reshape(n, d)
-    end
-  end
-end

data/vendor/faiss/benchs/bench_6bit_codec.cpp

@@ -1,80 +0,0 @@
-/**
- * Copyright (c) Facebook, Inc. and its affiliates.
- *
- * This source code is licensed under the MIT license found in the
- * LICENSE file in the root directory of this source tree.
- */
-
-
-#include <cstdio>
-#include <omp.h>
-
-#include <faiss/impl/ScalarQuantizer.h>
-#include <faiss/utils/utils.h>
-#include <faiss/utils/random.h>
-#include <faiss/utils/distances.h>
-
-using namespace faiss;
-
-int main() {
-
-    int d = 128;
-    int n = 2000;
-
-    std::vector<float> x(d * n);
-
-    float_rand(x.data(), d * n, 12345);
-
-    // make sure it's idempotent
-    ScalarQuantizer sq(d, ScalarQuantizer::QT_6bit);
-
-    omp_set_num_threads(1);
-
-    sq.train(n, x.data());
-
-    size_t code_size = sq.code_size;
-    printf("code size: %ld\n", sq.code_size);
-
-    // encode
-    std::vector<uint8_t> codes(code_size * n);
-    sq.compute_codes(x.data(), codes.data(), n);
-
-    // decode
-    std::vector<float> x2(d * n);
-    sq.decode(codes.data(), x2.data(), n);
-
-    printf("sqL2 recons error: %g\n",
-           fvec_L2sqr(x.data(), x2.data(), n * d) / n);
-
-    // encode again
-    std::vector<uint8_t> codes2(code_size * n);
-    sq.compute_codes(x2.data(), codes2.data(), n);
-
-    size_t ndiff = 0;
-    for (size_t i = 0; i < codes.size(); i++) {
-        if (codes[i] != codes2[i]) ndiff++;
-    }
-
-    printf("ndiff for idempotence: %ld / %ld\n", ndiff, codes.size());
-
-    std::unique_ptr<ScalarQuantizer::SQDistanceComputer>
-        dc(sq.get_distance_computer());
-    dc->codes = codes.data();
-    dc->code_size = sq.code_size;
-    printf("code size: %ld\n", dc->code_size);
-
-    double sum_dis = 0;
-    double t0 = getmillisecs();
-    for (int i = 0; i < n; i++) {
-        dc->set_query(&x[i * d]);
-        for (int j = 0; j < n; j++) {
-            sum_dis += (*dc)(j);
-        }
-    }
-    printf("distances computed in %.3f ms, checksum=%g\n",
-           getmillisecs() - t0, sum_dis);
-
-
-
-    return 0;
-}