faiss 0.1.3 → 0.1.4

metadata

@@ -1,14 +1,14 @@
 --- !ruby/object:Gem::Specification
 name: faiss
 version: !ruby/object:Gem::Version
-  version: 0.1.3
+  version: 0.1.4
 platform: ruby
 authors:
 - Andrew Kane
-autorequire: 
+autorequire:
 bindir: bin
 cert_chain: []
-date: 2020-10-22 00:00:00.000000000 Z
+date: 2021-02-05 00:00:00.000000000 Z
 dependencies:
 - !ruby/object:Gem::Dependency
   name: rice
@@ -38,64 +38,8 @@ dependencies:
     - - ">="
       - !ruby/object:Gem::Version
         version: '0'
-- !ruby/object:Gem::Dependency
-  name: bundler
-  requirement: !ruby/object:Gem::Requirement
-    requirements:
-    - - ">="
-      - !ruby/object:Gem::Version
-        version: '0'
-  type: :development
-  prerelease: false
-  version_requirements: !ruby/object:Gem::Requirement
-    requirements:
-    - - ">="
-      - !ruby/object:Gem::Version
-        version: '0'
-- !ruby/object:Gem::Dependency
-  name: rake
-  requirement: !ruby/object:Gem::Requirement
-    requirements:
-    - - ">="
-      - !ruby/object:Gem::Version
-        version: '0'
-  type: :development
-  prerelease: false
-  version_requirements: !ruby/object:Gem::Requirement
-    requirements:
-    - - ">="
-      - !ruby/object:Gem::Version
-        version: '0'
-- !ruby/object:Gem::Dependency
-  name: rake-compiler
-  requirement: !ruby/object:Gem::Requirement
-    requirements:
-    - - ">="
-      - !ruby/object:Gem::Version
-        version: '0'
-  type: :development
-  prerelease: false
-  version_requirements: !ruby/object:Gem::Requirement
-    requirements:
-    - - ">="
-      - !ruby/object:Gem::Version
-        version: '0'
-- !ruby/object:Gem::Dependency
-  name: minitest
-  requirement: !ruby/object:Gem::Requirement
-    requirements:
-    - - ">="
-      - !ruby/object:Gem::Version
-        version: '5'
-  type: :development
-  prerelease: false
-  version_requirements: !ruby/object:Gem::Requirement
-    requirements:
-    - - ">="
-      - !ruby/object:Gem::Version
-        version: '5'
-description: 
-email: andrew@chartkick.com
+description:
+email: andrew@ankane.org
 executables: []
 extensions:
 - ext/faiss/extconf.rb
@@ -114,63 +58,10 @@ files:
 - lib/faiss/product_quantizer.rb
 - lib/faiss/version.rb
 - vendor/faiss/LICENSE
-- vendor/faiss/benchs/bench_6bit_codec.cpp
-- vendor/faiss/c_api/AutoTune_c.cpp
-- vendor/faiss/c_api/AutoTune_c.h
-- vendor/faiss/c_api/Clustering_c.cpp
-- vendor/faiss/c_api/Clustering_c.h
-- vendor/faiss/c_api/IndexFlat_c.cpp
-- vendor/faiss/c_api/IndexFlat_c.h
-- vendor/faiss/c_api/IndexIVFFlat_c.cpp
-- vendor/faiss/c_api/IndexIVFFlat_c.h
-- vendor/faiss/c_api/IndexIVF_c.cpp
-- vendor/faiss/c_api/IndexIVF_c.h
-- vendor/faiss/c_api/IndexLSH_c.cpp
-- vendor/faiss/c_api/IndexLSH_c.h
-- vendor/faiss/c_api/IndexPreTransform_c.cpp
-- vendor/faiss/c_api/IndexPreTransform_c.h
-- vendor/faiss/c_api/IndexShards_c.cpp
-- vendor/faiss/c_api/IndexShards_c.h
-- vendor/faiss/c_api/Index_c.cpp
-- vendor/faiss/c_api/Index_c.h
-- vendor/faiss/c_api/MetaIndexes_c.cpp
-- vendor/faiss/c_api/MetaIndexes_c.h
-- vendor/faiss/c_api/clone_index_c.cpp
-- vendor/faiss/c_api/clone_index_c.h
-- vendor/faiss/c_api/error_c.h
-- vendor/faiss/c_api/error_impl.cpp
-- vendor/faiss/c_api/error_impl.h
-- vendor/faiss/c_api/faiss_c.h
-- vendor/faiss/c_api/gpu/GpuAutoTune_c.cpp
-- vendor/faiss/c_api/gpu/GpuAutoTune_c.h
-- vendor/faiss/c_api/gpu/GpuClonerOptions_c.cpp
-- vendor/faiss/c_api/gpu/GpuClonerOptions_c.h
-- vendor/faiss/c_api/gpu/GpuIndex_c.cpp
-- vendor/faiss/c_api/gpu/GpuIndex_c.h
-- vendor/faiss/c_api/gpu/GpuIndicesOptions_c.h
-- vendor/faiss/c_api/gpu/GpuResources_c.cpp
-- vendor/faiss/c_api/gpu/GpuResources_c.h
-- vendor/faiss/c_api/gpu/StandardGpuResources_c.cpp
-- vendor/faiss/c_api/gpu/StandardGpuResources_c.h
-- vendor/faiss/c_api/gpu/macros_impl.h
-- vendor/faiss/c_api/impl/AuxIndexStructures_c.cpp
-- vendor/faiss/c_api/impl/AuxIndexStructures_c.h
-- vendor/faiss/c_api/index_factory_c.cpp
-- vendor/faiss/c_api/index_factory_c.h
-- vendor/faiss/c_api/index_io_c.cpp
-- vendor/faiss/c_api/index_io_c.h
-- vendor/faiss/c_api/macros_impl.h
-- vendor/faiss/demos/demo_imi_flat.cpp
-- vendor/faiss/demos/demo_imi_pq.cpp
-- vendor/faiss/demos/demo_ivfpq_indexing.cpp
-- vendor/faiss/demos/demo_sift1M.cpp
-- vendor/faiss/demos/demo_weighted_kmeans.cpp
 - vendor/faiss/faiss/AutoTune.cpp
 - vendor/faiss/faiss/AutoTune.h
 - vendor/faiss/faiss/Clustering.cpp
 - vendor/faiss/faiss/Clustering.h
-- vendor/faiss/faiss/DirectMap.cpp
-- vendor/faiss/faiss/DirectMap.h
 - vendor/faiss/faiss/IVFlib.cpp
 - vendor/faiss/faiss/IVFlib.h
 - vendor/faiss/faiss/Index.cpp
@@ -199,6 +90,8 @@ files:
 - vendor/faiss/faiss/IndexIVFFlat.h
 - vendor/faiss/faiss/IndexIVFPQ.cpp
 - vendor/faiss/faiss/IndexIVFPQ.h
+- vendor/faiss/faiss/IndexIVFPQFastScan.cpp
+- vendor/faiss/faiss/IndexIVFPQFastScan.h
 - vendor/faiss/faiss/IndexIVFPQR.cpp
 - vendor/faiss/faiss/IndexIVFPQR.h
 - vendor/faiss/faiss/IndexIVFSpectralHash.cpp
@@ -209,23 +102,23 @@ files:
 - vendor/faiss/faiss/IndexLattice.h
 - vendor/faiss/faiss/IndexPQ.cpp
 - vendor/faiss/faiss/IndexPQ.h
+- vendor/faiss/faiss/IndexPQFastScan.cpp
+- vendor/faiss/faiss/IndexPQFastScan.h
 - vendor/faiss/faiss/IndexPreTransform.cpp
 - vendor/faiss/faiss/IndexPreTransform.h
+- vendor/faiss/faiss/IndexRefine.cpp
+- vendor/faiss/faiss/IndexRefine.h
 - vendor/faiss/faiss/IndexReplicas.cpp
 - vendor/faiss/faiss/IndexReplicas.h
 - vendor/faiss/faiss/IndexScalarQuantizer.cpp
 - vendor/faiss/faiss/IndexScalarQuantizer.h
 - vendor/faiss/faiss/IndexShards.cpp
 - vendor/faiss/faiss/IndexShards.h
-- vendor/faiss/faiss/InvertedLists.cpp
-- vendor/faiss/faiss/InvertedLists.h
 - vendor/faiss/faiss/MatrixStats.cpp
 - vendor/faiss/faiss/MatrixStats.h
 - vendor/faiss/faiss/MetaIndexes.cpp
 - vendor/faiss/faiss/MetaIndexes.h
 - vendor/faiss/faiss/MetricType.h
-- vendor/faiss/faiss/OnDiskInvertedLists.cpp
-- vendor/faiss/faiss/OnDiskInvertedLists.h
 - vendor/faiss/faiss/VectorTransform.cpp
 - vendor/faiss/faiss/VectorTransform.h
 - vendor/faiss/faiss/clone_index.cpp
@@ -250,6 +143,8 @@ files:
 - vendor/faiss/faiss/gpu/GpuResources.h
 - vendor/faiss/faiss/gpu/StandardGpuResources.cpp
 - vendor/faiss/faiss/gpu/StandardGpuResources.h
+- vendor/faiss/faiss/gpu/impl/InterleavedCodes.cpp
+- vendor/faiss/faiss/gpu/impl/InterleavedCodes.h
 - vendor/faiss/faiss/gpu/impl/RemapIndices.cpp
 - vendor/faiss/faiss/gpu/impl/RemapIndices.h
 - vendor/faiss/faiss/gpu/perf/IndexWrapper-inl.h
@@ -257,10 +152,12 @@ files:
 - vendor/faiss/faiss/gpu/perf/PerfClustering.cpp
 - vendor/faiss/faiss/gpu/perf/PerfIVFPQAdd.cpp
 - vendor/faiss/faiss/gpu/perf/WriteIndex.cpp
+- vendor/faiss/faiss/gpu/test/TestCodePacking.cpp
 - vendor/faiss/faiss/gpu/test/TestGpuIndexBinaryFlat.cpp
 - vendor/faiss/faiss/gpu/test/TestGpuIndexFlat.cpp
 - vendor/faiss/faiss/gpu/test/TestGpuIndexIVFFlat.cpp
 - vendor/faiss/faiss/gpu/test/TestGpuIndexIVFPQ.cpp
+- vendor/faiss/faiss/gpu/test/TestGpuIndexIVFScalarQuantizer.cpp
 - vendor/faiss/faiss/gpu/test/TestGpuMemoryException.cpp
 - vendor/faiss/faiss/gpu/test/TestUtils.cpp
 - vendor/faiss/faiss/gpu/test/TestUtils.h
@@ -283,6 +180,7 @@ files:
 - vendor/faiss/faiss/impl/ProductQuantizer-inl.h
 - vendor/faiss/faiss/impl/ProductQuantizer.cpp
 - vendor/faiss/faiss/impl/ProductQuantizer.h
+- vendor/faiss/faiss/impl/ResultHandler.h
 - vendor/faiss/faiss/impl/ScalarQuantizer.cpp
 - vendor/faiss/faiss/impl/ScalarQuantizer.h
 - vendor/faiss/faiss/impl/ThreadedIndex-inl.h
@@ -295,11 +193,27 @@ files:
 - vendor/faiss/faiss/impl/lattice_Zn.cpp
 - vendor/faiss/faiss/impl/lattice_Zn.h
 - vendor/faiss/faiss/impl/platform_macros.h
+- vendor/faiss/faiss/impl/pq4_fast_scan.cpp
+- vendor/faiss/faiss/impl/pq4_fast_scan.h
+- vendor/faiss/faiss/impl/pq4_fast_scan_search_1.cpp
+- vendor/faiss/faiss/impl/pq4_fast_scan_search_qbs.cpp
+- vendor/faiss/faiss/impl/simd_result_handlers.h
 - vendor/faiss/faiss/index_factory.cpp
 - vendor/faiss/faiss/index_factory.h
 - vendor/faiss/faiss/index_io.h
+- vendor/faiss/faiss/invlists/BlockInvertedLists.cpp
+- vendor/faiss/faiss/invlists/BlockInvertedLists.h
+- vendor/faiss/faiss/invlists/DirectMap.cpp
+- vendor/faiss/faiss/invlists/DirectMap.h
+- vendor/faiss/faiss/invlists/InvertedLists.cpp
+- vendor/faiss/faiss/invlists/InvertedLists.h
+- vendor/faiss/faiss/invlists/InvertedListsIOHook.cpp
+- vendor/faiss/faiss/invlists/InvertedListsIOHook.h
+- vendor/faiss/faiss/invlists/OnDiskInvertedLists.cpp
+- vendor/faiss/faiss/invlists/OnDiskInvertedLists.h
 - vendor/faiss/faiss/python/python_callbacks.cpp
 - vendor/faiss/faiss/python/python_callbacks.h
+- vendor/faiss/faiss/utils/AlignedTable.h
 - vendor/faiss/faiss/utils/Heap.cpp
 - vendor/faiss/faiss/utils/Heap.h
 - vendor/faiss/faiss/utils/WorkerThread.cpp
@@ -312,35 +226,23 @@ files:
 - vendor/faiss/faiss/utils/hamming-inl.h
 - vendor/faiss/faiss/utils/hamming.cpp
 - vendor/faiss/faiss/utils/hamming.h
+- vendor/faiss/faiss/utils/ordered_key_value.h
+- vendor/faiss/faiss/utils/partitioning.cpp
+- vendor/faiss/faiss/utils/partitioning.h
+- vendor/faiss/faiss/utils/quantize_lut.cpp
+- vendor/faiss/faiss/utils/quantize_lut.h
 - vendor/faiss/faiss/utils/random.cpp
 - vendor/faiss/faiss/utils/random.h
+- vendor/faiss/faiss/utils/simdlib.h
+- vendor/faiss/faiss/utils/simdlib_avx2.h
+- vendor/faiss/faiss/utils/simdlib_emulated.h
 - vendor/faiss/faiss/utils/utils.cpp
 - vendor/faiss/faiss/utils/utils.h
-- vendor/faiss/misc/test_blas.cpp
-- vendor/faiss/tests/test_binary_flat.cpp
-- vendor/faiss/tests/test_dealloc_invlists.cpp
-- vendor/faiss/tests/test_ivfpq_codec.cpp
-- vendor/faiss/tests/test_ivfpq_indexing.cpp
-- vendor/faiss/tests/test_lowlevel_ivf.cpp
-- vendor/faiss/tests/test_merge.cpp
-- vendor/faiss/tests/test_omp_threads.cpp
-- vendor/faiss/tests/test_ondisk_ivf.cpp
-- vendor/faiss/tests/test_pairs_decoding.cpp
-- vendor/faiss/tests/test_params_override.cpp
-- vendor/faiss/tests/test_pq_encoding.cpp
-- vendor/faiss/tests/test_sliding_ivf.cpp
-- vendor/faiss/tests/test_threaded_index.cpp
-- vendor/faiss/tests/test_transfer_invlists.cpp
-- vendor/faiss/tutorial/cpp/1-Flat.cpp
-- vendor/faiss/tutorial/cpp/2-IVFFlat.cpp
-- vendor/faiss/tutorial/cpp/3-IVFPQ.cpp
-- vendor/faiss/tutorial/cpp/4-GPU.cpp
-- vendor/faiss/tutorial/cpp/5-Multiple-GPUs.cpp
 homepage: https://github.com/ankane/faiss
 licenses:
 - MIT
 metadata: {}
-post_install_message: 
+post_install_message:
 rdoc_options: []
 require_paths:
 - lib
@@ -355,8 +257,8 @@ required_rubygems_version: !ruby/object:Gem::Requirement
     - !ruby/object:Gem::Version
       version: '0'
 requirements: []
-rubygems_version: 3.1.2
-signing_key: 
+rubygems_version: 3.2.3
+signing_key:
 specification_version: 4
 summary: Efficient similarity search and clustering for Ruby
 test_files: []

data/vendor/faiss/benchs/bench_6bit_codec.cpp

@@ -1,80 +0,0 @@
-/**
- * Copyright (c) Facebook, Inc. and its affiliates.
- *
- * This source code is licensed under the MIT license found in the
- * LICENSE file in the root directory of this source tree.
- */
-
-
-#include <cstdio>
-#include <omp.h>
-
-#include <faiss/impl/ScalarQuantizer.h>
-#include <faiss/utils/utils.h>
-#include <faiss/utils/random.h>
-#include <faiss/utils/distances.h>
-
-using namespace faiss;
-
-int main() {
-
-    int d = 128;
-    int n = 2000;
-
-    std::vector<float> x(d * n);
-
-    float_rand(x.data(), d * n, 12345);
-
-    // make sure it's idempotent
-    ScalarQuantizer sq(d, ScalarQuantizer::QT_6bit);
-
-    omp_set_num_threads(1);
-
-    sq.train(n, x.data());
-
-    size_t code_size = sq.code_size;
-    printf("code size: %ld\n", sq.code_size);
-
-    // encode
-    std::vector<uint8_t> codes(code_size * n);
-    sq.compute_codes(x.data(), codes.data(), n);
-
-    // decode
-    std::vector<float> x2(d * n);
-    sq.decode(codes.data(), x2.data(), n);
-
-    printf("sqL2 recons error: %g\n",
-           fvec_L2sqr(x.data(), x2.data(), n * d) / n);
-
-    // encode again
-    std::vector<uint8_t> codes2(code_size * n);
-    sq.compute_codes(x2.data(), codes2.data(), n);
-
-    size_t ndiff = 0;
-    for (size_t i = 0; i < codes.size(); i++) {
-        if (codes[i] != codes2[i]) ndiff++;
-    }
-
-    printf("ndiff for idempotence: %ld / %ld\n", ndiff, codes.size());
-
-    std::unique_ptr<ScalarQuantizer::SQDistanceComputer>
-        dc(sq.get_distance_computer());
-    dc->codes = codes.data();
-    dc->code_size = sq.code_size;
-    printf("code size: %ld\n", dc->code_size);
-
-    double sum_dis = 0;
-    double t0 = getmillisecs();
-    for (int i = 0; i < n; i++) {
-        dc->set_query(&x[i * d]);
-        for (int j = 0; j < n; j++) {
-            sum_dis += (*dc)(j);
-        }
-    }
-    printf("distances computed in %.3f ms, checksum=%g\n",
-           getmillisecs() - t0, sum_dis);
-
-
-
-    return 0;
-}

data/vendor/faiss/c_api/AutoTune_c.cpp

@@ -1,83 +0,0 @@
-/**
- * Copyright (c) Facebook, Inc. and its affiliates.
- *
- * This source code is licensed under the MIT license found in the
- * LICENSE file in the root directory of this source tree.
- */
-
-// Copyright 2004-present Facebook. All Rights Reserved.
-// -*- c++ -*-
-
-#include <cstring>
-#include "AutoTune.h"
-#include "AutoTune_c.h"
-#include "macros_impl.h"
-
-using faiss::Index;
-using faiss::ParameterRange;
-using faiss::ParameterSpace;
-
-const char* faiss_ParameterRange_name(const FaissParameterRange* range) {
-    return reinterpret_cast<const ParameterRange*>(range)->name.c_str();
-}
-
-void faiss_ParameterRange_values(FaissParameterRange* range, double** p_values, size_t* p_size) {
-    auto& values = reinterpret_cast<ParameterRange*>(range)->values;
-    *p_values = values.data();
-    *p_size = values.size();
-}
-
-int faiss_ParameterSpace_new(FaissParameterSpace** space) {
-    try {
-        auto new_space = new ParameterSpace();
-        *space = reinterpret_cast<FaissParameterSpace*>(new_space);
-    } CATCH_AND_HANDLE
-}
-
-DEFINE_DESTRUCTOR(ParameterSpace)
-
-size_t faiss_ParameterSpace_n_combinations(const FaissParameterSpace* space) {
-    return reinterpret_cast<const ParameterSpace*>(space)->n_combinations();
-}
-
-int faiss_ParameterSpace_combination_name(const FaissParameterSpace* space, size_t cno, char* char_buffer, size_t size) {
-    try {
-        auto rep = reinterpret_cast<const ParameterSpace*>(space)->combination_name(cno);
-        strncpy(char_buffer, rep.c_str(), size);
-    } CATCH_AND_HANDLE
-}
-
-int faiss_ParameterSpace_set_index_parameters(const FaissParameterSpace* space, FaissIndex* cindex, const char* param_string) {
-    try {
-        auto index = reinterpret_cast<Index*>(cindex);
-        reinterpret_cast<const ParameterSpace*>(space)->set_index_parameters(index, param_string);
-    } CATCH_AND_HANDLE
-}
-
-/// set a combination of parameters on an index
-int faiss_ParameterSpace_set_index_parameters_cno(const FaissParameterSpace* space, FaissIndex* cindex, size_t cno) {
-    try {
-        auto index = reinterpret_cast<Index*>(cindex);
-        reinterpret_cast<const ParameterSpace*>(space)->set_index_parameters(index, cno);
-    } CATCH_AND_HANDLE
-}
-
-int faiss_ParameterSpace_set_index_parameter(const FaissParameterSpace* space, FaissIndex* cindex, const char * name, double value) {
-    try {
-        auto index = reinterpret_cast<Index*>(cindex);
-        reinterpret_cast<const ParameterSpace*>(space)->set_index_parameter(index, name, value);
-    } CATCH_AND_HANDLE
-}
-
-void faiss_ParameterSpace_display(const FaissParameterSpace* space) {
-    reinterpret_cast<const ParameterSpace*>(space)->display();
-}
-
-int faiss_ParameterSpace_add_range(FaissParameterSpace* space, const char* name, FaissParameterRange** p_range) {
-    try {
-        ParameterRange& range = reinterpret_cast<ParameterSpace*>(space)->add_range(name);
-        if (p_range) {
-            *p_range = reinterpret_cast<FaissParameterRange*>(&range);
-        }
-    } CATCH_AND_HANDLE
-}