faiss 0.2.4 → 0.2.6

Sign up to get free protection for your applications and to get access to all the features.
Files changed (178) hide show
  1. checksums.yaml +4 -4
  2. data/CHANGELOG.md +10 -0
  3. data/LICENSE.txt +1 -1
  4. data/README.md +23 -21
  5. data/ext/faiss/extconf.rb +11 -0
  6. data/ext/faiss/index.cpp +17 -4
  7. data/ext/faiss/index_binary.cpp +6 -6
  8. data/ext/faiss/product_quantizer.cpp +4 -4
  9. data/lib/faiss/version.rb +1 -1
  10. data/vendor/faiss/faiss/AutoTune.cpp +13 -0
  11. data/vendor/faiss/faiss/IVFlib.cpp +101 -2
  12. data/vendor/faiss/faiss/IVFlib.h +26 -2
  13. data/vendor/faiss/faiss/Index.cpp +36 -3
  14. data/vendor/faiss/faiss/Index.h +43 -6
  15. data/vendor/faiss/faiss/Index2Layer.cpp +6 -2
  16. data/vendor/faiss/faiss/Index2Layer.h +6 -1
  17. data/vendor/faiss/faiss/IndexAdditiveQuantizer.cpp +219 -16
  18. data/vendor/faiss/faiss/IndexAdditiveQuantizer.h +63 -5
  19. data/vendor/faiss/faiss/IndexAdditiveQuantizerFastScan.cpp +299 -0
  20. data/vendor/faiss/faiss/IndexAdditiveQuantizerFastScan.h +199 -0
  21. data/vendor/faiss/faiss/IndexBinary.cpp +20 -4
  22. data/vendor/faiss/faiss/IndexBinary.h +18 -3
  23. data/vendor/faiss/faiss/IndexBinaryFlat.cpp +9 -2
  24. data/vendor/faiss/faiss/IndexBinaryFlat.h +4 -2
  25. data/vendor/faiss/faiss/IndexBinaryFromFloat.cpp +4 -1
  26. data/vendor/faiss/faiss/IndexBinaryFromFloat.h +2 -1
  27. data/vendor/faiss/faiss/IndexBinaryHNSW.cpp +5 -1
  28. data/vendor/faiss/faiss/IndexBinaryHNSW.h +2 -1
  29. data/vendor/faiss/faiss/IndexBinaryHash.cpp +17 -4
  30. data/vendor/faiss/faiss/IndexBinaryHash.h +8 -4
  31. data/vendor/faiss/faiss/IndexBinaryIVF.cpp +28 -13
  32. data/vendor/faiss/faiss/IndexBinaryIVF.h +10 -7
  33. data/vendor/faiss/faiss/IndexFastScan.cpp +626 -0
  34. data/vendor/faiss/faiss/IndexFastScan.h +145 -0
  35. data/vendor/faiss/faiss/IndexFlat.cpp +34 -21
  36. data/vendor/faiss/faiss/IndexFlat.h +7 -4
  37. data/vendor/faiss/faiss/IndexFlatCodes.cpp +35 -1
  38. data/vendor/faiss/faiss/IndexFlatCodes.h +12 -0
  39. data/vendor/faiss/faiss/IndexHNSW.cpp +66 -138
  40. data/vendor/faiss/faiss/IndexHNSW.h +4 -2
  41. data/vendor/faiss/faiss/IndexIDMap.cpp +247 -0
  42. data/vendor/faiss/faiss/IndexIDMap.h +107 -0
  43. data/vendor/faiss/faiss/IndexIVF.cpp +121 -33
  44. data/vendor/faiss/faiss/IndexIVF.h +35 -16
  45. data/vendor/faiss/faiss/IndexIVFAdditiveQuantizer.cpp +84 -7
  46. data/vendor/faiss/faiss/IndexIVFAdditiveQuantizer.h +63 -1
  47. data/vendor/faiss/faiss/IndexIVFAdditiveQuantizerFastScan.cpp +590 -0
  48. data/vendor/faiss/faiss/IndexIVFAdditiveQuantizerFastScan.h +171 -0
  49. data/vendor/faiss/faiss/IndexIVFFastScan.cpp +1290 -0
  50. data/vendor/faiss/faiss/IndexIVFFastScan.h +213 -0
  51. data/vendor/faiss/faiss/IndexIVFFlat.cpp +37 -17
  52. data/vendor/faiss/faiss/IndexIVFFlat.h +4 -2
  53. data/vendor/faiss/faiss/IndexIVFPQ.cpp +234 -50
  54. data/vendor/faiss/faiss/IndexIVFPQ.h +5 -1
  55. data/vendor/faiss/faiss/IndexIVFPQFastScan.cpp +23 -852
  56. data/vendor/faiss/faiss/IndexIVFPQFastScan.h +7 -112
  57. data/vendor/faiss/faiss/IndexIVFPQR.cpp +3 -3
  58. data/vendor/faiss/faiss/IndexIVFPQR.h +1 -1
  59. data/vendor/faiss/faiss/IndexIVFSpectralHash.cpp +3 -1
  60. data/vendor/faiss/faiss/IndexIVFSpectralHash.h +2 -1
  61. data/vendor/faiss/faiss/IndexLSH.cpp +4 -2
  62. data/vendor/faiss/faiss/IndexLSH.h +2 -1
  63. data/vendor/faiss/faiss/IndexLattice.cpp +7 -1
  64. data/vendor/faiss/faiss/IndexLattice.h +3 -1
  65. data/vendor/faiss/faiss/IndexNNDescent.cpp +4 -3
  66. data/vendor/faiss/faiss/IndexNNDescent.h +2 -1
  67. data/vendor/faiss/faiss/IndexNSG.cpp +37 -3
  68. data/vendor/faiss/faiss/IndexNSG.h +25 -1
  69. data/vendor/faiss/faiss/IndexPQ.cpp +106 -69
  70. data/vendor/faiss/faiss/IndexPQ.h +19 -5
  71. data/vendor/faiss/faiss/IndexPQFastScan.cpp +15 -450
  72. data/vendor/faiss/faiss/IndexPQFastScan.h +15 -78
  73. data/vendor/faiss/faiss/IndexPreTransform.cpp +47 -8
  74. data/vendor/faiss/faiss/IndexPreTransform.h +15 -3
  75. data/vendor/faiss/faiss/IndexRefine.cpp +8 -4
  76. data/vendor/faiss/faiss/IndexRefine.h +4 -2
  77. data/vendor/faiss/faiss/IndexReplicas.cpp +4 -2
  78. data/vendor/faiss/faiss/IndexReplicas.h +2 -1
  79. data/vendor/faiss/faiss/IndexRowwiseMinMax.cpp +438 -0
  80. data/vendor/faiss/faiss/IndexRowwiseMinMax.h +92 -0
  81. data/vendor/faiss/faiss/IndexScalarQuantizer.cpp +26 -15
  82. data/vendor/faiss/faiss/IndexScalarQuantizer.h +6 -7
  83. data/vendor/faiss/faiss/IndexShards.cpp +4 -1
  84. data/vendor/faiss/faiss/IndexShards.h +2 -1
  85. data/vendor/faiss/faiss/MetaIndexes.cpp +5 -178
  86. data/vendor/faiss/faiss/MetaIndexes.h +3 -81
  87. data/vendor/faiss/faiss/VectorTransform.cpp +43 -0
  88. data/vendor/faiss/faiss/VectorTransform.h +22 -4
  89. data/vendor/faiss/faiss/clone_index.cpp +23 -1
  90. data/vendor/faiss/faiss/clone_index.h +3 -0
  91. data/vendor/faiss/faiss/cppcontrib/SaDecodeKernels.h +300 -0
  92. data/vendor/faiss/faiss/cppcontrib/detail/CoarseBitType.h +24 -0
  93. data/vendor/faiss/faiss/cppcontrib/detail/UintReader.h +195 -0
  94. data/vendor/faiss/faiss/cppcontrib/sa_decode/Level2-avx2-inl.h +2058 -0
  95. data/vendor/faiss/faiss/cppcontrib/sa_decode/Level2-inl.h +408 -0
  96. data/vendor/faiss/faiss/cppcontrib/sa_decode/Level2-neon-inl.h +2147 -0
  97. data/vendor/faiss/faiss/cppcontrib/sa_decode/MinMax-inl.h +460 -0
  98. data/vendor/faiss/faiss/cppcontrib/sa_decode/MinMaxFP16-inl.h +465 -0
  99. data/vendor/faiss/faiss/cppcontrib/sa_decode/PQ-avx2-inl.h +1618 -0
  100. data/vendor/faiss/faiss/cppcontrib/sa_decode/PQ-inl.h +251 -0
  101. data/vendor/faiss/faiss/cppcontrib/sa_decode/PQ-neon-inl.h +1452 -0
  102. data/vendor/faiss/faiss/gpu/GpuAutoTune.cpp +1 -0
  103. data/vendor/faiss/faiss/gpu/GpuCloner.cpp +0 -4
  104. data/vendor/faiss/faiss/gpu/GpuIndex.h +28 -4
  105. data/vendor/faiss/faiss/gpu/GpuIndexBinaryFlat.h +2 -1
  106. data/vendor/faiss/faiss/gpu/GpuIndexFlat.h +10 -8
  107. data/vendor/faiss/faiss/gpu/GpuIndexIVF.h +75 -14
  108. data/vendor/faiss/faiss/gpu/GpuIndexIVFFlat.h +19 -32
  109. data/vendor/faiss/faiss/gpu/GpuIndexIVFPQ.h +22 -31
  110. data/vendor/faiss/faiss/gpu/GpuIndexIVFScalarQuantizer.h +22 -28
  111. data/vendor/faiss/faiss/gpu/GpuResources.cpp +14 -0
  112. data/vendor/faiss/faiss/gpu/GpuResources.h +16 -3
  113. data/vendor/faiss/faiss/gpu/StandardGpuResources.cpp +3 -3
  114. data/vendor/faiss/faiss/gpu/impl/IndexUtils.h +32 -0
  115. data/vendor/faiss/faiss/gpu/test/TestGpuIndexBinaryFlat.cpp +1 -0
  116. data/vendor/faiss/faiss/gpu/test/TestGpuIndexFlat.cpp +311 -75
  117. data/vendor/faiss/faiss/gpu/test/TestUtils.cpp +10 -0
  118. data/vendor/faiss/faiss/gpu/test/TestUtils.h +3 -0
  119. data/vendor/faiss/faiss/gpu/test/demo_ivfpq_indexing_gpu.cpp +2 -2
  120. data/vendor/faiss/faiss/gpu/utils/DeviceUtils.h +5 -4
  121. data/vendor/faiss/faiss/impl/AdditiveQuantizer.cpp +116 -47
  122. data/vendor/faiss/faiss/impl/AdditiveQuantizer.h +44 -13
  123. data/vendor/faiss/faiss/impl/AuxIndexStructures.cpp +0 -54
  124. data/vendor/faiss/faiss/impl/AuxIndexStructures.h +0 -76
  125. data/vendor/faiss/faiss/impl/DistanceComputer.h +64 -0
  126. data/vendor/faiss/faiss/impl/HNSW.cpp +123 -27
  127. data/vendor/faiss/faiss/impl/HNSW.h +19 -16
  128. data/vendor/faiss/faiss/impl/IDSelector.cpp +125 -0
  129. data/vendor/faiss/faiss/impl/IDSelector.h +135 -0
  130. data/vendor/faiss/faiss/impl/LocalSearchQuantizer.cpp +6 -28
  131. data/vendor/faiss/faiss/impl/LocalSearchQuantizer.h +6 -1
  132. data/vendor/faiss/faiss/impl/LookupTableScaler.h +77 -0
  133. data/vendor/faiss/faiss/impl/NNDescent.cpp +1 -0
  134. data/vendor/faiss/faiss/impl/NSG.cpp +1 -1
  135. data/vendor/faiss/faiss/impl/ProductAdditiveQuantizer.cpp +383 -0
  136. data/vendor/faiss/faiss/impl/ProductAdditiveQuantizer.h +154 -0
  137. data/vendor/faiss/faiss/impl/ProductQuantizer.cpp +225 -145
  138. data/vendor/faiss/faiss/impl/ProductQuantizer.h +29 -10
  139. data/vendor/faiss/faiss/impl/Quantizer.h +43 -0
  140. data/vendor/faiss/faiss/impl/ResidualQuantizer.cpp +192 -36
  141. data/vendor/faiss/faiss/impl/ResidualQuantizer.h +40 -20
  142. data/vendor/faiss/faiss/impl/ResultHandler.h +96 -0
  143. data/vendor/faiss/faiss/impl/ScalarQuantizer.cpp +97 -173
  144. data/vendor/faiss/faiss/impl/ScalarQuantizer.h +18 -18
  145. data/vendor/faiss/faiss/impl/index_read.cpp +240 -9
  146. data/vendor/faiss/faiss/impl/index_write.cpp +237 -5
  147. data/vendor/faiss/faiss/impl/kmeans1d.cpp +6 -4
  148. data/vendor/faiss/faiss/impl/pq4_fast_scan.cpp +56 -16
  149. data/vendor/faiss/faiss/impl/pq4_fast_scan.h +25 -8
  150. data/vendor/faiss/faiss/impl/pq4_fast_scan_search_1.cpp +66 -25
  151. data/vendor/faiss/faiss/impl/pq4_fast_scan_search_qbs.cpp +75 -27
  152. data/vendor/faiss/faiss/index_factory.cpp +196 -7
  153. data/vendor/faiss/faiss/index_io.h +5 -0
  154. data/vendor/faiss/faiss/invlists/DirectMap.cpp +1 -0
  155. data/vendor/faiss/faiss/invlists/InvertedLists.cpp +4 -1
  156. data/vendor/faiss/faiss/invlists/OnDiskInvertedLists.cpp +2 -1
  157. data/vendor/faiss/faiss/python/python_callbacks.cpp +27 -0
  158. data/vendor/faiss/faiss/python/python_callbacks.h +15 -0
  159. data/vendor/faiss/faiss/utils/Heap.h +31 -15
  160. data/vendor/faiss/faiss/utils/distances.cpp +380 -56
  161. data/vendor/faiss/faiss/utils/distances.h +113 -15
  162. data/vendor/faiss/faiss/utils/distances_simd.cpp +726 -6
  163. data/vendor/faiss/faiss/utils/extra_distances.cpp +12 -7
  164. data/vendor/faiss/faiss/utils/extra_distances.h +3 -1
  165. data/vendor/faiss/faiss/utils/fp16-fp16c.h +21 -0
  166. data/vendor/faiss/faiss/utils/fp16-inl.h +101 -0
  167. data/vendor/faiss/faiss/utils/fp16.h +11 -0
  168. data/vendor/faiss/faiss/utils/hamming-inl.h +54 -0
  169. data/vendor/faiss/faiss/utils/hamming.cpp +0 -48
  170. data/vendor/faiss/faiss/utils/ordered_key_value.h +10 -0
  171. data/vendor/faiss/faiss/utils/quantize_lut.cpp +62 -0
  172. data/vendor/faiss/faiss/utils/quantize_lut.h +20 -0
  173. data/vendor/faiss/faiss/utils/random.cpp +53 -0
  174. data/vendor/faiss/faiss/utils/random.h +5 -0
  175. data/vendor/faiss/faiss/utils/simdlib_avx2.h +4 -0
  176. data/vendor/faiss/faiss/utils/simdlib_emulated.h +6 -1
  177. data/vendor/faiss/faiss/utils/simdlib_neon.h +7 -2
  178. metadata +37 -3
metadata CHANGED
@@ -1,14 +1,14 @@
1
1
  --- !ruby/object:Gem::Specification
2
2
  name: faiss
3
3
  version: !ruby/object:Gem::Version
4
- version: 0.2.4
4
+ version: 0.2.6
5
5
  platform: ruby
6
6
  authors:
7
7
  - Andrew Kane
8
8
  autorequire:
9
9
  bindir: bin
10
10
  cert_chain: []
11
- date: 2022-01-10 00:00:00.000000000 Z
11
+ date: 2023-04-11 00:00:00.000000000 Z
12
12
  dependencies:
13
13
  - !ruby/object:Gem::Dependency
14
14
  name: rice
@@ -73,6 +73,8 @@ files:
73
73
  - vendor/faiss/faiss/Index2Layer.h
74
74
  - vendor/faiss/faiss/IndexAdditiveQuantizer.cpp
75
75
  - vendor/faiss/faiss/IndexAdditiveQuantizer.h
76
+ - vendor/faiss/faiss/IndexAdditiveQuantizerFastScan.cpp
77
+ - vendor/faiss/faiss/IndexAdditiveQuantizerFastScan.h
76
78
  - vendor/faiss/faiss/IndexBinary.cpp
77
79
  - vendor/faiss/faiss/IndexBinary.h
78
80
  - vendor/faiss/faiss/IndexBinaryFlat.cpp
@@ -85,16 +87,24 @@ files:
85
87
  - vendor/faiss/faiss/IndexBinaryHash.h
86
88
  - vendor/faiss/faiss/IndexBinaryIVF.cpp
87
89
  - vendor/faiss/faiss/IndexBinaryIVF.h
90
+ - vendor/faiss/faiss/IndexFastScan.cpp
91
+ - vendor/faiss/faiss/IndexFastScan.h
88
92
  - vendor/faiss/faiss/IndexFlat.cpp
89
93
  - vendor/faiss/faiss/IndexFlat.h
90
94
  - vendor/faiss/faiss/IndexFlatCodes.cpp
91
95
  - vendor/faiss/faiss/IndexFlatCodes.h
92
96
  - vendor/faiss/faiss/IndexHNSW.cpp
93
97
  - vendor/faiss/faiss/IndexHNSW.h
98
+ - vendor/faiss/faiss/IndexIDMap.cpp
99
+ - vendor/faiss/faiss/IndexIDMap.h
94
100
  - vendor/faiss/faiss/IndexIVF.cpp
95
101
  - vendor/faiss/faiss/IndexIVF.h
96
102
  - vendor/faiss/faiss/IndexIVFAdditiveQuantizer.cpp
97
103
  - vendor/faiss/faiss/IndexIVFAdditiveQuantizer.h
104
+ - vendor/faiss/faiss/IndexIVFAdditiveQuantizerFastScan.cpp
105
+ - vendor/faiss/faiss/IndexIVFAdditiveQuantizerFastScan.h
106
+ - vendor/faiss/faiss/IndexIVFFastScan.cpp
107
+ - vendor/faiss/faiss/IndexIVFFastScan.h
98
108
  - vendor/faiss/faiss/IndexIVFFlat.cpp
99
109
  - vendor/faiss/faiss/IndexIVFFlat.h
100
110
  - vendor/faiss/faiss/IndexIVFPQ.cpp
@@ -123,6 +133,8 @@ files:
123
133
  - vendor/faiss/faiss/IndexRefine.h
124
134
  - vendor/faiss/faiss/IndexReplicas.cpp
125
135
  - vendor/faiss/faiss/IndexReplicas.h
136
+ - vendor/faiss/faiss/IndexRowwiseMinMax.cpp
137
+ - vendor/faiss/faiss/IndexRowwiseMinMax.h
126
138
  - vendor/faiss/faiss/IndexScalarQuantizer.cpp
127
139
  - vendor/faiss/faiss/IndexScalarQuantizer.h
128
140
  - vendor/faiss/faiss/IndexShards.cpp
@@ -136,6 +148,17 @@ files:
136
148
  - vendor/faiss/faiss/VectorTransform.h
137
149
  - vendor/faiss/faiss/clone_index.cpp
138
150
  - vendor/faiss/faiss/clone_index.h
151
+ - vendor/faiss/faiss/cppcontrib/SaDecodeKernels.h
152
+ - vendor/faiss/faiss/cppcontrib/detail/CoarseBitType.h
153
+ - vendor/faiss/faiss/cppcontrib/detail/UintReader.h
154
+ - vendor/faiss/faiss/cppcontrib/sa_decode/Level2-avx2-inl.h
155
+ - vendor/faiss/faiss/cppcontrib/sa_decode/Level2-inl.h
156
+ - vendor/faiss/faiss/cppcontrib/sa_decode/Level2-neon-inl.h
157
+ - vendor/faiss/faiss/cppcontrib/sa_decode/MinMax-inl.h
158
+ - vendor/faiss/faiss/cppcontrib/sa_decode/MinMaxFP16-inl.h
159
+ - vendor/faiss/faiss/cppcontrib/sa_decode/PQ-avx2-inl.h
160
+ - vendor/faiss/faiss/cppcontrib/sa_decode/PQ-inl.h
161
+ - vendor/faiss/faiss/cppcontrib/sa_decode/PQ-neon-inl.h
139
162
  - vendor/faiss/faiss/gpu/GpuAutoTune.cpp
140
163
  - vendor/faiss/faiss/gpu/GpuAutoTune.h
141
164
  - vendor/faiss/faiss/gpu/GpuCloner.cpp
@@ -157,6 +180,7 @@ files:
157
180
  - vendor/faiss/faiss/gpu/GpuResources.h
158
181
  - vendor/faiss/faiss/gpu/StandardGpuResources.cpp
159
182
  - vendor/faiss/faiss/gpu/StandardGpuResources.h
183
+ - vendor/faiss/faiss/gpu/impl/IndexUtils.h
160
184
  - vendor/faiss/faiss/gpu/impl/InterleavedCodes.cpp
161
185
  - vendor/faiss/faiss/gpu/impl/InterleavedCodes.h
162
186
  - vendor/faiss/faiss/gpu/impl/RemapIndices.cpp
@@ -186,22 +210,29 @@ files:
186
210
  - vendor/faiss/faiss/impl/AdditiveQuantizer.h
187
211
  - vendor/faiss/faiss/impl/AuxIndexStructures.cpp
188
212
  - vendor/faiss/faiss/impl/AuxIndexStructures.h
213
+ - vendor/faiss/faiss/impl/DistanceComputer.h
189
214
  - vendor/faiss/faiss/impl/FaissAssert.h
190
215
  - vendor/faiss/faiss/impl/FaissException.cpp
191
216
  - vendor/faiss/faiss/impl/FaissException.h
192
217
  - vendor/faiss/faiss/impl/HNSW.cpp
193
218
  - vendor/faiss/faiss/impl/HNSW.h
219
+ - vendor/faiss/faiss/impl/IDSelector.cpp
220
+ - vendor/faiss/faiss/impl/IDSelector.h
194
221
  - vendor/faiss/faiss/impl/LocalSearchQuantizer.cpp
195
222
  - vendor/faiss/faiss/impl/LocalSearchQuantizer.h
223
+ - vendor/faiss/faiss/impl/LookupTableScaler.h
196
224
  - vendor/faiss/faiss/impl/NNDescent.cpp
197
225
  - vendor/faiss/faiss/impl/NNDescent.h
198
226
  - vendor/faiss/faiss/impl/NSG.cpp
199
227
  - vendor/faiss/faiss/impl/NSG.h
200
228
  - vendor/faiss/faiss/impl/PolysemousTraining.cpp
201
229
  - vendor/faiss/faiss/impl/PolysemousTraining.h
230
+ - vendor/faiss/faiss/impl/ProductAdditiveQuantizer.cpp
231
+ - vendor/faiss/faiss/impl/ProductAdditiveQuantizer.h
202
232
  - vendor/faiss/faiss/impl/ProductQuantizer-inl.h
203
233
  - vendor/faiss/faiss/impl/ProductQuantizer.cpp
204
234
  - vendor/faiss/faiss/impl/ProductQuantizer.h
235
+ - vendor/faiss/faiss/impl/Quantizer.h
205
236
  - vendor/faiss/faiss/impl/ResidualQuantizer.cpp
206
237
  - vendor/faiss/faiss/impl/ResidualQuantizer.h
207
238
  - vendor/faiss/faiss/impl/ResultHandler.h
@@ -250,6 +281,9 @@ files:
250
281
  - vendor/faiss/faiss/utils/extra_distances-inl.h
251
282
  - vendor/faiss/faiss/utils/extra_distances.cpp
252
283
  - vendor/faiss/faiss/utils/extra_distances.h
284
+ - vendor/faiss/faiss/utils/fp16-fp16c.h
285
+ - vendor/faiss/faiss/utils/fp16-inl.h
286
+ - vendor/faiss/faiss/utils/fp16.h
253
287
  - vendor/faiss/faiss/utils/hamming-inl.h
254
288
  - vendor/faiss/faiss/utils/hamming.cpp
255
289
  - vendor/faiss/faiss/utils/hamming.h
@@ -285,7 +319,7 @@ required_rubygems_version: !ruby/object:Gem::Requirement
285
319
  - !ruby/object:Gem::Version
286
320
  version: '0'
287
321
  requirements: []
288
- rubygems_version: 3.3.3
322
+ rubygems_version: 3.4.10
289
323
  signing_key:
290
324
  specification_version: 4
291
325
  summary: Efficient similarity search and clustering for Ruby