DARTsort 0.5.31__tar.gz → 0.5.32__tar.gz

This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
Files changed (183) hide show
  1. {dartsort-0.5.31 → dartsort-0.5.32}/PKG-INFO +1 -1
  2. {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/clustering/agglomerate.py +17 -5
  3. {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/clustering/cluster_util.py +15 -2
  4. {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/clustering/clustering.py +3 -1
  5. {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/clustering/kmeans.py +56 -3
  6. {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/clustering/mixture.py +1191 -523
  7. {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/config.py +35 -15
  8. {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/evaluate/hybridkit.py +2 -1
  9. {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/evaluate/noise_recording_tools.py +2 -2
  10. {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/evaluate/simkit.py +2 -2
  11. {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/evaluate/simlib.py +2 -2
  12. {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/main.py +14 -4
  13. {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/peel/matching_util/drifty.py +13 -2
  14. {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/peel/peel_base.py +191 -102
  15. {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/peel/reduction_template.py +164 -4
  16. {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/peel/subtract.py +2 -2
  17. {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/peel/threshold.py +8 -1
  18. {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/templates/get_templates.py +2 -0
  19. {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/templates/postprocess_util.py +2 -1
  20. {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/templates/template_util.py +2 -2
  21. {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/templates/templates.py +4 -0
  22. {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/transform/amortized_localization.py +13 -2
  23. {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/transform/decollider.py +6 -1
  24. {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/transform/mixture_classifier.py +17 -16
  25. {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/transform/pipeline.py +85 -88
  26. dartsort-0.5.32/src/dartsort/transform/reduction.py +589 -0
  27. {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/transform/supervised_denoiser.py +15 -2
  28. {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/transform/temporal_pca.py +13 -6
  29. {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/transform/transform_base.py +23 -8
  30. {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/transform/vq_matched_filter.py +2 -0
  31. {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/transform/whiten.py +2 -0
  32. {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/util/data_util.py +2 -1
  33. {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/util/drift_util.py +60 -9
  34. {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/util/internal_config.py +143 -40
  35. {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/util/interpolation_util.py +33 -14
  36. {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/util/main_util.py +8 -3
  37. {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/util/multiprocessing_util.py +12 -0
  38. {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/util/nn_util.py +9 -6
  39. {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/util/peel_util.py +7 -2
  40. {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/util/preprocess_util.py +1 -1
  41. {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/util/spiketorch.py +126 -20
  42. {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/vis/gt.py +1 -1
  43. {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/vis/mixture.py +1 -1
  44. {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort.egg-info/PKG-INFO +1 -1
  45. {dartsort-0.5.31 → dartsort-0.5.32}/tests/test_config.py +6 -0
  46. {dartsort-0.5.31 → dartsort-0.5.32}/tests/test_dartsort.py +24 -0
  47. {dartsort-0.5.31 → dartsort-0.5.32}/tests/test_drift_util.py +36 -0
  48. {dartsort-0.5.31 → dartsort-0.5.32}/tests/test_drifty_matching.py +55 -0
  49. {dartsort-0.5.31 → dartsort-0.5.32}/tests/test_matching.py +3 -3
  50. {dartsort-0.5.31 → dartsort-0.5.32}/tests/test_mixture_classifier.py +24 -0
  51. {dartsort-0.5.31 → dartsort-0.5.32}/tests/test_modeling.py +103 -18
  52. {dartsort-0.5.31 → dartsort-0.5.32}/tests/test_templates.py +204 -1
  53. dartsort-0.5.31/src/dartsort/transform/reduction.py +0 -269
  54. {dartsort-0.5.31 → dartsort-0.5.32}/.github/workflows/ci.yml +0 -0
  55. {dartsort-0.5.31 → dartsort-0.5.32}/.github/workflows/ci_windows.yml +0 -0
  56. {dartsort-0.5.31 → dartsort-0.5.32}/.github/workflows/deploy.yml +0 -0
  57. {dartsort-0.5.31 → dartsort-0.5.32}/.github/workflows/docs.yml +0 -0
  58. {dartsort-0.5.31 → dartsort-0.5.32}/.gitignore +0 -0
  59. {dartsort-0.5.31 → dartsort-0.5.32}/README.md +0 -0
  60. {dartsort-0.5.31 → dartsort-0.5.32}/docs/index.md +0 -0
  61. {dartsort-0.5.31 → dartsort-0.5.32}/docs/main_api.md +0 -0
  62. {dartsort-0.5.31 → dartsort-0.5.32}/docs/toolkit_api.md +0 -0
  63. {dartsort-0.5.31 → dartsort-0.5.32}/environment.yml +0 -0
  64. {dartsort-0.5.31 → dartsort-0.5.32}/notebook/.keep +0 -0
  65. {dartsort-0.5.31 → dartsort-0.5.32}/notebook/fit_and_batch_matching.py +0 -0
  66. {dartsort-0.5.31 → dartsort-0.5.32}/notebook/ibl_dandi_example.py +0 -0
  67. {dartsort-0.5.31 → dartsort-0.5.32}/pyproject.toml +0 -0
  68. {dartsort-0.5.31 → dartsort-0.5.32}/setup.cfg +0 -0
  69. {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/__init__.py +0 -0
  70. {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/__main__.py +0 -0
  71. {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/cli.py +0 -0
  72. {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/clustering/__init__.py +0 -0
  73. {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/clustering/clustering_features.py +0 -0
  74. {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/clustering/density.py +0 -0
  75. {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/clustering/forward_backward.py +0 -0
  76. {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/clustering/merge.py +0 -0
  77. {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/clustering/refine_util.py +0 -0
  78. {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/detect/__init__.py +0 -0
  79. {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/detect/detect.py +0 -0
  80. {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/evaluate/__init__.py +0 -0
  81. {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/evaluate/analysis.py +0 -0
  82. {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/evaluate/comparison.py +0 -0
  83. {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/evaluate/hybrid_util.py +0 -0
  84. {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/evaluate/sim_template_tools.py +0 -0
  85. {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/localize/__init__.py +0 -0
  86. {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/localize/localize_torch.py +0 -0
  87. {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/localize/localize_util.py +0 -0
  88. {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/peel/__init__.py +0 -0
  89. {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/peel/grab.py +0 -0
  90. {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/peel/matching.py +0 -0
  91. {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/peel/matching_util/__init__.py +0 -0
  92. {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/peel/matching_util/compressed_upsampled.py +0 -0
  93. {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/peel/matching_util/matching_base.py +0 -0
  94. {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/peel/matching_util/pairwise.py +0 -0
  95. {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/peel/matching_util/pairwise_util.py +0 -0
  96. {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/peel/peel_lib.py +0 -0
  97. {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/peel/shaver.py +0 -0
  98. {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/peel/subtract_util.py +0 -0
  99. {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/pretrained/default_temporal_kernel.npy +0 -0
  100. {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/pretrained/detect_np1.pt +0 -0
  101. {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/pretrained/detect_np2.pt +0 -0
  102. {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/pretrained/glasbey1024.npz +0 -0
  103. {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/pretrained/offset_trained_denoiser.pt +0 -0
  104. {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/pretrained/offset_trained_denoiser_added_temp.pt +0 -0
  105. {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/pretrained/offset_trained_denoiser_added_temp_boost.pt +0 -0
  106. {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/pretrained/original_single_chan_denoiser.pt +0 -0
  107. {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/pretrained/single_chan_denoiser.pt +0 -0
  108. {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/templates/__init__.py +0 -0
  109. {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/templates/realignment.py +0 -0
  110. {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/templates/templib.py +0 -0
  111. {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/transform/__init__.py +0 -0
  112. {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/transform/_multichan_denoiser_kit.py +0 -0
  113. {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/transform/all_transformers.py +0 -0
  114. {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/transform/amplitudes.py +0 -0
  115. {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/transform/denoising_scorer.py +0 -0
  116. {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/transform/enforce_decrease.py +0 -0
  117. {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/transform/fixed_prop.py +0 -0
  118. {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/transform/interp.py +0 -0
  119. {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/transform/localize.py +0 -0
  120. {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/transform/matched_filter_net.py +0 -0
  121. {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/transform/matching_denoiser.py +0 -0
  122. {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/transform/single_channel_denoiser.py +0 -0
  123. {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/util/__init__.py +0 -0
  124. {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/util/cli_util.py +0 -0
  125. {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/util/job_util.py +0 -0
  126. {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/util/logging_util.py +0 -0
  127. {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/util/more_operators.py +0 -0
  128. {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/util/motion.py +0 -0
  129. {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/util/noise_util.py +0 -0
  130. {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/util/py_util.py +0 -0
  131. {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/util/registration_util.py +0 -0
  132. {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/util/residual_util.py +0 -0
  133. {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/util/sparse_util.py +0 -0
  134. {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/util/spikeio.py +0 -0
  135. {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/util/testing_util/__init__.py +0 -0
  136. {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/util/testing_util/matching_debug_util.py +0 -0
  137. {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/util/testing_util/mixture_testing_util.py +0 -0
  138. {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/util/torch_optimization_util.py +0 -0
  139. {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/util/torch_util.py +0 -0
  140. {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/util/waveform_util.py +0 -0
  141. {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/vis/__init__.py +0 -0
  142. {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/vis/analysis_plots.py +0 -0
  143. {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/vis/colors.py +0 -0
  144. {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/vis/layout.py +0 -0
  145. {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/vis/metrics_util.py +0 -0
  146. {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/vis/recanim.py +0 -0
  147. {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/vis/scatterplots.py +0 -0
  148. {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/vis/sorting.py +0 -0
  149. {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/vis/unit.py +0 -0
  150. {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/vis/unit_comparison.py +0 -0
  151. {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/vis/versus.py +0 -0
  152. {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/vis/vismain.py +0 -0
  153. {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/vis/waveforms.py +0 -0
  154. {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort.egg-info/SOURCES.txt +0 -0
  155. {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort.egg-info/dependency_links.txt +0 -0
  156. {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort.egg-info/entry_points.txt +0 -0
  157. {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort.egg-info/requires.txt +0 -0
  158. {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort.egg-info/top_level.txt +0 -0
  159. {dartsort-0.5.31 → dartsort-0.5.32}/tests/conftest.py +0 -0
  160. {dartsort-0.5.31 → dartsort-0.5.32}/tests/test_agglomerate.py +0 -0
  161. {dartsort-0.5.31 → dartsort-0.5.32}/tests/test_alignment.py +0 -0
  162. {dartsort-0.5.31 → dartsort-0.5.32}/tests/test_cluster_util.py +0 -0
  163. {dartsort-0.5.31 → dartsort-0.5.32}/tests/test_clustering.py +0 -0
  164. {dartsort-0.5.31 → dartsort-0.5.32}/tests/test_clustering_features.py +0 -0
  165. {dartsort-0.5.31 → dartsort-0.5.32}/tests/test_data_util.py +0 -0
  166. {dartsort-0.5.31 → dartsort-0.5.32}/tests/test_density.py +0 -0
  167. {dartsort-0.5.31 → dartsort-0.5.32}/tests/test_detect.py +0 -0
  168. {dartsort-0.5.31 → dartsort-0.5.32}/tests/test_enforce_decrease.py +0 -0
  169. {dartsort-0.5.31 → dartsort-0.5.32}/tests/test_grab_and_featurize.py +0 -0
  170. {dartsort-0.5.31 → dartsort-0.5.32}/tests/test_hybridkit.py +0 -0
  171. {dartsort-0.5.31 → dartsort-0.5.32}/tests/test_kmeans.py +0 -0
  172. {dartsort-0.5.31 → dartsort-0.5.32}/tests/test_linalg.py +0 -0
  173. {dartsort-0.5.31 → dartsort-0.5.32}/tests/test_localize_torch.py +0 -0
  174. {dartsort-0.5.31 → dartsort-0.5.32}/tests/test_multiprocessing_util.py +0 -0
  175. {dartsort-0.5.31 → dartsort-0.5.32}/tests/test_simkit.py +0 -0
  176. {dartsort-0.5.31 → dartsort-0.5.32}/tests/test_spiketorch.py +0 -0
  177. {dartsort-0.5.31 → dartsort-0.5.32}/tests/test_subtract.py +0 -0
  178. {dartsort-0.5.31 → dartsort-0.5.32}/tests/test_threshold.py +0 -0
  179. {dartsort-0.5.31 → dartsort-0.5.32}/tests/test_torch_optimization_util.py +0 -0
  180. {dartsort-0.5.31 → dartsort-0.5.32}/tests/test_transform.py +0 -0
  181. {dartsort-0.5.31 → dartsort-0.5.32}/tests/test_util.py +0 -0
  182. {dartsort-0.5.31 → dartsort-0.5.32}/tests/test_waveform_util.py +0 -0
  183. {dartsort-0.5.31 → dartsort-0.5.32}/zensical.toml +0 -0
@@ -1,6 +1,6 @@
1
1
  Metadata-Version: 2.4
2
2
  Name: dartsort
3
- Version: 0.5.31
3
+ Version: 0.5.32
4
4
  Summary: DARTsort
5
5
  Author-email: Charlie Windolf <ciw2048@gmail.com>
6
6
  Project-URL: Homepage, https://github.com/cwindolf/dartsort
@@ -561,6 +561,7 @@ def template_distances(
561
561
  sorting=sorting,
562
562
  motion=motion,
563
563
  radius=template_merge_cfg.weighted_dist_radius,
564
+ registered_geom=template_data.registered_geom,
564
565
  )
565
566
  spatial_weights = radial_weights(radial_counts)
566
567
  assert np.isfinite(spatial_weights).all()
@@ -876,23 +877,34 @@ def bimod_stats(h):
876
877
  return a, b
877
878
 
878
879
 
879
- def radial_spike_counts(sorting: DARTsortSorting, motion: MotionInfo, radius: float):
880
+ def radial_spike_counts(
881
+ sorting: DARTsortSorting,
882
+ motion: MotionInfo,
883
+ radius: float,
884
+ registered_geom: np.ndarray | None = None,
885
+ ):
880
886
  assert sorting.labels is not None
887
+ if registered_geom is None:
888
+ registered_geom = motion.rgeom
881
889
  kept = np.flatnonzero(sorting.labels >= 0)
882
890
 
883
891
  # which reg chans do the spikes land on?
884
892
  x, z = motion.geom[sorting.channels[kept]].T
885
893
  cc = closest_registered_channels(
886
- times_seconds=sorting.times_seconds[kept], x=x, z_abs=z, motion=motion
894
+ times_seconds=sorting.times_seconds[kept],
895
+ x=x,
896
+ z_abs=z,
897
+ motion=motion,
898
+ registered_geom=registered_geom,
887
899
  )
888
900
 
889
901
  # count by label
890
902
  ll = sorting.labels[kept]
891
- counts = np.zeros((ll.max() + 1, motion.rgeom.shape[0]), dtype=np.int64)
903
+ counts = np.zeros((ll.max() + 1, registered_geom.shape[0]), dtype=np.int64)
892
904
  np.add.at(counts, (ll, cc), 1)
893
905
 
894
906
  # get radial neighborhoods
895
- ci = make_channel_index(motion.rgeom, radius, to_torch=False)
907
+ ci = make_channel_index(registered_geom, radius, to_torch=False)
896
908
 
897
909
  # puff out with radial neighborhood and sum up the counts by label
898
910
  radial_counts = np.zeros(counts.shape)
@@ -901,7 +913,7 @@ def radial_spike_counts(sorting: DARTsortSorting, motion: MotionInfo, radius: fl
901
913
  ii = np.flatnonzero(row)
902
914
  for channel, value in zip(ii, row[ii], strict=True):
903
915
  cixs = ci[channel]
904
- cixs = cixs[cixs < motion.rgeom.shape[0]]
916
+ cixs = cixs[cixs < registered_geom.shape[0]]
905
917
  radial_counts[uu, cixs] += value
906
918
 
907
919
  return radial_counts
@@ -428,7 +428,13 @@ def reorder_by_depth(
428
428
 
429
429
 
430
430
  def closest_registered_channels(
431
- *, times_seconds, x, z_abs, z_reg=None, motion: MotionInfo
431
+ *,
432
+ times_seconds,
433
+ x,
434
+ z_abs,
435
+ z_reg=None,
436
+ motion: MotionInfo,
437
+ registered_geom: np.ndarray | None = None,
432
438
  ) -> np.ndarray:
433
439
  """Assign spikes to the drift-extended channel closest to their registered position"""
434
440
  if z_reg is None:
@@ -436,7 +442,14 @@ def closest_registered_channels(
436
442
  z_reg = motion.correct_s(times_seconds, z_abs)
437
443
  reg_pos = np.c_[x, z_reg]
438
444
 
439
- _, reg_channels = motion.rgeom_kdt.query(reg_pos)
445
+ if registered_geom is None or (
446
+ registered_geom.shape == motion.rgeom.shape
447
+ and np.allclose(registered_geom, motion.rgeom)
448
+ ):
449
+ kdt = motion.rgeom_kdt
450
+ else:
451
+ kdt = KDTree(registered_geom)
452
+ _, reg_channels = kdt.query(reg_pos)
440
453
  reg_channels = np.atleast_1d(reg_channels)
441
454
 
442
455
  return reg_channels
@@ -59,7 +59,9 @@ def get_clusterer(
59
59
  else:
60
60
  clus_strategy = "none"
61
61
 
62
- saving_labels = save_cfg is not None and save_cfg.save_intermediate_labels
62
+ saving_labels = save_labels_dir is not None and (
63
+ save_cfg is None or save_cfg.save_intermediate_labels
64
+ )
63
65
  if not saving_labels:
64
66
  save_labels_dir = save_cfg = None
65
67
 
@@ -15,6 +15,7 @@ except ImportError:
15
15
  HAVE_CUPY = False
16
16
 
17
17
 
18
+ from ..util.internal_config import SplitKmeansppMetric
18
19
  from ..util.logging_util import DARTSORTDEBUG, get_logger, progrange
19
20
  from ..util.sparse_util import (
20
21
  coo_to_cupy,
@@ -23,7 +24,11 @@ from ..util.sparse_util import (
23
24
  logsumexp_coo,
24
25
  sparse_centroid_distsq,
25
26
  )
26
- from ..util.spiketorch import spawn_torch_rg, sqeuc_cdist_known_norm
27
+ from ..util.spiketorch import (
28
+ scaled_normeuc_cdist_from_dots_,
29
+ spawn_torch_rg,
30
+ sqeuc_cdist_known_norm,
31
+ )
27
32
 
28
33
  logger = get_logger(__name__)
29
34
 
@@ -631,6 +636,8 @@ def batched_kmeans(
631
636
  with_labels=True,
632
637
  with_proportions=True,
633
638
  beta: float = 1.0,
639
+ kmeanspp_metric: SplitKmeansppMetric = "euc",
640
+ scale_dist_args: tuple[float, float, float] | None = None,
634
641
  ) -> KMeansResult:
635
642
  """
636
643
  Compared to above:
@@ -639,6 +646,7 @@ def batched_kmeans(
639
646
  - no weights allowed for now
640
647
  - kmeanspp always random initial
641
648
  - n_iter > 0
649
+ - kmeanspp_metric for seeding only
642
650
  """
643
651
  k = n_components
644
652
  del n_components
@@ -660,9 +668,17 @@ def batched_kmeans(
660
668
  centroid_ixs = torch.full((k, n_kmeanspps), n, dtype=torch.long, device=dev)
661
669
  centroid_ixs[0] = torch.randint(n, size=(n_kmeanspps,), device=dev, generator=gen)
662
670
  dists = X.new_empty((n_kmeanspps, n))
671
+ if kmeanspp_metric == "euc":
672
+ seed_bufs = None
673
+ elif kmeanspp_metric == "scaled_normeuc":
674
+ seed_bufs = X.new_empty((4, n_kmeanspps, n))
675
+ else:
676
+ panic(kmeanspp_metric)
663
677
  Y = X[centroid_ixs[0]]
664
678
  Ynormsq = Xnormsq[centroid_ixs[0]]
665
- dists = sqeuc_cdist_known_norm(Y, Ynormsq, X, Xnormsq, dists)
679
+ dists = _kmeanspp_distsq(
680
+ Y, Ynormsq, X, Xnormsq, dists, seed_bufs, kmeanspp_metric, scale_dist_args
681
+ )
666
682
 
667
683
  # -- kmeanspp stage: loop
668
684
  # buf for random sampling with Gumbel trick and new distance storage
@@ -680,8 +696,11 @@ def batched_kmeans(
680
696
  torch.index_select(Xnormsq, dim=0, index=cix_j, out=Ynormsq)
681
697
 
682
698
  # update distances
683
- newdists = sqeuc_cdist_known_norm(Y, Ynormsq, X, Xnormsq, _buf)
699
+ newdists = _kmeanspp_distsq(
700
+ Y, Ynormsq, X, Xnormsq, _buf, seed_bufs, kmeanspp_metric, scale_dist_args
701
+ )
684
702
  torch.minimum(dists, newdists, out=dists)
703
+ del seed_bufs
685
704
 
686
705
  # -- kmeanspp finish: pick best by phi
687
706
  if kmeanspp_seeds_per_try > 1:
@@ -754,6 +773,40 @@ def batched_kmeans(
754
773
  return KMeansResult(centroids=Y, responsibilities=e, labels=labels, dists=dists)
755
774
 
756
775
 
776
+ def _kmeanspp_distsq(
777
+ Y: Tensor,
778
+ Ynormsq: Tensor,
779
+ X: Tensor,
780
+ Xnormsq: Tensor,
781
+ out: Tensor,
782
+ bufs: Tensor | None,
783
+ metric: SplitKmeansppMetric,
784
+ scale_dist_args: tuple[float, float, float] | None,
785
+ ) -> Tensor:
786
+ if metric == "euc":
787
+ assert bufs is None
788
+ return sqeuc_cdist_known_norm(Y, Ynormsq, X, Xnormsq, out)
789
+ elif metric == "scaled_normeuc":
790
+ assert bufs is not None
791
+ assert scale_dist_args is not None
792
+ scale_std, scale_min, scale_max = scale_dist_args
793
+ dots = torch.mm(Y, X.T, out=bufs[0])
794
+ out = scaled_normeuc_cdist_from_dots_(
795
+ dots,
796
+ Ynormsq,
797
+ Xnormsq,
798
+ out=out,
799
+ bufs=bufs[1:],
800
+ scale_var=scale_std**2,
801
+ scale_min=scale_min,
802
+ scale_max=scale_max,
803
+ )
804
+ assert out.isfinite().all()
805
+ return out.square_()
806
+ else:
807
+ panic(metric)
808
+
809
+
757
810
  def truncated_kmeans_from_labels(
758
811
  X: Tensor | np.ndarray,
759
812
  labels: Tensor | np.ndarray,