DARTsort 0.5.31__tar.gz → 0.5.32__tar.gz
This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
- {dartsort-0.5.31 → dartsort-0.5.32}/PKG-INFO +1 -1
- {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/clustering/agglomerate.py +17 -5
- {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/clustering/cluster_util.py +15 -2
- {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/clustering/clustering.py +3 -1
- {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/clustering/kmeans.py +56 -3
- {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/clustering/mixture.py +1191 -523
- {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/config.py +35 -15
- {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/evaluate/hybridkit.py +2 -1
- {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/evaluate/noise_recording_tools.py +2 -2
- {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/evaluate/simkit.py +2 -2
- {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/evaluate/simlib.py +2 -2
- {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/main.py +14 -4
- {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/peel/matching_util/drifty.py +13 -2
- {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/peel/peel_base.py +191 -102
- {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/peel/reduction_template.py +164 -4
- {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/peel/subtract.py +2 -2
- {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/peel/threshold.py +8 -1
- {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/templates/get_templates.py +2 -0
- {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/templates/postprocess_util.py +2 -1
- {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/templates/template_util.py +2 -2
- {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/templates/templates.py +4 -0
- {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/transform/amortized_localization.py +13 -2
- {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/transform/decollider.py +6 -1
- {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/transform/mixture_classifier.py +17 -16
- {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/transform/pipeline.py +85 -88
- dartsort-0.5.32/src/dartsort/transform/reduction.py +589 -0
- {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/transform/supervised_denoiser.py +15 -2
- {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/transform/temporal_pca.py +13 -6
- {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/transform/transform_base.py +23 -8
- {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/transform/vq_matched_filter.py +2 -0
- {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/transform/whiten.py +2 -0
- {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/util/data_util.py +2 -1
- {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/util/drift_util.py +60 -9
- {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/util/internal_config.py +143 -40
- {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/util/interpolation_util.py +33 -14
- {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/util/main_util.py +8 -3
- {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/util/multiprocessing_util.py +12 -0
- {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/util/nn_util.py +9 -6
- {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/util/peel_util.py +7 -2
- {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/util/preprocess_util.py +1 -1
- {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/util/spiketorch.py +126 -20
- {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/vis/gt.py +1 -1
- {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/vis/mixture.py +1 -1
- {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort.egg-info/PKG-INFO +1 -1
- {dartsort-0.5.31 → dartsort-0.5.32}/tests/test_config.py +6 -0
- {dartsort-0.5.31 → dartsort-0.5.32}/tests/test_dartsort.py +24 -0
- {dartsort-0.5.31 → dartsort-0.5.32}/tests/test_drift_util.py +36 -0
- {dartsort-0.5.31 → dartsort-0.5.32}/tests/test_drifty_matching.py +55 -0
- {dartsort-0.5.31 → dartsort-0.5.32}/tests/test_matching.py +3 -3
- {dartsort-0.5.31 → dartsort-0.5.32}/tests/test_mixture_classifier.py +24 -0
- {dartsort-0.5.31 → dartsort-0.5.32}/tests/test_modeling.py +103 -18
- {dartsort-0.5.31 → dartsort-0.5.32}/tests/test_templates.py +204 -1
- dartsort-0.5.31/src/dartsort/transform/reduction.py +0 -269
- {dartsort-0.5.31 → dartsort-0.5.32}/.github/workflows/ci.yml +0 -0
- {dartsort-0.5.31 → dartsort-0.5.32}/.github/workflows/ci_windows.yml +0 -0
- {dartsort-0.5.31 → dartsort-0.5.32}/.github/workflows/deploy.yml +0 -0
- {dartsort-0.5.31 → dartsort-0.5.32}/.github/workflows/docs.yml +0 -0
- {dartsort-0.5.31 → dartsort-0.5.32}/.gitignore +0 -0
- {dartsort-0.5.31 → dartsort-0.5.32}/README.md +0 -0
- {dartsort-0.5.31 → dartsort-0.5.32}/docs/index.md +0 -0
- {dartsort-0.5.31 → dartsort-0.5.32}/docs/main_api.md +0 -0
- {dartsort-0.5.31 → dartsort-0.5.32}/docs/toolkit_api.md +0 -0
- {dartsort-0.5.31 → dartsort-0.5.32}/environment.yml +0 -0
- {dartsort-0.5.31 → dartsort-0.5.32}/notebook/.keep +0 -0
- {dartsort-0.5.31 → dartsort-0.5.32}/notebook/fit_and_batch_matching.py +0 -0
- {dartsort-0.5.31 → dartsort-0.5.32}/notebook/ibl_dandi_example.py +0 -0
- {dartsort-0.5.31 → dartsort-0.5.32}/pyproject.toml +0 -0
- {dartsort-0.5.31 → dartsort-0.5.32}/setup.cfg +0 -0
- {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/__init__.py +0 -0
- {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/__main__.py +0 -0
- {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/cli.py +0 -0
- {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/clustering/__init__.py +0 -0
- {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/clustering/clustering_features.py +0 -0
- {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/clustering/density.py +0 -0
- {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/clustering/forward_backward.py +0 -0
- {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/clustering/merge.py +0 -0
- {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/clustering/refine_util.py +0 -0
- {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/detect/__init__.py +0 -0
- {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/detect/detect.py +0 -0
- {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/evaluate/__init__.py +0 -0
- {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/evaluate/analysis.py +0 -0
- {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/evaluate/comparison.py +0 -0
- {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/evaluate/hybrid_util.py +0 -0
- {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/evaluate/sim_template_tools.py +0 -0
- {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/localize/__init__.py +0 -0
- {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/localize/localize_torch.py +0 -0
- {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/localize/localize_util.py +0 -0
- {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/peel/__init__.py +0 -0
- {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/peel/grab.py +0 -0
- {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/peel/matching.py +0 -0
- {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/peel/matching_util/__init__.py +0 -0
- {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/peel/matching_util/compressed_upsampled.py +0 -0
- {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/peel/matching_util/matching_base.py +0 -0
- {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/peel/matching_util/pairwise.py +0 -0
- {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/peel/matching_util/pairwise_util.py +0 -0
- {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/peel/peel_lib.py +0 -0
- {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/peel/shaver.py +0 -0
- {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/peel/subtract_util.py +0 -0
- {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/pretrained/default_temporal_kernel.npy +0 -0
- {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/pretrained/detect_np1.pt +0 -0
- {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/pretrained/detect_np2.pt +0 -0
- {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/pretrained/glasbey1024.npz +0 -0
- {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/pretrained/offset_trained_denoiser.pt +0 -0
- {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/pretrained/offset_trained_denoiser_added_temp.pt +0 -0
- {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/pretrained/offset_trained_denoiser_added_temp_boost.pt +0 -0
- {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/pretrained/original_single_chan_denoiser.pt +0 -0
- {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/pretrained/single_chan_denoiser.pt +0 -0
- {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/templates/__init__.py +0 -0
- {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/templates/realignment.py +0 -0
- {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/templates/templib.py +0 -0
- {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/transform/__init__.py +0 -0
- {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/transform/_multichan_denoiser_kit.py +0 -0
- {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/transform/all_transformers.py +0 -0
- {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/transform/amplitudes.py +0 -0
- {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/transform/denoising_scorer.py +0 -0
- {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/transform/enforce_decrease.py +0 -0
- {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/transform/fixed_prop.py +0 -0
- {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/transform/interp.py +0 -0
- {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/transform/localize.py +0 -0
- {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/transform/matched_filter_net.py +0 -0
- {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/transform/matching_denoiser.py +0 -0
- {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/transform/single_channel_denoiser.py +0 -0
- {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/util/__init__.py +0 -0
- {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/util/cli_util.py +0 -0
- {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/util/job_util.py +0 -0
- {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/util/logging_util.py +0 -0
- {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/util/more_operators.py +0 -0
- {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/util/motion.py +0 -0
- {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/util/noise_util.py +0 -0
- {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/util/py_util.py +0 -0
- {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/util/registration_util.py +0 -0
- {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/util/residual_util.py +0 -0
- {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/util/sparse_util.py +0 -0
- {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/util/spikeio.py +0 -0
- {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/util/testing_util/__init__.py +0 -0
- {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/util/testing_util/matching_debug_util.py +0 -0
- {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/util/testing_util/mixture_testing_util.py +0 -0
- {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/util/torch_optimization_util.py +0 -0
- {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/util/torch_util.py +0 -0
- {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/util/waveform_util.py +0 -0
- {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/vis/__init__.py +0 -0
- {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/vis/analysis_plots.py +0 -0
- {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/vis/colors.py +0 -0
- {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/vis/layout.py +0 -0
- {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/vis/metrics_util.py +0 -0
- {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/vis/recanim.py +0 -0
- {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/vis/scatterplots.py +0 -0
- {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/vis/sorting.py +0 -0
- {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/vis/unit.py +0 -0
- {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/vis/unit_comparison.py +0 -0
- {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/vis/versus.py +0 -0
- {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/vis/vismain.py +0 -0
- {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort/vis/waveforms.py +0 -0
- {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort.egg-info/SOURCES.txt +0 -0
- {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort.egg-info/dependency_links.txt +0 -0
- {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort.egg-info/entry_points.txt +0 -0
- {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort.egg-info/requires.txt +0 -0
- {dartsort-0.5.31 → dartsort-0.5.32}/src/dartsort.egg-info/top_level.txt +0 -0
- {dartsort-0.5.31 → dartsort-0.5.32}/tests/conftest.py +0 -0
- {dartsort-0.5.31 → dartsort-0.5.32}/tests/test_agglomerate.py +0 -0
- {dartsort-0.5.31 → dartsort-0.5.32}/tests/test_alignment.py +0 -0
- {dartsort-0.5.31 → dartsort-0.5.32}/tests/test_cluster_util.py +0 -0
- {dartsort-0.5.31 → dartsort-0.5.32}/tests/test_clustering.py +0 -0
- {dartsort-0.5.31 → dartsort-0.5.32}/tests/test_clustering_features.py +0 -0
- {dartsort-0.5.31 → dartsort-0.5.32}/tests/test_data_util.py +0 -0
- {dartsort-0.5.31 → dartsort-0.5.32}/tests/test_density.py +0 -0
- {dartsort-0.5.31 → dartsort-0.5.32}/tests/test_detect.py +0 -0
- {dartsort-0.5.31 → dartsort-0.5.32}/tests/test_enforce_decrease.py +0 -0
- {dartsort-0.5.31 → dartsort-0.5.32}/tests/test_grab_and_featurize.py +0 -0
- {dartsort-0.5.31 → dartsort-0.5.32}/tests/test_hybridkit.py +0 -0
- {dartsort-0.5.31 → dartsort-0.5.32}/tests/test_kmeans.py +0 -0
- {dartsort-0.5.31 → dartsort-0.5.32}/tests/test_linalg.py +0 -0
- {dartsort-0.5.31 → dartsort-0.5.32}/tests/test_localize_torch.py +0 -0
- {dartsort-0.5.31 → dartsort-0.5.32}/tests/test_multiprocessing_util.py +0 -0
- {dartsort-0.5.31 → dartsort-0.5.32}/tests/test_simkit.py +0 -0
- {dartsort-0.5.31 → dartsort-0.5.32}/tests/test_spiketorch.py +0 -0
- {dartsort-0.5.31 → dartsort-0.5.32}/tests/test_subtract.py +0 -0
- {dartsort-0.5.31 → dartsort-0.5.32}/tests/test_threshold.py +0 -0
- {dartsort-0.5.31 → dartsort-0.5.32}/tests/test_torch_optimization_util.py +0 -0
- {dartsort-0.5.31 → dartsort-0.5.32}/tests/test_transform.py +0 -0
- {dartsort-0.5.31 → dartsort-0.5.32}/tests/test_util.py +0 -0
- {dartsort-0.5.31 → dartsort-0.5.32}/tests/test_waveform_util.py +0 -0
- {dartsort-0.5.31 → dartsort-0.5.32}/zensical.toml +0 -0
|
@@ -561,6 +561,7 @@ def template_distances(
|
|
|
561
561
|
sorting=sorting,
|
|
562
562
|
motion=motion,
|
|
563
563
|
radius=template_merge_cfg.weighted_dist_radius,
|
|
564
|
+
registered_geom=template_data.registered_geom,
|
|
564
565
|
)
|
|
565
566
|
spatial_weights = radial_weights(radial_counts)
|
|
566
567
|
assert np.isfinite(spatial_weights).all()
|
|
@@ -876,23 +877,34 @@ def bimod_stats(h):
|
|
|
876
877
|
return a, b
|
|
877
878
|
|
|
878
879
|
|
|
879
|
-
def radial_spike_counts(
|
|
880
|
+
def radial_spike_counts(
|
|
881
|
+
sorting: DARTsortSorting,
|
|
882
|
+
motion: MotionInfo,
|
|
883
|
+
radius: float,
|
|
884
|
+
registered_geom: np.ndarray | None = None,
|
|
885
|
+
):
|
|
880
886
|
assert sorting.labels is not None
|
|
887
|
+
if registered_geom is None:
|
|
888
|
+
registered_geom = motion.rgeom
|
|
881
889
|
kept = np.flatnonzero(sorting.labels >= 0)
|
|
882
890
|
|
|
883
891
|
# which reg chans do the spikes land on?
|
|
884
892
|
x, z = motion.geom[sorting.channels[kept]].T
|
|
885
893
|
cc = closest_registered_channels(
|
|
886
|
-
times_seconds=sorting.times_seconds[kept],
|
|
894
|
+
times_seconds=sorting.times_seconds[kept],
|
|
895
|
+
x=x,
|
|
896
|
+
z_abs=z,
|
|
897
|
+
motion=motion,
|
|
898
|
+
registered_geom=registered_geom,
|
|
887
899
|
)
|
|
888
900
|
|
|
889
901
|
# count by label
|
|
890
902
|
ll = sorting.labels[kept]
|
|
891
|
-
counts = np.zeros((ll.max() + 1,
|
|
903
|
+
counts = np.zeros((ll.max() + 1, registered_geom.shape[0]), dtype=np.int64)
|
|
892
904
|
np.add.at(counts, (ll, cc), 1)
|
|
893
905
|
|
|
894
906
|
# get radial neighborhoods
|
|
895
|
-
ci = make_channel_index(
|
|
907
|
+
ci = make_channel_index(registered_geom, radius, to_torch=False)
|
|
896
908
|
|
|
897
909
|
# puff out with radial neighborhood and sum up the counts by label
|
|
898
910
|
radial_counts = np.zeros(counts.shape)
|
|
@@ -901,7 +913,7 @@ def radial_spike_counts(sorting: DARTsortSorting, motion: MotionInfo, radius: fl
|
|
|
901
913
|
ii = np.flatnonzero(row)
|
|
902
914
|
for channel, value in zip(ii, row[ii], strict=True):
|
|
903
915
|
cixs = ci[channel]
|
|
904
|
-
cixs = cixs[cixs <
|
|
916
|
+
cixs = cixs[cixs < registered_geom.shape[0]]
|
|
905
917
|
radial_counts[uu, cixs] += value
|
|
906
918
|
|
|
907
919
|
return radial_counts
|
|
@@ -428,7 +428,13 @@ def reorder_by_depth(
|
|
|
428
428
|
|
|
429
429
|
|
|
430
430
|
def closest_registered_channels(
|
|
431
|
-
*,
|
|
431
|
+
*,
|
|
432
|
+
times_seconds,
|
|
433
|
+
x,
|
|
434
|
+
z_abs,
|
|
435
|
+
z_reg=None,
|
|
436
|
+
motion: MotionInfo,
|
|
437
|
+
registered_geom: np.ndarray | None = None,
|
|
432
438
|
) -> np.ndarray:
|
|
433
439
|
"""Assign spikes to the drift-extended channel closest to their registered position"""
|
|
434
440
|
if z_reg is None:
|
|
@@ -436,7 +442,14 @@ def closest_registered_channels(
|
|
|
436
442
|
z_reg = motion.correct_s(times_seconds, z_abs)
|
|
437
443
|
reg_pos = np.c_[x, z_reg]
|
|
438
444
|
|
|
439
|
-
|
|
445
|
+
if registered_geom is None or (
|
|
446
|
+
registered_geom.shape == motion.rgeom.shape
|
|
447
|
+
and np.allclose(registered_geom, motion.rgeom)
|
|
448
|
+
):
|
|
449
|
+
kdt = motion.rgeom_kdt
|
|
450
|
+
else:
|
|
451
|
+
kdt = KDTree(registered_geom)
|
|
452
|
+
_, reg_channels = kdt.query(reg_pos)
|
|
440
453
|
reg_channels = np.atleast_1d(reg_channels)
|
|
441
454
|
|
|
442
455
|
return reg_channels
|
|
@@ -59,7 +59,9 @@ def get_clusterer(
|
|
|
59
59
|
else:
|
|
60
60
|
clus_strategy = "none"
|
|
61
61
|
|
|
62
|
-
saving_labels =
|
|
62
|
+
saving_labels = save_labels_dir is not None and (
|
|
63
|
+
save_cfg is None or save_cfg.save_intermediate_labels
|
|
64
|
+
)
|
|
63
65
|
if not saving_labels:
|
|
64
66
|
save_labels_dir = save_cfg = None
|
|
65
67
|
|
|
@@ -15,6 +15,7 @@ except ImportError:
|
|
|
15
15
|
HAVE_CUPY = False
|
|
16
16
|
|
|
17
17
|
|
|
18
|
+
from ..util.internal_config import SplitKmeansppMetric
|
|
18
19
|
from ..util.logging_util import DARTSORTDEBUG, get_logger, progrange
|
|
19
20
|
from ..util.sparse_util import (
|
|
20
21
|
coo_to_cupy,
|
|
@@ -23,7 +24,11 @@ from ..util.sparse_util import (
|
|
|
23
24
|
logsumexp_coo,
|
|
24
25
|
sparse_centroid_distsq,
|
|
25
26
|
)
|
|
26
|
-
from ..util.spiketorch import
|
|
27
|
+
from ..util.spiketorch import (
|
|
28
|
+
scaled_normeuc_cdist_from_dots_,
|
|
29
|
+
spawn_torch_rg,
|
|
30
|
+
sqeuc_cdist_known_norm,
|
|
31
|
+
)
|
|
27
32
|
|
|
28
33
|
logger = get_logger(__name__)
|
|
29
34
|
|
|
@@ -631,6 +636,8 @@ def batched_kmeans(
|
|
|
631
636
|
with_labels=True,
|
|
632
637
|
with_proportions=True,
|
|
633
638
|
beta: float = 1.0,
|
|
639
|
+
kmeanspp_metric: SplitKmeansppMetric = "euc",
|
|
640
|
+
scale_dist_args: tuple[float, float, float] | None = None,
|
|
634
641
|
) -> KMeansResult:
|
|
635
642
|
"""
|
|
636
643
|
Compared to above:
|
|
@@ -639,6 +646,7 @@ def batched_kmeans(
|
|
|
639
646
|
- no weights allowed for now
|
|
640
647
|
- kmeanspp always random initial
|
|
641
648
|
- n_iter > 0
|
|
649
|
+
- kmeanspp_metric for seeding only
|
|
642
650
|
"""
|
|
643
651
|
k = n_components
|
|
644
652
|
del n_components
|
|
@@ -660,9 +668,17 @@ def batched_kmeans(
|
|
|
660
668
|
centroid_ixs = torch.full((k, n_kmeanspps), n, dtype=torch.long, device=dev)
|
|
661
669
|
centroid_ixs[0] = torch.randint(n, size=(n_kmeanspps,), device=dev, generator=gen)
|
|
662
670
|
dists = X.new_empty((n_kmeanspps, n))
|
|
671
|
+
if kmeanspp_metric == "euc":
|
|
672
|
+
seed_bufs = None
|
|
673
|
+
elif kmeanspp_metric == "scaled_normeuc":
|
|
674
|
+
seed_bufs = X.new_empty((4, n_kmeanspps, n))
|
|
675
|
+
else:
|
|
676
|
+
panic(kmeanspp_metric)
|
|
663
677
|
Y = X[centroid_ixs[0]]
|
|
664
678
|
Ynormsq = Xnormsq[centroid_ixs[0]]
|
|
665
|
-
dists =
|
|
679
|
+
dists = _kmeanspp_distsq(
|
|
680
|
+
Y, Ynormsq, X, Xnormsq, dists, seed_bufs, kmeanspp_metric, scale_dist_args
|
|
681
|
+
)
|
|
666
682
|
|
|
667
683
|
# -- kmeanspp stage: loop
|
|
668
684
|
# buf for random sampling with Gumbel trick and new distance storage
|
|
@@ -680,8 +696,11 @@ def batched_kmeans(
|
|
|
680
696
|
torch.index_select(Xnormsq, dim=0, index=cix_j, out=Ynormsq)
|
|
681
697
|
|
|
682
698
|
# update distances
|
|
683
|
-
newdists =
|
|
699
|
+
newdists = _kmeanspp_distsq(
|
|
700
|
+
Y, Ynormsq, X, Xnormsq, _buf, seed_bufs, kmeanspp_metric, scale_dist_args
|
|
701
|
+
)
|
|
684
702
|
torch.minimum(dists, newdists, out=dists)
|
|
703
|
+
del seed_bufs
|
|
685
704
|
|
|
686
705
|
# -- kmeanspp finish: pick best by phi
|
|
687
706
|
if kmeanspp_seeds_per_try > 1:
|
|
@@ -754,6 +773,40 @@ def batched_kmeans(
|
|
|
754
773
|
return KMeansResult(centroids=Y, responsibilities=e, labels=labels, dists=dists)
|
|
755
774
|
|
|
756
775
|
|
|
776
|
+
def _kmeanspp_distsq(
|
|
777
|
+
Y: Tensor,
|
|
778
|
+
Ynormsq: Tensor,
|
|
779
|
+
X: Tensor,
|
|
780
|
+
Xnormsq: Tensor,
|
|
781
|
+
out: Tensor,
|
|
782
|
+
bufs: Tensor | None,
|
|
783
|
+
metric: SplitKmeansppMetric,
|
|
784
|
+
scale_dist_args: tuple[float, float, float] | None,
|
|
785
|
+
) -> Tensor:
|
|
786
|
+
if metric == "euc":
|
|
787
|
+
assert bufs is None
|
|
788
|
+
return sqeuc_cdist_known_norm(Y, Ynormsq, X, Xnormsq, out)
|
|
789
|
+
elif metric == "scaled_normeuc":
|
|
790
|
+
assert bufs is not None
|
|
791
|
+
assert scale_dist_args is not None
|
|
792
|
+
scale_std, scale_min, scale_max = scale_dist_args
|
|
793
|
+
dots = torch.mm(Y, X.T, out=bufs[0])
|
|
794
|
+
out = scaled_normeuc_cdist_from_dots_(
|
|
795
|
+
dots,
|
|
796
|
+
Ynormsq,
|
|
797
|
+
Xnormsq,
|
|
798
|
+
out=out,
|
|
799
|
+
bufs=bufs[1:],
|
|
800
|
+
scale_var=scale_std**2,
|
|
801
|
+
scale_min=scale_min,
|
|
802
|
+
scale_max=scale_max,
|
|
803
|
+
)
|
|
804
|
+
assert out.isfinite().all()
|
|
805
|
+
return out.square_()
|
|
806
|
+
else:
|
|
807
|
+
panic(metric)
|
|
808
|
+
|
|
809
|
+
|
|
757
810
|
def truncated_kmeans_from_labels(
|
|
758
811
|
X: Tensor | np.ndarray,
|
|
759
812
|
labels: Tensor | np.ndarray,
|