DARTsort 0.5.10__tar.gz → 0.5.12__tar.gz

This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
Files changed (226) hide show
  1. {dartsort-0.5.10 → dartsort-0.5.12}/PKG-INFO +1 -1
  2. {dartsort-0.5.10 → dartsort-0.5.12}/src/dartsort/clustering/agglomerate.py +21 -31
  3. {dartsort-0.5.10 → dartsort-0.5.12}/src/dartsort/clustering/cluster_util.py +4 -3
  4. {dartsort-0.5.10 → dartsort-0.5.12}/src/dartsort/clustering/clustering.py +42 -0
  5. {dartsort-0.5.10 → dartsort-0.5.12}/src/dartsort/clustering/kmeans.py +1 -7
  6. {dartsort-0.5.10 → dartsort-0.5.12}/src/dartsort/clustering/mixture.py +141 -39
  7. dartsort-0.5.12/src/dartsort/clustering/refine_util.py +672 -0
  8. {dartsort-0.5.10 → dartsort-0.5.12}/src/dartsort/config.py +20 -6
  9. {dartsort-0.5.10 → dartsort-0.5.12}/src/dartsort/evaluate/analysis.py +30 -0
  10. {dartsort-0.5.10 → dartsort-0.5.12}/src/dartsort/evaluate/comparison.py +10 -1
  11. {dartsort-0.5.10 → dartsort-0.5.12}/src/dartsort/evaluate/simkit.py +24 -15
  12. {dartsort-0.5.10 → dartsort-0.5.12}/src/dartsort/main.py +1 -1
  13. {dartsort-0.5.10 → dartsort-0.5.12}/src/dartsort/peel/peel_lib.py +6 -0
  14. {dartsort-0.5.10 → dartsort-0.5.12}/src/dartsort/peel/subtract.py +8 -0
  15. {dartsort-0.5.10 → dartsort-0.5.12}/src/dartsort/templates/postprocess_util.py +84 -28
  16. {dartsort-0.5.10 → dartsort-0.5.12}/src/dartsort/transform/amortized_localization.py +5 -5
  17. {dartsort-0.5.10 → dartsort-0.5.12}/src/dartsort/transform/decollider.py +2 -2
  18. {dartsort-0.5.10 → dartsort-0.5.12}/src/dartsort/transform/mixture_classifier.py +4 -1
  19. {dartsort-0.5.10 → dartsort-0.5.12}/src/dartsort/transform/reduction.py +0 -1
  20. {dartsort-0.5.10 → dartsort-0.5.12}/src/dartsort/util/cli_util.py +0 -2
  21. {dartsort-0.5.10 → dartsort-0.5.12}/src/dartsort/util/data_util.py +124 -22
  22. {dartsort-0.5.10 → dartsort-0.5.12}/src/dartsort/util/internal_config.py +36 -7
  23. {dartsort-0.5.10 → dartsort-0.5.12}/src/dartsort/util/main_util.py +6 -3
  24. {dartsort-0.5.10 → dartsort-0.5.12}/src/dartsort/util/motion.py +10 -1
  25. {dartsort-0.5.10 → dartsort-0.5.12}/src/dartsort/util/multiprocessing_util.py +1 -1
  26. {dartsort-0.5.10 → dartsort-0.5.12}/src/dartsort/util/registration_util.py +13 -2
  27. {dartsort-0.5.10 → dartsort-0.5.12}/src/dartsort/vis/analysis_plots.py +1 -1
  28. {dartsort-0.5.10 → dartsort-0.5.12}/src/dartsort/vis/gt.py +39 -0
  29. {dartsort-0.5.10 → dartsort-0.5.12}/src/dartsort/vis/sorting.py +60 -8
  30. {dartsort-0.5.10 → dartsort-0.5.12}/src/dartsort/vis/unit.py +20 -13
  31. {dartsort-0.5.10 → dartsort-0.5.12}/src/dartsort/vis/vismain.py +9 -6
  32. {dartsort-0.5.10 → dartsort-0.5.12}/src/dartsort/vis/waveforms.py +1 -1
  33. {dartsort-0.5.10 → dartsort-0.5.12}/src/dartsort.egg-info/PKG-INFO +1 -1
  34. {dartsort-0.5.10 → dartsort-0.5.12}/tests/test_clustering.py +5 -2
  35. {dartsort-0.5.10 → dartsort-0.5.12}/tests/test_dartsort.py +3 -2
  36. {dartsort-0.5.10 → dartsort-0.5.12}/tests/test_simkit.py +1 -1
  37. dartsort-0.5.10/src/dartsort/clustering/refine_util.py +0 -181
  38. {dartsort-0.5.10 → dartsort-0.5.12}/.github/workflows/ci.yml +0 -0
  39. {dartsort-0.5.10 → dartsort-0.5.12}/.github/workflows/ci_windows.yml +0 -0
  40. {dartsort-0.5.10 → dartsort-0.5.12}/.github/workflows/deploy.yml +0 -0
  41. {dartsort-0.5.10 → dartsort-0.5.12}/.github/workflows/docs.yml +0 -0
  42. {dartsort-0.5.10 → dartsort-0.5.12}/.gitignore +0 -0
  43. {dartsort-0.5.10 → dartsort-0.5.12}/README.md +0 -0
  44. {dartsort-0.5.10 → dartsort-0.5.12}/docs/index.md +0 -0
  45. {dartsort-0.5.10 → dartsort-0.5.12}/docs/main_api.md +0 -0
  46. {dartsort-0.5.10 → dartsort-0.5.12}/docs/toolkit_api.md +0 -0
  47. {dartsort-0.5.10 → dartsort-0.5.12}/environment.yml +0 -0
  48. {dartsort-0.5.10 → dartsort-0.5.12}/notebook/.keep +0 -0
  49. {dartsort-0.5.10 → dartsort-0.5.12}/notebook/basic_integration_test.py +0 -0
  50. {dartsort-0.5.10 → dartsort-0.5.12}/notebook/ci diag.py +0 -0
  51. {dartsort-0.5.10 → dartsort-0.5.12}/notebook/dartsort_dredge_demo.ipynb +0 -0
  52. {dartsort-0.5.10 → dartsort-0.5.12}/notebook/dartsort_dredge_demo.py +0 -0
  53. {dartsort-0.5.10 → dartsort-0.5.12}/notebook/data test.py +0 -0
  54. {dartsort-0.5.10 → dartsort-0.5.12}/notebook/dead reckoning.py +0 -0
  55. {dartsort-0.5.10 → dartsort-0.5.12}/notebook/denoise np1.py +0 -0
  56. {dartsort-0.5.10 → dartsort-0.5.12}/notebook/denoise np2.py +0 -0
  57. {dartsort-0.5.10 → dartsort-0.5.12}/notebook/exploratory.py +0 -0
  58. {dartsort-0.5.10 → dartsort-0.5.12}/notebook/geom debug.py +0 -0
  59. {dartsort-0.5.10 → dartsort-0.5.12}/notebook/hdbscan_clustering_5min.py +0 -0
  60. {dartsort-0.5.10 → dartsort-0.5.12}/notebook/hybrid 10.py +0 -0
  61. {dartsort-0.5.10 → dartsort-0.5.12}/notebook/hybrid cluster.py +0 -0
  62. {dartsort-0.5.10 → dartsort-0.5.12}/notebook/hybrid_11.py +0 -0
  63. {dartsort-0.5.10 → dartsort-0.5.12}/notebook/initial training.py +0 -0
  64. {dartsort-0.5.10 → dartsort-0.5.12}/notebook/make hybrid.py +0 -0
  65. {dartsort-0.5.10 → dartsort-0.5.12}/notebook/mgh.py +0 -0
  66. {dartsort-0.5.10 → dartsort-0.5.12}/notebook/np1 feats.py +0 -0
  67. {dartsort-0.5.10 → dartsort-0.5.12}/notebook/np2 processing version c.py +0 -0
  68. {dartsort-0.5.10 → dartsort-0.5.12}/notebook/paperfigs.py +0 -0
  69. {dartsort-0.5.10 → dartsort-0.5.12}/notebook/pdists.py +0 -0
  70. {dartsort-0.5.10 → dartsort-0.5.12}/notebook/postcheck.py +0 -0
  71. {dartsort-0.5.10 → dartsort-0.5.12}/notebook/ptp vae.py +0 -0
  72. {dartsort-0.5.10 → dartsort-0.5.12}/notebook/re clust.py +0 -0
  73. {dartsort-0.5.10 → dartsort-0.5.12}/notebook/reg fig loop.py +0 -0
  74. {dartsort-0.5.10 → dartsort-0.5.12}/notebook/reg_sim_exp.py +0 -0
  75. {dartsort-0.5.10 → dartsort-0.5.12}/notebook/relocating.py +0 -0
  76. {dartsort-0.5.10 → dartsort-0.5.12}/notebook/relocating_all.py +0 -0
  77. {dartsort-0.5.10 → dartsort-0.5.12}/notebook/restats +0 -0
  78. {dartsort-0.5.10 → dartsort-0.5.12}/notebook/sortStinger1.py +0 -0
  79. {dartsort-0.5.10 → dartsort-0.5.12}/notebook/sortStinger3.py +0 -0
  80. {dartsort-0.5.10 → dartsort-0.5.12}/notebook/sortStinger4.py +0 -0
  81. {dartsort-0.5.10 → dartsort-0.5.12}/notebook/sortStinger5.py +0 -0
  82. {dartsort-0.5.10 → dartsort-0.5.12}/notebook/sortStinger6.py +0 -0
  83. {dartsort-0.5.10 → dartsort-0.5.12}/notebook/spike farm.py +0 -0
  84. {dartsort-0.5.10 → dartsort-0.5.12}/notebook/ss_ensemble_sim.py +0 -0
  85. {dartsort-0.5.10 → dartsort-0.5.12}/notebook/ss_ensemble_sim_drift.py +0 -0
  86. {dartsort-0.5.10 → dartsort-0.5.12}/notebook/ss_sim.py +0 -0
  87. {dartsort-0.5.10 → dartsort-0.5.12}/notebook/stan diagnostics.py +0 -0
  88. {dartsort-0.5.10 → dartsort-0.5.12}/notebook/storytelling c.py +0 -0
  89. {dartsort-0.5.10 → dartsort-0.5.12}/notebook/storytelling.py +0 -0
  90. {dartsort-0.5.10 → dartsort-0.5.12}/notebook/subtract_with_phaseshift_denoiser.py +0 -0
  91. {dartsort-0.5.10 → dartsort-0.5.12}/notebook/tests/debug_matching.py +0 -0
  92. {dartsort-0.5.10 → dartsort-0.5.12}/notebook/tests/test_agreement.py +0 -0
  93. {dartsort-0.5.10 → dartsort-0.5.12}/notebook/tests/test_amplitude_scaling.py +0 -0
  94. {dartsort-0.5.10 → dartsort-0.5.12}/notebook/tests/test_batch_optim.py +0 -0
  95. {dartsort-0.5.10 → dartsort-0.5.12}/notebook/tests/test_ibme.py +0 -0
  96. {dartsort-0.5.10 → dartsort-0.5.12}/notebook/tests/test_mm_initialization.py +0 -0
  97. {dartsort-0.5.10 → dartsort-0.5.12}/notebook/tests/test_normxcorr1d.py +0 -0
  98. {dartsort-0.5.10 → dartsort-0.5.12}/notebook/tests/test_reassignment.py +0 -0
  99. {dartsort-0.5.10 → dartsort-0.5.12}/notebook/tests/test_relocation.py +0 -0
  100. {dartsort-0.5.10 → dartsort-0.5.12}/notebook/thomas.py +0 -0
  101. {dartsort-0.5.10 → dartsort-0.5.12}/pyproject.toml +0 -0
  102. {dartsort-0.5.10 → dartsort-0.5.12}/setup.cfg +0 -0
  103. {dartsort-0.5.10 → dartsort-0.5.12}/src/dartsort/__init__.py +2 -2
  104. {dartsort-0.5.10 → dartsort-0.5.12}/src/dartsort/cli.py +0 -0
  105. {dartsort-0.5.10 → dartsort-0.5.12}/src/dartsort/clustering/__init__.py +0 -0
  106. {dartsort-0.5.10 → dartsort-0.5.12}/src/dartsort/clustering/clustering_features.py +0 -0
  107. {dartsort-0.5.10 → dartsort-0.5.12}/src/dartsort/clustering/density.py +0 -0
  108. {dartsort-0.5.10 → dartsort-0.5.12}/src/dartsort/clustering/forward_backward.py +0 -0
  109. {dartsort-0.5.10 → dartsort-0.5.12}/src/dartsort/clustering/merge.py +0 -0
  110. {dartsort-0.5.10 → dartsort-0.5.12}/src/dartsort/clustering/modes.py +0 -0
  111. {dartsort-0.5.10 → dartsort-0.5.12}/src/dartsort/detect/__init__.py +0 -0
  112. {dartsort-0.5.10 → dartsort-0.5.12}/src/dartsort/detect/detect.py +0 -0
  113. {dartsort-0.5.10 → dartsort-0.5.12}/src/dartsort/detect/detect_filters.py +0 -0
  114. {dartsort-0.5.10 → dartsort-0.5.12}/src/dartsort/evaluate/__init__.py +0 -0
  115. {dartsort-0.5.10 → dartsort-0.5.12}/src/dartsort/evaluate/hybrid_util.py +0 -0
  116. {dartsort-0.5.10 → dartsort-0.5.12}/src/dartsort/evaluate/noise_recording_tools.py +0 -0
  117. {dartsort-0.5.10 → dartsort-0.5.12}/src/dartsort/evaluate/sim_template_tools.py +0 -0
  118. {dartsort-0.5.10 → dartsort-0.5.12}/src/dartsort/evaluate/simlib.py +0 -0
  119. {dartsort-0.5.10 → dartsort-0.5.12}/src/dartsort/localize/__init__.py +0 -0
  120. {dartsort-0.5.10 → dartsort-0.5.12}/src/dartsort/localize/localize_torch.py +0 -0
  121. {dartsort-0.5.10 → dartsort-0.5.12}/src/dartsort/localize/localize_util.py +0 -0
  122. {dartsort-0.5.10 → dartsort-0.5.12}/src/dartsort/peel/__init__.py +0 -0
  123. {dartsort-0.5.10 → dartsort-0.5.12}/src/dartsort/peel/grab.py +0 -0
  124. {dartsort-0.5.10 → dartsort-0.5.12}/src/dartsort/peel/matching.py +0 -0
  125. {dartsort-0.5.10 → dartsort-0.5.12}/src/dartsort/peel/matching_util/__init__.py +0 -0
  126. {dartsort-0.5.10 → dartsort-0.5.12}/src/dartsort/peel/matching_util/compressed_upsampled.py +0 -0
  127. {dartsort-0.5.10 → dartsort-0.5.12}/src/dartsort/peel/matching_util/drifty.py +0 -0
  128. {dartsort-0.5.10 → dartsort-0.5.12}/src/dartsort/peel/matching_util/matching_base.py +0 -0
  129. {dartsort-0.5.10 → dartsort-0.5.12}/src/dartsort/peel/matching_util/pairwise.py +0 -0
  130. {dartsort-0.5.10 → dartsort-0.5.12}/src/dartsort/peel/matching_util/pairwise_util.py +0 -0
  131. {dartsort-0.5.10 → dartsort-0.5.12}/src/dartsort/peel/peel_base.py +0 -0
  132. {dartsort-0.5.10 → dartsort-0.5.12}/src/dartsort/peel/reduction_template.py +0 -0
  133. {dartsort-0.5.10 → dartsort-0.5.12}/src/dartsort/peel/shaver.py +0 -0
  134. {dartsort-0.5.10 → dartsort-0.5.12}/src/dartsort/peel/threshold.py +0 -0
  135. {dartsort-0.5.10 → dartsort-0.5.12}/src/dartsort/pretrained/default_temporal_kernel.npy +0 -0
  136. {dartsort-0.5.10 → dartsort-0.5.12}/src/dartsort/pretrained/detect_np1.pt +0 -0
  137. {dartsort-0.5.10 → dartsort-0.5.12}/src/dartsort/pretrained/detect_np2.pt +0 -0
  138. {dartsort-0.5.10 → dartsort-0.5.12}/src/dartsort/pretrained/glasbey1024.npz +0 -0
  139. {dartsort-0.5.10 → dartsort-0.5.12}/src/dartsort/pretrained/offset_trained_denoiser.pt +0 -0
  140. {dartsort-0.5.10 → dartsort-0.5.12}/src/dartsort/pretrained/offset_trained_denoiser_added_temp.pt +0 -0
  141. {dartsort-0.5.10 → dartsort-0.5.12}/src/dartsort/pretrained/offset_trained_denoiser_added_temp_boost.pt +0 -0
  142. {dartsort-0.5.10 → dartsort-0.5.12}/src/dartsort/pretrained/original_single_chan_denoiser.pt +0 -0
  143. {dartsort-0.5.10 → dartsort-0.5.12}/src/dartsort/pretrained/single_chan_denoiser.pt +0 -0
  144. {dartsort-0.5.10 → dartsort-0.5.12}/src/dartsort/templates/__init__.py +0 -0
  145. {dartsort-0.5.10 → dartsort-0.5.12}/src/dartsort/templates/get_templates.py +0 -0
  146. {dartsort-0.5.10 → dartsort-0.5.12}/src/dartsort/templates/realignment.py +0 -0
  147. {dartsort-0.5.10 → dartsort-0.5.12}/src/dartsort/templates/template_util.py +0 -0
  148. {dartsort-0.5.10 → dartsort-0.5.12}/src/dartsort/templates/templates.py +0 -0
  149. {dartsort-0.5.10 → dartsort-0.5.12}/src/dartsort/templates/templib.py +0 -0
  150. {dartsort-0.5.10 → dartsort-0.5.12}/src/dartsort/transform/__init__.py +0 -0
  151. {dartsort-0.5.10 → dartsort-0.5.12}/src/dartsort/transform/_multichan_denoiser_kit.py +0 -0
  152. {dartsort-0.5.10 → dartsort-0.5.12}/src/dartsort/transform/all_transformers.py +0 -0
  153. {dartsort-0.5.10 → dartsort-0.5.12}/src/dartsort/transform/amplitudes.py +0 -0
  154. {dartsort-0.5.10 → dartsort-0.5.12}/src/dartsort/transform/denoising_scorer.py +0 -0
  155. {dartsort-0.5.10 → dartsort-0.5.12}/src/dartsort/transform/enforce_decrease.py +0 -0
  156. {dartsort-0.5.10 → dartsort-0.5.12}/src/dartsort/transform/fixed_prop.py +0 -0
  157. {dartsort-0.5.10 → dartsort-0.5.12}/src/dartsort/transform/interp.py +0 -0
  158. {dartsort-0.5.10 → dartsort-0.5.12}/src/dartsort/transform/localize.py +0 -0
  159. {dartsort-0.5.10 → dartsort-0.5.12}/src/dartsort/transform/matching_denoiser.py +0 -0
  160. {dartsort-0.5.10 → dartsort-0.5.12}/src/dartsort/transform/pipeline.py +0 -0
  161. {dartsort-0.5.10 → dartsort-0.5.12}/src/dartsort/transform/single_channel_denoiser.py +0 -0
  162. {dartsort-0.5.10 → dartsort-0.5.12}/src/dartsort/transform/supervised_denoiser.py +0 -0
  163. {dartsort-0.5.10 → dartsort-0.5.12}/src/dartsort/transform/temporal_pca.py +0 -0
  164. {dartsort-0.5.10 → dartsort-0.5.12}/src/dartsort/transform/transform_base.py +0 -0
  165. {dartsort-0.5.10 → dartsort-0.5.12}/src/dartsort/transform/whiten.py +0 -0
  166. {dartsort-0.5.10 → dartsort-0.5.12}/src/dartsort/util/__init__.py +0 -0
  167. {dartsort-0.5.10 → dartsort-0.5.12}/src/dartsort/util/drift_util.py +0 -0
  168. {dartsort-0.5.10 → dartsort-0.5.12}/src/dartsort/util/interpolation_util.py +0 -0
  169. {dartsort-0.5.10 → dartsort-0.5.12}/src/dartsort/util/job_util.py +0 -0
  170. {dartsort-0.5.10 → dartsort-0.5.12}/src/dartsort/util/logging_util.py +0 -0
  171. {dartsort-0.5.10 → dartsort-0.5.12}/src/dartsort/util/more_operators.py +0 -0
  172. {dartsort-0.5.10 → dartsort-0.5.12}/src/dartsort/util/nn_util.py +0 -0
  173. {dartsort-0.5.10 → dartsort-0.5.12}/src/dartsort/util/noise_util.py +0 -0
  174. {dartsort-0.5.10 → dartsort-0.5.12}/src/dartsort/util/peel_util.py +0 -0
  175. {dartsort-0.5.10 → dartsort-0.5.12}/src/dartsort/util/preprocess_util.py +0 -0
  176. {dartsort-0.5.10 → dartsort-0.5.12}/src/dartsort/util/py_util.py +0 -0
  177. {dartsort-0.5.10 → dartsort-0.5.12}/src/dartsort/util/residual_util.py +0 -0
  178. {dartsort-0.5.10 → dartsort-0.5.12}/src/dartsort/util/sparse_util.py +0 -0
  179. {dartsort-0.5.10 → dartsort-0.5.12}/src/dartsort/util/spikeio.py +0 -0
  180. {dartsort-0.5.10 → dartsort-0.5.12}/src/dartsort/util/spiketorch.py +0 -0
  181. {dartsort-0.5.10 → dartsort-0.5.12}/src/dartsort/util/testing_util/__init__.py +0 -0
  182. {dartsort-0.5.10 → dartsort-0.5.12}/src/dartsort/util/testing_util/matching_debug_util.py +0 -0
  183. {dartsort-0.5.10 → dartsort-0.5.12}/src/dartsort/util/testing_util/mixture_testing_util.py +0 -0
  184. {dartsort-0.5.10 → dartsort-0.5.12}/src/dartsort/util/torch_optimization_util.py +0 -0
  185. {dartsort-0.5.10 → dartsort-0.5.12}/src/dartsort/util/torch_util.py +0 -0
  186. {dartsort-0.5.10 → dartsort-0.5.12}/src/dartsort/util/waveform_util.py +0 -0
  187. {dartsort-0.5.10 → dartsort-0.5.12}/src/dartsort/vis/__init__.py +0 -0
  188. {dartsort-0.5.10 → dartsort-0.5.12}/src/dartsort/vis/colors.py +0 -0
  189. {dartsort-0.5.10 → dartsort-0.5.12}/src/dartsort/vis/layout.py +0 -0
  190. {dartsort-0.5.10 → dartsort-0.5.12}/src/dartsort/vis/metrics_util.py +0 -0
  191. {dartsort-0.5.10 → dartsort-0.5.12}/src/dartsort/vis/mixture.py +0 -0
  192. {dartsort-0.5.10 → dartsort-0.5.12}/src/dartsort/vis/recanim.py +0 -0
  193. {dartsort-0.5.10 → dartsort-0.5.12}/src/dartsort/vis/scatterplots.py +0 -0
  194. {dartsort-0.5.10 → dartsort-0.5.12}/src/dartsort/vis/unit_comparison.py +0 -0
  195. {dartsort-0.5.10 → dartsort-0.5.12}/src/dartsort/vis/versus.py +0 -0
  196. {dartsort-0.5.10 → dartsort-0.5.12}/src/dartsort.egg-info/SOURCES.txt +0 -0
  197. {dartsort-0.5.10 → dartsort-0.5.12}/src/dartsort.egg-info/dependency_links.txt +0 -0
  198. {dartsort-0.5.10 → dartsort-0.5.12}/src/dartsort.egg-info/entry_points.txt +0 -0
  199. {dartsort-0.5.10 → dartsort-0.5.12}/src/dartsort.egg-info/requires.txt +0 -0
  200. {dartsort-0.5.10 → dartsort-0.5.12}/src/dartsort.egg-info/top_level.txt +0 -0
  201. {dartsort-0.5.10 → dartsort-0.5.12}/tests/conftest.py +0 -0
  202. {dartsort-0.5.10 → dartsort-0.5.12}/tests/test_alignment.py +0 -0
  203. {dartsort-0.5.10 → dartsort-0.5.12}/tests/test_cluster_util.py +0 -0
  204. {dartsort-0.5.10 → dartsort-0.5.12}/tests/test_config.py +0 -0
  205. {dartsort-0.5.10 → dartsort-0.5.12}/tests/test_data_util.py +0 -0
  206. {dartsort-0.5.10 → dartsort-0.5.12}/tests/test_density.py +0 -0
  207. {dartsort-0.5.10 → dartsort-0.5.12}/tests/test_detect.py +0 -0
  208. {dartsort-0.5.10 → dartsort-0.5.12}/tests/test_drift_util.py +0 -0
  209. {dartsort-0.5.10 → dartsort-0.5.12}/tests/test_drifty_matching.py +0 -0
  210. {dartsort-0.5.10 → dartsort-0.5.12}/tests/test_enforce_decrease.py +0 -0
  211. {dartsort-0.5.10 → dartsort-0.5.12}/tests/test_grab_and_featurize.py +0 -0
  212. {dartsort-0.5.10 → dartsort-0.5.12}/tests/test_kmeans.py +0 -0
  213. {dartsort-0.5.10 → dartsort-0.5.12}/tests/test_linalg.py +0 -0
  214. {dartsort-0.5.10 → dartsort-0.5.12}/tests/test_localize_torch.py +0 -0
  215. {dartsort-0.5.10 → dartsort-0.5.12}/tests/test_matching.py +0 -0
  216. {dartsort-0.5.10 → dartsort-0.5.12}/tests/test_mixture_classifier.py +0 -0
  217. {dartsort-0.5.10 → dartsort-0.5.12}/tests/test_modeling.py +0 -0
  218. {dartsort-0.5.10 → dartsort-0.5.12}/tests/test_spiketorch.py +0 -0
  219. {dartsort-0.5.10 → dartsort-0.5.12}/tests/test_subtract.py +0 -0
  220. {dartsort-0.5.10 → dartsort-0.5.12}/tests/test_templates.py +0 -0
  221. {dartsort-0.5.10 → dartsort-0.5.12}/tests/test_threshold.py +0 -0
  222. {dartsort-0.5.10 → dartsort-0.5.12}/tests/test_torch_optimization_util.py +0 -0
  223. {dartsort-0.5.10 → dartsort-0.5.12}/tests/test_transform.py +0 -0
  224. {dartsort-0.5.10 → dartsort-0.5.12}/tests/test_util.py +0 -0
  225. {dartsort-0.5.10 → dartsort-0.5.12}/tests/test_waveform_util.py +0 -0
  226. {dartsort-0.5.10 → dartsort-0.5.12}/zensical.toml +0 -0
@@ -1,6 +1,6 @@
1
1
  Metadata-Version: 2.4
2
2
  Name: dartsort
3
- Version: 0.5.10
3
+ Version: 0.5.12
4
4
  Summary: DARTsort
5
5
  Author-email: Charlie Windolf <ciw2048@gmail.com>
6
6
  Project-URL: Homepage, https://github.com/cwindolf/dartsort
@@ -39,7 +39,6 @@ from .cluster_util import (
39
39
  reorder_by_depth,
40
40
  sparsify_labels,
41
41
  )
42
- from .mixture import Scores
43
42
 
44
43
  logger = get_logger(__name__)
45
44
 
@@ -160,7 +159,8 @@ def agglomerate(
160
159
  if fcorr_mask is not None:
161
160
  assert np.all(np.logical_and(qda_mask, fcorr_mask) <= mask)
162
161
 
163
- if refinement_cfg.spikeinterface_merge_preset is not None:
162
+ simg = refinement_cfg.spikeinterface_merge_preset
163
+ if simg is not None and simg != "none":
164
164
  pair_mask = tdist.distances < refinement_cfg.spikeinterface_merge_max_distance
165
165
  if refinement_cfg.spikeinterface_merge_min_coentropy is not None:
166
166
  cmask, _ = coentropy_merge_mask(
@@ -202,7 +202,7 @@ def agglomerate(
202
202
  dists=final_mask_as_distance,
203
203
  shifts=tdist.shifts,
204
204
  unit_snrs=tdist.template_data.snrs_by_channel().max(1),
205
- threshold=0.5,
205
+ threshold=0.5, # binary input here
206
206
  link=template_merge_cfg.linkage,
207
207
  )
208
208
 
@@ -211,7 +211,7 @@ def agglomerate(
211
211
  agg_sorting = deduplicate_spikes(agg_sorting, refinement_cfg.dedup_ms)
212
212
 
213
213
  agg_sorting, reorder = reorder_by_depth(agg_sorting, motion=motion)
214
- new_ids = reorder[new_ids]
214
+ new_ids = reorder[np.unique(new_ids, return_inverse=True)[1]]
215
215
 
216
216
  return Agglomeration(
217
217
  agglomerated_sorting=agg_sorting,
@@ -360,27 +360,6 @@ def template_distances(
360
360
  )
361
361
 
362
362
 
363
- def _get_scores(sorting: DARTsortSorting) -> tuple[np.ndarray, Scores]:
364
- cand = getattr(sorting, "gmm_candidates", None)
365
- log_liks = getattr(sorting, "gmm_log_liks", None)
366
- resp = getattr(sorting, "gmm_responsibilities", None)
367
-
368
- assert cand is not None
369
- assert log_liks is not None
370
- assert resp is not None
371
-
372
- cand = torch.asarray(cand)
373
- log_liks = torch.asarray(log_liks)
374
- resp = torch.asarray(resp)
375
-
376
- scores = Scores(
377
- candidates=cand, log_liks=log_liks, responsibilities=resp, duties=None
378
- )
379
- assert sorting.labels is not None
380
- labels = sorting.labels
381
- return labels, scores
382
-
383
-
384
363
  def spikeinterface_merge_mask(
385
364
  *,
386
365
  recording: BaseRecording,
@@ -398,9 +377,14 @@ def spikeinterface_merge_mask(
398
377
  if censor_ms:
399
378
  sorting = deduplicate_spikes(sorting, censor_ms)
400
379
 
401
- # analyzer
380
+ # analyzer (lightweight one)
402
381
  analyzer = sorting.to_sorting_analyzer(
403
- recording=recording, template_data=template_data
382
+ recording=recording,
383
+ template_data=template_data,
384
+ compute_extensions=None,
385
+ compute_extensions_if_templates=None,
386
+ estimate_si_sparsity=False,
387
+ compute_template_similarity=False,
404
388
  )
405
389
 
406
390
  # register the mask as the template similarity extension
@@ -515,8 +499,12 @@ def qda(
515
499
  show_progress: bool,
516
500
  computation_cfg: ComputationConfig,
517
501
  ) -> QDAResult:
502
+ from ..util.data_util import get_gmm_scores
503
+
518
504
  # reconstruct scores from sorting attached data (exclude train_ix?)
519
- glabels, gscores = _get_scores(sorting)
505
+ gscores = get_gmm_scores(sorting)
506
+ glabels = sorting.labels
507
+ assert glabels is not None
520
508
 
521
509
  if mask is None:
522
510
  mask = np.ones((sorting.n_units, sorting.n_units), dtype=bool)
@@ -883,7 +871,7 @@ def _combine_loop(
883
871
  def deduplicate_spikes(
884
872
  sorting: DARTsortSorting,
885
873
  radius_ms: float = -1.0,
886
- score_by=("merged_logliks", "gmm_logliks", "scores"),
874
+ score_by=("merged_log_liks", "gmm_log_liks", "scores"),
887
875
  ) -> DARTsortSorting:
888
876
  """The lower-scoring of any spikes within radius_samples of each other is relabeled to -1.
889
877
 
@@ -908,7 +896,7 @@ def deduplicate_spikes(
908
896
  break
909
897
  if scores is None:
910
898
  raise ValueError(f"sorting had none of {score_by}.")
911
- if scores.ndim == 2:
899
+ if scores.ndim >= 2:
912
900
  scores = scores[:, 0]
913
901
  assert scores.ndim == 1
914
902
  assert scores.shape == new_labels.shape
@@ -969,7 +957,9 @@ def _dedup_unit_loop(
969
957
  score_slice = scores[i0 : i1 + 1]
970
958
  dt_slice = dt[i0:i1]
971
959
  order = np.argsort(score_slice)
972
- for oo in order:
960
+ # putting the -1 there ensures at least one spike is kept
961
+ # that case is only relevant when 0 in dt_slice
962
+ for oo in order[:-1]:
973
963
  # discard spike i0 + oo
974
964
  ii = i0 + oo
975
965
  discard[ii] = True
@@ -170,10 +170,11 @@ def linkage_mask(
170
170
  return mask
171
171
 
172
172
 
173
- def sparsify_labels(labels: np.ndarray) -> dict[int, np.ndarray]:
173
+ def sparsify_labels(labels: np.ndarray, ids: np.ndarray | None = None) -> dict[int, np.ndarray]:
174
174
  assert labels.ndim == 1
175
- ids = np.unique(labels)
176
- ids = ids[ids >= 0]
175
+ if ids is None:
176
+ ids = np.unique(labels)
177
+ ids = ids[ids >= 0]
177
178
  inj = {}
178
179
  for j in ids:
179
180
  inj[j] = np.flatnonzero(labels == j)
@@ -870,6 +870,48 @@ class AgglomerateRefinement(Refinement):
870
870
  refinement_strategies["agglomerate"] = AgglomerateRefinement
871
871
 
872
872
 
873
+ class FilterRefinement(Refinement):
874
+ """Runs various filters as specified in cfg"""
875
+
876
+ def needs_stable_features(self):
877
+ return super().needs_stable_features() or bool(
878
+ self.refinement_cfg.collision_cleaning_error_threshold
879
+ )
880
+
881
+ def _refine(
882
+ self,
883
+ features: SimpleMatrixFeatures,
884
+ stable_features: StableWaveformFeatures | None,
885
+ sorting: DARTsortSorting,
886
+ recording: BaseRecording | None,
887
+ motion: MotionInfo,
888
+ ):
889
+ assert recording is not None
890
+
891
+ if self.refinement_cfg.collision_cleaning_error_threshold:
892
+ assert stable_features is not None
893
+ sorting = refine_util.collision_cleaning_error_filter(
894
+ sorting=sorting,
895
+ recording=recording,
896
+ stable_features=stable_features,
897
+ refinement_cfg=self.refinement_cfg,
898
+ motion=motion,
899
+ computation_cfg=self.computation_cfg,
900
+ ).sorting
901
+
902
+ if self.refinement_cfg.gmm_isolation_threshold:
903
+ sorting = refine_util.gmm_isolation_filter(
904
+ sorting=sorting,
905
+ refinement_cfg=self.refinement_cfg,
906
+ computation_cfg=self.computation_cfg,
907
+ ).sorting
908
+
909
+ return sorting
910
+
911
+
912
+ refinement_strategies["filter"] = FilterRefinement
913
+
914
+
873
915
  class ForwardBackwardEnsembler(Refinement):
874
916
  """If there are more time chunk ones, make a new ABC with this logic."""
875
917
 
@@ -24,7 +24,6 @@ from ..util.sparse_util import (
24
24
  sparse_centroid_distsq,
25
25
  )
26
26
  from ..util.spiketorch import spawn_torch_rg, sqeuc_cdist_known_norm
27
- from ..util.torch_util import torch_compile, torch_compiler
28
27
 
29
28
  logger = get_logger(__name__)
30
29
 
@@ -78,6 +77,7 @@ def kmeanspp(
78
77
 
79
78
  simple_case = (not min_distance) and (not skip_assignment)
80
79
  if simple_case:
80
+ assert assignments is not None
81
81
  _kmeanspp_simple_loop(
82
82
  X=X,
83
83
  Xnormsq=Xnormsq,
@@ -475,19 +475,16 @@ def kmeans(
475
475
  )
476
476
 
477
477
 
478
- @torch.compiler.disable
479
478
  def _uniform(gen: torch.Generator, buf: Tensor):
480
479
  return buf.uniform_(generator=gen)
481
480
 
482
481
 
483
- @torch_compiler(fullgraph=False)
484
482
  def _one_gumbel_nolog(p: Tensor, gen: torch.Generator, buf: Tensor):
485
483
  z = _uniform(gen, buf)
486
484
  z = z.log_()
487
485
  return torch.divide(p, z, out=z).argmin(dim=0)
488
486
 
489
487
 
490
- @torch_compile
491
488
  def _sqeuc(X: Tensor, Xnormsq: Tensor, Y: Tensor, out: Tensor):
492
489
  torch.addmm(Xnormsq, X, Y.transpose(0, 1), alpha=-2.0, out=out)
493
490
  Ynormsq = (Y**2).sum(dim=1)
@@ -495,7 +492,6 @@ def _sqeuc(X: Tensor, Xnormsq: Tensor, Y: Tensor, out: Tensor):
495
492
  return out
496
493
 
497
494
 
498
- @torch_compiler(fullgraph=False)
499
495
  def _kmeanspp_simple_loop(
500
496
  *,
501
497
  X: Tensor,
@@ -531,7 +527,6 @@ def _kmeanspp_simple_loop(
531
527
  torch.minimum(dists, newdists, out=dists)
532
528
 
533
529
 
534
- @torch_compiler(fullgraph=False)
535
530
  def _kmeanspp_noassign_loop(
536
531
  *,
537
532
  X: Tensor,
@@ -563,7 +558,6 @@ def _kmeanspp_noassign_loop(
563
558
  torch.minimum(dists, newdists, out=dists)
564
559
 
565
560
 
566
- @torch_compiler(fullgraph=False)
567
561
  def _kmeans_main_loop(
568
562
  n_iter: int,
569
563
  e: Tensor,