DARTsort 0.5.10__tar.gz → 0.5.11__tar.gz

This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
Files changed (226) hide show
  1. {dartsort-0.5.10 → dartsort-0.5.11}/PKG-INFO +1 -1
  2. {dartsort-0.5.10 → dartsort-0.5.11}/src/dartsort/clustering/agglomerate.py +17 -29
  3. {dartsort-0.5.10 → dartsort-0.5.11}/src/dartsort/clustering/cluster_util.py +4 -3
  4. {dartsort-0.5.10 → dartsort-0.5.11}/src/dartsort/clustering/clustering.py +42 -0
  5. {dartsort-0.5.10 → dartsort-0.5.11}/src/dartsort/clustering/mixture.py +82 -7
  6. dartsort-0.5.11/src/dartsort/clustering/refine_util.py +775 -0
  7. {dartsort-0.5.10 → dartsort-0.5.11}/src/dartsort/config.py +19 -5
  8. {dartsort-0.5.10 → dartsort-0.5.11}/src/dartsort/evaluate/analysis.py +29 -0
  9. {dartsort-0.5.10 → dartsort-0.5.11}/src/dartsort/evaluate/comparison.py +10 -1
  10. {dartsort-0.5.10 → dartsort-0.5.11}/src/dartsort/main.py +1 -1
  11. {dartsort-0.5.10 → dartsort-0.5.11}/src/dartsort/peel/peel_lib.py +6 -0
  12. {dartsort-0.5.10 → dartsort-0.5.11}/src/dartsort/peel/subtract.py +8 -0
  13. {dartsort-0.5.10 → dartsort-0.5.11}/src/dartsort/templates/postprocess_util.py +84 -28
  14. {dartsort-0.5.10 → dartsort-0.5.11}/src/dartsort/transform/amortized_localization.py +5 -5
  15. {dartsort-0.5.10 → dartsort-0.5.11}/src/dartsort/transform/mixture_classifier.py +4 -1
  16. {dartsort-0.5.10 → dartsort-0.5.11}/src/dartsort/util/cli_util.py +0 -2
  17. {dartsort-0.5.10 → dartsort-0.5.11}/src/dartsort/util/data_util.py +111 -15
  18. {dartsort-0.5.10 → dartsort-0.5.11}/src/dartsort/util/internal_config.py +36 -7
  19. {dartsort-0.5.10 → dartsort-0.5.11}/src/dartsort/util/main_util.py +6 -3
  20. {dartsort-0.5.10 → dartsort-0.5.11}/src/dartsort/vis/gt.py +39 -0
  21. {dartsort-0.5.10 → dartsort-0.5.11}/src/dartsort/vis/sorting.py +60 -8
  22. {dartsort-0.5.10 → dartsort-0.5.11}/src/dartsort/vis/unit.py +20 -13
  23. {dartsort-0.5.10 → dartsort-0.5.11}/src/dartsort/vis/vismain.py +9 -4
  24. {dartsort-0.5.10 → dartsort-0.5.11}/src/dartsort/vis/waveforms.py +1 -1
  25. {dartsort-0.5.10 → dartsort-0.5.11}/src/dartsort.egg-info/PKG-INFO +1 -1
  26. {dartsort-0.5.10 → dartsort-0.5.11}/tests/test_clustering.py +5 -2
  27. {dartsort-0.5.10 → dartsort-0.5.11}/tests/test_dartsort.py +1 -1
  28. dartsort-0.5.10/src/dartsort/clustering/refine_util.py +0 -181
  29. {dartsort-0.5.10 → dartsort-0.5.11}/.github/workflows/ci.yml +0 -0
  30. {dartsort-0.5.10 → dartsort-0.5.11}/.github/workflows/ci_windows.yml +0 -0
  31. {dartsort-0.5.10 → dartsort-0.5.11}/.github/workflows/deploy.yml +0 -0
  32. {dartsort-0.5.10 → dartsort-0.5.11}/.github/workflows/docs.yml +0 -0
  33. {dartsort-0.5.10 → dartsort-0.5.11}/.gitignore +0 -0
  34. {dartsort-0.5.10 → dartsort-0.5.11}/README.md +0 -0
  35. {dartsort-0.5.10 → dartsort-0.5.11}/docs/index.md +0 -0
  36. {dartsort-0.5.10 → dartsort-0.5.11}/docs/main_api.md +0 -0
  37. {dartsort-0.5.10 → dartsort-0.5.11}/docs/toolkit_api.md +0 -0
  38. {dartsort-0.5.10 → dartsort-0.5.11}/environment.yml +0 -0
  39. {dartsort-0.5.10 → dartsort-0.5.11}/notebook/.keep +0 -0
  40. {dartsort-0.5.10 → dartsort-0.5.11}/notebook/basic_integration_test.py +0 -0
  41. {dartsort-0.5.10 → dartsort-0.5.11}/notebook/ci diag.py +0 -0
  42. {dartsort-0.5.10 → dartsort-0.5.11}/notebook/dartsort_dredge_demo.ipynb +0 -0
  43. {dartsort-0.5.10 → dartsort-0.5.11}/notebook/dartsort_dredge_demo.py +0 -0
  44. {dartsort-0.5.10 → dartsort-0.5.11}/notebook/data test.py +0 -0
  45. {dartsort-0.5.10 → dartsort-0.5.11}/notebook/dead reckoning.py +0 -0
  46. {dartsort-0.5.10 → dartsort-0.5.11}/notebook/denoise np1.py +0 -0
  47. {dartsort-0.5.10 → dartsort-0.5.11}/notebook/denoise np2.py +0 -0
  48. {dartsort-0.5.10 → dartsort-0.5.11}/notebook/exploratory.py +0 -0
  49. {dartsort-0.5.10 → dartsort-0.5.11}/notebook/geom debug.py +0 -0
  50. {dartsort-0.5.10 → dartsort-0.5.11}/notebook/hdbscan_clustering_5min.py +0 -0
  51. {dartsort-0.5.10 → dartsort-0.5.11}/notebook/hybrid 10.py +0 -0
  52. {dartsort-0.5.10 → dartsort-0.5.11}/notebook/hybrid cluster.py +0 -0
  53. {dartsort-0.5.10 → dartsort-0.5.11}/notebook/hybrid_11.py +0 -0
  54. {dartsort-0.5.10 → dartsort-0.5.11}/notebook/initial training.py +0 -0
  55. {dartsort-0.5.10 → dartsort-0.5.11}/notebook/make hybrid.py +0 -0
  56. {dartsort-0.5.10 → dartsort-0.5.11}/notebook/mgh.py +0 -0
  57. {dartsort-0.5.10 → dartsort-0.5.11}/notebook/np1 feats.py +0 -0
  58. {dartsort-0.5.10 → dartsort-0.5.11}/notebook/np2 processing version c.py +0 -0
  59. {dartsort-0.5.10 → dartsort-0.5.11}/notebook/paperfigs.py +0 -0
  60. {dartsort-0.5.10 → dartsort-0.5.11}/notebook/pdists.py +0 -0
  61. {dartsort-0.5.10 → dartsort-0.5.11}/notebook/postcheck.py +0 -0
  62. {dartsort-0.5.10 → dartsort-0.5.11}/notebook/ptp vae.py +0 -0
  63. {dartsort-0.5.10 → dartsort-0.5.11}/notebook/re clust.py +0 -0
  64. {dartsort-0.5.10 → dartsort-0.5.11}/notebook/reg fig loop.py +0 -0
  65. {dartsort-0.5.10 → dartsort-0.5.11}/notebook/reg_sim_exp.py +0 -0
  66. {dartsort-0.5.10 → dartsort-0.5.11}/notebook/relocating.py +0 -0
  67. {dartsort-0.5.10 → dartsort-0.5.11}/notebook/relocating_all.py +0 -0
  68. {dartsort-0.5.10 → dartsort-0.5.11}/notebook/restats +0 -0
  69. {dartsort-0.5.10 → dartsort-0.5.11}/notebook/sortStinger1.py +0 -0
  70. {dartsort-0.5.10 → dartsort-0.5.11}/notebook/sortStinger3.py +0 -0
  71. {dartsort-0.5.10 → dartsort-0.5.11}/notebook/sortStinger4.py +0 -0
  72. {dartsort-0.5.10 → dartsort-0.5.11}/notebook/sortStinger5.py +0 -0
  73. {dartsort-0.5.10 → dartsort-0.5.11}/notebook/sortStinger6.py +0 -0
  74. {dartsort-0.5.10 → dartsort-0.5.11}/notebook/spike farm.py +0 -0
  75. {dartsort-0.5.10 → dartsort-0.5.11}/notebook/ss_ensemble_sim.py +0 -0
  76. {dartsort-0.5.10 → dartsort-0.5.11}/notebook/ss_ensemble_sim_drift.py +0 -0
  77. {dartsort-0.5.10 → dartsort-0.5.11}/notebook/ss_sim.py +0 -0
  78. {dartsort-0.5.10 → dartsort-0.5.11}/notebook/stan diagnostics.py +0 -0
  79. {dartsort-0.5.10 → dartsort-0.5.11}/notebook/storytelling c.py +0 -0
  80. {dartsort-0.5.10 → dartsort-0.5.11}/notebook/storytelling.py +0 -0
  81. {dartsort-0.5.10 → dartsort-0.5.11}/notebook/subtract_with_phaseshift_denoiser.py +0 -0
  82. {dartsort-0.5.10 → dartsort-0.5.11}/notebook/tests/debug_matching.py +0 -0
  83. {dartsort-0.5.10 → dartsort-0.5.11}/notebook/tests/test_agreement.py +0 -0
  84. {dartsort-0.5.10 → dartsort-0.5.11}/notebook/tests/test_amplitude_scaling.py +0 -0
  85. {dartsort-0.5.10 → dartsort-0.5.11}/notebook/tests/test_batch_optim.py +0 -0
  86. {dartsort-0.5.10 → dartsort-0.5.11}/notebook/tests/test_ibme.py +0 -0
  87. {dartsort-0.5.10 → dartsort-0.5.11}/notebook/tests/test_mm_initialization.py +0 -0
  88. {dartsort-0.5.10 → dartsort-0.5.11}/notebook/tests/test_normxcorr1d.py +0 -0
  89. {dartsort-0.5.10 → dartsort-0.5.11}/notebook/tests/test_reassignment.py +0 -0
  90. {dartsort-0.5.10 → dartsort-0.5.11}/notebook/tests/test_relocation.py +0 -0
  91. {dartsort-0.5.10 → dartsort-0.5.11}/notebook/thomas.py +0 -0
  92. {dartsort-0.5.10 → dartsort-0.5.11}/pyproject.toml +0 -0
  93. {dartsort-0.5.10 → dartsort-0.5.11}/setup.cfg +0 -0
  94. {dartsort-0.5.10 → dartsort-0.5.11}/src/dartsort/__init__.py +0 -0
  95. {dartsort-0.5.10 → dartsort-0.5.11}/src/dartsort/cli.py +0 -0
  96. {dartsort-0.5.10 → dartsort-0.5.11}/src/dartsort/clustering/__init__.py +0 -0
  97. {dartsort-0.5.10 → dartsort-0.5.11}/src/dartsort/clustering/clustering_features.py +0 -0
  98. {dartsort-0.5.10 → dartsort-0.5.11}/src/dartsort/clustering/density.py +0 -0
  99. {dartsort-0.5.10 → dartsort-0.5.11}/src/dartsort/clustering/forward_backward.py +0 -0
  100. {dartsort-0.5.10 → dartsort-0.5.11}/src/dartsort/clustering/kmeans.py +0 -0
  101. {dartsort-0.5.10 → dartsort-0.5.11}/src/dartsort/clustering/merge.py +0 -0
  102. {dartsort-0.5.10 → dartsort-0.5.11}/src/dartsort/clustering/modes.py +0 -0
  103. {dartsort-0.5.10 → dartsort-0.5.11}/src/dartsort/detect/__init__.py +0 -0
  104. {dartsort-0.5.10 → dartsort-0.5.11}/src/dartsort/detect/detect.py +0 -0
  105. {dartsort-0.5.10 → dartsort-0.5.11}/src/dartsort/detect/detect_filters.py +0 -0
  106. {dartsort-0.5.10 → dartsort-0.5.11}/src/dartsort/evaluate/__init__.py +0 -0
  107. {dartsort-0.5.10 → dartsort-0.5.11}/src/dartsort/evaluate/hybrid_util.py +0 -0
  108. {dartsort-0.5.10 → dartsort-0.5.11}/src/dartsort/evaluate/noise_recording_tools.py +0 -0
  109. {dartsort-0.5.10 → dartsort-0.5.11}/src/dartsort/evaluate/sim_template_tools.py +0 -0
  110. {dartsort-0.5.10 → dartsort-0.5.11}/src/dartsort/evaluate/simkit.py +0 -0
  111. {dartsort-0.5.10 → dartsort-0.5.11}/src/dartsort/evaluate/simlib.py +0 -0
  112. {dartsort-0.5.10 → dartsort-0.5.11}/src/dartsort/localize/__init__.py +0 -0
  113. {dartsort-0.5.10 → dartsort-0.5.11}/src/dartsort/localize/localize_torch.py +0 -0
  114. {dartsort-0.5.10 → dartsort-0.5.11}/src/dartsort/localize/localize_util.py +0 -0
  115. {dartsort-0.5.10 → dartsort-0.5.11}/src/dartsort/peel/__init__.py +0 -0
  116. {dartsort-0.5.10 → dartsort-0.5.11}/src/dartsort/peel/grab.py +0 -0
  117. {dartsort-0.5.10 → dartsort-0.5.11}/src/dartsort/peel/matching.py +0 -0
  118. {dartsort-0.5.10 → dartsort-0.5.11}/src/dartsort/peel/matching_util/__init__.py +0 -0
  119. {dartsort-0.5.10 → dartsort-0.5.11}/src/dartsort/peel/matching_util/compressed_upsampled.py +0 -0
  120. {dartsort-0.5.10 → dartsort-0.5.11}/src/dartsort/peel/matching_util/drifty.py +0 -0
  121. {dartsort-0.5.10 → dartsort-0.5.11}/src/dartsort/peel/matching_util/matching_base.py +0 -0
  122. {dartsort-0.5.10 → dartsort-0.5.11}/src/dartsort/peel/matching_util/pairwise.py +0 -0
  123. {dartsort-0.5.10 → dartsort-0.5.11}/src/dartsort/peel/matching_util/pairwise_util.py +0 -0
  124. {dartsort-0.5.10 → dartsort-0.5.11}/src/dartsort/peel/peel_base.py +0 -0
  125. {dartsort-0.5.10 → dartsort-0.5.11}/src/dartsort/peel/reduction_template.py +0 -0
  126. {dartsort-0.5.10 → dartsort-0.5.11}/src/dartsort/peel/shaver.py +0 -0
  127. {dartsort-0.5.10 → dartsort-0.5.11}/src/dartsort/peel/threshold.py +0 -0
  128. {dartsort-0.5.10 → dartsort-0.5.11}/src/dartsort/pretrained/default_temporal_kernel.npy +0 -0
  129. {dartsort-0.5.10 → dartsort-0.5.11}/src/dartsort/pretrained/detect_np1.pt +0 -0
  130. {dartsort-0.5.10 → dartsort-0.5.11}/src/dartsort/pretrained/detect_np2.pt +0 -0
  131. {dartsort-0.5.10 → dartsort-0.5.11}/src/dartsort/pretrained/glasbey1024.npz +0 -0
  132. {dartsort-0.5.10 → dartsort-0.5.11}/src/dartsort/pretrained/offset_trained_denoiser.pt +0 -0
  133. {dartsort-0.5.10 → dartsort-0.5.11}/src/dartsort/pretrained/offset_trained_denoiser_added_temp.pt +0 -0
  134. {dartsort-0.5.10 → dartsort-0.5.11}/src/dartsort/pretrained/offset_trained_denoiser_added_temp_boost.pt +0 -0
  135. {dartsort-0.5.10 → dartsort-0.5.11}/src/dartsort/pretrained/original_single_chan_denoiser.pt +0 -0
  136. {dartsort-0.5.10 → dartsort-0.5.11}/src/dartsort/pretrained/single_chan_denoiser.pt +0 -0
  137. {dartsort-0.5.10 → dartsort-0.5.11}/src/dartsort/templates/__init__.py +0 -0
  138. {dartsort-0.5.10 → dartsort-0.5.11}/src/dartsort/templates/get_templates.py +0 -0
  139. {dartsort-0.5.10 → dartsort-0.5.11}/src/dartsort/templates/realignment.py +0 -0
  140. {dartsort-0.5.10 → dartsort-0.5.11}/src/dartsort/templates/template_util.py +0 -0
  141. {dartsort-0.5.10 → dartsort-0.5.11}/src/dartsort/templates/templates.py +0 -0
  142. {dartsort-0.5.10 → dartsort-0.5.11}/src/dartsort/templates/templib.py +0 -0
  143. {dartsort-0.5.10 → dartsort-0.5.11}/src/dartsort/transform/__init__.py +0 -0
  144. {dartsort-0.5.10 → dartsort-0.5.11}/src/dartsort/transform/_multichan_denoiser_kit.py +0 -0
  145. {dartsort-0.5.10 → dartsort-0.5.11}/src/dartsort/transform/all_transformers.py +0 -0
  146. {dartsort-0.5.10 → dartsort-0.5.11}/src/dartsort/transform/amplitudes.py +0 -0
  147. {dartsort-0.5.10 → dartsort-0.5.11}/src/dartsort/transform/decollider.py +0 -0
  148. {dartsort-0.5.10 → dartsort-0.5.11}/src/dartsort/transform/denoising_scorer.py +0 -0
  149. {dartsort-0.5.10 → dartsort-0.5.11}/src/dartsort/transform/enforce_decrease.py +0 -0
  150. {dartsort-0.5.10 → dartsort-0.5.11}/src/dartsort/transform/fixed_prop.py +0 -0
  151. {dartsort-0.5.10 → dartsort-0.5.11}/src/dartsort/transform/interp.py +0 -0
  152. {dartsort-0.5.10 → dartsort-0.5.11}/src/dartsort/transform/localize.py +0 -0
  153. {dartsort-0.5.10 → dartsort-0.5.11}/src/dartsort/transform/matching_denoiser.py +0 -0
  154. {dartsort-0.5.10 → dartsort-0.5.11}/src/dartsort/transform/pipeline.py +0 -0
  155. {dartsort-0.5.10 → dartsort-0.5.11}/src/dartsort/transform/reduction.py +0 -0
  156. {dartsort-0.5.10 → dartsort-0.5.11}/src/dartsort/transform/single_channel_denoiser.py +0 -0
  157. {dartsort-0.5.10 → dartsort-0.5.11}/src/dartsort/transform/supervised_denoiser.py +0 -0
  158. {dartsort-0.5.10 → dartsort-0.5.11}/src/dartsort/transform/temporal_pca.py +0 -0
  159. {dartsort-0.5.10 → dartsort-0.5.11}/src/dartsort/transform/transform_base.py +0 -0
  160. {dartsort-0.5.10 → dartsort-0.5.11}/src/dartsort/transform/whiten.py +0 -0
  161. {dartsort-0.5.10 → dartsort-0.5.11}/src/dartsort/util/__init__.py +0 -0
  162. {dartsort-0.5.10 → dartsort-0.5.11}/src/dartsort/util/drift_util.py +0 -0
  163. {dartsort-0.5.10 → dartsort-0.5.11}/src/dartsort/util/interpolation_util.py +0 -0
  164. {dartsort-0.5.10 → dartsort-0.5.11}/src/dartsort/util/job_util.py +0 -0
  165. {dartsort-0.5.10 → dartsort-0.5.11}/src/dartsort/util/logging_util.py +0 -0
  166. {dartsort-0.5.10 → dartsort-0.5.11}/src/dartsort/util/more_operators.py +0 -0
  167. {dartsort-0.5.10 → dartsort-0.5.11}/src/dartsort/util/motion.py +0 -0
  168. {dartsort-0.5.10 → dartsort-0.5.11}/src/dartsort/util/multiprocessing_util.py +0 -0
  169. {dartsort-0.5.10 → dartsort-0.5.11}/src/dartsort/util/nn_util.py +0 -0
  170. {dartsort-0.5.10 → dartsort-0.5.11}/src/dartsort/util/noise_util.py +0 -0
  171. {dartsort-0.5.10 → dartsort-0.5.11}/src/dartsort/util/peel_util.py +0 -0
  172. {dartsort-0.5.10 → dartsort-0.5.11}/src/dartsort/util/preprocess_util.py +0 -0
  173. {dartsort-0.5.10 → dartsort-0.5.11}/src/dartsort/util/py_util.py +0 -0
  174. {dartsort-0.5.10 → dartsort-0.5.11}/src/dartsort/util/registration_util.py +0 -0
  175. {dartsort-0.5.10 → dartsort-0.5.11}/src/dartsort/util/residual_util.py +0 -0
  176. {dartsort-0.5.10 → dartsort-0.5.11}/src/dartsort/util/sparse_util.py +0 -0
  177. {dartsort-0.5.10 → dartsort-0.5.11}/src/dartsort/util/spikeio.py +0 -0
  178. {dartsort-0.5.10 → dartsort-0.5.11}/src/dartsort/util/spiketorch.py +0 -0
  179. {dartsort-0.5.10 → dartsort-0.5.11}/src/dartsort/util/testing_util/__init__.py +0 -0
  180. {dartsort-0.5.10 → dartsort-0.5.11}/src/dartsort/util/testing_util/matching_debug_util.py +0 -0
  181. {dartsort-0.5.10 → dartsort-0.5.11}/src/dartsort/util/testing_util/mixture_testing_util.py +0 -0
  182. {dartsort-0.5.10 → dartsort-0.5.11}/src/dartsort/util/torch_optimization_util.py +0 -0
  183. {dartsort-0.5.10 → dartsort-0.5.11}/src/dartsort/util/torch_util.py +0 -0
  184. {dartsort-0.5.10 → dartsort-0.5.11}/src/dartsort/util/waveform_util.py +0 -0
  185. {dartsort-0.5.10 → dartsort-0.5.11}/src/dartsort/vis/__init__.py +0 -0
  186. {dartsort-0.5.10 → dartsort-0.5.11}/src/dartsort/vis/analysis_plots.py +0 -0
  187. {dartsort-0.5.10 → dartsort-0.5.11}/src/dartsort/vis/colors.py +0 -0
  188. {dartsort-0.5.10 → dartsort-0.5.11}/src/dartsort/vis/layout.py +0 -0
  189. {dartsort-0.5.10 → dartsort-0.5.11}/src/dartsort/vis/metrics_util.py +0 -0
  190. {dartsort-0.5.10 → dartsort-0.5.11}/src/dartsort/vis/mixture.py +0 -0
  191. {dartsort-0.5.10 → dartsort-0.5.11}/src/dartsort/vis/recanim.py +0 -0
  192. {dartsort-0.5.10 → dartsort-0.5.11}/src/dartsort/vis/scatterplots.py +0 -0
  193. {dartsort-0.5.10 → dartsort-0.5.11}/src/dartsort/vis/unit_comparison.py +0 -0
  194. {dartsort-0.5.10 → dartsort-0.5.11}/src/dartsort/vis/versus.py +0 -0
  195. {dartsort-0.5.10 → dartsort-0.5.11}/src/dartsort.egg-info/SOURCES.txt +0 -0
  196. {dartsort-0.5.10 → dartsort-0.5.11}/src/dartsort.egg-info/dependency_links.txt +0 -0
  197. {dartsort-0.5.10 → dartsort-0.5.11}/src/dartsort.egg-info/entry_points.txt +0 -0
  198. {dartsort-0.5.10 → dartsort-0.5.11}/src/dartsort.egg-info/requires.txt +0 -0
  199. {dartsort-0.5.10 → dartsort-0.5.11}/src/dartsort.egg-info/top_level.txt +0 -0
  200. {dartsort-0.5.10 → dartsort-0.5.11}/tests/conftest.py +0 -0
  201. {dartsort-0.5.10 → dartsort-0.5.11}/tests/test_alignment.py +0 -0
  202. {dartsort-0.5.10 → dartsort-0.5.11}/tests/test_cluster_util.py +0 -0
  203. {dartsort-0.5.10 → dartsort-0.5.11}/tests/test_config.py +0 -0
  204. {dartsort-0.5.10 → dartsort-0.5.11}/tests/test_data_util.py +0 -0
  205. {dartsort-0.5.10 → dartsort-0.5.11}/tests/test_density.py +0 -0
  206. {dartsort-0.5.10 → dartsort-0.5.11}/tests/test_detect.py +0 -0
  207. {dartsort-0.5.10 → dartsort-0.5.11}/tests/test_drift_util.py +0 -0
  208. {dartsort-0.5.10 → dartsort-0.5.11}/tests/test_drifty_matching.py +0 -0
  209. {dartsort-0.5.10 → dartsort-0.5.11}/tests/test_enforce_decrease.py +0 -0
  210. {dartsort-0.5.10 → dartsort-0.5.11}/tests/test_grab_and_featurize.py +0 -0
  211. {dartsort-0.5.10 → dartsort-0.5.11}/tests/test_kmeans.py +0 -0
  212. {dartsort-0.5.10 → dartsort-0.5.11}/tests/test_linalg.py +0 -0
  213. {dartsort-0.5.10 → dartsort-0.5.11}/tests/test_localize_torch.py +0 -0
  214. {dartsort-0.5.10 → dartsort-0.5.11}/tests/test_matching.py +0 -0
  215. {dartsort-0.5.10 → dartsort-0.5.11}/tests/test_mixture_classifier.py +0 -0
  216. {dartsort-0.5.10 → dartsort-0.5.11}/tests/test_modeling.py +0 -0
  217. {dartsort-0.5.10 → dartsort-0.5.11}/tests/test_simkit.py +0 -0
  218. {dartsort-0.5.10 → dartsort-0.5.11}/tests/test_spiketorch.py +0 -0
  219. {dartsort-0.5.10 → dartsort-0.5.11}/tests/test_subtract.py +0 -0
  220. {dartsort-0.5.10 → dartsort-0.5.11}/tests/test_templates.py +0 -0
  221. {dartsort-0.5.10 → dartsort-0.5.11}/tests/test_threshold.py +0 -0
  222. {dartsort-0.5.10 → dartsort-0.5.11}/tests/test_torch_optimization_util.py +0 -0
  223. {dartsort-0.5.10 → dartsort-0.5.11}/tests/test_transform.py +0 -0
  224. {dartsort-0.5.10 → dartsort-0.5.11}/tests/test_util.py +0 -0
  225. {dartsort-0.5.10 → dartsort-0.5.11}/tests/test_waveform_util.py +0 -0
  226. {dartsort-0.5.10 → dartsort-0.5.11}/zensical.toml +0 -0
@@ -1,6 +1,6 @@
1
1
  Metadata-Version: 2.4
2
2
  Name: dartsort
3
- Version: 0.5.10
3
+ Version: 0.5.11
4
4
  Summary: DARTsort
5
5
  Author-email: Charlie Windolf <ciw2048@gmail.com>
6
6
  Project-URL: Homepage, https://github.com/cwindolf/dartsort
@@ -39,7 +39,6 @@ from .cluster_util import (
39
39
  reorder_by_depth,
40
40
  sparsify_labels,
41
41
  )
42
- from .mixture import Scores
43
42
 
44
43
  logger = get_logger(__name__)
45
44
 
@@ -160,7 +159,8 @@ def agglomerate(
160
159
  if fcorr_mask is not None:
161
160
  assert np.all(np.logical_and(qda_mask, fcorr_mask) <= mask)
162
161
 
163
- if refinement_cfg.spikeinterface_merge_preset is not None:
162
+ simg = refinement_cfg.spikeinterface_merge_preset
163
+ if simg is not None and simg != "none":
164
164
  pair_mask = tdist.distances < refinement_cfg.spikeinterface_merge_max_distance
165
165
  if refinement_cfg.spikeinterface_merge_min_coentropy is not None:
166
166
  cmask, _ = coentropy_merge_mask(
@@ -202,7 +202,7 @@ def agglomerate(
202
202
  dists=final_mask_as_distance,
203
203
  shifts=tdist.shifts,
204
204
  unit_snrs=tdist.template_data.snrs_by_channel().max(1),
205
- threshold=0.5,
205
+ threshold=0.5, # binary input here
206
206
  link=template_merge_cfg.linkage,
207
207
  )
208
208
 
@@ -360,27 +360,6 @@ def template_distances(
360
360
  )
361
361
 
362
362
 
363
- def _get_scores(sorting: DARTsortSorting) -> tuple[np.ndarray, Scores]:
364
- cand = getattr(sorting, "gmm_candidates", None)
365
- log_liks = getattr(sorting, "gmm_log_liks", None)
366
- resp = getattr(sorting, "gmm_responsibilities", None)
367
-
368
- assert cand is not None
369
- assert log_liks is not None
370
- assert resp is not None
371
-
372
- cand = torch.asarray(cand)
373
- log_liks = torch.asarray(log_liks)
374
- resp = torch.asarray(resp)
375
-
376
- scores = Scores(
377
- candidates=cand, log_liks=log_liks, responsibilities=resp, duties=None
378
- )
379
- assert sorting.labels is not None
380
- labels = sorting.labels
381
- return labels, scores
382
-
383
-
384
363
  def spikeinterface_merge_mask(
385
364
  *,
386
365
  recording: BaseRecording,
@@ -398,9 +377,14 @@ def spikeinterface_merge_mask(
398
377
  if censor_ms:
399
378
  sorting = deduplicate_spikes(sorting, censor_ms)
400
379
 
401
- # analyzer
380
+ # analyzer (lightweight one)
402
381
  analyzer = sorting.to_sorting_analyzer(
403
- recording=recording, template_data=template_data
382
+ recording=recording,
383
+ template_data=template_data,
384
+ compute_extensions=None,
385
+ compute_extensions_if_templates=None,
386
+ estimate_si_sparsity=False,
387
+ compute_template_similarity=False,
404
388
  )
405
389
 
406
390
  # register the mask as the template similarity extension
@@ -515,8 +499,12 @@ def qda(
515
499
  show_progress: bool,
516
500
  computation_cfg: ComputationConfig,
517
501
  ) -> QDAResult:
502
+ from ..util.data_util import get_gmm_scores
503
+
518
504
  # reconstruct scores from sorting attached data (exclude train_ix?)
519
- glabels, gscores = _get_scores(sorting)
505
+ gscores = get_gmm_scores(sorting)
506
+ glabels = sorting.labels
507
+ assert glabels is not None
520
508
 
521
509
  if mask is None:
522
510
  mask = np.ones((sorting.n_units, sorting.n_units), dtype=bool)
@@ -883,7 +871,7 @@ def _combine_loop(
883
871
  def deduplicate_spikes(
884
872
  sorting: DARTsortSorting,
885
873
  radius_ms: float = -1.0,
886
- score_by=("merged_logliks", "gmm_logliks", "scores"),
874
+ score_by=("merged_log_liks", "gmm_log_liks", "scores"),
887
875
  ) -> DARTsortSorting:
888
876
  """The lower-scoring of any spikes within radius_samples of each other is relabeled to -1.
889
877
 
@@ -908,7 +896,7 @@ def deduplicate_spikes(
908
896
  break
909
897
  if scores is None:
910
898
  raise ValueError(f"sorting had none of {score_by}.")
911
- if scores.ndim == 2:
899
+ if scores.ndim >= 2:
912
900
  scores = scores[:, 0]
913
901
  assert scores.ndim == 1
914
902
  assert scores.shape == new_labels.shape
@@ -170,10 +170,11 @@ def linkage_mask(
170
170
  return mask
171
171
 
172
172
 
173
- def sparsify_labels(labels: np.ndarray) -> dict[int, np.ndarray]:
173
+ def sparsify_labels(labels: np.ndarray, ids: np.ndarray | None = None) -> dict[int, np.ndarray]:
174
174
  assert labels.ndim == 1
175
- ids = np.unique(labels)
176
- ids = ids[ids >= 0]
175
+ if ids is None:
176
+ ids = np.unique(labels)
177
+ ids = ids[ids >= 0]
177
178
  inj = {}
178
179
  for j in ids:
179
180
  inj[j] = np.flatnonzero(labels == j)
@@ -870,6 +870,48 @@ class AgglomerateRefinement(Refinement):
870
870
  refinement_strategies["agglomerate"] = AgglomerateRefinement
871
871
 
872
872
 
873
+ class FilterRefinement(Refinement):
874
+ """Runs various filters as specified in cfg"""
875
+
876
+ def needs_stable_features(self):
877
+ return super().needs_stable_features() or bool(
878
+ self.refinement_cfg.collision_cleaning_error_threshold
879
+ )
880
+
881
+ def _refine(
882
+ self,
883
+ features: SimpleMatrixFeatures,
884
+ stable_features: StableWaveformFeatures | None,
885
+ sorting: DARTsortSorting,
886
+ recording: BaseRecording | None,
887
+ motion: MotionInfo,
888
+ ):
889
+ assert recording is not None
890
+
891
+ if self.refinement_cfg.collision_cleaning_error_threshold:
892
+ assert stable_features is not None
893
+ sorting = refine_util.collision_cleaning_error_filter(
894
+ sorting=sorting,
895
+ recording=recording,
896
+ stable_features=stable_features,
897
+ refinement_cfg=self.refinement_cfg,
898
+ motion=motion,
899
+ computation_cfg=self.computation_cfg,
900
+ ).sorting
901
+
902
+ if self.refinement_cfg.gmm_isolation_threshold:
903
+ sorting = refine_util.gmm_isolation_filter(
904
+ sorting=sorting,
905
+ refinement_cfg=self.refinement_cfg,
906
+ computation_cfg=self.computation_cfg,
907
+ ).sorting
908
+
909
+ return sorting
910
+
911
+
912
+ refinement_strategies["filter"] = FilterRefinement
913
+
914
+
873
915
  class ForwardBackwardEnsembler(Refinement):
874
916
  """If there are more time chunk ones, make a new ABC with this logic."""
875
917
 
@@ -803,6 +803,7 @@ class TMMParams:
803
803
  criterion_em_iters: int
804
804
  cl_alpha: float
805
805
  cl_split_only: bool
806
+ demolish_cl_alpha: float
806
807
  latent_prior_std: float
807
808
  min_count: int
808
809
  min_channel_count: int
@@ -847,6 +848,7 @@ class TMMParams:
847
848
  main_min_iters=refinement_cfg.main_min_iters,
848
849
  cl_alpha=refinement_cfg.cl_alpha,
849
850
  cl_split_only=refinement_cfg.cl_split_only,
851
+ demolish_cl_alpha=refinement_cfg.demolish_cl_alpha,
850
852
  latent_prior_std=refinement_cfg.latent_prior_std,
851
853
  robust_strategy=refinement_cfg.robust_strategy,
852
854
  demolition_min_resp_ratio=refinement_cfg.demolition_min_resp_ratio,
@@ -914,6 +916,7 @@ class GroupPartition:
914
916
  unit_ids: Tensor
915
917
  group_ids: Tensor
916
918
  n_groups: int
919
+ n_groups_before_demolish: int
917
920
  single_ixs: list[int]
918
921
  subset_ids: list[int]
919
922
  unit_ids_combined: list[int]
@@ -1740,6 +1743,9 @@ class TruncatedSpikeData(BatchedSpikeData):
1740
1743
  search_sets=search_sets,
1741
1744
  n_explore=self.n_explore,
1742
1745
  )
1746
+ assert (
1747
+ p.shape[0] == inds.shape[0] == self.un_adj_lut.b.unit_ids.shape[0] + 1
1748
+ )
1743
1749
  _sample_explore_candidates(
1744
1750
  p=p,
1745
1751
  inds=inds,
@@ -2740,6 +2746,7 @@ class TruncatedMixtureModel(BaseMixtureModel):
2740
2746
  neighb_ixs: Tensor | None = None,
2741
2747
  lut_ixs: Tensor | None = None,
2742
2748
  allow_blanks: bool = False,
2749
+ force_rank0: bool = False,
2743
2750
  ) -> Scores:
2744
2751
  assert self.lut_params is not None
2745
2752
  return _score_batch(
@@ -2764,6 +2771,7 @@ class TruncatedMixtureModel(BaseMixtureModel):
2764
2771
  static_size=batch.candidate_count,
2765
2772
  allow_blanks=allow_blanks,
2766
2773
  skip_noise=skip_noise,
2774
+ force_rank0=force_rank0,
2767
2775
  )
2768
2776
 
2769
2777
  def estep_stats_batch(
@@ -2822,6 +2830,7 @@ class TruncatedMixtureModel(BaseMixtureModel):
2822
2830
  full_proposal_view: bool,
2823
2831
  max_iter: int = 10,
2824
2832
  show_progress: int = 0,
2833
+ force_rank0: bool = False,
2825
2834
  ) -> Scores:
2826
2835
  """Run E steps until candidates converge, holding my LUT fixed.
2827
2836
 
@@ -2872,7 +2881,7 @@ class TruncatedMixtureModel(BaseMixtureModel):
2872
2881
  for it in iters:
2873
2882
  for batch in target_data.batches(show_progress=show_batch_progress):
2874
2883
  batch_scores = self.score_batch(
2875
- batch, data.n_candidates, allow_blanks=True
2884
+ batch, data.n_candidates, allow_blanks=True, force_rank0=force_rank0
2876
2885
  )
2877
2886
  assert batch_scores.responsibilities is not None
2878
2887
  bix = batch.batch
@@ -3133,7 +3142,9 @@ class TruncatedMixtureModel(BaseMixtureModel):
3133
3142
  gkeep = (gids >= 0).logical_and_((train_labels == gids.unsqueeze(1)).any(1))
3134
3143
  (gkeep,) = gkeep.nonzero(as_tuple=True)
3135
3144
  unflat_group_ids = gids[gkeep].unique()
3136
- flatspace = gids.new_full((merge_res.grouping.n_groups,), -1)
3145
+ flatspace = gids.new_full(
3146
+ (merge_res.grouping.n_groups_before_demolish,), -1
3147
+ )
3137
3148
  flat_group_ids = torch.arange(unflat_group_ids.numel(), device=gids.device)
3138
3149
  flatspace[unflat_group_ids] = flat_group_ids
3139
3150
  if pnoid:
@@ -3450,11 +3461,10 @@ class TruncatedMixtureModel(BaseMixtureModel):
3450
3461
  scores=train_scores, n_units=self.n_units
3451
3462
  )
3452
3463
  mean_val_resp = mean_responsibilities(scores=val_scores, n_units=self.n_units)
3453
- alpha = 0.0 if self.p.cl_split_only else self.p.cl_alpha
3454
3464
  cur_crit = ecl(
3455
3465
  resps=val_scores.responsibilities,
3456
3466
  log_liks=val_scores.log_liks,
3457
- cl_alpha=alpha,
3467
+ cl_alpha=self.p.demolish_cl_alpha,
3458
3468
  ).item()
3459
3469
 
3460
3470
  # checking this invariant at the top
@@ -5023,6 +5033,7 @@ def allowed_partitions(
5023
5033
  unit_ids=unit_ids,
5024
5034
  group_ids=group_ids.clone(),
5025
5035
  n_groups=n_groups,
5036
+ n_groups_before_demolish=n_groups,
5026
5037
  single_ixs=single_ixs,
5027
5038
  subset_ids=subset_ids,
5028
5039
  unit_ids_combined=uids_combined,
@@ -5449,7 +5460,7 @@ def evaluate_group_demolitions(
5449
5460
 
5450
5461
  # criterion:
5451
5462
  # loop over possible demolitions, evaluate their improvements, track best
5452
- alpha = 0.0 if mm.p.cl_split_only else mm.p.cl_alpha
5463
+ alpha = mm.p.demolish_cl_alpha
5453
5464
  if cur_crit is None:
5454
5465
  cur_crit = ecl(
5455
5466
  resps=eval_scores.responsibilities,
@@ -6059,7 +6070,7 @@ def combine_luts(*luts: NeighborhoodLUT) -> NeighborhoodLUT:
6059
6070
  return luts[0]
6060
6071
  adj = luts[0].b.lut < luts[0].b.unit_ids.shape[0]
6061
6072
  for ll in luts[1:]:
6062
- adj.logical_or_(ll.lut < ll.unit_ids.shape[0])
6073
+ adj.logical_or_(ll.lut < ll.unit_ids.shape[0]) # type: ignore
6063
6074
  unit_ids, neighb_ids = adj.nonzero(as_tuple=True)
6064
6075
  lut = torch.full_like(luts[0].b.lut, unit_ids.shape[0])
6065
6076
  lut[unit_ids, neighb_ids] = torch.arange(unit_ids.shape[0], device=lut.device)
@@ -6294,6 +6305,10 @@ def _get_explore_sampling_data(
6294
6305
  inds.masked_fill_(pzero, -1)
6295
6306
  p.masked_fill_(pzero, torch.finfo(p.dtype).tiny)
6296
6307
 
6308
+ # pad p with an extra LUT index (row), inds with a -1
6309
+ p = F.pad(p, (0, 0, 0, 1))
6310
+ inds = F.pad(inds, (0, 0, 0, 1), value=-1)
6311
+
6297
6312
  return p, inds
6298
6313
 
6299
6314
 
@@ -6414,6 +6429,65 @@ def proportion_adjust_scores(
6414
6429
  )
6415
6430
 
6416
6431
 
6432
+ def ensure_sorted_scores(scores: Scores) -> Scores:
6433
+ """Re-sort score properties so that log liks decrease."""
6434
+ C = scores.candidates.shape[1]
6435
+ order = scores.log_liks[:, :C].argsort(dim=1, descending=True, stable=True)
6436
+
6437
+ candidates = scores.candidates.take_along_dim(indices=order, dim=1)
6438
+ log_liks = torch.empty_like(scores.log_liks)
6439
+ torch.take_along_dim(
6440
+ scores.log_liks[:, :C], indices=order, dim=1, out=log_liks[:, :C]
6441
+ )
6442
+ if C < scores.log_liks.shape[1]:
6443
+ assert scores.log_liks.shape[1] == C + 1
6444
+ log_liks[:, -1] = scores.log_liks[:, -1]
6445
+ if scores.responsibilities is not None:
6446
+ responsibilities = F.softmax(log_liks, dim=1)
6447
+ else:
6448
+ responsibilities = None
6449
+
6450
+ return Scores(
6451
+ candidates=candidates,
6452
+ log_liks=log_liks,
6453
+ responsibilities=responsibilities,
6454
+ duties=scores.duties,
6455
+ )
6456
+
6457
+
6458
+ def drop_units_and_update_scores(
6459
+ train_scores: Scores,
6460
+ scores: Scores | None,
6461
+ n_units: int,
6462
+ remove_ids: Tensor,
6463
+ ):
6464
+ # determine mean responsibilities before and after removing units
6465
+ orig_prop = mean_responsibilities(train_scores, n_units=n_units)
6466
+ train_scores = remove_units_from_scores(train_scores, remove_ids)
6467
+ new_prop = mean_responsibilities(train_scores, n_units=n_units)
6468
+ assert orig_prop.shape == new_prop.shape == (n_units + 1,), 1
6469
+
6470
+ # pick log props
6471
+ model_prop = orig_prop[:n_units].sum().item()
6472
+ new_prop *= model_prop / new_prop.sum()
6473
+ orig_log_prop = orig_prop.log()
6474
+ new_log_prop = new_prop.log()
6475
+ updated = torch.logical_not(torch.isclose(orig_log_prop, new_log_prop))
6476
+ updated[remove_ids] = False
6477
+
6478
+ # update the train scores
6479
+ train_scores = proportion_adjust_scores(train_scores, orig_log_prop, new_log_prop)
6480
+ train_scores = ensure_sorted_scores(train_scores)
6481
+
6482
+ # update other scores
6483
+ if scores is not None:
6484
+ scores = remove_units_from_scores(scores, remove_ids)
6485
+ scores = proportion_adjust_scores(scores, orig_log_prop, new_log_prop)
6486
+ scores = ensure_sorted_scores(scores)
6487
+
6488
+ return train_scores, scores
6489
+
6490
+
6417
6491
  def mean_responsibilities(
6418
6492
  scores: Scores | None = None,
6419
6493
  n_units: int | None = None,
@@ -6663,6 +6737,7 @@ def _score_batch(
6663
6737
  skip_responsibility: bool = False,
6664
6738
  skip_noise: bool = False,
6665
6739
  allow_blanks: bool = False,
6740
+ force_rank0: bool = False,
6666
6741
  ):
6667
6742
  n, Ctot = candidates.shape
6668
6743
  assert whitenedx.shape[0] == n
@@ -6692,7 +6767,7 @@ def _score_batch(
6692
6767
  lls[:, -1] = noise_logliks
6693
6768
  lls[:, -1] += noise_log_prop
6694
6769
 
6695
- if lut_params.signal_rank:
6770
+ if lut_params.signal_rank and not force_rank0:
6696
6771
  lls[spike_ixs, candidate_ixs] = _calc_loglik_ppca(
6697
6772
  whitenedx=whitenedx,
6698
6773
  log_proportions=log_proportions,