DARTsort 0.5.7__tar.gz → 0.5.8__tar.gz

This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
Files changed (225) hide show
  1. {dartsort-0.5.7 → dartsort-0.5.8}/PKG-INFO +1 -1
  2. {dartsort-0.5.7 → dartsort-0.5.8}/src/dartsort/__init__.py +1 -0
  3. {dartsort-0.5.7 → dartsort-0.5.8}/src/dartsort/clustering/__init__.py +1 -0
  4. {dartsort-0.5.7 → dartsort-0.5.8}/src/dartsort/clustering/mixture.py +1 -1
  5. {dartsort-0.5.7 → dartsort-0.5.8}/src/dartsort/main.py +2 -0
  6. {dartsort-0.5.7 → dartsort-0.5.8}/src/dartsort/util/data_util.py +70 -20
  7. {dartsort-0.5.7 → dartsort-0.5.8}/src/dartsort/util/main_util.py +17 -5
  8. {dartsort-0.5.7 → dartsort-0.5.8}/src/dartsort/util/motion.py +12 -0
  9. {dartsort-0.5.7 → dartsort-0.5.8}/src/dartsort.egg-info/PKG-INFO +1 -1
  10. {dartsort-0.5.7 → dartsort-0.5.8}/.github/workflows/ci.yml +0 -0
  11. {dartsort-0.5.7 → dartsort-0.5.8}/.github/workflows/ci_windows.yml +0 -0
  12. {dartsort-0.5.7 → dartsort-0.5.8}/.github/workflows/deploy.yml +0 -0
  13. {dartsort-0.5.7 → dartsort-0.5.8}/.github/workflows/docs.yml +0 -0
  14. {dartsort-0.5.7 → dartsort-0.5.8}/.gitignore +0 -0
  15. {dartsort-0.5.7 → dartsort-0.5.8}/README.md +0 -0
  16. {dartsort-0.5.7 → dartsort-0.5.8}/docs/index.md +0 -0
  17. {dartsort-0.5.7 → dartsort-0.5.8}/docs/main_api.md +0 -0
  18. {dartsort-0.5.7 → dartsort-0.5.8}/docs/toolkit_api.md +0 -0
  19. {dartsort-0.5.7 → dartsort-0.5.8}/environment.yml +0 -0
  20. {dartsort-0.5.7 → dartsort-0.5.8}/notebook/.keep +0 -0
  21. {dartsort-0.5.7 → dartsort-0.5.8}/notebook/basic_integration_test.py +0 -0
  22. {dartsort-0.5.7 → dartsort-0.5.8}/notebook/ci diag.py +0 -0
  23. {dartsort-0.5.7 → dartsort-0.5.8}/notebook/dartsort_dredge_demo.ipynb +0 -0
  24. {dartsort-0.5.7 → dartsort-0.5.8}/notebook/dartsort_dredge_demo.py +0 -0
  25. {dartsort-0.5.7 → dartsort-0.5.8}/notebook/data test.py +0 -0
  26. {dartsort-0.5.7 → dartsort-0.5.8}/notebook/dead reckoning.py +0 -0
  27. {dartsort-0.5.7 → dartsort-0.5.8}/notebook/denoise np1.py +0 -0
  28. {dartsort-0.5.7 → dartsort-0.5.8}/notebook/denoise np2.py +0 -0
  29. {dartsort-0.5.7 → dartsort-0.5.8}/notebook/exploratory.py +0 -0
  30. {dartsort-0.5.7 → dartsort-0.5.8}/notebook/geom debug.py +0 -0
  31. {dartsort-0.5.7 → dartsort-0.5.8}/notebook/hdbscan_clustering_5min.py +0 -0
  32. {dartsort-0.5.7 → dartsort-0.5.8}/notebook/hybrid 10.py +0 -0
  33. {dartsort-0.5.7 → dartsort-0.5.8}/notebook/hybrid cluster.py +0 -0
  34. {dartsort-0.5.7 → dartsort-0.5.8}/notebook/hybrid_11.py +0 -0
  35. {dartsort-0.5.7 → dartsort-0.5.8}/notebook/initial training.py +0 -0
  36. {dartsort-0.5.7 → dartsort-0.5.8}/notebook/make hybrid.py +0 -0
  37. {dartsort-0.5.7 → dartsort-0.5.8}/notebook/mgh.py +0 -0
  38. {dartsort-0.5.7 → dartsort-0.5.8}/notebook/np1 feats.py +0 -0
  39. {dartsort-0.5.7 → dartsort-0.5.8}/notebook/np2 processing version c.py +0 -0
  40. {dartsort-0.5.7 → dartsort-0.5.8}/notebook/paperfigs.py +0 -0
  41. {dartsort-0.5.7 → dartsort-0.5.8}/notebook/pdists.py +0 -0
  42. {dartsort-0.5.7 → dartsort-0.5.8}/notebook/postcheck.py +0 -0
  43. {dartsort-0.5.7 → dartsort-0.5.8}/notebook/ptp vae.py +0 -0
  44. {dartsort-0.5.7 → dartsort-0.5.8}/notebook/re clust.py +0 -0
  45. {dartsort-0.5.7 → dartsort-0.5.8}/notebook/reg fig loop.py +0 -0
  46. {dartsort-0.5.7 → dartsort-0.5.8}/notebook/reg_sim_exp.py +0 -0
  47. {dartsort-0.5.7 → dartsort-0.5.8}/notebook/relocating.py +0 -0
  48. {dartsort-0.5.7 → dartsort-0.5.8}/notebook/relocating_all.py +0 -0
  49. {dartsort-0.5.7 → dartsort-0.5.8}/notebook/restats +0 -0
  50. {dartsort-0.5.7 → dartsort-0.5.8}/notebook/sortStinger1.py +0 -0
  51. {dartsort-0.5.7 → dartsort-0.5.8}/notebook/sortStinger3.py +0 -0
  52. {dartsort-0.5.7 → dartsort-0.5.8}/notebook/sortStinger4.py +0 -0
  53. {dartsort-0.5.7 → dartsort-0.5.8}/notebook/sortStinger5.py +0 -0
  54. {dartsort-0.5.7 → dartsort-0.5.8}/notebook/sortStinger6.py +0 -0
  55. {dartsort-0.5.7 → dartsort-0.5.8}/notebook/spike farm.py +0 -0
  56. {dartsort-0.5.7 → dartsort-0.5.8}/notebook/ss_ensemble_sim.py +0 -0
  57. {dartsort-0.5.7 → dartsort-0.5.8}/notebook/ss_ensemble_sim_drift.py +0 -0
  58. {dartsort-0.5.7 → dartsort-0.5.8}/notebook/ss_sim.py +0 -0
  59. {dartsort-0.5.7 → dartsort-0.5.8}/notebook/stan diagnostics.py +0 -0
  60. {dartsort-0.5.7 → dartsort-0.5.8}/notebook/storytelling c.py +0 -0
  61. {dartsort-0.5.7 → dartsort-0.5.8}/notebook/storytelling.py +0 -0
  62. {dartsort-0.5.7 → dartsort-0.5.8}/notebook/subtract_with_phaseshift_denoiser.py +0 -0
  63. {dartsort-0.5.7 → dartsort-0.5.8}/notebook/tests/debug_matching.py +0 -0
  64. {dartsort-0.5.7 → dartsort-0.5.8}/notebook/tests/test_agreement.py +0 -0
  65. {dartsort-0.5.7 → dartsort-0.5.8}/notebook/tests/test_amplitude_scaling.py +0 -0
  66. {dartsort-0.5.7 → dartsort-0.5.8}/notebook/tests/test_batch_optim.py +0 -0
  67. {dartsort-0.5.7 → dartsort-0.5.8}/notebook/tests/test_ibme.py +0 -0
  68. {dartsort-0.5.7 → dartsort-0.5.8}/notebook/tests/test_mm_initialization.py +0 -0
  69. {dartsort-0.5.7 → dartsort-0.5.8}/notebook/tests/test_normxcorr1d.py +0 -0
  70. {dartsort-0.5.7 → dartsort-0.5.8}/notebook/tests/test_reassignment.py +0 -0
  71. {dartsort-0.5.7 → dartsort-0.5.8}/notebook/tests/test_relocation.py +0 -0
  72. {dartsort-0.5.7 → dartsort-0.5.8}/notebook/thomas.py +0 -0
  73. {dartsort-0.5.7 → dartsort-0.5.8}/pyproject.toml +0 -0
  74. {dartsort-0.5.7 → dartsort-0.5.8}/setup.cfg +0 -0
  75. {dartsort-0.5.7 → dartsort-0.5.8}/src/dartsort/cli.py +0 -0
  76. {dartsort-0.5.7 → dartsort-0.5.8}/src/dartsort/clustering/agglomerate.py +0 -0
  77. {dartsort-0.5.7 → dartsort-0.5.8}/src/dartsort/clustering/cluster_util.py +0 -0
  78. {dartsort-0.5.7 → dartsort-0.5.8}/src/dartsort/clustering/clustering.py +0 -0
  79. {dartsort-0.5.7 → dartsort-0.5.8}/src/dartsort/clustering/clustering_features.py +0 -0
  80. {dartsort-0.5.7 → dartsort-0.5.8}/src/dartsort/clustering/density.py +0 -0
  81. {dartsort-0.5.7 → dartsort-0.5.8}/src/dartsort/clustering/forward_backward.py +0 -0
  82. {dartsort-0.5.7 → dartsort-0.5.8}/src/dartsort/clustering/kmeans.py +0 -0
  83. {dartsort-0.5.7 → dartsort-0.5.8}/src/dartsort/clustering/merge.py +0 -0
  84. {dartsort-0.5.7 → dartsort-0.5.8}/src/dartsort/clustering/modes.py +0 -0
  85. {dartsort-0.5.7 → dartsort-0.5.8}/src/dartsort/clustering/refine_util.py +0 -0
  86. {dartsort-0.5.7 → dartsort-0.5.8}/src/dartsort/config.py +0 -0
  87. {dartsort-0.5.7 → dartsort-0.5.8}/src/dartsort/detect/__init__.py +0 -0
  88. {dartsort-0.5.7 → dartsort-0.5.8}/src/dartsort/detect/detect.py +0 -0
  89. {dartsort-0.5.7 → dartsort-0.5.8}/src/dartsort/detect/detect_filters.py +0 -0
  90. {dartsort-0.5.7 → dartsort-0.5.8}/src/dartsort/evaluate/__init__.py +0 -0
  91. {dartsort-0.5.7 → dartsort-0.5.8}/src/dartsort/evaluate/analysis.py +0 -0
  92. {dartsort-0.5.7 → dartsort-0.5.8}/src/dartsort/evaluate/comparison.py +0 -0
  93. {dartsort-0.5.7 → dartsort-0.5.8}/src/dartsort/evaluate/hybrid_util.py +0 -0
  94. {dartsort-0.5.7 → dartsort-0.5.8}/src/dartsort/evaluate/noise_recording_tools.py +0 -0
  95. {dartsort-0.5.7 → dartsort-0.5.8}/src/dartsort/evaluate/sim_template_tools.py +0 -0
  96. {dartsort-0.5.7 → dartsort-0.5.8}/src/dartsort/evaluate/simkit.py +0 -0
  97. {dartsort-0.5.7 → dartsort-0.5.8}/src/dartsort/evaluate/simlib.py +0 -0
  98. {dartsort-0.5.7 → dartsort-0.5.8}/src/dartsort/localize/__init__.py +0 -0
  99. {dartsort-0.5.7 → dartsort-0.5.8}/src/dartsort/localize/localize_torch.py +0 -0
  100. {dartsort-0.5.7 → dartsort-0.5.8}/src/dartsort/localize/localize_util.py +0 -0
  101. {dartsort-0.5.7 → dartsort-0.5.8}/src/dartsort/peel/__init__.py +0 -0
  102. {dartsort-0.5.7 → dartsort-0.5.8}/src/dartsort/peel/grab.py +0 -0
  103. {dartsort-0.5.7 → dartsort-0.5.8}/src/dartsort/peel/matching.py +0 -0
  104. {dartsort-0.5.7 → dartsort-0.5.8}/src/dartsort/peel/matching_util/__init__.py +0 -0
  105. {dartsort-0.5.7 → dartsort-0.5.8}/src/dartsort/peel/matching_util/compressed_upsampled.py +0 -0
  106. {dartsort-0.5.7 → dartsort-0.5.8}/src/dartsort/peel/matching_util/drifty.py +0 -0
  107. {dartsort-0.5.7 → dartsort-0.5.8}/src/dartsort/peel/matching_util/matching_base.py +0 -0
  108. {dartsort-0.5.7 → dartsort-0.5.8}/src/dartsort/peel/matching_util/pairwise.py +0 -0
  109. {dartsort-0.5.7 → dartsort-0.5.8}/src/dartsort/peel/matching_util/pairwise_util.py +0 -0
  110. {dartsort-0.5.7 → dartsort-0.5.8}/src/dartsort/peel/peel_base.py +0 -0
  111. {dartsort-0.5.7 → dartsort-0.5.8}/src/dartsort/peel/peel_lib.py +0 -0
  112. {dartsort-0.5.7 → dartsort-0.5.8}/src/dartsort/peel/reduction_template.py +0 -0
  113. {dartsort-0.5.7 → dartsort-0.5.8}/src/dartsort/peel/shaver.py +0 -0
  114. {dartsort-0.5.7 → dartsort-0.5.8}/src/dartsort/peel/subtract.py +0 -0
  115. {dartsort-0.5.7 → dartsort-0.5.8}/src/dartsort/peel/threshold.py +0 -0
  116. {dartsort-0.5.7 → dartsort-0.5.8}/src/dartsort/pretrained/default_temporal_kernel.npy +0 -0
  117. {dartsort-0.5.7 → dartsort-0.5.8}/src/dartsort/pretrained/detect_np1.pt +0 -0
  118. {dartsort-0.5.7 → dartsort-0.5.8}/src/dartsort/pretrained/detect_np2.pt +0 -0
  119. {dartsort-0.5.7 → dartsort-0.5.8}/src/dartsort/pretrained/glasbey1024.npz +0 -0
  120. {dartsort-0.5.7 → dartsort-0.5.8}/src/dartsort/pretrained/offset_trained_denoiser.pt +0 -0
  121. {dartsort-0.5.7 → dartsort-0.5.8}/src/dartsort/pretrained/offset_trained_denoiser_added_temp.pt +0 -0
  122. {dartsort-0.5.7 → dartsort-0.5.8}/src/dartsort/pretrained/offset_trained_denoiser_added_temp_boost.pt +0 -0
  123. {dartsort-0.5.7 → dartsort-0.5.8}/src/dartsort/pretrained/original_single_chan_denoiser.pt +0 -0
  124. {dartsort-0.5.7 → dartsort-0.5.8}/src/dartsort/pretrained/single_chan_denoiser.pt +0 -0
  125. {dartsort-0.5.7 → dartsort-0.5.8}/src/dartsort/templates/__init__.py +0 -0
  126. {dartsort-0.5.7 → dartsort-0.5.8}/src/dartsort/templates/get_templates.py +0 -0
  127. {dartsort-0.5.7 → dartsort-0.5.8}/src/dartsort/templates/postprocess_util.py +0 -0
  128. {dartsort-0.5.7 → dartsort-0.5.8}/src/dartsort/templates/realignment.py +0 -0
  129. {dartsort-0.5.7 → dartsort-0.5.8}/src/dartsort/templates/template_util.py +0 -0
  130. {dartsort-0.5.7 → dartsort-0.5.8}/src/dartsort/templates/templates.py +0 -0
  131. {dartsort-0.5.7 → dartsort-0.5.8}/src/dartsort/templates/templib.py +0 -0
  132. {dartsort-0.5.7 → dartsort-0.5.8}/src/dartsort/transform/__init__.py +0 -0
  133. {dartsort-0.5.7 → dartsort-0.5.8}/src/dartsort/transform/_multichan_denoiser_kit.py +0 -0
  134. {dartsort-0.5.7 → dartsort-0.5.8}/src/dartsort/transform/all_transformers.py +0 -0
  135. {dartsort-0.5.7 → dartsort-0.5.8}/src/dartsort/transform/amortized_localization.py +0 -0
  136. {dartsort-0.5.7 → dartsort-0.5.8}/src/dartsort/transform/amplitudes.py +0 -0
  137. {dartsort-0.5.7 → dartsort-0.5.8}/src/dartsort/transform/decollider.py +0 -0
  138. {dartsort-0.5.7 → dartsort-0.5.8}/src/dartsort/transform/denoising_scorer.py +0 -0
  139. {dartsort-0.5.7 → dartsort-0.5.8}/src/dartsort/transform/enforce_decrease.py +0 -0
  140. {dartsort-0.5.7 → dartsort-0.5.8}/src/dartsort/transform/fixed_prop.py +0 -0
  141. {dartsort-0.5.7 → dartsort-0.5.8}/src/dartsort/transform/interp.py +0 -0
  142. {dartsort-0.5.7 → dartsort-0.5.8}/src/dartsort/transform/localize.py +0 -0
  143. {dartsort-0.5.7 → dartsort-0.5.8}/src/dartsort/transform/matching_denoiser.py +0 -0
  144. {dartsort-0.5.7 → dartsort-0.5.8}/src/dartsort/transform/mixture_classifier.py +0 -0
  145. {dartsort-0.5.7 → dartsort-0.5.8}/src/dartsort/transform/pipeline.py +0 -0
  146. {dartsort-0.5.7 → dartsort-0.5.8}/src/dartsort/transform/reduction.py +0 -0
  147. {dartsort-0.5.7 → dartsort-0.5.8}/src/dartsort/transform/single_channel_denoiser.py +0 -0
  148. {dartsort-0.5.7 → dartsort-0.5.8}/src/dartsort/transform/supervised_denoiser.py +0 -0
  149. {dartsort-0.5.7 → dartsort-0.5.8}/src/dartsort/transform/temporal_pca.py +0 -0
  150. {dartsort-0.5.7 → dartsort-0.5.8}/src/dartsort/transform/transform_base.py +0 -0
  151. {dartsort-0.5.7 → dartsort-0.5.8}/src/dartsort/transform/whiten.py +0 -0
  152. {dartsort-0.5.7 → dartsort-0.5.8}/src/dartsort/util/__init__.py +0 -0
  153. {dartsort-0.5.7 → dartsort-0.5.8}/src/dartsort/util/cli_util.py +0 -0
  154. {dartsort-0.5.7 → dartsort-0.5.8}/src/dartsort/util/drift_util.py +0 -0
  155. {dartsort-0.5.7 → dartsort-0.5.8}/src/dartsort/util/internal_config.py +0 -0
  156. {dartsort-0.5.7 → dartsort-0.5.8}/src/dartsort/util/interpolation_util.py +0 -0
  157. {dartsort-0.5.7 → dartsort-0.5.8}/src/dartsort/util/job_util.py +0 -0
  158. {dartsort-0.5.7 → dartsort-0.5.8}/src/dartsort/util/logging_util.py +0 -0
  159. {dartsort-0.5.7 → dartsort-0.5.8}/src/dartsort/util/more_operators.py +0 -0
  160. {dartsort-0.5.7 → dartsort-0.5.8}/src/dartsort/util/multiprocessing_util.py +0 -0
  161. {dartsort-0.5.7 → dartsort-0.5.8}/src/dartsort/util/nn_util.py +0 -0
  162. {dartsort-0.5.7 → dartsort-0.5.8}/src/dartsort/util/noise_util.py +0 -0
  163. {dartsort-0.5.7 → dartsort-0.5.8}/src/dartsort/util/peel_util.py +0 -0
  164. {dartsort-0.5.7 → dartsort-0.5.8}/src/dartsort/util/preprocess_util.py +0 -0
  165. {dartsort-0.5.7 → dartsort-0.5.8}/src/dartsort/util/py_util.py +0 -0
  166. {dartsort-0.5.7 → dartsort-0.5.8}/src/dartsort/util/registration_util.py +0 -0
  167. {dartsort-0.5.7 → dartsort-0.5.8}/src/dartsort/util/residual_util.py +0 -0
  168. {dartsort-0.5.7 → dartsort-0.5.8}/src/dartsort/util/sparse_util.py +0 -0
  169. {dartsort-0.5.7 → dartsort-0.5.8}/src/dartsort/util/spikeio.py +0 -0
  170. {dartsort-0.5.7 → dartsort-0.5.8}/src/dartsort/util/spiketorch.py +0 -0
  171. {dartsort-0.5.7 → dartsort-0.5.8}/src/dartsort/util/testing_util/__init__.py +0 -0
  172. {dartsort-0.5.7 → dartsort-0.5.8}/src/dartsort/util/testing_util/matching_debug_util.py +0 -0
  173. {dartsort-0.5.7 → dartsort-0.5.8}/src/dartsort/util/testing_util/mixture_testing_util.py +0 -0
  174. {dartsort-0.5.7 → dartsort-0.5.8}/src/dartsort/util/torch_optimization_util.py +0 -0
  175. {dartsort-0.5.7 → dartsort-0.5.8}/src/dartsort/util/torch_util.py +0 -0
  176. {dartsort-0.5.7 → dartsort-0.5.8}/src/dartsort/util/waveform_util.py +0 -0
  177. {dartsort-0.5.7 → dartsort-0.5.8}/src/dartsort/vis/__init__.py +0 -0
  178. {dartsort-0.5.7 → dartsort-0.5.8}/src/dartsort/vis/analysis_plots.py +0 -0
  179. {dartsort-0.5.7 → dartsort-0.5.8}/src/dartsort/vis/colors.py +0 -0
  180. {dartsort-0.5.7 → dartsort-0.5.8}/src/dartsort/vis/gt.py +0 -0
  181. {dartsort-0.5.7 → dartsort-0.5.8}/src/dartsort/vis/layout.py +0 -0
  182. {dartsort-0.5.7 → dartsort-0.5.8}/src/dartsort/vis/metrics_util.py +0 -0
  183. {dartsort-0.5.7 → dartsort-0.5.8}/src/dartsort/vis/mixture.py +0 -0
  184. {dartsort-0.5.7 → dartsort-0.5.8}/src/dartsort/vis/recanim.py +0 -0
  185. {dartsort-0.5.7 → dartsort-0.5.8}/src/dartsort/vis/scatterplots.py +0 -0
  186. {dartsort-0.5.7 → dartsort-0.5.8}/src/dartsort/vis/sorting.py +0 -0
  187. {dartsort-0.5.7 → dartsort-0.5.8}/src/dartsort/vis/unit.py +0 -0
  188. {dartsort-0.5.7 → dartsort-0.5.8}/src/dartsort/vis/unit_comparison.py +0 -0
  189. {dartsort-0.5.7 → dartsort-0.5.8}/src/dartsort/vis/versus.py +0 -0
  190. {dartsort-0.5.7 → dartsort-0.5.8}/src/dartsort/vis/vismain.py +0 -0
  191. {dartsort-0.5.7 → dartsort-0.5.8}/src/dartsort/vis/waveforms.py +0 -0
  192. {dartsort-0.5.7 → dartsort-0.5.8}/src/dartsort.egg-info/SOURCES.txt +0 -0
  193. {dartsort-0.5.7 → dartsort-0.5.8}/src/dartsort.egg-info/dependency_links.txt +0 -0
  194. {dartsort-0.5.7 → dartsort-0.5.8}/src/dartsort.egg-info/entry_points.txt +0 -0
  195. {dartsort-0.5.7 → dartsort-0.5.8}/src/dartsort.egg-info/requires.txt +0 -0
  196. {dartsort-0.5.7 → dartsort-0.5.8}/src/dartsort.egg-info/top_level.txt +0 -0
  197. {dartsort-0.5.7 → dartsort-0.5.8}/tests/conftest.py +0 -0
  198. {dartsort-0.5.7 → dartsort-0.5.8}/tests/test_alignment.py +0 -0
  199. {dartsort-0.5.7 → dartsort-0.5.8}/tests/test_cluster_util.py +0 -0
  200. {dartsort-0.5.7 → dartsort-0.5.8}/tests/test_clustering.py +0 -0
  201. {dartsort-0.5.7 → dartsort-0.5.8}/tests/test_config.py +0 -0
  202. {dartsort-0.5.7 → dartsort-0.5.8}/tests/test_dartsort.py +0 -0
  203. {dartsort-0.5.7 → dartsort-0.5.8}/tests/test_data_util.py +0 -0
  204. {dartsort-0.5.7 → dartsort-0.5.8}/tests/test_density.py +0 -0
  205. {dartsort-0.5.7 → dartsort-0.5.8}/tests/test_detect.py +0 -0
  206. {dartsort-0.5.7 → dartsort-0.5.8}/tests/test_drift_util.py +0 -0
  207. {dartsort-0.5.7 → dartsort-0.5.8}/tests/test_drifty_matching.py +0 -0
  208. {dartsort-0.5.7 → dartsort-0.5.8}/tests/test_enforce_decrease.py +0 -0
  209. {dartsort-0.5.7 → dartsort-0.5.8}/tests/test_grab_and_featurize.py +0 -0
  210. {dartsort-0.5.7 → dartsort-0.5.8}/tests/test_kmeans.py +0 -0
  211. {dartsort-0.5.7 → dartsort-0.5.8}/tests/test_linalg.py +0 -0
  212. {dartsort-0.5.7 → dartsort-0.5.8}/tests/test_localize_torch.py +0 -0
  213. {dartsort-0.5.7 → dartsort-0.5.8}/tests/test_matching.py +0 -0
  214. {dartsort-0.5.7 → dartsort-0.5.8}/tests/test_mixture_classifier.py +0 -0
  215. {dartsort-0.5.7 → dartsort-0.5.8}/tests/test_modeling.py +0 -0
  216. {dartsort-0.5.7 → dartsort-0.5.8}/tests/test_simkit.py +0 -0
  217. {dartsort-0.5.7 → dartsort-0.5.8}/tests/test_spiketorch.py +0 -0
  218. {dartsort-0.5.7 → dartsort-0.5.8}/tests/test_subtract.py +0 -0
  219. {dartsort-0.5.7 → dartsort-0.5.8}/tests/test_templates.py +0 -0
  220. {dartsort-0.5.7 → dartsort-0.5.8}/tests/test_threshold.py +0 -0
  221. {dartsort-0.5.7 → dartsort-0.5.8}/tests/test_torch_optimization_util.py +0 -0
  222. {dartsort-0.5.7 → dartsort-0.5.8}/tests/test_transform.py +0 -0
  223. {dartsort-0.5.7 → dartsort-0.5.8}/tests/test_util.py +0 -0
  224. {dartsort-0.5.7 → dartsort-0.5.8}/tests/test_waveform_util.py +0 -0
  225. {dartsort-0.5.7 → dartsort-0.5.8}/zensical.toml +0 -0
@@ -1,6 +1,6 @@
1
1
  Metadata-Version: 2.4
2
2
  Name: dartsort
3
- Version: 0.5.7
3
+ Version: 0.5.8
4
4
  Summary: DARTsort
5
5
  Author-email: Charlie Windolf <ciw2048@gmail.com>
6
6
  Project-URL: Homepage, https://github.com/cwindolf/dartsort
@@ -11,6 +11,7 @@ from .clustering import (
11
11
  kmeans,
12
12
  merge,
13
13
  refinement_strategies,
14
+ deduplicate_spikes,
14
15
  )
15
16
  from .config import *
16
17
  from .evaluate import config_grid, hybrid_util, simkit, simlib
@@ -1,2 +1,3 @@
1
1
  from .clustering_features import SimpleMatrixFeatures, StableWaveformFeatures
2
2
  from .clustering import get_clusterer, clustering_strategies, refinement_strategies, TMMRefinement
3
+ from .agglomerate import deduplicate_spikes
@@ -6199,7 +6199,7 @@ if TORCH_IS_OLD:
6199
6199
 
6200
6200
  def _nonzero_static(x: Tensor, size: int):
6201
6201
  nz = x.nonzero()
6202
- assert nz.numel() == size
6202
+ assert nz.shape[0] == size
6203
6203
  return nz
6204
6204
  else:
6205
6205
 
@@ -247,6 +247,8 @@ def _dartsort_impl(
247
247
  sampling_cfg=cfg.peeler_sampling_cfg,
248
248
  waveform_cfg=cfg.waveform_cfg,
249
249
  overwrite=overwrite,
250
+ _saving_intermediates=cfg.save_intermediate_features,
251
+ _save_dir=output_dir,
250
252
  )
251
253
  ret["motion"] = motion
252
254
 
@@ -436,7 +436,13 @@ class DARTsortSorting:
436
436
  parent_h5_path=h5_path,
437
437
  )
438
438
 
439
- def save(self, sorting_npz: str | Path):
439
+ def save(
440
+ self,
441
+ sorting_npz: str | Path,
442
+ save_h5_path: bool = True,
443
+ pack_simple_features: bool = False,
444
+ pack_extra_features: Sequence[str] | None = None,
445
+ ):
440
446
  """Save to npz (usually dartsort_sorting.npz)
441
447
 
442
448
  Support persisting myself in non-h5-supportable cases
@@ -445,6 +451,18 @@ class DARTsortSorting:
445
451
  - When I have new labels.
446
452
  This is done by saving to .npz, with a pointer (like a relative symlink)
447
453
  to the .h5 file if it exists.
454
+
455
+ Parameters
456
+ ----------
457
+ sorting_npz: str or Path
458
+ Path to save to
459
+ save_h5_path: bool
460
+ Whether to save the pointer to the hdf5 file.
461
+ pack_simple_features: bool, optional
462
+ If true, "simple features" (ie, 1d ones) will be stored
463
+ in the npz.
464
+ pack_extra_features: Sequence[str], optional
465
+ Additional features to save directly in the npz.
448
466
  """
449
467
  sorting_npz = ensure_path(sorting_npz)
450
468
  logger.dartsortdebug(f"Saving {self} to {sorting_npz}.")
@@ -455,9 +473,10 @@ class DARTsortSorting:
455
473
  )
456
474
  if self.labels is not None:
457
475
  data["labels"] = self.labels
458
-
459
- have_hdf5 = self.parent_h5_path is not None
460
- if have_hdf5:
476
+ if hasattr(self, "geom"):
477
+ data["geom"] = getattr(self, "geom")
478
+ do_hdf5 = save_h5_path and self.parent_h5_path is not None
479
+ if do_hdf5:
461
480
  # path needs to be relative to npz path's parent in case user moves stuff
462
481
  h5p = ensure_path(self.parent_h5_path, strict=True)
463
482
  try:
@@ -471,10 +490,23 @@ class DARTsortSorting:
471
490
 
472
491
  h5p = relpath(h5p, start=sorting_npz.parent)
473
492
  data["parent_h5_path"] = np.array(str(h5p))
493
+
474
494
  data.update(self._ephemeral_features)
475
- data["ephemeral_feature_names"] = np.array(
476
- list(self._ephemeral_features.keys())
477
- )
495
+ eph_keys = list(self._ephemeral_features.keys())
496
+ for k in pack_extra_features or []:
497
+ data[k] = getattr(self, k)
498
+ eph_keys.append(k)
499
+ if pack_simple_features:
500
+ # ephemeral already stored so just need to check persistent
501
+ for k in self._persistent_features:
502
+ if k in data:
503
+ continue
504
+ v = getattr(self, k)
505
+ if 1 <= v.ndim <= 2 and v.shape[0] == self.times_samples.shape[0]:
506
+ data[k] = v
507
+ eph_keys.append(k)
508
+
509
+ data["ephemeral_feature_names"] = np.array(eph_keys)
478
510
  data["loaded_persistent_features"] = np.array(
479
511
  list(self._persistent_features.keys())
480
512
  )
@@ -495,6 +527,8 @@ class DARTsortSorting:
495
527
  channels = data["channels"]
496
528
  labels = data.get("labels", None)
497
529
  sampling_frequency = data["sampling_frequency"]
530
+ geom = data.get("geom", None)
531
+
498
532
  if isinstance(sampling_frequency, np.ndarray):
499
533
  sampling_frequency = sampling_frequency.item()
500
534
  parent_h5_path = data.get("parent_h5_path", None)
@@ -504,7 +538,12 @@ class DARTsortSorting:
504
538
  ephemeral_features = {k: data[k] for k in load_ephemeral_feature_names}
505
539
  else:
506
540
  ephemeral_features = {}
507
- loaded_persistent_features = data.get("loaded_persistent_features", [])
541
+ if geom is not None:
542
+ ephemeral_features["geom"] = geom
543
+ if parent_h5_path is not None:
544
+ loaded_persistent_features = data.get("loaded_persistent_features", [])
545
+ else:
546
+ loaded_persistent_features = []
508
547
 
509
548
  if parent_h5_path is not None:
510
549
  parent_h5_path = parent_h5_path.item()
@@ -758,7 +797,9 @@ def load(f: str | Path, labels_stem: str | None = None) -> DARTsortSorting:
758
797
  raise ValueError(f"{labels_npy} does not exist.")
759
798
  labels = np.load(labels_npy)
760
799
  if not labels.shape == st.channels.shape:
761
- raise ValueError(f"{labels_npy} shape {labels.shape} does not match channels shape {st.channels.shape}.")
800
+ raise ValueError(
801
+ f"{labels_npy} shape {labels.shape} does not match channels shape {st.channels.shape}."
802
+ )
762
803
 
763
804
  st = st.ephemeral_replace(labels=labels)
764
805
 
@@ -1095,8 +1136,9 @@ def merged_responsibilities(
1095
1136
 
1096
1137
  def explode_soft_assignment_sorting(
1097
1138
  sorting: DARTsortSorting,
1098
- responsibilities_key="gmm_responsibilities",
1099
- candidates_key="gmm_candidates",
1139
+ responsibilities_key="merged_responsibilities",
1140
+ candidates_key="merged_candidates",
1141
+ needs_merge: bool = False,
1100
1142
  ) -> DARTsortSorting:
1101
1143
  """Convert a hard-assigned sorting to a soft-assigned one
1102
1144
 
@@ -1109,19 +1151,27 @@ def explode_soft_assignment_sorting(
1109
1151
 
1110
1152
  t_s = cast(np.ndarray, getattr(sorting, "times_seconds"))
1111
1153
 
1112
- mgr = merged_responsibilities(
1113
- sorting,
1114
- responsibilities_key=responsibilities_key,
1115
- candidates_key=candidates_key,
1116
- )
1117
- mergedr = mgr["merged_responsibilities"]
1118
- c = mgr["merged_candidates"]
1119
- Klabel = mgr["K"]
1154
+ if needs_merge:
1155
+ mgr = merged_responsibilities(
1156
+ sorting,
1157
+ responsibilities_key=responsibilities_key,
1158
+ candidates_key=candidates_key,
1159
+ )
1160
+ mergedr = mgr["merged_responsibilities"]
1161
+ c = mgr["merged_candidates"]
1162
+ Klabel = mgr["K"]
1163
+ else:
1164
+ mergedr = getattr(sorting, responsibilities_key)
1165
+ c = getattr(sorting, candidates_key)
1166
+ mergedr = mergedr[:, : c.shape[1]]
1167
+ Klabel = c.max() + 1
1120
1168
 
1121
1169
  h = entropy(torch.asarray(mergedr), reduce_mean=False).numpy()
1122
1170
 
1123
1171
  # okay, having deduplicated, we are now ready to explode
1124
- nz = np.logical_and(c < Klabel, mergedr > 0)
1172
+ nz = mergedr > 0
1173
+ nz = np.logical_and(nz, c < Klabel, out=nz)
1174
+ nz = np.logical_and(nz, c >= 0, out=nz)
1125
1175
  spike_ix, candidate_ix = np.nonzero(nz)
1126
1176
 
1127
1177
  reorder = np.argsort(sorting.times_samples[spike_ix], kind="stable")
@@ -2,7 +2,7 @@ import json
2
2
  import shutil
3
3
  from dataclasses import asdict, replace
4
4
  from pathlib import Path
5
- from typing import Sequence
5
+ from typing import TYPE_CHECKING, Sequence
6
6
 
7
7
  import numpy as np
8
8
  from spikeinterface.core import BaseRecording
@@ -17,9 +17,11 @@ from ..util.internal_config import (
17
17
  RefinementConfig,
18
18
  )
19
19
  from ..util.logging_util import get_logger
20
- from ..util.motion import MotionInfo, try_load_motion_info
21
20
  from ..util.py_util import dartcopy2, dartcopytree, ensure_path
22
21
 
22
+ if TYPE_CHECKING:
23
+ from ..util.motion import MotionInfo
24
+
23
25
  logger = get_logger(__name__)
24
26
 
25
27
 
@@ -205,16 +207,22 @@ def ds_handle_link_from(cfg: DARTsortInternalConfig, output_dir: Path):
205
207
 
206
208
 
207
209
  def ds_save_features(
208
- cfg: DARTsortInternalConfig,
210
+ cfg: DARTsortInternalConfig | None,
209
211
  sorting: DARTsortSorting,
210
212
  output_dir: Path,
211
213
  work_dir: Path | None = None,
212
214
  is_final=False,
215
+ ensure_saving: bool | None = None,
213
216
  ):
214
217
  if work_dir is None:
215
218
  # nothing to copy
216
219
  return
217
- if not (cfg.save_intermediate_features or is_final):
220
+
221
+ if ensure_saving is None:
222
+ assert cfg is not None
223
+ if not (cfg.save_intermediate_features or is_final):
224
+ return
225
+ elif not ensure_saving:
218
226
  return
219
227
 
220
228
  # find h5 and models and copy
@@ -230,8 +238,10 @@ def ds_save_features(
230
238
  if models_path.exists():
231
239
  targ_models = output_dir / models_path.name
232
240
  pconv_h5 = targ_models / "pconv.h5"
233
- if cfg.matching_cfg.delete_pconv and pconv_h5.exists():
241
+ if cfg is not None and cfg.matching_cfg.delete_pconv and pconv_h5.exists():
234
242
  pconv_h5.unlink()
243
+ elif cfg is None:
244
+ assert not pconv_h5.exists() # don't know what to do with it, pass cfg
235
245
  logger.dartsortdebug(f"Copy intermediate {models_path=} -> {targ_models=}.")
236
246
  dartcopytree(cfg, models_path, targ_models)
237
247
 
@@ -281,6 +291,8 @@ def ds_fast_forward(
281
291
  next_step: int
282
292
  cur_sorting: DARTsortSorting
283
293
  """
294
+ from .motion import try_load_motion_info
295
+
284
296
  # this cur_h5 variable points to the peeling result we'll try to load
285
297
  cur_h5 = sub_h5 = store_dir / "subtraction.h5"
286
298
  cur_step = 0
@@ -58,6 +58,7 @@ def get_motion_info(
58
58
  overwrite: bool = False,
59
59
  show_progress: bool = True,
60
60
  _saving_intermediates: bool = False,
61
+ _save_dir: Path | None = None,
61
62
  ) -> "MotionInfo":
62
63
  """Get a MotionInfo object by loading from disk, from SI/dredge, or by computing it
63
64
 
@@ -66,6 +67,8 @@ def get_motion_info(
66
67
  motion based on the spike locations in the sorting object, using parameters
67
68
  from motion_cfg.
68
69
  """
70
+ from .main_util import ds_save_features
71
+
69
72
  if (motion := try_load_motion_info(output_directory, filename)) is not None:
70
73
  return motion
71
74
 
@@ -84,6 +87,7 @@ def get_motion_info(
84
87
  assert sorting is not None
85
88
  assert sampling_cfg is not None
86
89
  assert waveform_cfg is not None
90
+ output_directory = ensure_path(output_directory)
87
91
  motion_sorting = detect_for_motion(
88
92
  output_directory=output_directory,
89
93
  recording=recording,
@@ -95,6 +99,14 @@ def get_motion_info(
95
99
  overwrite=overwrite,
96
100
  show_progress=show_progress,
97
101
  )
102
+ assert _save_dir is not None
103
+ ds_save_features(
104
+ cfg=None,
105
+ sorting=motion_sorting,
106
+ work_dir=output_directory,
107
+ output_dir=_save_dir,
108
+ ensure_saving=_saving_intermediates,
109
+ )
98
110
  else:
99
111
  motion_sorting = sorting
100
112
 
@@ -1,6 +1,6 @@
1
1
  Metadata-Version: 2.4
2
2
  Name: dartsort
3
- Version: 0.5.7
3
+ Version: 0.5.8
4
4
  Summary: DARTsort
5
5
  Author-email: Charlie Windolf <ciw2048@gmail.com>
6
6
  Project-URL: Homepage, https://github.com/cwindolf/dartsort
File without changes
File without changes
File without changes
File without changes
File without changes
File without changes
File without changes
File without changes
File without changes
File without changes
File without changes
File without changes
File without changes
File without changes
File without changes
File without changes
File without changes
File without changes
File without changes
File without changes
File without changes
File without changes
File without changes
File without changes