DARTsort 0.5.29__tar.gz → 0.5.30__tar.gz

This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
Files changed (181) hide show
  1. {dartsort-0.5.29 → dartsort-0.5.30}/PKG-INFO +1 -1
  2. {dartsort-0.5.29 → dartsort-0.5.30}/src/dartsort/clustering/clustering.py +1 -0
  3. {dartsort-0.5.29 → dartsort-0.5.30}/src/dartsort/config.py +3 -3
  4. {dartsort-0.5.29 → dartsort-0.5.30}/src/dartsort/peel/peel_base.py +4 -39
  5. {dartsort-0.5.29 → dartsort-0.5.30}/src/dartsort/peel/subtract.py +10 -12
  6. {dartsort-0.5.29 → dartsort-0.5.30}/src/dartsort/peel/subtract_util.py +0 -28
  7. {dartsort-0.5.29 → dartsort-0.5.30}/src/dartsort/util/internal_config.py +4 -5
  8. {dartsort-0.5.29 → dartsort-0.5.30}/src/dartsort.egg-info/PKG-INFO +1 -1
  9. {dartsort-0.5.29 → dartsort-0.5.30}/.github/workflows/ci.yml +0 -0
  10. {dartsort-0.5.29 → dartsort-0.5.30}/.github/workflows/ci_windows.yml +0 -0
  11. {dartsort-0.5.29 → dartsort-0.5.30}/.github/workflows/deploy.yml +0 -0
  12. {dartsort-0.5.29 → dartsort-0.5.30}/.github/workflows/docs.yml +0 -0
  13. {dartsort-0.5.29 → dartsort-0.5.30}/.gitignore +0 -0
  14. {dartsort-0.5.29 → dartsort-0.5.30}/README.md +0 -0
  15. {dartsort-0.5.29 → dartsort-0.5.30}/docs/index.md +0 -0
  16. {dartsort-0.5.29 → dartsort-0.5.30}/docs/main_api.md +0 -0
  17. {dartsort-0.5.29 → dartsort-0.5.30}/docs/toolkit_api.md +0 -0
  18. {dartsort-0.5.29 → dartsort-0.5.30}/environment.yml +0 -0
  19. {dartsort-0.5.29 → dartsort-0.5.30}/notebook/.keep +0 -0
  20. {dartsort-0.5.29 → dartsort-0.5.30}/notebook/fit_and_batch_matching.py +0 -0
  21. {dartsort-0.5.29 → dartsort-0.5.30}/notebook/ibl_dandi_example.py +0 -0
  22. {dartsort-0.5.29 → dartsort-0.5.30}/pyproject.toml +0 -0
  23. {dartsort-0.5.29 → dartsort-0.5.30}/setup.cfg +0 -0
  24. {dartsort-0.5.29 → dartsort-0.5.30}/src/dartsort/__init__.py +0 -0
  25. {dartsort-0.5.29 → dartsort-0.5.30}/src/dartsort/__main__.py +0 -0
  26. {dartsort-0.5.29 → dartsort-0.5.30}/src/dartsort/cli.py +0 -0
  27. {dartsort-0.5.29 → dartsort-0.5.30}/src/dartsort/clustering/__init__.py +0 -0
  28. {dartsort-0.5.29 → dartsort-0.5.30}/src/dartsort/clustering/agglomerate.py +0 -0
  29. {dartsort-0.5.29 → dartsort-0.5.30}/src/dartsort/clustering/cluster_util.py +0 -0
  30. {dartsort-0.5.29 → dartsort-0.5.30}/src/dartsort/clustering/clustering_features.py +0 -0
  31. {dartsort-0.5.29 → dartsort-0.5.30}/src/dartsort/clustering/density.py +0 -0
  32. {dartsort-0.5.29 → dartsort-0.5.30}/src/dartsort/clustering/forward_backward.py +0 -0
  33. {dartsort-0.5.29 → dartsort-0.5.30}/src/dartsort/clustering/kmeans.py +0 -0
  34. {dartsort-0.5.29 → dartsort-0.5.30}/src/dartsort/clustering/merge.py +0 -0
  35. {dartsort-0.5.29 → dartsort-0.5.30}/src/dartsort/clustering/mixture.py +0 -0
  36. {dartsort-0.5.29 → dartsort-0.5.30}/src/dartsort/clustering/refine_util.py +0 -0
  37. {dartsort-0.5.29 → dartsort-0.5.30}/src/dartsort/detect/__init__.py +0 -0
  38. {dartsort-0.5.29 → dartsort-0.5.30}/src/dartsort/detect/detect.py +0 -0
  39. {dartsort-0.5.29 → dartsort-0.5.30}/src/dartsort/evaluate/__init__.py +0 -0
  40. {dartsort-0.5.29 → dartsort-0.5.30}/src/dartsort/evaluate/analysis.py +0 -0
  41. {dartsort-0.5.29 → dartsort-0.5.30}/src/dartsort/evaluate/comparison.py +0 -0
  42. {dartsort-0.5.29 → dartsort-0.5.30}/src/dartsort/evaluate/hybrid_util.py +0 -0
  43. {dartsort-0.5.29 → dartsort-0.5.30}/src/dartsort/evaluate/hybridkit.py +0 -0
  44. {dartsort-0.5.29 → dartsort-0.5.30}/src/dartsort/evaluate/noise_recording_tools.py +0 -0
  45. {dartsort-0.5.29 → dartsort-0.5.30}/src/dartsort/evaluate/sim_template_tools.py +0 -0
  46. {dartsort-0.5.29 → dartsort-0.5.30}/src/dartsort/evaluate/simkit.py +0 -0
  47. {dartsort-0.5.29 → dartsort-0.5.30}/src/dartsort/evaluate/simlib.py +0 -0
  48. {dartsort-0.5.29 → dartsort-0.5.30}/src/dartsort/localize/__init__.py +0 -0
  49. {dartsort-0.5.29 → dartsort-0.5.30}/src/dartsort/localize/localize_torch.py +0 -0
  50. {dartsort-0.5.29 → dartsort-0.5.30}/src/dartsort/localize/localize_util.py +0 -0
  51. {dartsort-0.5.29 → dartsort-0.5.30}/src/dartsort/main.py +0 -0
  52. {dartsort-0.5.29 → dartsort-0.5.30}/src/dartsort/peel/__init__.py +0 -0
  53. {dartsort-0.5.29 → dartsort-0.5.30}/src/dartsort/peel/grab.py +0 -0
  54. {dartsort-0.5.29 → dartsort-0.5.30}/src/dartsort/peel/matching.py +0 -0
  55. {dartsort-0.5.29 → dartsort-0.5.30}/src/dartsort/peel/matching_util/__init__.py +0 -0
  56. {dartsort-0.5.29 → dartsort-0.5.30}/src/dartsort/peel/matching_util/compressed_upsampled.py +0 -0
  57. {dartsort-0.5.29 → dartsort-0.5.30}/src/dartsort/peel/matching_util/drifty.py +0 -0
  58. {dartsort-0.5.29 → dartsort-0.5.30}/src/dartsort/peel/matching_util/matching_base.py +0 -0
  59. {dartsort-0.5.29 → dartsort-0.5.30}/src/dartsort/peel/matching_util/pairwise.py +0 -0
  60. {dartsort-0.5.29 → dartsort-0.5.30}/src/dartsort/peel/matching_util/pairwise_util.py +0 -0
  61. {dartsort-0.5.29 → dartsort-0.5.30}/src/dartsort/peel/peel_lib.py +0 -0
  62. {dartsort-0.5.29 → dartsort-0.5.30}/src/dartsort/peel/reduction_template.py +0 -0
  63. {dartsort-0.5.29 → dartsort-0.5.30}/src/dartsort/peel/shaver.py +0 -0
  64. {dartsort-0.5.29 → dartsort-0.5.30}/src/dartsort/peel/threshold.py +0 -0
  65. {dartsort-0.5.29 → dartsort-0.5.30}/src/dartsort/pretrained/default_temporal_kernel.npy +0 -0
  66. {dartsort-0.5.29 → dartsort-0.5.30}/src/dartsort/pretrained/detect_np1.pt +0 -0
  67. {dartsort-0.5.29 → dartsort-0.5.30}/src/dartsort/pretrained/detect_np2.pt +0 -0
  68. {dartsort-0.5.29 → dartsort-0.5.30}/src/dartsort/pretrained/glasbey1024.npz +0 -0
  69. {dartsort-0.5.29 → dartsort-0.5.30}/src/dartsort/pretrained/offset_trained_denoiser.pt +0 -0
  70. {dartsort-0.5.29 → dartsort-0.5.30}/src/dartsort/pretrained/offset_trained_denoiser_added_temp.pt +0 -0
  71. {dartsort-0.5.29 → dartsort-0.5.30}/src/dartsort/pretrained/offset_trained_denoiser_added_temp_boost.pt +0 -0
  72. {dartsort-0.5.29 → dartsort-0.5.30}/src/dartsort/pretrained/original_single_chan_denoiser.pt +0 -0
  73. {dartsort-0.5.29 → dartsort-0.5.30}/src/dartsort/pretrained/single_chan_denoiser.pt +0 -0
  74. {dartsort-0.5.29 → dartsort-0.5.30}/src/dartsort/templates/__init__.py +0 -0
  75. {dartsort-0.5.29 → dartsort-0.5.30}/src/dartsort/templates/get_templates.py +0 -0
  76. {dartsort-0.5.29 → dartsort-0.5.30}/src/dartsort/templates/postprocess_util.py +0 -0
  77. {dartsort-0.5.29 → dartsort-0.5.30}/src/dartsort/templates/realignment.py +0 -0
  78. {dartsort-0.5.29 → dartsort-0.5.30}/src/dartsort/templates/template_util.py +0 -0
  79. {dartsort-0.5.29 → dartsort-0.5.30}/src/dartsort/templates/templates.py +0 -0
  80. {dartsort-0.5.29 → dartsort-0.5.30}/src/dartsort/templates/templib.py +0 -0
  81. {dartsort-0.5.29 → dartsort-0.5.30}/src/dartsort/transform/__init__.py +0 -0
  82. {dartsort-0.5.29 → dartsort-0.5.30}/src/dartsort/transform/_multichan_denoiser_kit.py +0 -0
  83. {dartsort-0.5.29 → dartsort-0.5.30}/src/dartsort/transform/all_transformers.py +0 -0
  84. {dartsort-0.5.29 → dartsort-0.5.30}/src/dartsort/transform/amortized_localization.py +0 -0
  85. {dartsort-0.5.29 → dartsort-0.5.30}/src/dartsort/transform/amplitudes.py +0 -0
  86. {dartsort-0.5.29 → dartsort-0.5.30}/src/dartsort/transform/decollider.py +0 -0
  87. {dartsort-0.5.29 → dartsort-0.5.30}/src/dartsort/transform/denoising_scorer.py +0 -0
  88. {dartsort-0.5.29 → dartsort-0.5.30}/src/dartsort/transform/enforce_decrease.py +0 -0
  89. {dartsort-0.5.29 → dartsort-0.5.30}/src/dartsort/transform/fixed_prop.py +0 -0
  90. {dartsort-0.5.29 → dartsort-0.5.30}/src/dartsort/transform/interp.py +0 -0
  91. {dartsort-0.5.29 → dartsort-0.5.30}/src/dartsort/transform/localize.py +0 -0
  92. {dartsort-0.5.29 → dartsort-0.5.30}/src/dartsort/transform/matched_filter_net.py +0 -0
  93. {dartsort-0.5.29 → dartsort-0.5.30}/src/dartsort/transform/matching_denoiser.py +0 -0
  94. {dartsort-0.5.29 → dartsort-0.5.30}/src/dartsort/transform/mixture_classifier.py +0 -0
  95. {dartsort-0.5.29 → dartsort-0.5.30}/src/dartsort/transform/pipeline.py +0 -0
  96. {dartsort-0.5.29 → dartsort-0.5.30}/src/dartsort/transform/reduction.py +0 -0
  97. {dartsort-0.5.29 → dartsort-0.5.30}/src/dartsort/transform/single_channel_denoiser.py +0 -0
  98. {dartsort-0.5.29 → dartsort-0.5.30}/src/dartsort/transform/supervised_denoiser.py +0 -0
  99. {dartsort-0.5.29 → dartsort-0.5.30}/src/dartsort/transform/temporal_pca.py +0 -0
  100. {dartsort-0.5.29 → dartsort-0.5.30}/src/dartsort/transform/transform_base.py +0 -0
  101. {dartsort-0.5.29 → dartsort-0.5.30}/src/dartsort/transform/vq_matched_filter.py +0 -0
  102. {dartsort-0.5.29 → dartsort-0.5.30}/src/dartsort/transform/whiten.py +0 -0
  103. {dartsort-0.5.29 → dartsort-0.5.30}/src/dartsort/util/__init__.py +0 -0
  104. {dartsort-0.5.29 → dartsort-0.5.30}/src/dartsort/util/cli_util.py +0 -0
  105. {dartsort-0.5.29 → dartsort-0.5.30}/src/dartsort/util/data_util.py +0 -0
  106. {dartsort-0.5.29 → dartsort-0.5.30}/src/dartsort/util/drift_util.py +0 -0
  107. {dartsort-0.5.29 → dartsort-0.5.30}/src/dartsort/util/interpolation_util.py +0 -0
  108. {dartsort-0.5.29 → dartsort-0.5.30}/src/dartsort/util/job_util.py +0 -0
  109. {dartsort-0.5.29 → dartsort-0.5.30}/src/dartsort/util/logging_util.py +0 -0
  110. {dartsort-0.5.29 → dartsort-0.5.30}/src/dartsort/util/main_util.py +0 -0
  111. {dartsort-0.5.29 → dartsort-0.5.30}/src/dartsort/util/more_operators.py +0 -0
  112. {dartsort-0.5.29 → dartsort-0.5.30}/src/dartsort/util/motion.py +0 -0
  113. {dartsort-0.5.29 → dartsort-0.5.30}/src/dartsort/util/multiprocessing_util.py +0 -0
  114. {dartsort-0.5.29 → dartsort-0.5.30}/src/dartsort/util/nn_util.py +0 -0
  115. {dartsort-0.5.29 → dartsort-0.5.30}/src/dartsort/util/noise_util.py +0 -0
  116. {dartsort-0.5.29 → dartsort-0.5.30}/src/dartsort/util/peel_util.py +0 -0
  117. {dartsort-0.5.29 → dartsort-0.5.30}/src/dartsort/util/preprocess_util.py +0 -0
  118. {dartsort-0.5.29 → dartsort-0.5.30}/src/dartsort/util/py_util.py +0 -0
  119. {dartsort-0.5.29 → dartsort-0.5.30}/src/dartsort/util/registration_util.py +0 -0
  120. {dartsort-0.5.29 → dartsort-0.5.30}/src/dartsort/util/residual_util.py +0 -0
  121. {dartsort-0.5.29 → dartsort-0.5.30}/src/dartsort/util/sparse_util.py +0 -0
  122. {dartsort-0.5.29 → dartsort-0.5.30}/src/dartsort/util/spikeio.py +0 -0
  123. {dartsort-0.5.29 → dartsort-0.5.30}/src/dartsort/util/spiketorch.py +0 -0
  124. {dartsort-0.5.29 → dartsort-0.5.30}/src/dartsort/util/testing_util/__init__.py +0 -0
  125. {dartsort-0.5.29 → dartsort-0.5.30}/src/dartsort/util/testing_util/matching_debug_util.py +0 -0
  126. {dartsort-0.5.29 → dartsort-0.5.30}/src/dartsort/util/testing_util/mixture_testing_util.py +0 -0
  127. {dartsort-0.5.29 → dartsort-0.5.30}/src/dartsort/util/torch_optimization_util.py +0 -0
  128. {dartsort-0.5.29 → dartsort-0.5.30}/src/dartsort/util/torch_util.py +0 -0
  129. {dartsort-0.5.29 → dartsort-0.5.30}/src/dartsort/util/waveform_util.py +0 -0
  130. {dartsort-0.5.29 → dartsort-0.5.30}/src/dartsort/vis/__init__.py +0 -0
  131. {dartsort-0.5.29 → dartsort-0.5.30}/src/dartsort/vis/analysis_plots.py +0 -0
  132. {dartsort-0.5.29 → dartsort-0.5.30}/src/dartsort/vis/colors.py +0 -0
  133. {dartsort-0.5.29 → dartsort-0.5.30}/src/dartsort/vis/gt.py +0 -0
  134. {dartsort-0.5.29 → dartsort-0.5.30}/src/dartsort/vis/layout.py +0 -0
  135. {dartsort-0.5.29 → dartsort-0.5.30}/src/dartsort/vis/metrics_util.py +0 -0
  136. {dartsort-0.5.29 → dartsort-0.5.30}/src/dartsort/vis/mixture.py +0 -0
  137. {dartsort-0.5.29 → dartsort-0.5.30}/src/dartsort/vis/recanim.py +0 -0
  138. {dartsort-0.5.29 → dartsort-0.5.30}/src/dartsort/vis/scatterplots.py +0 -0
  139. {dartsort-0.5.29 → dartsort-0.5.30}/src/dartsort/vis/sorting.py +0 -0
  140. {dartsort-0.5.29 → dartsort-0.5.30}/src/dartsort/vis/unit.py +0 -0
  141. {dartsort-0.5.29 → dartsort-0.5.30}/src/dartsort/vis/unit_comparison.py +0 -0
  142. {dartsort-0.5.29 → dartsort-0.5.30}/src/dartsort/vis/versus.py +0 -0
  143. {dartsort-0.5.29 → dartsort-0.5.30}/src/dartsort/vis/vismain.py +0 -0
  144. {dartsort-0.5.29 → dartsort-0.5.30}/src/dartsort/vis/waveforms.py +0 -0
  145. {dartsort-0.5.29 → dartsort-0.5.30}/src/dartsort.egg-info/SOURCES.txt +0 -0
  146. {dartsort-0.5.29 → dartsort-0.5.30}/src/dartsort.egg-info/dependency_links.txt +0 -0
  147. {dartsort-0.5.29 → dartsort-0.5.30}/src/dartsort.egg-info/entry_points.txt +0 -0
  148. {dartsort-0.5.29 → dartsort-0.5.30}/src/dartsort.egg-info/requires.txt +0 -0
  149. {dartsort-0.5.29 → dartsort-0.5.30}/src/dartsort.egg-info/top_level.txt +0 -0
  150. {dartsort-0.5.29 → dartsort-0.5.30}/tests/conftest.py +0 -0
  151. {dartsort-0.5.29 → dartsort-0.5.30}/tests/test_agglomerate.py +0 -0
  152. {dartsort-0.5.29 → dartsort-0.5.30}/tests/test_alignment.py +0 -0
  153. {dartsort-0.5.29 → dartsort-0.5.30}/tests/test_cluster_util.py +0 -0
  154. {dartsort-0.5.29 → dartsort-0.5.30}/tests/test_clustering.py +0 -0
  155. {dartsort-0.5.29 → dartsort-0.5.30}/tests/test_clustering_features.py +0 -0
  156. {dartsort-0.5.29 → dartsort-0.5.30}/tests/test_config.py +0 -0
  157. {dartsort-0.5.29 → dartsort-0.5.30}/tests/test_dartsort.py +0 -0
  158. {dartsort-0.5.29 → dartsort-0.5.30}/tests/test_data_util.py +0 -0
  159. {dartsort-0.5.29 → dartsort-0.5.30}/tests/test_density.py +0 -0
  160. {dartsort-0.5.29 → dartsort-0.5.30}/tests/test_detect.py +0 -0
  161. {dartsort-0.5.29 → dartsort-0.5.30}/tests/test_drift_util.py +0 -0
  162. {dartsort-0.5.29 → dartsort-0.5.30}/tests/test_drifty_matching.py +0 -0
  163. {dartsort-0.5.29 → dartsort-0.5.30}/tests/test_enforce_decrease.py +0 -0
  164. {dartsort-0.5.29 → dartsort-0.5.30}/tests/test_grab_and_featurize.py +0 -0
  165. {dartsort-0.5.29 → dartsort-0.5.30}/tests/test_hybridkit.py +0 -0
  166. {dartsort-0.5.29 → dartsort-0.5.30}/tests/test_kmeans.py +0 -0
  167. {dartsort-0.5.29 → dartsort-0.5.30}/tests/test_linalg.py +0 -0
  168. {dartsort-0.5.29 → dartsort-0.5.30}/tests/test_localize_torch.py +0 -0
  169. {dartsort-0.5.29 → dartsort-0.5.30}/tests/test_matching.py +0 -0
  170. {dartsort-0.5.29 → dartsort-0.5.30}/tests/test_mixture_classifier.py +0 -0
  171. {dartsort-0.5.29 → dartsort-0.5.30}/tests/test_modeling.py +0 -0
  172. {dartsort-0.5.29 → dartsort-0.5.30}/tests/test_simkit.py +0 -0
  173. {dartsort-0.5.29 → dartsort-0.5.30}/tests/test_spiketorch.py +0 -0
  174. {dartsort-0.5.29 → dartsort-0.5.30}/tests/test_subtract.py +0 -0
  175. {dartsort-0.5.29 → dartsort-0.5.30}/tests/test_templates.py +0 -0
  176. {dartsort-0.5.29 → dartsort-0.5.30}/tests/test_threshold.py +0 -0
  177. {dartsort-0.5.29 → dartsort-0.5.30}/tests/test_torch_optimization_util.py +0 -0
  178. {dartsort-0.5.29 → dartsort-0.5.30}/tests/test_transform.py +0 -0
  179. {dartsort-0.5.29 → dartsort-0.5.30}/tests/test_util.py +0 -0
  180. {dartsort-0.5.29 → dartsort-0.5.30}/tests/test_waveform_util.py +0 -0
  181. {dartsort-0.5.29 → dartsort-0.5.30}/zensical.toml +0 -0
@@ -1,6 +1,6 @@
1
1
  Metadata-Version: 2.4
2
2
  Name: dartsort
3
- Version: 0.5.29
3
+ Version: 0.5.30
4
4
  Summary: DARTsort
5
5
  Author-email: Charlie Windolf <ciw2048@gmail.com>
6
6
  Project-URL: Homepage, https://github.com/cwindolf/dartsort
@@ -838,6 +838,7 @@ class TMMRefinement(Refinement):
838
838
  save_step_labels_format=self.labels_fmt,
839
839
  save_step_labels_dir=self.save_labels_dir,
840
840
  save_cfg=self.save_cfg,
841
+ seed=self.refinement_cfg.sampling_cfg.seed,
841
842
  skip_final_assign_and_return_mix_data=skip_final_assign_and_return_mix_data,
842
843
  )
843
844
  gc.collect()
@@ -374,8 +374,8 @@ class DeveloperConfig(DARTsortUserConfig):
374
374
  kmeanspp_patience: int = 21
375
375
  kmeanspp_greedy_proposals: int = 1
376
376
  kmeanspp_neighb_overlap: float | None = None
377
- kmeanspp_selection: KmeansppSelection = "phi"
378
- kmeanspp_stopping: KmeansppStopping = "patience"
377
+ kmeanspp_selection: KmeansppSelection = "marginal"
378
+ kmeanspp_stopping: KmeansppStopping = "dpmeanspp"
379
379
 
380
380
  # filters
381
381
  gmm_isolation_threshold: float | None = None
@@ -406,7 +406,7 @@ class DeveloperConfig(DARTsortUserConfig):
406
406
  gmm_n_candidates: int = 5
407
407
  gmm_n_search: int | None = 3
408
408
  gmm_val_proportion: Annotated[float, Field(gt=0)] = 0.5
409
- gmm_batch_size: int = 2048
409
+ gmm_batch_size: int = 4096
410
410
  initial_basis_shrinkage: float = 1.0
411
411
  prior_pseudocount: float = 0.0
412
412
  cov_kind: str = "factorizednoise"
@@ -907,17 +907,10 @@ class BasePeeler(BModule):
907
907
  def sample_chunks(
908
908
  self, chunk_starts_samples: np.ndarray, n_chunks: int, ordered: bool = False
909
909
  ) -> np.ndarray:
910
- if self.fit_sampling_cfg.chunk_sampling == "random":
911
- rg = np.random.default_rng(self.random_seed)
912
- chunk_starts_samples = rg.choice(
913
- chunk_starts_samples, size=n_chunks, replace=False
914
- )
915
- elif self.fit_sampling_cfg.chunk_sampling == "kmeanspp":
916
- _ix = _kmeansppix(len(chunk_starts_samples), n_chunks, self.random_seed)
917
- chunk_starts_samples = chunk_starts_samples[_ix]
918
- else:
919
- panic(self.fit_sampling_cfg.chunk_sampling)
920
-
910
+ rg = np.random.default_rng(self.random_seed)
911
+ chunk_starts_samples = rg.choice(
912
+ chunk_starts_samples, size=n_chunks, replace=False
913
+ )
921
914
  if ordered:
922
915
  chunk_starts_samples.sort()
923
916
 
@@ -1354,31 +1347,3 @@ def _peeler_process_job(chunk_start_samples__n_resid_snips):
1354
1347
  skip_features=_peeler_process_context.ctx.skip_features,
1355
1348
  to_cpu=_peeler_process_context.ctx.to_cpu,
1356
1349
  )
1357
-
1358
-
1359
- def _kmeansppix(n: int, k: int | None = None, seed=0):
1360
- rg = np.random.default_rng(seed)
1361
- k = k if k is not None else n
1362
- assert 0 < k <= n
1363
-
1364
- xx = np.arange(float(n))
1365
- xx -= np.mean(xx)
1366
- xx /= np.std(xx)
1367
-
1368
- inds = np.full((k,), n + 1, dtype=np.int64)
1369
- inds[0] = rg.integers(n)
1370
-
1371
- dist = xx - xx[inds[0]]
1372
- dist *= dist
1373
-
1374
- scratch = np.empty_like(dist)
1375
-
1376
- for j in range(1, k):
1377
- p = np.divide(dist, dist.sum(), out=scratch)
1378
- inds[j] = rg.choice(n, p=p)
1379
- dj = np.subtract(xx, xx[inds[j]], out=scratch)
1380
- dj *= dj
1381
- np.minimum(dist, dj, out=dist)
1382
-
1383
- assert np.unique(inds).shape == (k,)
1384
- return inds
@@ -43,7 +43,6 @@ from .subtract_util import (
43
43
  ChunkSubtracter,
44
44
  make_peak_proposer,
45
45
  proposal_filters_from_pipeline,
46
- proposal_fit_featurization_cfg,
47
46
  with_proposal_filters,
48
47
  )
49
48
 
@@ -64,7 +63,6 @@ class SubtractionPeeler(BasePeeler):
64
63
  p: SubtractionConfig = default_subtraction_cfg,
65
64
  waveform_cfg: WaveformConfig = default_waveform_cfg,
66
65
  fit_sampling_cfg: FitSamplingConfig = default_peeling_fit_sampling_cfg,
67
- featurization_cfg: FeaturizationConfig | None = None,
68
66
  save_iteration=False,
69
67
  save_residnorm_decrease=False,
70
68
  save_collidedness=False,
@@ -94,8 +92,6 @@ class SubtractionPeeler(BasePeeler):
94
92
  self.save_iteration = save_iteration
95
93
  self.save_residnorm_decrease = save_residnorm_decrease
96
94
  self.save_collidedness = save_collidedness
97
- # non-voltage proposal may need this config
98
- self.featurization_cfg = featurization_cfg
99
95
  self.dedup_batch_size = self.nearest_batch_length()
100
96
  if self.p.whiten:
101
97
  self.threshold = self.p.threshold_before_whitening
@@ -388,7 +384,6 @@ class SubtractionPeeler(BasePeeler):
388
384
  p=subtraction_cfg,
389
385
  waveform_cfg=waveform_cfg,
390
386
  fit_sampling_cfg=sampling_cfg,
391
- featurization_cfg=featurization_cfg,
392
387
  save_iteration=subtraction_cfg.save_iteration,
393
388
  save_residnorm_decrease=subtraction_cfg.save_residnorm_decrease,
394
389
  save_collidedness=save_collidedness,
@@ -628,10 +623,8 @@ class SubtractionPeeler(BasePeeler):
628
623
 
629
624
  def _threshold_to_fit(self, tmp_dir, fit_pipeline, computation_cfg):
630
625
  threshold_cfg = ThresholdingConfig(
631
- detection_proposal=self.p.detection_proposal,
632
- proposal_filters=self.p.proposal_filters,
626
+ detection_proposal="voltage",
633
627
  voltage_threshold=self.p.voltage_threshold,
634
- proposal_threshold=self.p.proposal_threshold,
635
628
  spatial_dedup_radius_um=(
636
629
  self.p.first_denoiser_spatial_dedup_radius or self.p.subtract_radius_um
637
630
  ),
@@ -659,10 +652,15 @@ class SubtractionPeeler(BasePeeler):
659
652
  waveform_cfg=self.waveform_cfg,
660
653
  channel_index=self.b.sub_channel_index,
661
654
  threshold_cfg=threshold_cfg,
662
- featurization_cfg=proposal_fit_featurization_cfg(
663
- self.featurization_cfg,
664
- self.p.detection_proposal,
665
- self.p.proposal_filters,
655
+ featurization_cfg=FeaturizationConfig(
656
+ do_tpca_denoise=False,
657
+ do_enforce_decrease="no",
658
+ save_input_voltages=False,
659
+ save_input_waveforms=True,
660
+ save_input_tpca_projs=False,
661
+ save_amplitudes=False,
662
+ do_localization=False,
663
+ input_waveforms_name="",
666
664
  ),
667
665
  sampling_cfg=sampling_cfg,
668
666
  max_waveforms_fit=self.p.first_denoiser_max_waveforms_fit,
@@ -708,34 +708,6 @@ def with_proposal_filters(
708
708
  panic(proposal)
709
709
 
710
710
 
711
- def proposal_fit_featurization_cfg(
712
- featurization_cfg: FeaturizationConfig | None,
713
- proposal: DetectionProposal,
714
- n_filters: int,
715
- ) -> FeaturizationConfig:
716
- if featurization_cfg is None and proposal != "voltage":
717
- raise ValueError(
718
- f"{proposal=} needs the featurization config its filters are fit with."
719
- )
720
- if featurization_cfg is None:
721
- featurization_cfg = FeaturizationConfig()
722
- waveforms_only = FeaturizationConfig(
723
- do_tpca_denoise=False,
724
- do_enforce_decrease="no",
725
- save_input_voltages=False,
726
- save_input_waveforms=True,
727
- save_input_tpca_projs=False,
728
- save_amplitudes=False,
729
- do_localization=False,
730
- input_waveforms_name="",
731
- tpca_rank=featurization_cfg.tpca_rank,
732
- tpca_fit_radius=featurization_cfg.tpca_fit_radius,
733
- tpca_max_waveforms=featurization_cfg.tpca_max_waveforms,
734
- input_tpca_waveform_cfg=featurization_cfg.input_tpca_waveform_cfg,
735
- )
736
- return with_proposal_filters(waveforms_only, proposal, n_filters)
737
-
738
-
739
711
  def proposal_filters_from_pipeline(
740
712
  pipeline: "WaveformPipeline", proposal: DetectionProposal, n_filters: int
741
713
  ) -> tuple[Tensor, int]:
@@ -229,7 +229,6 @@ class FitSamplingConfig:
229
229
  residual_snip_ms: float | None = None
230
230
  residual_sampling_target_density: float = 0.5
231
231
  seed: int = 0
232
- chunk_sampling: Literal["random", "kmeanspp"] = "kmeanspp"
233
232
  fit_sampling: FitSamplingMethod = "amp_reweighted"
234
233
  fit_max_reweighting: float = default_fit_max_reweighting
235
234
  n_seconds_fit: int = 100
@@ -522,8 +521,8 @@ class RefinementConfig:
522
521
  merge_group_size: int = 5
523
522
  n_search: int | None = 3
524
523
  n_explore: int | None = None
525
- train_batch_size: int = 2048
526
- eval_batch_size: int = 2048
524
+ train_batch_size: int = 4096
525
+ eval_batch_size: int = 4096
527
526
  split_friend_distance: float = 0.8
528
527
  split_distance_threshold: float = 1.5
529
528
  merge_distance_threshold: float = 1.5
@@ -543,8 +542,8 @@ class RefinementConfig:
543
542
  kmeanspp_patience: int = 21
544
543
  kmeanspp_greedy_proposals: int = 1
545
544
  kmeanspp_neighb_overlap: float | None = None
546
- kmeanspp_selection: KmeansppSelection = "phi"
547
- kmeanspp_stopping: KmeansppStopping = "patience"
545
+ kmeanspp_selection: KmeansppSelection = "marginal"
546
+ kmeanspp_stopping: KmeansppStopping = "dpmeanspp"
548
547
  full_proposal_every: int = 10
549
548
  main_min_iters: int = 20
550
549
  search_adj: Literal["top", "explore"] = "top"
@@ -1,6 +1,6 @@
1
1
  Metadata-Version: 2.4
2
2
  Name: dartsort
3
- Version: 0.5.29
3
+ Version: 0.5.30
4
4
  Summary: DARTsort
5
5
  Author-email: Charlie Windolf <ciw2048@gmail.com>
6
6
  Project-URL: Homepage, https://github.com/cwindolf/dartsort
File without changes
File without changes
File without changes
File without changes
File without changes
File without changes
File without changes
File without changes
File without changes
File without changes
File without changes
File without changes
File without changes