scdataloader 1.9.1__py3-none-any.whl → 2.0.0__py3-none-any.whl

scdataloader/__init__.py

@@ -1,7 +1,8 @@
+from importlib.metadata import version
+
 from .collator import Collator
 from .data import Dataset, SimpleAnnDataset
 from .datamodule import DataModule
 from .preprocess import Preprocessor
-from importlib.metadata import version
 
 __version__ = version("scdataloader")

scdataloader/collator.py

@@ -3,7 +3,7 @@ from typing import Optional
 import numpy as np
 from torch import Tensor, long
 
-from .utils import downsample_profile, load_genes
+from .utils import load_genes
 
 
 class Collator:
@@ -22,8 +22,6 @@ class Collator:
         organism_name: str = "organism_ontology_term_id",
         class_names: list[str] = [],
         genelist: list[str] = [],
-        downsample: Optional[float] = None,  # don't use it for training!
-        save_output: Optional[str] = None,
     ):
         """
         This class is responsible for collating data for the scPRINT model. It handles the
@@ -57,13 +55,8 @@ class Collator:
             class_names (list, optional): List of other classes to be considered. Defaults to [].
             genelist (list, optional): List of genes to be considered. Defaults to [].
                 If [] all genes will be considered
-            downsample (float, optional): Downsample the profile to a certain number of cells. Defaults to None.
-                This is usually done by the scPRINT model during training but this option allows you to do it directly from the collator
-            save_output (str, optional): If not None, saves the output to a file. Defaults to None.
-                This is mainly for debugging purposes
         """
         self.organisms = organisms
-        self.genedf = load_genes(organisms)
         self.max_len = max_len
         self.n_bins = n_bins
         self.add_zero_genes = add_zero_genes
@@ -75,14 +68,14 @@ class Collator:
         self.organism_name = organism_name
         self.tp_name = tp_name
         self.class_names = class_names
-        self.save_output = save_output
         self.start_idx = {}
         self.accepted_genes = {}
-        self.downsample = downsample
         self.to_subset = {}
-        self._setup(org_to_id, valid_genes, genelist)
+        self._setup(None, org_to_id, valid_genes, genelist)
 
-    def _setup(self, org_to_id=None, valid_genes=[], genelist=[]):
+    def _setup(self, genedf=None, org_to_id=None, valid_genes=[], genelist=[]):
+        if genedf is None:
+            genedf = load_genes(self.organisms)
         self.org_to_id = org_to_id
         self.to_subset = {}
         self.accepted_genes = {}
@@ -92,14 +85,17 @@ class Collator:
             if org_to_id is not None
             else set(self.organisms)
         )
+        if len(valid_genes) > 0:
+            if len(set(valid_genes) - set(genedf.index)) > 0:
+                print("Some valid genes are not in the genedf!!!")
+            tot = genedf[genedf.index.isin(valid_genes)]
+        else:
+            tot = genedf
         for organism in self.organisms:
-            ogenedf = self.genedf[self.genedf.organism == organism]
-            if len(valid_genes) > 0:
-                tot = self.genedf[self.genedf.index.isin(valid_genes)]
-            else:
-                tot = self.genedf
             org = org_to_id[organism] if org_to_id is not None else organism
             self.start_idx.update({org: np.where(tot.organism == organism)[0][0]})
+
+            ogenedf = genedf[genedf.organism == organism]
             if len(valid_genes) > 0:
                 self.accepted_genes.update({org: ogenedf.index.isin(valid_genes)})
             if len(genelist) > 0:
@@ -148,7 +144,6 @@ class Collator:
                         :, self.accepted_genes[organism_id]
                     ]
             if self.how == "most expr":
-                nnz_loc = np.where(expr > 0)[0]
                 if "knn_cells" in elem:
                     nnz_loc = np.where(expr + elem["knn_cells"].sum(0) > 0)[0]
                     ma = self.max_len if self.max_len < len(nnz_loc) else len(nnz_loc)
@@ -161,14 +156,18 @@ class Collator:
                 # loc = np.argsort(expr)[-(self.max_len) :][::-1]
             elif self.how == "random expr":
                 nnz_loc = np.where(expr > 0)[0]
-                loc = nnz_loc[
-                    np.random.choice(
-                        len(nnz_loc),
-                        self.max_len if self.max_len < len(nnz_loc) else len(nnz_loc),
-                        replace=False,
-                        # p=(expr.max() + (expr[nnz_loc])*19) / expr.max(), # 20 at most times more likely to be selected
-                    )
-                ]
+                loc = (
+                    nnz_loc[
+                        np.random.choice(
+                            len(nnz_loc),
+                            self.max_len,
+                            replace=False,
+                            # p=(expr.max() + (expr[nnz_loc])*19) / expr.max(), # 20 at most times more likely to be selected
+                        )
+                    ]
+                    if self.max_len < len(nnz_loc)
+                    else nnz_loc
+                )
             elif self.how in ["all", "some"]:
                 loc = np.arange(len(expr))
             else:
@@ -179,23 +178,19 @@ class Collator:
                 "all",
                 "some",
             ]:
+                ma = self.add_zero_genes + (
+                    0 if self.max_len < len(nnz_loc) else self.max_len - len(nnz_loc)
+                )
                 if "knn_cells" in elem:
                     # we complete with genes expressed in the knn
-                    nnz_loc = np.where(elem["knn_cells"].sum(0) > 0)[0]
-                    ma = self.max_len if self.max_len < len(nnz_loc) else len(nnz_loc)
                     # which is not a zero_loc in this context
-                    zero_loc = np.argsort(elem["knn_cells"].sum(0))[-(ma):][::-1]
+                    zero_loc = np.argsort(elem["knn_cells"].sum(0))[-ma:][::-1]
                 else:
                     zero_loc = np.where(expr == 0)[0]
                     zero_loc = zero_loc[
                         np.random.choice(
                             len(zero_loc),
-                            self.add_zero_genes
-                            + (
-                                0
-                                if self.max_len < len(nnz_loc)
-                                else self.max_len - len(nnz_loc)
-                            ),
+                            ma,
                             replace=False,
                         )
                     ]
@@ -255,13 +250,6 @@ class Collator:
             ret.update({"knn_cells": Tensor(knn_cells)})
         if len(dataset) > 0:
             ret.update({"dataset": Tensor(dataset).to(long)})
-        if self.downsample is not None:
-            ret["x"] = downsample_profile(ret["x"], self.downsample)
-        if self.save_output is not None:
-            with open(self.save_output, "a") as f:
-                np.savetxt(f, ret["x"].numpy())
-            with open(self.save_output + "_loc", "a") as f:
-                np.savetxt(f, gene_locs)
         return ret
 
 

scdataloader/config.py

@@ -113,26 +113,34 @@ COARSE_ASSAY = {
 
 
 MAIN_HUMAN_MOUSE_DEV_STAGE_MAP = {
-    "HsapDv:0010000": [
+    "HsapDv:0010000": [  # postnatal stage
         "MmusDv:0000092",  # postnatal stage
     ],
-    "HsapDv:0000258": [  # mature stage
+    "HsapDv:0000258": [  # mature stage >15
         "MmusDv:0000110",  # mature stage
-        "HsapDv:0000204", # 
+        "HsapDv:0000204",  #
     ],
-    "HsapDv:0000227": [  # late adult stage
+    "HsapDv:0000087": [],  # adult stage >19
+    "HsapDv:0000227": [  # late adult stage > 40
         "MmusDv:0000091",  # 20 month-old stage
         "MmusDv:0000089",  # 18 month-old stage
+        "HsapDv:0000091",  # > 45
+        "HsapDv:0000093",  # > 65
+    ],
+    "HsapDv:0000272": [  # 60-79 year-old stage
+        "HsapDv:0000094",  # 60-79 year-old stage
     ],
-    "HsapDv:0000272": [],  # 60-79 year-old stage
     "HsapDv:0000095": [],  # 80 year-old and over stage
-    "HsapDv:0000267": [  # middle aged stage
+    "HsapDv:0000267": [  # middle aged stage >40 <60
         "MmusDv:0000087",  # 16 month-old stage
         "UBERON:0018241",  # prime adult stage
         "MmusDv:0000083",  # 12 month-old stage
         "HsapDv:0000092",  # same
     ],
-    "HsapDv:0000266": [  # young adult stage
+    "HsapDv:0000266": [  # young adult stage <40
+        "HsapDv:0000088",  # mature stage
+        "HsapDv:0000090",  # 25 - 44
+        "HsapDv:0000086",  # adolescent stage
         "MmusDv:0000050",  # 6 weeks
         "HsapDv:0000089",  # same
         "MmusDv:0000051",  # 7 weeks
@@ -163,22 +171,30 @@ MAIN_HUMAN_MOUSE_DEV_STAGE_MAP = {
         "MmusDv:0000099",  # 26 weeks
         "MmusDv:0000102",  # 29 weeks
     ],
-    "HsapDv:0000265": [],  # child stage (1-4 yo)
+    "HsapDv:0000265": [  # child stage (1-4 yo)
+        "HsapDv:0000084",  # 2-5 yo
+    ],
     "HsapDv:0000271": [  # juvenile stage (5-14 yo)
         "MmusDv:0000048",  # 4 weeks
         "MmusDv:0000049",  # 5 weeks
+        "HsapDv:0000081",  # child
+        "HsapDv:0000085",  # 6-11 yo
     ],
-    "HsapDv:0000260": [  # infant stage
+    "HsapDv:0000260": [  # infant stage <2
         "MmusDv:0000046",  # 2 weeks
         "MmusDv:0000045",  # 1 week
         "MmusDv:0000047",  # 3 weeks
         "HsapDv:0000083",
+        "HsapDv:0000256",  # under 1 yo
     ],
     "HsapDv:0000262": [  # newborn stage (0-28 days)
         "MmusDv:0000036",  # Theiler stage 27
         "MmusDv:0000037",  # Theiler stage 28
         "MmusDv:0000113",  # 4-7 days
+        "HsapDv:0000174",  # 1 month-old stage
+        "HsapDv:0000082",  # newborn stage
     ],
+    "HsapDv:0000002": [],  # embryonic stage
     "HsapDv:0000007": [],  # Carnegie stage 03
     "HsapDv:0000008": [],  # Carnegie stage 04
     "HsapDv:0000009": [],  # Carnegie stage 05

scdataloader/data.json

@@ -0,0 +1,384 @@
+'lung': 42877488
+'blood': 34180713
+'brain': 29530595
+'colon': 25830811
+'unknown': 23810521
+'pancreas': 21597602
+'embryo': 16976623
+'skin': 12513695
+'liver': 10683313
+'breast': 10539762
+'marrow': 9543512
+'kidney': 8213043
+'heart': 4800567
+'immune system': 4687291
+'eye': 4677504
+# 'other (310 tissues)': 87200000
+'UBERON:0002106': 4559701
+'UBERON:0000029': 4314740
+'UBERON:0000945': 4244624
+'UBERON:0001295': 3485757
+'UBERON:0002049': 3350893
+'UBERON:0002108': 3226581
+'UBERON:0001255': 2961628
+'UBERON:0001434': 2823653
+'UBERON:0001004': 2588530
+'UBERON:0002037': 2101623
+'UBERON:0001015': 1920181
+'UBERON:0000995': 1864451
+'UBERON:0001013': 1853702
+'UBERON:0001017': 1818861
+'UBERON:0002240': 1704269
+'UBERON:0009834': 1631471
+'UBERON:0000002': 1596082
+'UBERON:0001893': 1565863
+'UBERON:0001851': 1513857
+'UBERON:0002771': 1317262
+'UBERON:0002367': 1301074
+'UBERON:0002369': 1279963
+'UBERON:0000956': 1252422
+'UBERON:0013682': 1195809
+'UBERON:0000160': 1156931
+'UBERON:0001987': 1127465
+'UBERON:0001043': 1015278
+'UBERON:0001032': 1011915
+'UBERON:0000992': 948464
+'UBERON:0000010': 897312
+'UBERON:0000473': 838235
+'UBERON:0002368': 814761
+'UBERON:0002084': 761793
+'UBERON:0001870': 730928
+'UBERON:0000344': 655220
+'UBERON:0001384': 625538
+'UBERON:0000966': 598023
+'UBERON:0002421': 578257
+'UBERON:0001225': 542410
+'UBERON:0000991': 507126
+'UBERON:0002116': 506392
+'UBERON:8440012': 494325
+'UBERON:0001898': 483451
+'UBERON:0000990': 440483
+'UBERON:0002370': 405221
+'UBERON:0002436': 399661
+'UBERON:0001965': 387483
+'UBERON:0000006': 362898
+'UBERON:0001005': 358584
+'UBERON:0010225': 343320
+'UBERON:0002102': 335470
+'UBERON:0008946': 334444
+'UBERON:0000053': 310875
+'UBERON:0008933': 310653
+'UBERON:0001117': 308212
+'UBERON:0001007': 307511
+'UBERON:0000059': 288232
+'UBERON:0002080': 286423
+'UBERON:0002094': 284283
+'UBERON:0000362': 283305
+'UBERON:0002365': 282382
+'UBERON:0002103': 264447
+'UBERON:0001891': 249305
+'UBERON:0001894': 249065
+'UBERON:0000411': 236082
+'UBERON:0002728': 221808
+'UBERON:0000451': 219655
+'UBERON:0001161': 214938
+'UBERON:0000030': 207230
+'UBERON:0009835': 206197
+'UBERON:0000988': 204168
+'UBERON:0001707': 198868
+'UBERON:0016538': 192147
+'UBERON:0002450': 189973
+'UBERON:0016540': 187526
+'UBERON:0000977': 185185
+'UBERON:0001913': 183332
+'UBERON:0001786': 179309
+'UBERON:0034751': 145757
+'UBERON:0001040': 144260
+'UBERON:0016530': 141537
+'UBERON:0001238': 136529
+'UBERON:0003889': 132985
+'UBERON:0000453': 125672
+'UBERON:0001723': 125523
+'UBERON:0002098': 120306
+'UBERON:0016525': 118039
+'UBERON:0000004': 114936
+'UBERON:0002686': 110752
+'UBERON:0022352': 110671
+'UBERON:0002351': 107573
+'UBERON:0001828': 105079
+'UBERON:0001003': 104237
+'UBERON:0002067': 100247
+'UBERON:0002190': 99711
+'UBERON:0005290': 99110
+'UBERON:0002811': 98536
+'UBERON:0001871': 97537
+'UBERON:0003688': 92733
+'UBERON:0010410': 91248
+'UBERON:0000403': 90975
+'UBERON:0000175': 90741
+'UBERON:0001976': 87947
+'UBERON:0002822': 87214
+'UBERON:0001890': 86604
+'UBERON:0014454': 86134
+'UBERON:0002810': 85525
+'UBERON:0002079': 82676
+'UBERON:0010414': 80085
+'UBERON:0003126': 79986
+'UBERON:0003027': 75807
+'UBERON:0008345': 73634
+'UBERON:0002352': 73045
+'UBERON:8410025': 72957
+'UBERON:0001393': 72549
+'UBERON:0010412': 71752
+'UBERON:0001159': 69025
+'UBERON:0014918': 65710
+'UBERON:0002078': 64486
+'UBERON:0007650': 64093
+'UBERON:0002808': 63227
+'UBERON:0007644': 62647
+'UBERON:8410010': 61264
+'UBERON:0001157': 60907
+'UBERON:0002185': 59377
+'UBERON:0002114': 59363
+'UBERON:0000916': 59001
+'UBERON:0014455': 58536
+'UBERON:0002661': 58226
+'UBERON:0001873': 57571
+'UBERON:0001769': 57422
+'UBERON:0008953': 56919
+'UBERON:0002372': 56899
+'UBERON:0002509': 55694
+'UBERON:0000397': 55666
+'UBERON:0001156': 54735
+'UBERON:0023787': 54666
+'UBERON:0002299': 54085
+'UBERON:0034893': 53956
+'UBERON:0001872': 53269
+'UBERON:0007177': 49990
+'UBERON:0004026': 48185
+'UBERON:0012648': 48068
+'UBERON:0001630': 47291
+'UBERON:0002803': 47176
+'UBERON:0016632': 45130
+'UBERON:0008803': 43943
+'UBERON:0001049': 43485
+'UBERON:0016475': 42323
+'UBERON:0002363': 42319
+'UBERON:0001874': 41277
+'UBERON:0000964': 40990
+'UBERON:0011189': 40231
+'UBERON:0036288': 36574
+'UBERON:0008954': 35284
+'UBERON:0018131': 34687
+'UBERON:0004648': 34173
+'UBERON:0034891': 34153
+'UBERON:0001775': 34132
+'UBERON:0018707': 33610
+'UBERON:0003661': 32722
+'UBERON:0003403': 32138
+'UBERON:0035328': 31696
+'UBERON:0001728': 31325
+'UBERON:0001388': 30877
+'UBERON:0008952': 29895
+'UBERON:0000080': 29606
+'UBERON:0004024': 29064
+'UBERON:0035886': 28873
+'UBERON:0004023': 28857
+'UBERON:0013473': 28621
+'UBERON:0018105': 28367
+'UBERON:0005969': 27736
+'UBERON:0012168': 27154
+'UBERON:0001886': 27092
+'UBERON:0000400': 27087
+'UBERON:0001911': 26952
+'UBERON:0000088': 26853
+'UBERON:0001153': 25865
+'UBERON:0001471': 24982
+'UBERON:0001085': 24807
+'UBERON:0000057': 24700
+'UBERON:0006761': 24573
+'UBERON:0002809': 24445
+'UBERON:0001158': 23887
+'UBERON:0008972': 23110
+'UBERON:0002807': 22796
+'UBERON:0010506': 22652
+'UBERON:0001459': 21633
+'UBERON:8410000': 21592
+'UBERON:0001831': 21003
+'UBERON:0003544': 20212
+'UBERON:0002110': 19880
+'UBERON:0014614': 19650
+'UBERON:8300000': 19408
+'UBERON:0035895': 18814
+'UBERON:0035213': 18775
+'UBERON:0001162': 18404
+'UBERON:0000056': 18354
+'UBERON:0001228': 17958
+'UBERON:0008971': 17831
+'UBERON:0013756': 17625
+'UBERON:0001052': 16913
+'UBERON:0012474': 16607
+'UBERON:0039167': 16527
+'UBERON:0002317': 15963
+'UBERON:0002115': 15762
+'UBERON:0014648': 15580
+'UBERON:8480028': 15307
+'UBERON:0000014': 15215
+'UBERON:0002489': 15127
+'UBERON:0001836': 14502
+'UBERON:0005343': 14336
+'UBERON:8410026': 14090
+'UBERON:0002132': 13953
+'UBERON:0000965': 13900
+'UBERON:0010415': 12330
+'UBERON:0000017': 11977
+'UBERON:0018303': 11937
+'UBERON:0002382': 11898
+'UBERON:0002046': 11840
+'UBERON:0001087': 11702
+'UBERON:0009958': 11377
+'UBERON:0005616': 11243
+'UBERON:8480009': 10533
+'UBERON:0013535': 9915
+'UBERON:0007106': 9898
+'UBERON:0001513': 9887
+'UBERON:0015790': 9816
+'UBERON:0001068': 9773
+'UBERON:0035894': 9667
+'UBERON:0015476': 9656
+'UBERON:0001637': 9652
+'UBERON:0002129': 9649
+'UBERON:0010033': 9467
+'UBERON:0000947': 9290
+'UBERON:0001511': 9288
+'UBERON:0004946': 9195
+'UBERON:0016435': 9097
+'UBERON:0002420': 9000
+'UBERON:0001868': 8799
+'UBERON:0002021': 8799
+'UBERON:0001542': 8683
+'UBERON:0002081': 8279
+'UBERON:0004070': 8033
+'UBERON:0008612': 7825
+'UBERON:0001901': 7228
+'UBERON:0004929': 7133
+'UBERON:0003528': 6670
+'UBERON:0002427': 6529
+'UBERON:0004025': 6448
+'UBERON:0009472': 6348
+'UBERON:0002756': 6279
+'UBERON:0001832': 6196
+'UBERON:0002378': 6142
+'UBERON:0004167': 5874
+'UBERON:0002228': 5725
+'UBERON:0003968': 5625
+'UBERON:0001154': 5515
+'UBERON:0001046': 5420
+'UBERON:0010032': 5367
+'UBERON:0004339': 4969
+'UBERON:0002385': 4881
+'UBERON:0001621': 4867
+'UBERON:0001416': 4808
+'UBERON:0001638': 4395
+'UBERON:0002429': 4355
+'UBERON:0001165': 4028
+'UBERON:0008989': 3997
+'UBERON:0001902': 3883
+'UBERON:0003532': 3443
+'UBERON:0003428': 3406
+'UBERON:0002082': 3226
+'UBERON:0001296': 3025
+'UBERON:0015143': 3014
+'UBERON:0000074': 3011
+'UBERON:0002245': 2971
+'UBERON:0001293': 2693
+'UBERON:0007625': 2348
+'UBERON:0003547': 2344
+'UBERON:0022277': 2333
+'UBERON:0001554': 2272
+'UBERON:0001348': 2223
+'UBERON:0005406': 2121
+'UBERON:0001811': 2084
+'UBERON:0013531': 2055
+'UBERON:0008934': 1866
+'UBERON:0001103': 1858
+'UBERON:0005636': 1651
+'UBERON:0007225': 1594
+'UBERON:0007224': 1564
+'UBERON:0000016': 1520
+'UBERON:8440075': 1482
+'UBERON:0004264': 1475
+'UBERON:0001773': 1431
+'UBERON:0013706': 1150
+'UBERON:0023852': 1143
+'UBERON:0001294': 849
+'UBERON:0001134': 835
+'UBERON:0003902': 675
+'UBERON:0001224': 569
+'UBERON:0005564': 399
+'UBERON:0001817': 248
+'UBERON:0002802': 163
+'UBERON:0003072': 146
+'UBERON:0000926': 139
+'UBERON:0000416': 82
+'UBERON:0003517': 48
+'UBERON:0001483': 37
+'UBERON:1000021': 37
+'UBERON:0002023': 1
+
+
+
+human: 230822337
+mouse: 102753838
+# other 14070000
+macaque: 3161179
+zebrafish: 3117237
+pig: 1641179
+thale cress: 1564711
+drosophila: 1564460
+chicken: 606680
+nake mole rat: 441042
+rabbit: 417091
+cow: 390675
+corn: 336166
+chimpanzee: 293472
+c. elegans: 251759
+sheep: 177871
+marmoset: 115584
+
+10x 3': 146909525
+10x 3' v2: 12021763
+10x 3' v3: 121241920
+# 10x 3': 280173208
+10x 5' v1: 4716686
+10x 5' v2: 3104399
+10x 5': 28919386
+# 10x 5': 36740471
+10x multiome: 6942314
+10x (vdj): 1620181
+10x (CITE): 1580477
+# 10x multiome: 10142972
+sciRNA-seq: 14924076
+slide-seq: 1867286
+scalebio: 685024
+microwell: 599459
+sciPlex: 581480
+drop-seq: 517799
+# other (17 assays): 1423506
+EFO:0010961: 286087
+EFO:0008931: 192101
+EFO:0700003: 146278
+EFO:0700010: 133430
+EFO:0700016: 128855
+EFO:0030007: 105584
+EFO:0008919: 87181
+EFO:0009901: 76022
+EFO:0008796: 68645
+EFO:0009919: 68544
+EFO:0700011: 58981
+EFO:0030019: 31775
+EFO:0008780: 25652
+EFO:0010010: 5231
+EFO:0008953: 4693
+EFO:0008720: 2768
+EFO:0008930: 1679