Data release v6

README.md

@@ -19,10 +19,10 @@ track of this information in Google BigQuery. One can get the latest dump of
 that using these commands (requires access to the htan-dcc google project):
 
 ```bash
-bq extract --destination_format CSV released.entities_v5 gs://htan-release-files/entities_v5.csv
-bq extract --destination_format CSV released.metadata_v5 gs://htan-release-files/metadata_v5.csv
-gsutil cp gs://htan-release-files/entities_v5.csv entities_v5.csv
-gsutil cp gs://htan-release-files/metadata_v5.csv metadata_v5.csv
+bq extract --destination_format CSV released.entities_v6_0 gs://htan-release-files/entities_v6_0.csv
+bq extract --destination_format CSV released.metadata_v6_0 gs://htan-release-files/metadata_v6_0.csv
+gsutil cp gs://htan-release-files/entities_v6_0.csv entities_v6_0.csv
+gsutil cp gs://htan-release-files/metadata_v6_0.csv metadata_v6_0.csv
 
 ```
 

components/HomePage.tsx

@@ -54,7 +54,7 @@ const HomePage: React.FunctionComponent<IHomePropsProps> = ({
                     }}
                 >
                     <a style={{ color: 'white' }} href="/data-updates">
-                        Data Release V5.2 (Last updated 2024-06-03)
+                        Data Release V6.0 (Last updated 2024-08-26)
                     </a>
                 </div>
                 <Row className="justify-content-md-center">

data/findAndReplace.sh

@@ -12,4 +12,6 @@ gsed -i 's/"SRRSImagingLevel2"/"ImagingLevel2"/g' public/syn_data.json &&
 gsed -i 's/"scRNA-Seq"/"scRNA-seq"/g' public/syn_data.json &&
 gsed -i 's/"RPPA level2"/"RPPA"/g' public/syn_data.json &&
 gsed -i 's/"exseq"/"ExSEQ"/g' public/syn_data.json &&
-gsed -i 's/"ExSeq"/"ExSEQ"/g' public/syn_data.json
+gsed -i 's/"ExSeq"/"ExSEQ"/g' public/syn_data.json &&
+gsed -i 's/"10XGenomicsXeniumISSExperiment"/"10XXeniumISS"/g' public/syn_data.json &&
+gsed -i 's/"10XGenomicsXeniumISSExperiment"/"10XXeniumISS"/g' data/syn_metadata.json

data/get_syn_data.py

@@ -103,13 +103,13 @@ def generate_json(include_at_risk_populations, include_released_only, do_not_dow
     }
 
     if include_released_only:
-        released_entities_df = pd.read_csv("entities_v5.csv")
+        released_entities_df = pd.read_csv("entities_v6_0.csv")
         include_release_ids = set(released_entities_df['entityId'])
 
     # store all metadata synapse ids for downloading submitted metadata directly
     portal_metadata = {}
 
-    released_metadata_df = pd.read_csv("metadata_v5.csv")
+    released_metadata_df = pd.read_csv("metadata_v6_0.csv")
     released_synapse_metadata_ids = set(released_metadata_df['Manifest_Id'])
 
     # iterate over projects; map to HTAN ID, inspect metadata and add to portal JSON dump
@@ -339,4 +339,4 @@ def generate_json(include_at_risk_populations, include_released_only, do_not_dow
 
 
 if __name__ == '__main__':
-    generate_json()
+    generate_json()

data/metadata_v5.csv → data/metadata_v6_0.csv

@@ -10,6 +10,7 @@ syn39281852,
 syn39282351,
 syn39283032,
 syn39283075,
+syn39285323,
 syn39253429,1
 syn39169760,1
 syn41745941,1
@@ -38,7 +39,6 @@ syn42232361,1
 syn42244706,1
 syn42234518,1
 syn42295584,1
-syn39285323,1
 syn42235058,1
 syn42244219,1
 syn42234102,1
@@ -55,18 +55,15 @@ syn42241905,1
 syn39253706,1
 syn41745973,1
 syn42235560,1
-syn42296194,1
 syn42236516,1
 syn42236295,1
 syn42295421,1
 syn41745688,1
-syn39285463,1
 syn42232085,1
 syn42239342,1
 syn42244467,1
 syn42236049,1
 syn42233567,1
-syn39255034,1
 syn41745888,1
 syn42296367,1
 syn42294533,1
@@ -91,7 +88,6 @@ syn41903376,2
 syn44550775,2
 syn39159835,2
 syn52702413,2
-syn51607133,2
 syn39148043,2
 syn41901625,2
 syn47878101,2
@@ -137,7 +133,6 @@ syn44550991,2
 syn41917115,2
 syn51080552,2
 syn52302483,2
-syn44549541,2
 syn41915416,2
 syn48015494,2
 syn51080466,2
@@ -167,11 +162,9 @@ syn39247103,2
 syn39247085,2
 syn41917489,2
 syn51607185,2
-syn52133581,2
 syn39148008,2
 syn51121827,2
 syn51361652,2
-syn44550895,2
 syn39247123,2
 syn41901361,2
 syn41918828,2
@@ -273,6 +266,47 @@ syn53251541,2
 syn53251539,2
 syn57432651,2
 syn57432617,2
+syn58995098,2
+syn59053360,2
+syn61440700,2
+syn61462953,2
+syn60523679,2
+syn60245145,2
+syn60226497,2
+syn61682405,2
+syn57387764,2
+syn54686551,2
+syn54686550,2
+syn54686548,2
+syn54686540,2
+syn53352007,2
+syn53352057,2
+syn53352069,2
+syn53335385,2
+syn53335541,2
+syn53335554,2
+syn61064183,2
+syn61555362,2
+syn61717873,2
+syn61518699,2
+syn61718349,2
+syn61717777,2
+syn61717453,2
+syn61518671,2
+syn58841237,2
+syn61717273,2
+syn61518993,2
+syn61716271,2
+syn61555387,2
+syn61716288,2
+syn61519165,2
+syn61519879,2
+syn61519951,2
+syn61568630,2
+syn61717575,2
+syn42296194,3
+syn39285463,3
+syn39255034,3
 syn39284405,3
 syn39284881,3
 syn39285191,3
@@ -287,10 +321,8 @@ syn39144781,3
 syn41767257,3
 syn39054770,3
 syn39262957,3
-syn39254633,3
 syn35558468,3
 syn35558474,3
-syn39253974,3
 syn35558704,3
 syn39145007,3
 syn45226287,3
@@ -299,17 +331,16 @@ syn41768154,3
 syn39265227,3
 syn39246524,3
 syn42293796,3
-syn39255125,3
 syn39263670,3
-syn39255093,3
 syn41922297,3
 syn41922778,3
 syn39265472,3
 syn39145038,3
 syn39266384,3
-syn39255845,3
 syn39263164,3
 syn39054842,3
+syn51607133,4
+syn52133581,4
 syn39148070,4
 syn39148106,4
 syn39148156,4
@@ -325,7 +356,6 @@ syn41761654,4
 syn51757887,4
 syn51284480,4
 syn41767530,4
-syn44549388,4
 syn39059762,4
 syn41915871,4
 syn51039758,4
@@ -345,7 +375,6 @@ syn41901970,4
 syn52117436,4
 syn41762804,4
 syn41904622,4
-syn52133576,4
 syn41903962,4
 syn53462156,4
 syn51791727,4
@@ -356,7 +385,6 @@ syn51907277,4
 syn53351688,4
 syn53361674,4
 syn53359881,4
-syn53408884,4
 syn52177151,4
 syn53334495,4
 syn53334349,4
@@ -385,6 +413,16 @@ syn53251559,4
 syn53711588,4
 syn51732852,4
 syn51732873,4
+syn60678971,4
+syn52972311,4
+syn61518739,4
+syn61518708,4
+syn60228716,4
+syn39254633,5
+syn39253974,5
+syn39255125,5
+syn39255093,5
+syn39255845,5
 syn39142026,5
 syn39255232,5
 syn41925002,5
@@ -409,8 +447,11 @@ syn39143395,5
 syn39143312,5
 syn39143602,5
 syn35558619,5
-syn57431469,6
-syn53339259,6
+syn39259236,5
+syn39259513,5
+syn44549541,6
+syn44549388,6
+syn52133576,6
 syn53253226,6
 syn53134687,6
 syn53216875,6
@@ -436,15 +477,27 @@ syn52257039,6
 syn53462167,6
 syn52368570,6
 syn51218193,6
-syn53242349,6
 syn53242447,6
 syn51218570,6
 syn51364711,6
 syn51360919,6
-syn51692755,6
 syn51299871,6
 syn54063809,6
-syn39283850,7
+syn61669828,6
+syn52967866,6
+syn52968049,6
+syn50932231,6
+syn52751109,6
+syn60979705,6
+syn60986363,6
+syn61518553,6
+syn61518589,6
+syn61518215,6
+syn61518390,6
+syn61518480,6
+syn61518498,6
+syn51709273,6
+syn50549510,6
 syn39285152,7
 syn39282161,7
 syn39142047,7
@@ -455,6 +508,13 @@ syn39169803,7
 syn39271610,7
 syn41906674,7
 syn53192064,7
+syn39259256,7
+syn39259280,7
+syn39259855,7
+syn53408884,8
+syn53339259,8
+syn53242349,8
+syn51692755,8
 syn53192021,8
 syn53192027,8
 syn52297719,8
@@ -474,11 +534,16 @@ syn51203651,8
 syn39059825,8
 syn39051263,8
 syn42295196,8
-syn53335787,8
 syn51360962,8
 syn52799092,8
 syn53254370,8
 syn53711322,8
+syn52953900,8
+syn52954013,8
+syn52588608,8
+syn61518524,8
+syn61518654,8
+syn52590408,8
 syn39142091,9
 syn39141331,9
 syn39141967,9
@@ -487,6 +552,8 @@ syn39256250,9
 syn38868669,9
 syn42296909,9
 syn53210837,9
+syn44550895,10
+syn57431469,10
 syn52257241,10
 syn51702921,10
 syn39051213,10
@@ -499,22 +566,31 @@ syn51204556,10
 syn39050991,10
 syn39050879,10
 syn51703772,10
-syn39283683,11
+syn52954095,10
+syn60530386,10
+syn59959806,10
+syn51682104,10
+syn61597223,10
 syn39140863,11
 syn39159015,11
+syn41755623,11
+syn53335787,12
 syn52257185,12
-syn51301260,12
-syn51300313,12
+syn60530105,12
+syn39283850,13
 syn52965394,13
+syn51301260,14
+syn51300313,14
 syn52257214,14
 syn39148087,14
 syn38868462,14
 syn52295127,14
 syn39141309,15
 syn52261890,16
+syn39283683,19
 syn39147270,19
 syn35465046,20
 syn39147409,21
 syn51668044,24
-syn51185203,24
+syn51185203,28
 syn39147740,40