Cristie Data gewinnt Exabyte-Datenmanagement-Projekt beim Deutschen Klimarechenzentrum (DKRZ)

Das neue Hierarchische Speichermanagement System (HSM) mit StrongLink erlaubt dem Deutschen Klimarechenzentrum (DKRZ) zukünftig die Speicherung und Verwaltung eines Datenvolumens im Bereich von Exabytes. Die jährliche Speicherrate beträgt bis zu 120 PB. Mit der Installation werden 150 PB Bestandsdaten innerhalb von nur einer Woche von dem alten in das neue HSM-System migriert. Das neue System verwendet zukunftssichere, offene Standards wie S3 und LTFS.

Cristie Data unterzeichnete im Herbst 2020 einen Fünfjahresvertrag für die Lieferung und Service eines neuen hierarchischen Speichermanagementsystems (HSM) beim Deutschen Klimarechenzentrum (DKRZ).

Die Intelligenz der neuen Plattform basiert auf der leistungsstarken metadatengesteuerten Workflow-Engine StrongLink von StrongBox Data Solutions (SBDS) in Verbindung mit den OceanStor-Systemen von Huawei. StrongLink wird in einer Scale-Out-Architektur bereitgestellt. Das von Cristie Data konzipierte Speichermanagementsystem wird 120 PB pro Jahr zwischen dem HPC-Speicher und dem neuen HSM-System transferieren. Zu diesem Zweck virtualisiert StrongLink den 1 PB großen Hochleistungscache und die insgesamt 9 Bandarchive. Die Konvertierung der 150 PB Bestandsdaten auf das neue LTFS-Format erfolgt automatisch parallel zum Lesen und Schreiben neuer Daten und transparent für die Nutzerinnen und Nutzer. Die Parallelisierung erstreckt sich über cirka 90 Bandlaufwerke in 9 Bandarchiven, welche zusammen mehr als 79.000 Medienstellplätze zur Verfügung stellen.

Tape Library beim Deutschen Klima-Rechenzentrum (DKRZ)
Tape Library beim Deutschen Klima-Rechenzentrum – Bild Quelle & Copyright: Deutsches Klimarechenzentrum GmbH

 

„Mit diesem neuen Archivsystem kann das DKRZ wichtige Datendienste für unsere Forschungsgemeinschaft erweitern,  modernisieren und gleichzeitig nahtlos auf eine neue Plattform mit offenem Standard umsteigen, die mit unseren Anforderungen wachsen kann.“, erläutert Prof. Thomas Ludwig, Geschäftsführer des DKRZ, und führt weiter aus: „Das neue HSM-System bietet eine solide Grundlage um sicherzustellen, dass die Forschenden kontinuierlich auf die kritischen Daten zugreifen können, die für die Klimamodellierung und verbesserte Klimaprojektionen erforderlich sind.“

Die Installation, Konfiguration und das Projektmanagement für das neue HSM-System am DKRZ übernimmt Cristie Data. Die Niedernberger liefern außerdem die gesamte für das Projekt benötigte Hardware und verantworten das Service- und Integrationsmanagement.

„Das DKRZ ist ein wichtiger Partner in der Klimaforschung. Wir bei Cristie nehmen unsere Verantwortung gegenüber der Umwelt sehr ernst. Mit StrongLink greifen Klimaforscherinnen und –forscher auf der ganzen Welt auch in Zukunft schnell und verlässlich auf alle Daten zu. Mit Huawei als einen der Branchenführer für energieeffiziente Rechenzentrumslösungen leisten wir zusätzlich einen Beitrag für umweltfreundlichere Lösungen im Datacenter.“, freut sich Volker Wester, Geschäftsführer von Cristie Data.

Das Projekt ersetzt das vorhandene HPSS durch ein neues System unter Verwendung der offenen Standards LTFS und S3.