1536799 : Dediziertes Team-Verzeichnis in DUST fuer LLM Entwicklung

Created: 2025-09-19T08:50:01Z - current status: new

Hallo [USERNAME],

für die Entwicklung von KI-basierten Large Language Models (LLMs) auf dem Maxwell Cluster und die Speicherung der anfallenden Daten, die von allen Teammitgliedern zugänglich sein sollen, gibt es mehrere Optionen. Hier sind die relevanten Informationen:

  1. DUST:
  2. Vorteile: DUST ist gut geeignet für temporäre und reproduzierbare Daten sowie Softwareinstallationen. Es bietet schnellen Zugriff und ist für die Zusammenarbeit innerhalb eines Teams gut geeignet.
  3. Nachteile: DUST bietet keine Sicherheitsgarantien für die Daten.

  4. Kontakt: Für die Einrichtung eines dedizierten Ortes in DUST wenden Sie sich bitte an maxwell.service@desy.de.

  5. dCache:

  6. Vorteile: dCache ist ideal für die langfristige Speicherung großer Datenmengen. Es bietet eine sichere und zuverlässige Speicherlösung.
  7. Nachteile: dCache ist möglicherweise nicht so schnell wie DUST für den täglichen Zugriff.

  8. Kontakt: Für die Einrichtung von dCache-Speicherplatz wenden Sie sich bitte an osm.service@desy.de.

  9. GPFS (Group-owned GPFS Appliance):

  10. Vorteile: Wenn Ihr Team große Mengen an schnellem, sicheren Speicherplatz benötigt, könnte eine gruppen-eigene GPFS-Anlage eine geeignete Lösung sein. Diese bietet sowohl Geschwindigkeit als auch Sicherheit.
  11. Nachteile: Die Einrichtung könnte komplexer und teurer sein.
  12. Kontakt: Für weitere Informationen wenden Sie sich bitte an maxwell.service@desy.de.

Empfehlung: Für die Entwicklung von LLMs und die Speicherung von 5 TB Daten könnte DUST eine gute Wahl sein, da es schnell und für temporäre Daten geeignet ist. Wenn Sie jedoch sicherstellen möchten, dass die Daten langfristig sicher gespeichert werden, sollten Sie dCache in Betracht ziehen. Eine gruppen-eigene GPFS-Anlage wäre eine weitere Option, wenn Sie sowohl Geschwindigkeit als auch Sicherheit benötigen.

Nächste Schritte: 1. Kontaktieren Sie maxwell.service@desy.de für die Einrichtung eines dedizierten Ortes in DUST oder für weitere Informationen zu einer gruppen-eigenen GPFS-Anlage. 2. Kontaktieren Sie osm.service@desy.de, wenn Sie dCache in Betracht ziehen.

Ich hoffe, das hilft Ihnen weiter. Bei weiteren Fragen stehen wir Ihnen gerne zur Verfügung.

Mit freundlichen Grüßen, [YOUR_NAME]

References: - https://docs.desy.de/maxwell/infrastructure/storage - https://docs.desy.de/maxwell/documentation/access