FAU Archiv

Speicherplatz beantragen

Um das FAU-Archiv nutzen zu können, füllen Sie bitte das Antragsformular aus.

Die archivierten Daten haben (standardmäßig) eine Aufbewahrungszeit von 10 Jahren (d. h. sie werden 10 Jahre auf Band aufbewahrt). Wählen Sie die Aufbewahrungsfrist bitte sorgfältig aus, da sie später nicht mehr geändert werden kann und die Daten nach Ablauf der Aufbewahrungsfrist ohne weitere Ankündigung gelöscht werden! Überprüfen Sie das Ablaufdatum Ihrer archivierten Dateien (Anleitung siehe unten) – die entsprechende Auswahl liegt in Ihrer Verantwortung!
Der Standardwert von zehn Jahren wurde entsprechend der Vorgaben der DFG gewählt.

Weitere Archivklassen, in denen Daten nur 1, 2 oder 5 Jahre aufbewahrt werden, stehen zur Verfügung.

Weitaus teurere Archivklassen mit 25 und 99 Jahren Aufbewahrungsfrist existieren auch. Beachten Sie jedoch, dass das RRZE solche langen Zeiträume nicht garantieren kann – tatsächlich ist es ziemlich unrealistisch, dass die Daten so lange ohne einen Systemwechsel aufbewahrt werden. Dies ist bloß als Marker gedacht, dass Sie die Daten für eine sehr lange Zeit aufheben wollen oder müssen.

Verwendung des FAU-Archivs

Auf das FAU-Archiv kann nur von einem bestimmten Server aus zugegriffen werden.

Melden Sie sich mit SSH bei fundusa1.rrze.uni-erlangen.de an. Unter Microsoft Windows können sie z.B. MobaXterm verwenden. Dieses Frontend kann nur über das Universitätsnetzwerk (einschließlich VPN) erreicht werden.

Ihr RRZE-Linux-$Home sowie die HPC-NFS-Dateisysteme sind (automatisch) auf fundusa1 gemountet. Das RRZE-Windows-Home finden Sie auch unter /home/rzwin/$USER. Gruppen-IDs auf den HPC-Dateisystemen werden auf fundusa1 möglicherweise nicht korrekt aufgelöst.

Wenn Sie längere Zeit bei fundusa1 angemeldet sind (zum Zeitpunkt des Schreibens dieses Dokuments länger als ein Tag), läuft Ihr Kerberos-Ticket ab und Sie können nicht mehr auf die RRZE-Homes zugreifen und erhalten die Fehlermeldung „Zugriff verweigert“. Bitte melden Sie sich dann einfach erneut an. Fortgeschrittene Benutzer können ihre Kerberos-Tickets auch mehrmals verlängern (bis zu maximal einer Woche). Das entsprechende Tool, nach dem Sie googeln müssen heißt ‚krenew‘.

Auf fundusa1 ist lokaler Speicherplatz verfügbar, falls Sie die Daten vorher übertragen müssen („Staging“) (z. B. mit rsync, scp usw.). Verwenden Sie zum Zuweisen von temporärem lokalem Speicherplatz für Staging-Dateien
ws_allocate IRGENDEINNAME 7.
Das generierte Verzeichnis wird angezeigt. Der Verzeichnisname besteht aus Ihrem Benutzernamen und dem Namen, den Sie als IRGENDEINNAME angegeben haben.

Das Verzeichnis wird nach der angegebenen Dauer (7 Tage – die letzte Angabe des obigen Befehls) automatisch entfernt.

Übertragen/Kopieren Sie ihre Daten in Ihr Staging-Verzeichnis /staging/$USER-IRGENDEINNAME

Um das FAU-Archiv optimal zu nutzen, packen Sie kleine Dateien in .tar-/.zip-Dateien zusammen, bevor Sie sie archivieren!

Das Archiv ist für die Verarbeitung einer kleinen Anzahl großer Dateien optimiert.

Um gleichzeitig eine große Anzahl an Dateien (20 und mehr Dateien) zu archivieren, verpacken Sie sie zunächst als .zip/.tar.gz/.7z-Archiv. Dies gilt natürlich nicht, wenn die resultierende .zip-Datei zu groß wäre (z.B. weit über 100 GB).

Beide Befehle, dsmc und dsmj (siehe unten), schreiben Protokolldateien in das aktuelle Verzeichnis. Starten Sie deshalb in einem Verzeichnis, in dem Sie über Schreibberechtigungen verfügen. Andernfalls schlagen die Befehle mit Permission denied fehl.

Verwendung der GUI

Es gibt ein X11-basiertes Graphical User Interface (GUI).
Um es verwenden zu können, müssen Sie Ihrem SSH-Aufruf die Option -X oder -Y hinzufügen und einen lokalen X-Server laufen haben. Microsoft Windows-Benutzer können MobaXterm verwenden, einen SSH-Client mit integriertem X-Server.

Die GUI kann mit dsmj gestartet werden.
Die wichtigsten Funktionen die die GUI anbietet:

  • Archive/Archive (Hauptseite)
  • Archive/Retrieve (Hauptseite)
  • Utilities/Delete Archive Data (obere Leiste)

Um eine bestimmte Archivklasse auszuwählen (z. B. mit einer Aufbewahrungsdauer von nur 1, 2 oder 5 Jahren):
Auf der Archivebene -> Options -> Override incl/excl list => Mgmt Class.

Archivklasse auswählen

Überprüfung der Aufbewahrung archivierter Daten

In der GUI wird kein Ablaufdatum angezeigt. Sie können jedoch die Archivklasse und das Archivierungsdatum abrufen und so das Ablaufdatum berechnen. Um diese Informationen anzuzeigen, wählen Sie eine Datei im Retrieve-Fenster aus.
Retrieve-Fenster

Verwenden der Befehlszeile

Daten über die Befehlszeile archivieren

Um ein Archiv zu erstellen, verwenden Sie dsmc archive mit geeigneten Angaben.
Die wichtigsten Optionen sind:

  • -desc="Ihre Projektbeschreibung; maximal 256 Zeichen lang"
  • -archmc=RRZEARCHIV_##J mit ##=01, 02, 05, 10; wenn nichts ausgewählt wird, werden die Daten zwar für 10 Jahre aufbewahrt, es wird jedoch dringend empfohlen hier immer explizit eine Zeitdauer zu wählen.
  • -deletefiles löscht Dateien aus Ihrem Staging-Verzeichnis nach der Archivierung
  • -subdir=yes Unterverzeichnisse werden mit-archiviert

Ein vollständiger Befehl könnte folgendermaßen aussehen: dsmc archive -desc="projekt_A teilarchiv #1" [-deletefiles] -subdir=yes /staging/$USER-archiv/projA-a1/

Abrufen von Daten über die Befehlszeile

Um Ihr Archiv über die Befehlszeile abzufragen, verwenden Sie dsmc query archive /staging/$USER-SOMENAME/project/
Geben Sie zumindest Teile des Pfades an. Der Schrägstrich am Ende ist wichtig!
Sie können -subdir=yes (zeigt auch Unterverzeichnisse an) oder -desc="ihre archivbeschreibung" (zeigt nur Archive mit übereinstimmender Beschreibung an) für eine zusätzliche Auswahl in der Ausgabeliste hinzufügen.
Die Verwendung von dsmc query archive ist die einzige Möglichkeit, das Ablaufdatum Ihrer Archive anzuzeigen!

Um Daten aus dem Archiv abzurufen verwenden Sie auf der Befehlszeile dsmc retrieve.
Ein Beispiel könnte folgendermaßen aussehen:
dsmc retrieve -replace=no -subdir=yes -desc="projet_A teilarchiv #1" /staging/$USER-archiv/projA-a1/ [ZIELVERZEICHNIS]
das -replace=no verhindert das versehentliche Überschreiben vorhandener Dateien in [ZIELVERZEICHNIS].

Abfragen Ihres Archivs / Auffinden Ihrer archivierten Daten

Die sinnvolle Organisation Ihrer Daten vor der Archivierung ist obligatorisch.

Überprüfung der Aufbewahrung archivierter Daten

Sie können die Aufbewahrung archivierter Dateien mit dem Befehl dsmc query archive überprüfen. Das Ablaufdatum wird in der Ausgabe aufgeführt (siehe Abbildung unten).
Code

Der abschließende Schrägstrich bei der Angabe des Verzeichnisses für die Abfrage ist wichtig. dsmc query archive -subdir=yes /staging wird nichts finden!

Weitere Nutzung der Kommandozeile

Verwenden Sie dsmc del, um archivierte Daten im Archiv vor Ablauf der Aufbewahrungsfrist zu löschen
z.B. dsmc del archive -desc="projet_A teilarchiv #1" /staging/$USER-archiv/\*.zip [-pick]

Sie bekommen Hilfe zum „dsmc“ Befehl mit: dsmc help

Hinweis

Falls kein -desc auf der Befehlszeile angegeben wird, wird standardmäßig das aktuelle Datum verwendet.
Wird dieselbe Datei mit unterschiedlichen Beschreibungen (-desc) archiviert, befindet sie sich mehrmals im Archiv (und wird auch mehrfach abgerechnet).