Unified-Storage-System für SAN und NAS (ausführlicher Test)

Die bis auf fast 3 PByte skalierende FAS-Serie klassifiziert NetApp zu den Unified-Storage-Systemen der Enterprise-Klasse. Für alle angebotenen Speichersysteme kommt das Betriebssystem Data ONTAP zum Einsatz. Durch Verwendung verschiedener NetApp-Technologien, wie Thin Provisioning, Virtual Cloning, Einsatz von Snapshots, Storage-Virtualisierung und Datendeduplizierung lassen sich, so das Unternehmen, Speicherplatzeinsparungen bis zu 80 Prozent erzielen.

Alle Systeme bestehen aus einem - oder zwei in der HA-Konfiguration - Controllern pro Gehäuse mit dem Betriebssystem und einer maximalen Anzahl an Diskshelves. Die "Behausung" für die Laufwerke bedient SATA- und SAS-Festplatten oder SSDs über redundante Pfade. Wenn die Performance dieser Controller nicht mehr ausreicht, kann man gemäß NetApp diese ohne viel Aufwand, aber mit einer Unterbrechung, durch leistungsstärkere Ausführungen ersetzen.

Durch die FAS3200-Serie verstärkt NetApp das Portfolio im Datacenter-Segment mit den Modellen FAS3210, FAS3240 und FAS3270. Als universelle Speicherlösung bieten die Systeme je nach Lizenz die Netzwerkdateisysteme NFS und CIFS/SMBv2 sowie blockbasierten Speicherplatz per iSCSI, FC oder FCoE. Das komplette funktionsfähige Speichersystem besteht mindestens aus einem drei Höheneinheiten (HE) umfassenden Gehäuse mit einem Controller (FAS3240) und einer variablen Anzahl von Speicherblöcken für Hotplug-fähige Festplatten im 3,5-Zoll-Format. Für den Datenschutz bei einem Diskausfall sorgt RAID-DP, das heißt, pro Gruppe gibt es zwei dedizierte Festplatten für die Paritätsdaten. Mit acht zusätzlichen PCIe-Slots ist außerdem eine Version des FAS3240 verfügbar, die aussieht wie zwei Controller-Gehäuse übereinander und sich "FAS3240 mit erweitertem I/O" nennt.

Je nach Modell sind die Controller mit vier Quadcore-Xeon-Prozessoren des Typs L5410 bestückt. Der kleinere Bruder FAS3210 hat davon lediglich zwei. Der Hauptspeicher besteht aus 8 GByte mit Chipkill ECC.

Diskshelves

Das rackmontierbare, vier HE hohe Diskshelf DS4232 ist eines der ersten Modelle für 24 SAS- oder SATA-Festplatten bis 3 GBit/s und jeweils eigener Stromversorgung. Für SAS werden vier, für SATA zwei Netzteile benötigt. Wie bei allen SAS-Interfaces können dort auch SATA-Festplatten verwendet werden, jedoch wird ein Mischbetrieb im gleichen Shelf nicht unterstützt. Das SATA-Protokoll wird hierbei einfach durch das SAS-Protokoll getunnelt.

SAS-Festplatten unterstützen wie Fibre-Channel-Modelle durch ihre Dualport-Fähigkeit in der Regel redundante Datenpfade. Obwohl SATA-Festplatten nur über einen Port verfügen, könnte der Datenpfad vom Controller zur Disk über alternative Routen erfolgen. Leider unterstützt das SATA-SAS-Tunnel-Protokoll kein Multipathing. NetApp umgeht diese Limitierung durch den Einsatz von SAS-to-SATA-Bridges in den Shelves. Der SAS-Host-Bus-Adapter wird in einen PCIe-Steckplatz im Storage-Controller installiert und bedient darüber die Disk-Subsysteme.

Das Disksystem ist über vier SAS-Ports zu einem SAS-Wide-Port gebündelt. An den Storage-Controller angeschlossen bietet es somit eine Bandbreite von 4 x 3 Gbit/s, also 12 Gbit/s. Rückseitig gibt es vier 1U hohe Einschübe für Module, wovon aktuell lediglich zwei für die SAS-I/O Module (IOM3) verwendet werden. Je nach Modell werden bis zu zehn Shelves, also 240 Festplatten, in einem sogenannten Stapel pro Controller bedient.

Für das Shelf können SAS-Disks mit 15.000 U/min (300, 450 und 600 GByte), SATA-Disks mit 7200 U/min (1, 2 und 3 TByte) oder 100 GByte fassende Solid State Disks verwendet werden. Das nur halb so hohe, für 24 2,5-Zoll-SAS-Disks ausgelegte DS2246 wird ebenfalls vom Controller FAS3240 mit 450 und 600 GByte unterstützt. Darüber hinaus bietet NetApp noch die Diskshelves DS14mk2 und DS14mk4 für jeweils 14 Disks an.

Alternate Control Path und Ausfallsicherheit

Über die Alternate-Control-Path (ACP)-Technologie besteht die Möglichkeit, die Disk-Gehäuse über ein dediziertes Ethernet-Netzwerk zu managen, falls die SAS-Ports nicht verfügbar sein sollten. Dazu sind die ACP-Ports der Disk-Gehäuse und die Ethernet-Ports der Controller jeweils nach Vorgabe zu verbinden und diese Option im Setup zu aktivieren. Über einen autonomen Serviceprozessor im System gelangt man per SSH in ein Managementmenü. Dort lässt sich unter anderem eine aktuelle SSH root-Session beenden - es kann immer nur eine Session für den Benutzer root aktiv sein.

Beim redundanten Einsatz von zwei Controllern des Typs FAS3240 bildet das jeweils andere System das Partnersystem. Die Diskshelves sind sowohl pro Controller als auch mit dem Partnersystem redundant über SAS angebunden. Im Fehlerfall - ein Controller ist ausgefallen - übernimmt der noch aktive Controller zusätzlich dessen IP-Adresse. Ein System bedient aber ausschließlich einen Namensraum für CIFS oder NFS, das heißt den Zugriff auf ein exportiertes NFS-Verzeichnis oder einen Share der Form "Home$". Eine I/O-Lastverteilung erfolgt somit nicht. NetApp spricht dabei von einer "Aktiv-/Aktiv-Konfiguration". Die meisten Einstellungen auf den Controllern sind dabei aber auch auf beiden Controllern einzeln nachzuführen. Data ONTAP unterstützt bis zu 24 Systeme als Cluster. In der Aktiv-/Aktiv-Konfiguration müssen beide Systeme vom gleichen Modell sein und über den gleichen Firmware-Stand verfügen. Die Option MetroCluster ermöglicht auch eine standortübergreifende Systemvernetzung der Systeme.

FlashCache und Speicherkapazitäten

Trotz schneller Magnetplatten hat die Verwendung von Flash- und BufferCache einen markant positiven Einfluss auf die Leselatenz. Der optionale FlashCache reduziert diese um den Faktor zehn, der schnelle BufferCache um den Faktor 100. Diese Technologien sind somit eine Alternative zu SSDs in den Diskshelves.

Eine Dual-Controller-Konfiguration unterstützt bis zu 600 Festplatten. Der kumulierte Hauptspeicher beträgt 16 GByte und bis zu 1 TByte an Flash-Cache. Eine RAID-DP-Gruppe kann aus bis zu 28 SAS-Disks (26 für Daten, 2 für Parity) oder 20 SATA-Disks bestehen. Maximal 500 FlexVol-Volumes pro Controller und 127.000 Snapshot-Kopien (255 pro Volume) sind konfigurierbar. Ein Aggregat oder auch ein Volume darf maximal 50 TByte groß werden, wenn für das FlexVolume keine Deduplizierung (SIS) genutzt werden soll. Andernfalls begrenzt diese die Volumegröße in der aktuellen ONTAP Version auf nur 16 TByte.

Data-ONTAP-Betriebssystem

Das Betriebssystem der Controller nennt sich Data ONTAP. Das NetApp-OS bietet eine Schnittstelle (API) für diverse grafische Tools, die Managementkonsole und eine kommandozeilenbasierte Eingabe (CL) über die Protokolle Secure-Shell (SSH) oder telnet. Unterstützt werden auch WebDAV und HTTP (HTTPS) sowie ftp.

Data ONTAP ist ein proprietäres, auf FreeBSD basierendes Betriebssystem, das durchgängig auf allen Controllern eingesetzt wird. Es ist speziell für die Funktion als Dateiserver optimiert. Während die CL und deren verfügbaren Befehle durchgängig in ONTAP verankert sind, scheint es bei der grafischen Administration und Performance-Auswertung keine klare Linie zu geben. Der System Manager v1.1 zur ersten Systemimplementierung ist noch ein Plugin für die Microsoft-Management-Console (MMC). Version 2.0 läuft dagegen nur im lokalen Browser-Fenster.

Nicht alltägliche, aber dennoch anfallende Tasks beispielsweise in den Bereichen SnapMirror oder SnapVault lassen sich nur rudimentär in der GUI behandeln, sodass hier wieder die CL notwendig ist. Kann man auf grafische Elemente verzichten, ist die CL vermutlich die effektivere Wahl. Automatisierung ist unter Windows nur über die PowerShell machbar, ansonsten im Unix/Linux-Bereich natürlich über die CL, sofern ein SSH-Key auf dem Controller hinterlegt wurde. Weiterhin als GUI verfügbar ist eine Management Console von NetApp in Version 3.0.2, die sich mit dem jeweiligen Controller verbindet. Des Weiteren gibt es einen DataFabric-Manager und die OnCommand-Console, die ebenfalls im Webbrowser läuft.

Der Operations Manager kann mehrere NetApp-Speichersysteme überwachen und managen. Mit dem Provisioning Manager bietet sich richtlinienbasiert eine Automatisierung zur Bereitstellung von NAS und SAN-Speicher an. Im Backup- und Recovery-Umfeld gibt es vom Protection Manager die notwendige Unterstützung.

Data ONTAP auf der Kommandozeile

Die aktuelle Version von ONTAP 8.0.2 bietet per "help" 117 Befehle. Die nächste Major-Version wird voraussichtlich die Versionierung 8.1 tragen. Der Systemmanager als zentraler Benutzer für den Controller nennt sich "root". Diesem sind keine Beschränkungen aufgelegt. Es besteht jedoch die Möglichkeit, Rollen zu definieren und diesen nur erlaubte Möglichkeiten zuzuweisen. Eine Gruppe verweist dann immer auf eine Rolle, und ein Benutzer ist Mitglied in einer Gruppe.

> useradmin role list power

Name: power

Info: Default role for power user privileges.

Allowed Capabilities: cli-cifs*,cli-exportfs*,cli-nfs*,cli-useradmin*,api-cifs-*,api-nfs-*,login-telnet,login-http-admin,login-rsh,login-ssh,api-system-api-*

> useradmin group list "Power Users"

Name: Power Users

Info: Members that can share directories

Rid: 547

Roles: power

Allowed Capabilities: cli-cifs*,cli-exportfs*,cli-nfs*,cli-useradmin*,api-cifs-*,api-nfs-*,login-telnet,login-http-admin,login-rsh,login-ssh,api-system-api-*

> useradmin user list

Name: root

Info: Default system administrator.

Rid: 0

Name: administrator

Info: Built-in account for administering the filer

Rid: 500

Groups: Administrators

Über eine Änderung des "Privilege Levels" via "priv set .." kann man weitere Befehle auf der CL freischalten. Differenziert werden "admin", "advanced" und "diag". So lassen sich beispielsweise auch auf der CL Befehle wie "ls" oder "mv" aktivieren und damit das Dateisystem managen. Im Level "advanced" sind dann 208 und im Level "diag" 277 Befehle verfügbar.

> ls /

.

..

etc

home

.ha

vol

WAFL

Das proprietäre Write-Anywhere-Filesystem-Layout (WAFL) trägt mit zum Erfolg der NetApp-Storage-Systeme bei. Wie der Name bereits andeutet, kann jeder Block mit Ausnahme desjenigen für den Root-Inode im ganzen Dateisystem des Volumes wahlfrei geschrieben werden. WAFL basiert wie die meisten Dateisysteme auf Inodes - nutzt also Metadaten - und verwendet eine Blockgröße von 4 KByte. Jeder WAFL-Inode besteht aus 16 Blockzeigern, die bestimmen, welcher Block zu welcher Datei gehört. Für jeden Block wird eine digitale Signatur berechnet, sodass gleiche Datenblöcke schnell erkannt werden.

Die Datenbank für diese Fingerprints und die Change Logs befinden sich außerhalb des Volumes, aber noch im Aggregat. Somit werden diese Metadaten bei einem Snapshot nicht integriert. Zirka ein bis sechs Prozent der Daten im Volume werden für diese Deduplizierungsmetadaten benötigt. Dieser Aufbau trägt mit dazu bei, dass eine Überprüfung der Dateisystemkonsistenz im Fehlerfall möglichst schnell erfolgt.

WAFL kopiert keine Blöcke, sondern verfolgt die Strategie "Copy-on-Write" (CoW). Jeder neue oder geänderte Block wird im Dateisystem geschrieben, und nur die Metadaten beziehungsweise die Zeiger auf die Datenblöcke werden kopiert. Unix/Posix- und NTFS-Access Credential Lists (ACL) werden parallel unterstützt und sind eine Eigenschaft der Qtrees.

Data ONTAP enthält in der Regel folgende Features:

• Snapshot

• SnapRestore

• Open System SnapVault (OSSV)

• SnapVault

• SnapMirror

• SnapLock

• SnapLock für SnapVault

• FlexCache

• FlexClone

Snapshots, Dedup und FlexVol & FlexClone

Ein asynchron ablaufender Prozess vergleicht den Fingerprint eines jeden Blocks miteinander und ersetzt bei Gleichheit die Zeiger im Inode auf die Datenblöcke. Der doppelte Datenblock wird dann als frei gekennzeichnet. Dies bildet die Basis für die Optionen "Snapshot" und "Deduplizierung". Solange mehrere Verweise durch Snapshots oder Deduplizierung auf einen Block existieren, wird dieser nicht freigegeben. Ein Snapshot ist eine nur lesbare Kopie des Dateisystems zum Zeitpunkt der Ausführung. Dieser ist durch das Kopieren der Metadaten sehr schnell in der Ausführung und aufgrund der Referenzierung auch sehr kompakt.

Die Deduplizierung bei NetApps FAS32xx-Serie verwendet die Out-of-Band-Methode, läuft also erst später nach der Blockspeicherung an: entweder periodisch zu einem definierten Zeitpunkt, einmalig durch Benutzerintervention oder wenn eine Anzahl an neuen geschriebenen Blöcken erreicht wurde. Die Deduplizierung arbeitet pro Volume unabhängig, das heißt, gleiche Blöcke in verschiedenen Volumes werden nicht bearbeitet.

Mittels "FlexVol" wird auch Thin Provisioning unterstützt. Das Volume hat somit zunächst eine minimale Größe, aber dem Benutzer wird ein größerer Wert angezeigt. Der Controller garantiert, dass das Volume im Aggregat weiterwachsen kann. Alle Volumes teilen sich somit den unbenutzten Platz. Mit der Funktion "FlexClone" ist das Erzeugen von schreibbaren Klonen von Dateien, LUNs und Volumes möglich, ohne physikalischen Speicherplatz zu allozieren. Dann gibt es noch FlexCache, das für eine Zwischenspeicherung von Volumes beim NFS-Protokoll sorgt. Damit gibt es einen beschleunigten Dateizugriff beispielsweise für Außenstellen.

SnapLock, SnapVault, SnapMirror

SnapLock ist eine Art WORM-Funktionalität (Write-Once-Read-Many), die Dateien in Übereinstimmung mit behördlichen Vorgaben revisionssicher aufbewahrt. Mit der ONTAP-Funktion SnapVault werden Snapshots IP-basiert auf andere NetApp-Speichersysteme kopiert - beispielsweise auf langsamere SATA-Festplatten. So kann man auf dem primären System stündlich Snapshots der vergangenen 24 Stunden anlegen und für eine Wiederherstellung bei Windows über "Vorherige Version wiederherstellen" abrufbereit halten. Täglich außerhalb der Randzeiten wird dann ein weiterer Snapshot angelegt, auf ein sekundäres Speichersystem repliziert und dort länger vorgehalten. Das Feature SnapLock für SnapVault erstellt WORM-geschützte Archive für unstrukturierte Daten. Damit bleiben also kopierte Snapshots unveränderbar. Als weitere Sicherungsfunktion gibt es noch SnapMirror. Das Tool kopiert IP-basiert - synchron oder asynchron - Blöcke von einem Volume auf ein gleich großes anderes Ziel-Volume.

Access based Enumeration (ABE) unter Windows erlaubt das Ausblenden von Verzeichnissen, auf die der Benutzer keine Leserechte hat. Benutzer können lokal oder über LDAP respektive Active-Directory (AD) autorisiert werden. Mittels Quota kann auf der NetApp FAS32xx der Diskplatz für SMB für jeden Benutzer limitiert werden - bei NFS auch für die Gruppen. Eine Begrenzung auf Unterverzeichnisse ist mit den sogenannten Qtrees realisierbar. Im Verzeichnis /etc gibt es dafür die Datei "quotas", die bearbeitet werden muss, das heißt, eine GUI gibt es hierfür nicht.

Speicherkonfiguration

Der für den Administrator sichtbare LowLevel-Container ist ein Aggregat. Bei dessen Erstellung legt man die Anzahl der zu verwendenden Disks und den RAID-Level (4 oder DP) fest. Das Aggregat besteht dann aus diesen RAID-Gruppen, und diese sind durch den RAID-Level geschützt.

In der Regel gibt es ein Aggregat für den Controller selbst (Root-Aggregate mit dem Root-Volume für das Dateisystem) und mehrere für die Nutzdaten. Im Aggregat wird dann das Volume entweder mit fester vorgegebener Größe, als wachsendes Volume mit minimaler Größe oder als ThinVolume angelegt. Die Volumes oder Qtrees können dann per NFS oder CIFS als Freigabe eingerichtet werden. Die Benutzer- und/oder Gruppen-Autorisierung erfolgt lokal oder per LDAP/AD.

Systemmeldungen landen auf der Console und in der Log-Datei /etc/messages beziehungsweise /etc/log/messages. Anzeigen kann man sich den Inhalt unter anderem mit rdfile /etc/messages.

Fazit

Mit der Unified-Storage-FAS32xx-Serie und dem von uns untersuchten Modell FAS3240 erfüllt NetApp die meisten Anforderungen der Unternehmen im heterogenen Windows- und Unix/Linux-Umfeld. Der Fokus der FAS liegt aber ganz klar auf der Bereitstellung von Speicherplatz für Windows-basierte x86-Systeme.

Nachbessern sollte NetApp bei der grafischen Administration der HA-Funktionen und -Features. Auch die Möglichkeiten der Skalierung sind eingeschränkt, und bei den grafischen Tools fehlt offensichtlich eine klare Linie. (tecChannel/tö)