Bei SANs und Backup-Lösungen bieten sich als Infrastruktur Ethernet mit Datenraten bis zu 10 GBit/s (10GE) über Kupfer und Fibre Channel mit bis zu 8 GBit/s über Glasfaser an. Beide Verfahren arbeiten mit Punkt-zu-Punkt Interconnects mittels Switches und FC-Fabrics, unterscheiden sich aber im Administrationsaufwand. Außerdem liegen oftmals beide Datenleitungstypen aufgrund des unterschiedlichen Einsatzes örtlich nebeneinander. Mit je zwei FC-HBAs und zwei Ethernet-Ports pro Server im Bereich High-Availability (HA) wird es eng und wärmer im Rack.
Fibre-Channel over IP (FCIP) ist bereits ein Ansatz, der FC-Frames mittels IP- Pakete zwischen zwei FC-Switches tunnelt. Der originale FC-Switch schickt seine Pakete zum FCIP-Switch, der die FC-Pakete in IP-Datagramme verpackt und diese mittels Netzwerk zum anderen FCIP-Switch sendet. Dort entfernt der FCIP-Switch die IP-Umhüllung und sendet die ursprünglichen FC-Pakete zum dortigen FC-Switch. IFCP verpackt ebenfalls FC-Frames in IP-Pakete, ist aber nicht auf die Switch-zu-Switch-Kommunikation beschränkt.
FC-Netze besitzen aufgrund ihrer Funktion eine geringe Latenzzeit und dürfen unter keinen Umständen Pakete verlieren, was zu Datenverlust oder -Korruption führen würde. Bei FCIP und IFCP sorgt IP für eine gewisse Ausfalltoleranz, aber auch zu einem Overhead. Sollen hingegen FC-Frames als Ethernet-Pakete transportiert werden, muss mittels Quality-of-Service dem Paketverlust und der hohen Latenzzeiten bei Ethernet Rechnung getragen werden.
Trotz dieser schwierigen Anforderungen bietet es sich an, das bewährte und robuste Ethernet als Transportmedium für FC-Frames zu nutzen.
Ethernet
Mit bis zu zweimal 10 GBit/s (10 GE) im full duplex-Modus bietet die Ethernet-Technologie (in IEEE 802.3 verankert) über Switches eine geschaltete Punkt-zu-Punkt Verbindung zwischen den End-Ports. Die älteren Layer-1-Hubs, die das Signal meist nur elektrisch verstärkten, nicht duplex-fähig waren und nur eine gemeinsame Nutzung der Bandbreite ermöglichten, sind kaum noch anzutreffen.
Das Zugriffsverfahren bei IEEE 802.3/Ethernet ist CSMA/CD, wobei Kollisionen bei den Switches heute aufgrund von P2P nicht mehr vorkommen; die Kollisionsdomäne besteht lediglich aus den beiden Verbindungspartnern. Fast-Ethernet (100 MBit/s) ist in IEEE 802.3u, Gigabit über Glasfaser in IEEE 802.3z, über Kupfer (UTP) in IEEE 802.3ab und 10 GE in IEEE 802.3ae und "an" spezifiziert.
Als Adressierung dient eine weltweit-eindeutige 48 Bit breite Ethernet-, HW- oder auch MAC-Adresse genannt, meist in der hexadezimalen Form "aa:01:b2:3d:25:2a" geschrieben. Diese wird im Data-Link-Layer (Layer 2) des OSI/ISO-Schichtenmodells zur physikalischen Adressierung genutzt. Da jedem Produzenten von Ethernet-Geräten ein Pool von MAC-Adressen zur Verfügung steht, lässt sich anhand der ersten 24 Bit (OUI) der Hersteller meist leicht ermitteln. Mittels Broadcast-MAC-Adresse, bei der alle Bits "1" (ff:ff:ff:ff:ff:ff) sind, werden die Geräte im LAN adressiert. Die MAC-Adresse kann heute meist im LAN vom Benutzer geändert werden, wobei sichergestellt werden sollte, dass diese Adresse weiterhin im LAN einmalig ist.
Die Nutzdatengröße liegt bei 1.500 Byte, bei Einsatz von Jumbo-Frames entsprechend höher, da für Jumbo-Frames kein einheitlicher Herstellerstandard besteht – typischerweise liegt diese jedoch im Bereich 8-9 KB. Die Mindest-Framegröße bleibt bis hinauf zu 10GE bei 64 Byte.
Von den ursprünglichen vier Ethernet-Datenblock-Typen sind heute meist die beiden in IEEE 802.3 definierten im Einsatz. Ethernet ist heute der Standard im Bereich Netzwerke und hat viele andere Technologien verdrängt.
Fibre Channel
Obwohl der Ausdruck "Fiber" oder "Fibre" eher auf Glasfaser deuten ließe, ist Fibre-Channel (FC) ein Protokoll, das beide Medientypen – Kupfer und Glasfaser – bei differierenden Physical-Layern unterstützt. Kupfer meist im System selbst bis Entfernungen von 30 Metern, darüber in der Regel Glasfaser.
Als Interconnect kam FC in den Anfängen mit 1 Gbit/s als FC-AL (FibreChannel Arbitrated Loop) mit gemeinsamer Bandbreitennutzung als Bus zum Einsatz. Mit der Zeit kamen FC-Switches – oft auch "Fabrics" genannt - günstig auf den Markt und damit wurde die Peer-Technologie mit exklusiver Bandbreitennutzung auch hier möglich. Unter Fabric versteht man auch die Vernetzung von FC-Switches.
Die Topologie ist heute meist Switched-Fabric, d.h. eine Punkt-zu-Punkt Verbindung mit zur Zeit 8 Gbit/s (ca. 2 x 800 MB/s voll-duplex) pro Datenrichtung.
Das FC-Protokoll ist für Hochleistungsspeichernetze entwickelt worden und damit für den gesicherten, schnellen Transport von großen Datenmengen. Dank Multipathing sind redundante Datenpfade möglich.
Der 64bittige Hexadezimalwert "Worldwide Node Name (WWNN)" dient analog der MAC-Adresse bei Ethernet der eindeutigen Identifizierung des Gerätes. Jeder FC-Port ist darüber hinaus mit seiner "Worldwide Port Name (WWPN)" Kennung, eindeutig. WWNN und WWPN sind sich sehr ähnlich. Ein 4-Port HBA hat daher 4 eindeutige WWPN und eine WWNN.
Das Mapping von WWNN bzw. WWPN und das daraus resultierende Zoning auf die Ethernet-MAC-Adressen darf nicht zu Fehlern führen.
Fibre-Medien
Bei den Fiber-Medien werden zwei Arten von Glasfasertypen benutzt:
-
Multimode
-
Single-/Monomode
Die maximale Übertragungsstrecke bei einer Multimodefaser beträgt beim Kerndurchmesser von 50 µm ca. 550 m, beim Kerndurchmesser von 62,5 µm nur noch ca. 275 m.
Verkleinert man den Kerndurchmesser bis hinunter zu 9 bis 3 µm, so kommt man zur Singlemode-Faser, die auch Monomode-Faser genannt wird. Der äußere Durchmesser der Faser beträgt bei beiden ca. 125 µm. Mit entsprechenden langwelligen Lasern (Wellenlänge 1.310 oder 1.550 nm) kann man dabei Strecken bis zu 250 km überbrücken.
Bietet FC über Fibre den Vorteil große Strecken nahezu verlustfrei zu verbinden und darüber noch eine hohe Resistenz gegenüber elektrischen und magnetischen Störfeldern zu besitzen, so ist die Verlegung der empfindlichen dünnen Glasfasern nicht immer einfach. Oft werden daher redundante bzw. vorerst nicht aktivierte Fasern im Leitungsbündel verlegt, die so genannten "DarkFiber".
Fibre Channel over Ethernet (FCoE)
FibreChannel over Ethernet (FCoE) ist ein Ansatz um die FC-Frames über IEEE 802.3 Netzwerke zu leiten. Der neue, noch nicht definierte Standard bietet die Möglichkeit die Vernetzung in Rechenzentren zu vereinfachen, Kosten zu sparen und bietet gleichzeitig einen Investitionsschutz, da die bisherigen Geräte mit FC-Anschluß weiter genutzt werden können und kaum Anpassungen an Soft- und Hardware notwendig sind. Bis ca. April 2008 wird mit einem ersten Entwurf als Standard von FCoE gerechnet.
Firmen aus den Bereichen Storage und Netzwerk stehen hinter FCoE, darunter Brocade, Cisco, EMC, Emulex, IBM, Intel, QLogic, Sun und Nuova, letztere ein Abkömmling von Cisco. Die Spezifikation wurde dem T11-Komitee (t11.org) des US-amerikanischen National Standards Institute (ANSI) als Vorschlag unterbreitet. Die Start-Ups Nuova und Emulex bilden mittlerweile eine produktive Partnerschaft um den Standard voranzutreiben.
10-GBit/s-FC (10GFC) und -Ethernet (10GE) setzen ohnehin einen nahezu identischen Hardware-Layer ein. Daher eignet sich der Physical-Link theoretisch sowohl für FC- als auch für Ethernet-Frames.
Vorteile von FCoE
Mit Fibre-Channel over Ethernet ergeben sich folgende Vorteile:
-
Nur ein Leitungstyp, bestehende, bewährte Technologie
-
bessere Kühlung im Rack, weniger Leistungsaufnahme
-
Investitionsschutz: FC-Geräte können weitergenutzt werden
-
Mit 10GE, keine Geschwindigkeitseinschränkungen
Bei Ethernet können Frames verloren gehen, und die Latenzzeit ist recht gross. Die höheren Protokolle (TCP/IP) des Netzwerkstacks sorgen für eine sichere Übertragung durch Paketwiederholung oder Neuanforderung.
Für FCoE gibt es daher einige Erweiterungen für Ethernet (FCoCEE):
-
Kein Frame-Verlust (PAUSE oder Nicht-PAUSE)
-
Traffic Management 802.1au
-
Priorisierung von FC-Daten gegenüber Nicht-FC-Daten 802.1Q (QoS)
-
Gleiche Frame-Latenz wie in reinen FC-Netzen
Damit sind keine oder nur geringe Anpassungen an Treibern notwendig.
Ethernet bietet mittels PAUSE die Möglichkeit, den gesamten Traffic anzuhalten, aber eben nicht zielgerichtet. So würden auch FCoE Pakete behindert. Daher kommt hier "Per priority PAUSE" neu zur Anwendung, welches eine Priorisierung der Pakete ermöglicht, so dass die FCoE-Frames nicht behindert werden.
Die großen FC-Speichernetze (Taperoboter, Library, RAID) können damit transparent für die Endpunkte wie bisher genutzt werden.
Das verbindungs- und byte-orientierte iSCSI wurde für IP-Netze entwickelt und hat einen TCP-Overhead. Ausserdem sind Gateways zwischen FC und iSCSI teuer. Die Flusssteuerung erfolgt rein über die höheren Protokolle (TCP) und geht damit bei schlechten Verbindungen auf Kosten der Bandbreite und Performance. Diese Nachteile will FCoE vermeiden. Eine weitere wichtige Voraussetzung für FCoE ist die Funktion über Standard-Ethernet-Switches. Den Herstellern ist es jedoch überlassen, spezielle FCoE Services auf dem Switch zu implementieren.
Anstelle der so genannten Host-Bus-Adapter (HBA), die den internen Systembus mit der Glasfaser verbinden, werden Karten genutzt, die sich dem Betriebssystem gegenüber als HBA verhalten und dem Netzwerk-Switch als Netzwerkkarte erscheinen.
FCoE für Konvergenz der Datennetze
Sowohl Emulex als auch QLogic wollen ihre Hostbus-Adapter für FCoE im kommenden Jahr auf den Massen-Markt bringen; Prototypen sind bereits verfügbar. Mit dem Startup "Nuova" mischt Cisco vorne mit, denn das Unternehmen soll einen Chip entwickelt haben, der FC- und Ethernet-Datenströme kombinieren kann.
Durch den Einbezug von Jumbo-Frames (Paketgrösse > 1.580 Byte) müssen die 2 KB großen FC-Frames nicht beim Transport via Ethernet fragmentiert werden – ein Grundvoraussetzung von FCoE.
Über das FCoE Discovery Protokoll werden Konfigurationsdaten ausgetauscht um fehlerhafte Implementierungen im Vorfeld zu ermitteln. Ebenfalls können Switches und Adapter ihre Positionen im Netzwerk auf der MAC-Ebene damit erkennen.
FCoE zielt auf eine Konvergenz der beiden Datennetze ab. Mit FCoE allein würde lediglich FC über heutige Ethernet-Verbindungen getunnelt werden, wobei man sich die Pausenregelung von Ethernet zunutze macht. Um echte Konvergenz herzustellen, ist ein weiteres Unterprotokoll namens FCoCEE (FC over Convergence Enhanced Ethernet) notwendig, das korrigierend im Ethernet eingreift, um mehrere Traffic-Klassen und Prioritäten nebeneinander zu ermöglichen.
Bestehende SAN-Funktionen wie Zoning, Multipathing oder World-Wide-Name-Adressierung blieben erhalten.
Kapselung
FCoE kapselt genau einen FC-Frame und eine geringe Prüfsumme in einen Ethernet-Frame, d.h. FC-Frames werden nicht auf mehrere Ethernet-Frames fragmentiert. Auch mehrere kleinere FC-Frames werden nicht in einen Ethernet-Frame konsolidiert. Damit sind FCoE-Frames native Layer-2 Ethernet-Frames mit der charakteristischen Ethertype-Kennung "FCoE".
Im Gegensatz zu iSCSI, welches native SCSI-Daten über TCP transportiert, wird bei FCoE dieser Protokoll-Overhead dadurch vermieden, dass die Daten ohne die Daten der höheren Protokollschichten übermittelt werden.
Bei Ethernet ist die minimale Frame-Länge 64 Byte, bei FC hingegen 28 Byte. Die Ethernet-Frames werden daher bis zu minimalen Grösse von 64 Byte aufgefüllt. Allein die Frage, wie diese Lücke gefüllt werden soll, und ob ein Längenfeld benutzt oder ein Zeitstempel mitgeführt werden soll, führt zu einer anregenden Diskussion zwischen den FCoE Initianten – mittlerweile scheint eine Einigung gefunden zu sein.
Zurzeit stehen zwei Kapselungs-Methoden zur Auswahl, nämlich "ProbB" von Brocade, HP und IBM und andererseits "ProbC" von Cisco und weiteren, wobei letztere 15Byte in der Paketgrösse einspart.
Für die Zugriffskontrolle (ACL) könnten die MAC-Adressen herbeigezogen werden. Bei lokal zugewiesenen MAC-Adressen ist dies umso leichter und entspräche damit dem Zoning Konzept von FC.
Netzwerktechnologien im Vergleich
In der folgenden Tabelle finden Sie die Spezifikationen verschiedener Netzwerktechnologien im Vergleich:
|
Technologie |
Ethernet (10G) |
Fibre Channel |
FCoE |
Infiniband |
iSCSI |
HyperSCSI |
|
aktuelle Transfergeschwindigkeit |
10 Gb/its |
8 Gbit/s |
10 Gbit/s |
5 Gbit/s |
1 Gbit/s |
- |
|
Medium |
Kupfer/ |
Glasfaser |
Kupfer/ |
Kupfer/ |
Kupfer/ |
- |
|
Transport-Layer |
Ethernet |
FC |
Ethernet |
- |
TCP/IP |
Ethernet |
|
Nutzdaten (Byte) |
1500~9000 JF |
2121 |
1500~9000 JF |
- |
1500 |
- |
|
Minimale Framelänge (Byte) |
64 |
28 |
64 |
- |
64 |
- |
|
Übertragungsstrecke, P2P |
bis 100 m |
100 km |
bis 100 m |
15 m Kupfer |
- |
- |
|
Ethertype |
- |
0xFC0E |
- |
- |
0x889A |
Aussicht
In der kurzlebigen Zeit der IT ist Investitionsschutz ein wichtiger Anschaffungsfaktor für neue Hardware. FCoE könnte nicht nur den administrativen Aufwand und doppelte Leitungsführung vermeiden helfen, sondern auch helfen, Kosten zu minimieren.
Einen echten innovativen technologischen Fortschritt bietet FCoE kaum, im Vergleich mit den reinen Datennetzen HyperSCSI, iSCSI, FCIP, iFCP und Infiniband könnte sich aber eine integrierte Nutzung von reinen Datennetzen und herkömmlichen Netzwerkverkehr ergeben. Ein umweltfreundlicher Nebeneffekt resultiert in Einsparungen bzgl. Material und Energie, doch dafür braucht es nicht unbedingt FCoE.
20 GE BASE-10 über Glasfaser steht schon vor der Tür und bietet so 10GFC eine ideale Basis. Mit den Erweiterungen von Ethernet könnte dieses in Zukunft zum universellen Transportmedium avancieren und iSCSI, HyperSCSI, FCIP, iFCP in FCoE vereinen.
Aber wie heißt es schön: "Das gute an Standards ist, dass man zwischen so vielen davon auswählen kann." (Thomas Steudten, TecChannel.de/tö)