Zwei oder drei Schichten: die Entscheidung vor dem Switch-Kauf

Die drei Schichten und was jede leistet

Das Drei-Schichten-Modell trennt Aufgaben, nicht Geräte. Die Access-Schicht schließt Endgeräte an, liefert Strom über PoE für Telefone, Kameras und Access Points und setzt Richtlinien am Port durch, etwa 802.1X, Port-Security oder Storm Control. Die Distribution-Schicht bündelt die Access-Switches eines Bereichs, ist die Grenze zwischen der Layer-2-Welt der VLANs und der Layer-3-Welt des Routings und fasst Routen zusammen, bevor sie weitergegeben werden. Der Core verbindet die Distribution-Blöcke und soll vor allem schnell und stabil sein.

Cisco beschreibt die Distribution ausdrücklich als Grenze zwischen der Layer-2-Domäne des Access und der Layer-3-Domäne des Cores und als logischen Punkt, um Routing-Informationen zusammenzufassen. Genau diese Aufgaben fallen beim Collapsed Core mit denen des Cores zusammen: Das Kernpaar ist dann Gateway der VLANs, Routing-Punkt und Rückgrat zugleich.

Collapsed Core: wann zwei Schichten reichen

Cisco nennt den Collapsed Core die Alternative für kleinere Standorte und Ein-Gebäude-Campus. Ein Standort, der ein einziges Gebäude belegt, braucht nach dieser Beschreibung womöglich nur Access und Distribution, ein Gelände mit mehreren Gebäuden höchstwahrscheinlich alle drei Schichten. Für die Grenze nennt Cisco eine Zahl: Werden mindestens drei Distribution-Blöcke verbunden, sollte ein Core in Betracht gezogen werden, und bei mehr als drei Blöcken an einem Ort sollte ihn eine Organisation einsetzen.

Der Grund ist die Vermaschung. Ohne Core muss jeder Distribution-Block mit jedem anderen verbunden sein, damit es keinen Umweg gibt. Bei zwei Blöcken ist das ein Leitungspaar, bei drei sind es drei Paare, bei vier sechs, allgemein n mal n minus 1 durch 2. Jede dieser Verbindungen ist eine Routing-Nachbarschaft, die gepflegt werden will. Mit einem Core hat jeder Block genau eine Anbindung, unabhängig davon, wie viele Blöcke es gibt.

Für die meisten Mittelständler mit einem Hauptgebäude, vielleicht einer Halle und einem Nebengebäude ist der Collapsed Core das passende Modell, sofern alle Gebäudeverteiler direkt per Glasfaser am Kernpaar hängen. Die Gebäudeverteiler sind dann Access-Stacks, keine eigenen Distribution-Blöcke. Das Gateway aller VLANs liegt auf dem Kernpaar.

Rechenweg: reichen zwei Kernswitches physisch?

Ob ein Collapsed Core trägt, entscheidet auch die Zahl der Ports. Jeder Access-Stack braucht mindestens zwei Uplinks, einen zu jedem Kernswitch, damit der Ausfall eines Kernswitches oder einer Faser den Stack nicht abschneidet. Cisco nennt in seinem Campus-Design als Beispiel zwei 10-Gbit-Uplinks je 48-Port-Switch und vier 10-Gbit-Uplinks für einen Stack aus zwei Switches.

Ein Beispiel mit angenommenen Zahlen: 1200 Arbeitsplatzports in 48-Port-Switches ergeben 25 Switches, gebündelt in 9 Stacks zu meist drei Switches. Mit vier Uplinks je Stack braucht das Kernpaar 36 Ports für Access, also 18 je Switch, plus Ports für Server, Firewall, WLAN-Controller und Reserve. Ein Kernpaar mit je 48 Ports im 10/25-Gbit-Bereich hat damit genug Luft.

Die Überbuchung rechnest du je Stack. Drei 48-Port-Switches mit 1 Gbit/s ergeben 144 Gbit/s am Rand, vier Uplinks mit 10 Gbit/s ergeben 40 Gbit/s Richtung Kern, das Verhältnis ist 3,6 zu 1. Cisco berichtet von Designs mit Verhältnissen bis 20 zu 1 zwischen Access und Distribution. Büroverkehr erreicht fast nie gleichzeitig Leitungsrate auf allen Ports. Kritisch wird es bei Access Points mit Multigigabit-Ports und bei Bereichen mit großen Dateien, etwa CAD oder Video.

Redundanz: Stack, StackWise Virtual und vPC

Ein Kernpaar soll für die angeschlossenen Switches wie ein einziges Gerät wirken, damit die Uplinks eines Access-Stacks als ein EtherChannel zu beiden Kernswitches laufen können. Dann blockiert Spanning Tree keinen der Uplinks, und beide tragen Last. Cisco nennt das Multichassis EtherChannel und empfiehlt, statt fest eingeschalteter Bündel ein dynamisches Protokoll wie LACP zu nutzen.

Die drei verbreiteten Verfahren unterscheiden sich darin, was sie zusammenlegen. Ein Stack aus Catalyst 9300 verbindet bis zu acht Switches über Stack-Kabel zu einem Gerät mit einer gemeinsamen Steuerebene, einem aktiven und einem Standby-Switch. StackWise Virtual macht dasselbe mit zwei Switches über normale Ethernet-Ports. Es läuft auf Catalyst 9400, 9500 und 9600, laut Cisco nur mit Network-Advantage-Lizenz, und Cisco empfiehlt mindestens zwei physische Ports für die Verbindung. vPC auf Nexus-Switches mit NX-OS lässt zwei getrennte Steuerebenen bestehen und verbindet die Geräte über einen Peer-Link und einen separaten Keepalive.

Der Unterschied zeigt sich bei Updates und Softwarefehlern. Bei einem Stack und bei StackWise Virtual läuft auf beiden Geräten dieselbe Software unter einer Steuerebene, ein Fehler dort trifft beide. Bei vPC sind die Geräte unabhängig, jedes wird einzeln konfiguriert und aktualisiert, die Konfiguration muss aber auf beiden Seiten passen.

! auf beiden Catalyst 9500, danach write memory und reload
stackwise-virtual
 domain 10
interface HundredGigE1/0/49
 stackwise-virtual link 1
interface HundredGigE1/0/50
 stackwise-virtual link 1
!
! nach dem Zusammenschluss: EtherChannel zu Access-Stack 3
interface range TwentyFiveGigE1/0/3 , TwentyFiveGigE2/0/3
 channel-group 3 mode active
interface Port-channel3
 switchport mode trunk
 switchport nonegotiate
 switchport trunk allowed vlan 10,30,40,999

Routed Access: Layer 3 bis in den Etagenverteiler

Eine Variante beider Modelle verlegt die Grenze zwischen Layer 2 und Layer 3 in die Access-Schicht. Jeder Access-Stack ist dann selbst Gateway seiner VLANs und routet über seine Uplinks per OSPF oder einem anderen Routing-Protokoll zum Kern. Zwischen Access und Kern gibt es keine Trunks und kein Spanning Tree mehr, sondern geroutete Punkt-zu-Punkt-Verbindungen mit gleich teuren Wegen.

Cisco empfiehlt grundsätzlich, ein VLAN auf einen Verteilerraum oder ein Uplink-Paar zu beschränken, weil VLANs, die sich über mehrere Access-Switches ziehen, Schleifen ermöglichen und Spanning Tree Bandbreite blockieren lässt. Routed Access setzt das konsequent um. Der Preis ist, dass ein VLAN nicht mehr über mehrere Etagen reicht. Für Geräte, die beim Umzug ihre Adresse behalten sollen, oder für drahtlose Clients, die zwischen Etagen roamen, brauchst du dann eine andere Lösung, etwa ein zentrales WLAN-Gateway oder ein Overlay.

Spine-Leaf gehört ins Rechenzentrum, nicht in den Campus

Spine-Leaf wurde für Verkehr zwischen Servern entwickelt. Virtualisierung, verteilte Datenbanken und Speichercluster erzeugen viel Ost-West-Verkehr, also Verkehr zwischen Systemen im selben Rechenzentrum. In einer Spine-Leaf-Fabric ist jeder Leaf mit jedem Spine verbunden, und zwischen zwei Servern an verschiedenen Leafs liegen immer genau drei Geräte: Leaf, Spine, Leaf. Mehr Kapazität bekommst du, indem du einen Spine hinzufügst, und alle Wege werden gleichmäßig genutzt.

Im Campus fließt der meiste Verkehr in Nord-Süd-Richtung, von Clients zu Servern im Rechenzentrum, zu Cloud-Diensten oder ins Internet. Clients sprechen selten direkt miteinander. Die Stärke von Spine-Leaf, gleich lange Wege zwischen beliebigen Endpunkten, bringt dort wenig. Dafür kostet die Vollvermaschung über ein Gelände viele Fasern, und das Overlay mit VXLAN und BGP EVPN verlangt ein Betriebswissen, das viele Campus-Teams nicht haben.

Davon zu unterscheiden sind Campus-Fabrics wie Cisco SD-Access. Sie nutzen ebenfalls ein Overlay mit VXLAN, aber nicht wegen gleich langer Wege, sondern um Segmentierung und Zugriffsrichtlinien unabhängig von VLANs und IP-Adressen durchzusetzen. Das Underlay bleibt dabei ein geroutetes Netz in einer Campus-Hierarchie. Ob sich das lohnt, ist eine Frage der Richtlinien und der Betriebswerkzeuge, nicht der Schichtenzahl.

Drei Beispielbetriebe und ihr passendes Design

Die folgenden Betriebe sind konstruierte Beispiele mit typischen Größen, keine Kundenfälle. Sie zeigen, wie die Kriterien aus der Matrix zu einer Entscheidung führen.

• Steuerkanzlei, ein Gebäude, 120 Ports, Serverraum im Keller

  Ein Stack aus drei Catalyst 9300 im Serverraum dient als Collapsed Core und Access zugleich, die zwei Etagenverteiler hängen mit je zwei Uplinks daran. Eine eigene Distribution oder ein Core hätten hier keine Aufgabe. Die Firewall stellt Gateways für Gäste und Gebäudetechnik, der Stack routet die internen VLANs.

• Maschinenbauer, drei Gebäude auf einem Gelände, 1200 Ports

  Ein Kernpaar mit StackWise Virtual im Hauptgebäude bildet den Collapsed Core. Alle neun Access-Stacks, auch die in Halle und Verwaltungsbau, hängen sternförmig per Glasfaser direkt daran. Es gibt einen einzigen Distribution-Block, ein Core wäre überflüssig. Wichtig ist eine zweite, räumlich getrennte Faserstrecke zu jedem Gebäude.

• Klinikum mit acht Gebäuden und eigenem Rechenzentrum, 6000 Ports

  Jedes Gebäude hat einen eigenen Verteilerraum mit einem Distribution-Paar, an dem die Access-Stacks der Etagen hängen. Acht Blöcke liegen weit über der Schwelle, ab der Cisco einen Core empfiehlt, also verbindet ein Core-Paar die Blöcke per OSPF. Das Rechenzentrum ist als Spine-Leaf aufgebaut und über ein Border-Paar an den Core angebunden.