Wenn alle Switch-LEDs im Gleichtakt blinken

Woran du einen Broadcast-Sturm erkennst

Ein Sturm sieht von außen aus wie ein Totalausfall, hat aber eine eindeutige Handschrift. Wenn mehrere der folgenden Punkte gleichzeitig auftreten, suchst du nach einer Schleife und nicht nach einem Ausfall des Internetanschlusses, eines Servers oder des DHCP.

• Port-LEDs im Gleichtakt

  Die Aktivitäts-LEDs vieler Ports auf allen Switches blinken schnell und synchron, auch an Ports, an denen gerade niemand arbeitet.

• Management reagiert nicht

  SSH-Anmeldungen brechen ab oder dauern Minuten, weil die CPU der Switches mit Broadcasts und dem Neulernen der MAC-Tabelle beschäftigt ist. Die Konsole funktioniert meist noch.

• Zähler explodieren

  show interfaces zeigt Broadcast- und Multicast-Zähler, die zwischen zwei Abfragen um Hunderttausende steigen, und eine Eingangsrate nahe der Leitungsrate.

• MAC-Flapping im Log

  Im Log stehen Meldungen vom Typ SW_MATM-4-MACFLAP_NOTIF für viele verschiedene MAC-Adressen, die zwischen denselben zwei Ports springen.

• Ausfall über alle VLANs eines Trunks

  Eine Schleife in einem VLAN reißt über die gemeinsamen Uplinks und die Switch-CPU auch die anderen VLANs mit, obwohl sie selbst keine Schleife haben.

Sofortmaßnahme: trennen, dann lesen

Die Reihenfolge ist wichtig: Erst stoppst du den Sturm, dann suchst du die Ursache. Solange die Schleife läuft, sind Logs unvollständig, CDP-Nachbarn verschwinden und jede Abfrage dauert. Frag zuerst, was sich in der letzten Stunde geändert hat, und trenne genau diese Verbindung.

Weißt du von keiner Änderung, schaltest du die Uplinks der Etagenverteiler am Kernswitch nacheinander ab. Beruhigt sich das Netz nach einem bestimmten Uplink, liegt die Schleife in diesem Bereich. Dort wiederholst du das Verfahren auf dem Etagenswitch mit den Endgeräte-Ports oder Portgruppen. Nimm dafür die Konsole, nicht SSH, denn über SSH verlierst du die Verbindung womöglich in dem Moment, in dem du den falschen Port abschaltest.

Sichere vor dem Wiedereinschalten die Spuren. Die Logs der Switches laufen bei einem Sturm schnell über, und mit ihnen verschwinden die MAC-Flapping-Meldungen, die dir den Ort verraten.

show logging | include MACFLAP|SPANTREE|STORM
show interfaces counters
show interfaces | include line protocol|broadcasts|input rate
show processes cpu sorted | exclude 0.00
!
configure terminal
interface TenGigabitEthernet1/1/3
 shutdown
end

Die Schleife mit Spanning-Tree-Zählern lokalisieren

Jeder Switch zählt je VLAN, wie oft sich die Topologie geändert hat, und merkt sich, über welchen Port die letzte Änderung hereinkam. Cisco empfiehlt für die Suche den gefilterten Befehl show spanning-tree detail mit include auf ieee, occur, from und is. Er liefert je VLAN die Zahl der Topologiewechsel, wie lange der letzte her ist und von welchem Port er kam.

Steigt der Zähler bei jeder Abfrage und liegt der letzte Wechsel Sekunden zurück, folgst du dem genannten Port. Mit show cdp neighbors für dieses Interface findest du den Nachbar-Switch, meldest dich dort an und wiederholst die Abfrage. Endet die Spur an einem Endgeräte-Port, hast du die Quelle gefunden.

Diese Methode findet auch Störungen, die keinen vollen Sturm auslösen, etwa ein Kabel mit Wackelkontakt an einem Uplink. Jeder Linkwechsel ist dort ein Topologiewechsel, und jeder Topologiewechsel lässt die Switches einen Teil ihrer MAC-Tabelle verwerfen. Das Netz flutet dann kurzzeitig Unicast-Verkehr, und Anwender bemerken das als Aussetzer.

SW-KERN# show spanning-tree detail | include ieee|occur|from|is
 VLAN0030 is executing the rstp compatible Spanning Tree protocol
  Number of topology changes 1834 last change occurred 00:00:02 ago
          from TenGigabitEthernet1/1/3
!
SW-KERN# show cdp neighbors TenGigabitEthernet1/1/3
! führt zu SW-ETG3, dort dieselbe Abfrage wiederholen
SW-ETG3# show spanning-tree detail | include ieee|occur|from|is

Die üblichen Verdächtigen

Die meisten Schleifen in Büronetzen haben eine von wenigen Ursachen. Die Tabelle nennt sie mit der Spur, an der du sie erkennst, und der dauerhaften Abhilfe. Gemeinsam ist allen, dass sie an einem Port entstehen, der für ein Endgerät gedacht war. Genau deshalb ist BPDU Guard an Endgeräte-Ports die wirksamste einzelne Maßnahme.

Wie Spanning Tree Schleifen verhindert und welche Variante läuft

Spanning Tree wählt eine Root Bridge, berechnet von jedem Switch den kürzesten Weg zu ihr und blockiert alle anderen Wege. Grundlage sind die BPDUs, die Switches untereinander austauschen. Die Root Bridge ist der Switch mit der niedrigsten Bridge-ID, die sich aus Priorität und MAC-Adresse zusammensetzt. Laut Cisco ist die Priorität ab Werk 32768 und lässt sich in Schritten von 4096 zwischen 0 und 61440 setzen.

Das ursprüngliche Verfahren nach IEEE 802.1D braucht mit den Default-Zeitgebern von 2 Sekunden Hello, 15 Sekunden Forward Delay und 20 Sekunden Max Age bis zu 50 Sekunden, bis ein Ersatzweg weiterleitet. Rapid Spanning Tree nach 802.1w handelt Zustände direkt zwischen Nachbarn aus und schaltet in der Regel in wenigen Sekunden um. MSTP nach 802.1s bildet viele VLANs auf wenige Instanzen ab. Alle drei Verfahren sind heute Teil von IEEE 802.1Q.

Cisco-Switches betreiben zusätzlich eigene Varianten mit einer Instanz je VLAN. Ein Catalyst 9300 läuft laut Cisco ab Werk mit Rapid PVST+ und unterstützt in diesem Modus bis zu 300 Instanzen. Mit Switches anderer Hersteller, die nur MSTP oder RSTP sprechen, arbeitet Rapid PVST+ über die gemeinsame Instanz zusammen. In gemischten Umgebungen ist MSTP deshalb oft die sauberere Wahl.

Vorbeugen: Root Bridge, Guards und Storm Control

Die wichtigste Einstellung ist die Root Bridge. Lege sie auf den Kernswitch, der ohnehin das Zentrum der Topologie ist, und den zweiten Kernswitch als Ersatz fest. Mit dem Makro spanning-tree vlan root primary setzt Cisco die Priorität auf 24576, sofern das genügt, um Root zu werden. Feste Werte wie 4096 und 8192 sind eindeutiger und überleben das Hinzufügen weiterer Switches.

An allen Endgeräte-Ports gehören PortFast und BPDU Guard zusammen. PortFast schaltet den Port sofort auf Weiterleiten und verhindert, dass jedes Hochfahren eines PCs einen Topologiewechsel auslöst. BPDU Guard schaltet den Port ab, sobald dort eine BPDU ankommt. Global gesetzt, mit spanning-tree portfast bpduguard default, gilt BPDU Guard für alle Ports mit PortFast. Auf den Downlinks des Kerns sorgt Root Guard dafür, dass kein Switch von unten Root werden kann, und Loop Guard schützt vor einseitigen Glasfaser-Links.

Storm Control ist die zweite Verteidigungslinie für Schleifen, die Spanning Tree nicht sieht. Es misst je Port den Anteil von Broadcast-, Multicast- oder unbekanntem Unicast-Verkehr an der Bandbreite und verwirft oberhalb der Schwelle. Mit storm-control action shutdown setzt der Switch den Port in err-disabled, mit trap meldet er per SNMP. Ein Prozent Broadcast an einem Gigabit-Arbeitsplatz entspricht 10 Mbit/s, weit mehr als ein normaler Client erzeugt.

! Kernswitch 1
spanning-tree mode rapid-pvst
spanning-tree vlan 1-4094 priority 4096
spanning-tree loopguard default
interface range TenGigabitEthernet1/0/1 - 8
 description Downlinks zu Etagenswitches
 spanning-tree guard root
!
! Kernswitch 2
spanning-tree vlan 1-4094 priority 8192
!
! Etagenswitch
spanning-tree mode rapid-pvst
spanning-tree portfast bpduguard default
errdisable recovery cause bpduguard
errdisable recovery interval 300
interface range GigabitEthernet1/0/1 - 46
 spanning-tree portfast
 storm-control broadcast level 1.00
 storm-control multicast level 5.00
 storm-control action trap

Prüfpunkte nach dem Vorfall

Wenn das Netz wieder läuft, ist die Arbeit erst zur Hälfte getan. Eine Schleife, deren Ursache nicht verstanden ist, kommt wieder, oft am selben Ort. Die folgenden Punkte gehören in die Nachbereitung, am besten am selben oder nächsten Tag, solange Logs und Erinnerungen frisch sind.

• Ursache und Ort dokumentieren

  Halte fest, welcher Port, welches Gerät und welche Änderung beteiligt waren, mit Zeitstempel aus dem Log. Ohne diese Angaben bleibt nur die Vermutung.

• Root Bridge je VLAN prüfen

  show spanning-tree root zeigt für jedes VLAN die Root-ID und den Root-Port. Steht dort nicht der Kernswitch, setzt du die Prioritäten nach.

• Alle Endgeräte-Ports auf PortFast und BPDU Guard prüfen

  show spanning-tree summary zeigt, ob BPDU Guard global aktiv ist, show running-config | include portfast die Einstellung je Port.

• err-disabled-Ports durchgehen

  show interfaces status err-disabled listet alle abgeschalteten Ports mit Grund. Jeder Eintrag ist eine Spur zu einem Gerät, das dort nicht hingehört.

• Storm-Control-Schwellen kontrollieren

  show storm-control zeigt je Port die gesetzte Schwelle und den aktuellen Anteil. Ports, die im Normalbetrieb nahe an der Schwelle liegen, brauchen einen höheren Wert.

• Syslog zentral sammeln

  Beim nächsten Sturm laufen die lokalen Puffer wieder über. Ein zentraler Syslog-Server bewahrt die MAC-Flapping-Meldungen, die dir den Ort verraten.