Datacenter

QSFP28-breakout: zo maak je van één 100G-poort vier keer 25G

Eén 100G-poort naar vier 25G-servers of -switches? Wanneer je een breakout-DAC of -AOC kiest, wanneer SR4 of PSM4 met MPO-fanout, en wat je vooraf instelt.

5 min lezenDoor Yvan Watchman

Eén 100G-poort, vier apparaten op 25G. QSFP28 (vier lanes van 25G) naar 25G, 25G, 25G, 25G. Kan: breakout-DAC, breakout-AOC, SR4 of PSM4 met een MPO-fanout. Kan niet: LR4 en CWDM4. Eerst de breakout-modus op de switch, dan de FEC per leg.

Je hebt een 100G-poort over op je switch en vier servers of leaf-switches met 25G-netwerkkaarten die ergens op moeten. Kan dat met één poort, en zo ja, met welke kabel of optics? Het kan, met een breakout. In dit artikel lees je welke drie routes er zijn, welke optics wel en niet kunnen opsplitsen, wat je op de switch moet instellen en wat je ons moet vertellen als je bestelt.

Wat een breakout eigenlijk doet

Een QSFP28-poort (SFF-8665) is elektrisch vier lanes van 25G naast elkaar. Als 100G-poort bundelt de switch die vier lanes tot één interface. Bij een breakout laat hij ze los: elke lane wordt een eigen 25G-poort met een eigen interfacenaam, eigen configuratie en eigen linkstatus. Aan de andere kant zit dan op elke lane een SFP28 (SFF-8402), één lane van 25G.

Voor 40G geldt hetzelfde: QSFP+ is vier keer 10G. De kabel of optic doet niets anders dan elke lane een eigen fysieke uitgang geven, en dat werkt alleen als elke lane ook echt een eigen pad heeft.

Drie routes, en welke optics afvallen

  • Breakout-DAC — koper, met een QSFP28 aan de ene kant en vier SFP28's aan de andere. Goedkoop en zuinig. Vendors leveren ze van 1 tot 5 m: binnen het rack of naar het buurrack.
  • Breakout-AOC — hetzelfde idee, maar met vezel en vaste optics aan de uiteinden. Dunner en langer: NVIDIA levert ze bijvoorbeeld van 3 tot 30 m.
  • Parallel optics met MPO-fanout — een 100G-SR4 (multimode, 70 m op OM3 en 100 m op OM4) of PSM4 (single-mode, 500 m) in de switch, een fanout van MPO naar vier keer LC duplex, en aan elke uitgang een losse 25G-optic. Voor grotere afstanden of bestaande gestructureerde bekabeling.

Wat niet kan opsplitsen: LR4 en CWDM4. Die zetten de vier lanes op vier wavelengths en sturen ze samen over één duplex-paar. Er is geen vezel per lane, dus niets om via een fanout op te splitsen. Juniper markeert zijn 100G-LR4 dan ook als niet breakout-capable, SR4 en PSM4 wel. Hetzelfde geldt voor een single-lane 100G-DR: dat is één lane van 100G, geen vier van 25G. Met een 400G-DR4 kun je wel naar vier keer 100G-DR, maar 400G leveren we op offerte.

Ook bij parallel optics is het geen automatisme: Cisco's QSFP-40G-SR4 kan naar vier keer 10G-SR, de bijna gelijknamige QSFP-40G-SR4-S niet. Check het datasheet.

Eerst de switch, dan de kabel

Een QSFP28-poort draait standaard als één 100G-interface. Steek je er een breakout-kabel in zonder iets in te stellen, dan komt er geen enkele 25G-link op. Je zet de poort expliciet in breakout-modus, en hoe dat gaat, verschilt per platform en softwareversie.

Let daarbij op port groups. Op sommige switches kan niet elke poort opsplitsen, en kost een breakout je de poorten ernaast. Op de meeste poorten van Juniper's PTX10002-60MR kan 4x 25G alleen op elke vierde poort, en moeten de drie poorten daarna ongebruikt blijven. Bij sommige Cisco Nexus-modellen kan breakout alleen op bepaalde poortnummers, en soms vraagt de wijziging om een herstart.

  • Zoek in het datasheet of de configuratiegids van je switch op welke poorten breakout ondersteunen, en in welke modi.
  • Controleer welke naburige poorten wegvallen als je een poort opsplitst.
  • Plan de wijziging in een onderhoudsvenster als je platform een herstart of herinitialisatie van de poort vraagt.
  • Zet per 25G-leg dezelfde FEC als op het apparaat aan de overkant.

FEC per leg, en waarom de lengte telt

Na de breakout is elke leg een eigen 25G-link, met een eigen FEC-instelling. Beide kanten moeten dezelfde FEC draaien, anders werkt de link niet goed. Cisco schreef er een hele blog over: "Don't Mix Up Your FECs".

Een 25GBASE-SR-optic vraagt RS-FEC. Bij DAC's bepaalt de kabelklasse het: korte kabels (CA-25G-N) kunnen zonder FEC, langere hebben BASE-R FEC of RS-FEC nodig. Bij de breakout-DAC's van NVIDIA zijn de kabels tot 2 m CA-25G-N en die van 3,5 en 5 m CA-25G-L, met RS-FEC; 2,5 en 3 m bestaan in beide klassen. Kies dus niet "voor de zekerheid" een langere kabel: je koopt er een FEC-eis bij die de netwerkkaart in je server ook moet ondersteunen.

Coding: twee kanten, twee platforms

Een breakout-DAC heeft vijf EEPROM's: één in de QSFP28-kop en één in elke SFP28. Bij een breakout-AOC heeft ook elk uiteinde zijn eigen managementinterface. Elke host leest alleen zijn eigen kant. Je switch kijkt naar de QSFP28, je servers of de switch aan de overkant naar de SFP28's. Hangen er aan beide kanten verschillende merken, dan moet de coding aan beide kanten kloppen.

Geef ons daarom altijd beide platforms door: merk en type switch aan de 100G-kant, en wat er aan de 25G-kant zit. Dan kijken we wat er voor die combinatie mogelijk is, in plaats van dat jij er bij de installatie achter komt.

Zo bestel je het

Breakout-kabels staan op dit moment niet in onze webshop, en de QSFP28-optics die er wel staan (LR4, ER4, ZR4 en DR) zijn allemaal duplex-optics zonder breakout. MPO-bekabeling, SR4 en PSM4 leveren we op offerte.

Wat er wel in de shop staat, vind je bij DAC-kabels, AOC-kabels, 25G SFP28 en 100G QSFP28. Voor een breakout stuur je ons je aanvraag met beide platforms, de afstanden en het aantal legs, dan sturen we een offerte. Installatie en testen regel je via onze services.

Yvan Watchman

Over de auteur

Yvan Watchman

Oprichter van FiberNxt en Xyphen IT

Yvan Watchman is oprichter van FiberNxt en Xyphen IT. Hij bouwt en beheert al jaren netwerken en datacenterinfrastructuur in en rond Amsterdam.

LinkedIn-profiel

Gerelateerde producten en diensten

Veelgestelde vragen

Kan ik een 100G-LR4 of CWDM4 opsplitsen in vier keer 25G?

Nee. LR4 en CWDM4 zetten de vier lanes op vier wavelengths over één duplex-paar. Er is geen losse vezel per lane voor een fanout. Voor breakout heb je parallel optics nodig, zoals SR4 of PSM4, of een breakout-DAC of -AOC.

Moet ik de switch configureren voor breakout?

Ja. Een QSFP28-poort draait standaard als één 100G-interface. Je zet hem per poort in breakout-modus, en op sommige platforms worden daarbij naburige poorten onbruikbaar of is een herstart nodig. Kijk in de documentatie van jouw switch en softwareversie.

Werkt hetzelfde voor 40G naar 4x 10G?

Ja, met dezelfde regels. Een QSFP+-poort heeft vier lanes van 10G. Een breakout-DAC of -AOC naar vier SFP+ werkt, net als een 40G-SR4 met MPO-fanout. Een 40G-LR4 niet, en ook niet elke SR4-variant ondersteunt breakout, dus check het datasheet.

Verder lezen