Datacenter

Latency: waarom een DAC sneller is dan optics (en wanneer het uitmaakt)

DAC, AOC of optics in het rack? Waar latency in een korte link echt vandaan komt, waarom een passieve DAC wint en wanneer die nanoseconden ertoe doen.

5 min lezenDoor Yvan Watchman

DAC sneller? Door FEC, niet door koper. 4,9 ns/m licht in single-mode-vezel. 4,7–4,8 ns/m signaal in de twinax van een DAC. ~250 ns RS-FEC per link (schatting IEEE 802.3). Over 3 m scheelt de kabel minder dan een nanoseconde. Op 100G gebruiken DAC en SR4 allebei RS-FEC.

Je bouwt een rack voor storage met RDMA, een HPC-cluster of een trading-omgeving, en iemand zegt dat je overal DAC moet gebruiken "want dat is sneller". Klopt dat, en hoeveel scheelt het dan? In dit artikel lees je waar latency in een link van een paar meter echt vandaan komt, waarom een passieve DAC de laagste poort-tot-poort-latency geeft, wat een AOC of optics toevoegen, en wanneer je je er niet druk om hoeft te maken.

De kabel is het probleem niet

Eerst de misvatting. Koper is per meter niet wezenlijk sneller dan glas. Licht in single-mode-vezel heeft een group index van ongeveer 1,467, en doet er dus zo'n 4,9 ns per meter over. Het signaal in de twinax van een DAC haalt ruwweg 70% van de lichtsnelheid: rond 4,7 tot 4,8 ns per meter, afhankelijk van de kabel.

Over een link van 3 m scheelt dat minder dan een nanoseconde. Als een DAC sneller is, komt dat dus ergens anders vandaan.

Waar de nanoseconden wel zitten

Latency in een korte link komt grofweg uit vier bronnen, plus de propagatie in de kabel zelf:

  • Serialisatie — een frame van 1500 bytes duurt op 10G 1,2 µs om de draad op te gaan, op 25G 0,48 µs, op 100G 0,12 µs. Dat ligt vast door je snelheid, niet door je kabel.
  • De PHY — hier zit het grote verschil tussen soorten koper. 10GBASE-T (RJ45) gebruikt zware codering en LDPC-correctie en kost in de orde van 2 µs per link. Een DAC is iets heel anders: de SerDes van je switch stuurt het koper direct aan.
  • FEC — vanaf 25G heb je vaak forward error correction nodig. Schattingen uit de IEEE 802.3-studiegroep voor 25G (2014): BASE-R FEC rond de 80 ns per link, RS-FEC rond de 250 ns. Dat zijn geen metingen van jouw switch, wel de juiste orde van grootte.
  • Elektronica in de module — een retimer (CDR) of, vanaf PAM4-snelheden, een DSP. Elke stap die het signaal opnieuw klokt of rekent, kost tijd. Hoeveel precies, verschilt per module; daar bestaat geen standaardgetal voor.

Die propagatie is de kleinste post van allemaal.

Waarom een passieve DAC wint

Een passieve DAC heeft geen elektronica in het signaalpad. Er zit alleen een EEPROM in de behuizing, zodat je switch weet wat erin zit. Geen laser, geen fotodiode, geen retimer.

Het tweede voordeel is FEC. Bij 25G kent de IEEE drie klassen DAC. De korte, dikke kabels met het laagste verlies (CA-25G-N) mogen zonder FEC draaien. De andere klassen hebben BASE-R FEC of RS-FEC nodig. De 25GBASE-SR-standaard voor optics rekent op RS-FEC; er zijn SR-optics voor korte links zonder FEC, maar check dan de datasheet. Een korte DAC zonder FEC tegenover een SR-link met RS-FEC scheelt dus in de orde van 250 ns per hop. Dat is honderden keren meer dan het verschil in de kabel.

Wat AOC en optics toevoegen

Een AOC is geen "glasvezel-DAC". Het is een paar optics met een vaste vezel ertussen. Je krijgt dezelfde omzetting naar licht en meestal dezelfde FEC-eisen als losse optics van die snelheid (de fabrikant bepaalt dat, dus check de datasheet); alleen de connectors vallen weg.

Hoe groot het verschil is, hangt af van de snelheid:

  • 10G — veel SFP+-optics hebben geen retimer aan boord, en 10GBASE-SR en -LR gebruiken geen FEC. Het verschil met een DAC is klein. Het echte latencyverschil op 10G zit tussen SFP+ en 10GBASE-T.
  • 25G — hier zit het verschil vooral in FEC: een DAC zonder FEC tegenover optics met RS-FEC.
  • 100G — 100GBASE-CR4 (DAC) en 100GBASE-SR4 (optics) gebruiken allebei dezelfde Clause 91 RS-FEC. Het FEC-voordeel van de DAC verdwijnt grotendeels.
  • 400G en hoger — optics hebben meestal een DSP. Linear pluggable optics (LPO) laten die weg, juist voor minder stroom en latency. 400G leveren we op offerte.

Wanneer het uitmaakt, en wanneer niet

Het maakt uit als je latency in honderden nanoseconden telt:

  • Trading — elke hop telt, en een paar honderd nanoseconden per link is daar geld.
  • Storage en RDMA — RoCE en NVMe-oF leven van korte, voorspelbare latency; FEC per hop telt op over een fabric.
  • HPC — MPI-verkeer met kleine berichten is gevoelig voor latency per hop.
  • ToR binnen het rack — server naar top-of-rack-switch is precies de afstand waar een DAC past. Daar is hij ook goedkoper en zuiniger.

Het maakt niet uit voor een gewone kantoor- of virtualisatieomgeving, waar je applicatie in milliseconden rekent. Daar kies je op afstand, kabeldikte en airflow. Een lange passieve DAC is dik en stug; boven een paar meter, of tussen racks, is een AOC of optics met een patch cord vaak gewoon de betere kabel.

Wij denken mee over je ontwerp

Latency is een ontwerpkeuze, geen kabelkeuze. De FEC-instelling op beide kanten, de DAC-klasse, je switchplatform en de afstanden in je rack bepalen samen wat je haalt. Meet eerst je afstanden; met onze patchkabel-lengte-calculator heb je een maat per verbinding, zodat je de kortste kabel kiest die past.

Kijk daarna bij DAC-kabels, AOC-kabels of 25G SFP28. Bouw je een low-latency fabric of twijfel je over FEC tussen twee merken switches? Stuur ons je ontwerp: wij denken mee en sturen je een offerte. Wil je de links daarna ook geïnstalleerd en getest hebben, kijk dan bij onze services.

Yvan Watchman

Over de auteur

Yvan Watchman

Oprichter van FiberNxt en Xyphen IT

Yvan Watchman is oprichter van FiberNxt en Xyphen IT. Hij bouwt en beheert al jaren netwerken en datacenterinfrastructuur in en rond Amsterdam.

LinkedIn-profiel

Gerelateerde producten en diensten

Veelgestelde vragen

Is koper per meter sneller dan glasvezel?

Nauwelijks. Licht in single-mode-vezel doet er zo'n 4,9 ns per meter over, het signaal in de twinax van een DAC rond 4,7 tot 4,8 ns. Over 3 m scheelt dat minder dan een nanoseconde. Het verschil tussen een DAC en optics zit in de elektronica en de FEC, niet in de kabel.

Heeft een AOC dezelfde latency als een DAC?

Nee. Een AOC is in feite een paar optics met een vaste vezel ertussen. Je hebt dus dezelfde omzetting naar licht en meestal dezelfde FEC-eisen als losse optics van die snelheid. Alleen de connectors en de losse patch cord vallen weg.

Moet ik FEC uitzetten voor lagere latency?

Alleen als de link het aankan. Bij 25G mag een korte DAC uit de klasse met het laagste verlies zonder FEC draaien; langere DAC's en de meeste SR-optics rekenen op RS-FEC. Zet je FEC uit op een link die hem nodig heeft, dan ruil je een paar honderd nanoseconden in voor bitfouten en retransmits.

Verder lezen