Optics

CRC errors op een fiber link: eerst de patch, dan pas de optic

CRC errors op je uplink blijven oplopen? Zo lees je DOM aan beide kanten, vind je de echte oorzaak en wissel je de transceiver pas als laatste.

6 min lezenDoor Yvan Watchman

CRC errors? Eerst de patch, dan pas de optic. 17–57% vervuilde connector. 14–48% gebogen of beschadigde vezel. <1% slijtende zender. Eerste reparatie raak: in de helft van de gevallen zonder aanwijzing, 80% met Tx en Rx van beide kanten.

Op je uplink lopen de CRC errors op. Niet hard, maar ze stoppen niet, en misschien klappert de link er af en toe bij. De reflex is een nieuwe transceiver erin. Doe dat nog even niet: de optic hoort niet je eerste verdachte te zijn. Hieronder lees je wat de teller precies meet, wat er volgens een grote publieke studie meestal achter zit, hoe je met DOM van beide kanten de oorzaak vindt, en een checklist in de volgorde die het minste tijd en geld kost.

Wat een CRC error is, en waar je hem ziet

Elk Ethernet-frame eindigt met een Frame Check Sequence (FCS): een 32-bit CRC over de rest van het frame, vastgelegd in IEEE 802.3. De ontvanger rekent dezelfde CRC na. Klopt hij niet, dan zijn er onderweg bits omgevallen en gooit de switch het frame weg. Daarom heten ze zowel CRC errors als FCS errors.

Waar je ze ziet:

  • CLI — onder input errors met een aparte CRC-teller, of als FCS-Err in een overzicht van interface-errors. De naam verschilt per platform.
  • SNMP — ifInErrors uit de IF-MIB telt alle ontvangen frames met fouten, waaronder de FCS-fouten; dot3StatsFCSErrors uit de EtherLike-MIB telt alleen de FCS-fouten.

Twee dingen om te onthouden. De fout wordt geteld op de ontvangende poort, maar het probleem zit ergens op het pad vanaf de zender aan de overkant. En counters zijn cumulatief: zet ze op nul en kijk of ze blijven oplopen, anders zoek je naar een probleem van vorige maand.

Wat er meestal achter zit

Microsoft volgde 350.000 optische switch-to-switch links in 15 datacenters en koppelde ruim 300 storingstickets aan de DOM-waarden (SIGCOMM 2017). De verdeling van de oorzaken:

OorzaakAandeel
Vervuilde connector17–57%
Gebogen of beschadigde vezel14–48%
Slechte of los zittende transceiver6–45%
Gedeeld onderdeel (breakoutkabel, switch)10–26%
Zender die slijt<1%

De bereiken zijn breed omdat technici vaak twee dingen tegelijk deden, reinigen en opnieuw insteken, zonder te noteren wat hielp. Toch is de boodschap helder: de patch en de vezel zijn vaker de schuldige dan de optic, en een laser die echt opraakt is zeldzaam.

Nog drie bevindingen die je meteen kunt gebruiken. De foutrate op een link was stabiel in de tijd en stond los van de load: het gaat dus niet over "druk vandaag", maar over iets fysieks. Corruptie zat bijna altijd in één richting; maar 8,2% van de links mét corruptie had fouten in beide richtingen. En zonder gerichte aanwijzing was de eerste reparatie maar in de helft van de gevallen raak. Toen technici het advies opvolgden dat gebaseerd was op de Tx- en Rx-waarden van beide kanten, werd dat 80%.

Kanttekening: dit zijn hyperscale-datacenters met heel veel korte links. Jouw netwerk is kleiner, maar dezelfde natuurkunde.

Zo lees je DOM aan beide kanten

DOM/DDM geeft per transceiver de Tx power en Rx power. Lees ze aan beide kanten uit en zet ze naast elkaar. Volgens de studie herken je de oorzaak zo:

  • Rx laag in één richting, Tx overal normaal — vervuiling. Het licht vertrekt goed maar komt verzwakt aan. Reinig beide kanten van die vezel.
  • Rx laag aan beide kanten, Tx normaal — de vezel zelf: een knik, een bocht krapper dan de bend radius of een beschadigde kabel. Vaak zien dan ook beide switches fouten.
  • Tx laag aan één kant en Rx laag aan de overkant — die zender levert te weinig. Dit is het geval waarin je de transceiver direct wisselt.
  • Alles normaal, toch fouten — een slechte of los zittende transceiver, of een niet-optisch probleem. Eerst opnieuw insteken, dan pas vervangen. Hebben meerdere poorten op dezelfde switch tegelijk fouten bij goede waarden, kijk dan naar een gedeelde breakoutkabel of de switch zelf.

Twee valkuilen. SFF-8472 staat een meetonzekerheid van ±3 dB toe op Tx en Rx power, dus vergelijk met de eerdere waarden van dezelfde module en met de andere kant, niet alleen met een absoluut getal. En niet alle vervuiling verlaagt de Rx: sommig vuil geeft reflecties die DOM niet ziet. Reinigen blijft dus stap één, ook als de waarden er goed uitzien. Hoeveel verlies een link aankan, lees je bij de reach-codes.

Fouten die niet van de optic komen

  • Duplex-mismatch — op koper. Draait de ene kant full duplex en de andere half, dan lopen CRC-, FCS- en runt-tellers op. Zet beide kanten op dezelfde instelling. Een speed-mismatch houdt de link meestal gewoon down.
  • FEC-mismatch — op 25G en hoger. De FEC-modus (uit, FC-FEC of RS-FEC) moet aan beide kanten gelijk zijn. Anders komt de link niet op, of hij komt op en geeft fouten. Check dit vóór je hardware wisselt.
  • DAC — een DAC is kabel en transceiver in één. Fouten op een DAC los je op door de hele kabel tegen een goede te wisselen.
  • Cut-through switches — die sturen een corrupt frame soms al door voordat de CRC binnen is, en markeren het. Dan zie je fouten op meerdere switches. Zoek de eerste hop waar ze opduiken; het probleem zit op de link naar die poort.

Een link die klappert, steeds down en weer up, heeft vaak dezelfde oorzaak als CRC errors, alleen erger: de Rx zakt zo ver dat de ontvanger het signaal kwijtraakt. De aanpak is gelijk. Kijk naar Rx aan beide kanten, reinig, en meet het verlies van het pad met een lichtbron en powermeter als twijfel blijft. Timers die het klapperen maskeren, lossen niets op.

De checklist, in deze volgorde

  • Zet de counters op nul en controleer of de CRC errors echt blijven oplopen, en aan welke kant.
  • Lees DOM uit aan beide kanten en noteer Tx en Rx power naast elkaar.
  • Inspecteer en reinig beide connectoren van de link, ook aan de transceiverkant en op elk patchpaneel ertussen.
  • Wissel de patchkabel tegen een nieuwe of bewezen goede.
  • Loop de route na op knikken en te krappe bochten, vooral in de onderste rij van een fiberlade of patchpaneel en bij deuren die kabels kunnen afklemmen.
  • Vergelijk de DOM-waarden opnieuw met je eerste meting.
  • Steek de transceiver opnieuw in en wissel hem pas daarna, als de fouten blijven.
  • Probeer als laatste een andere poort of line card.

Wij bouwen Praevisio, nu in BETA met een wachtlijst. Het legt CRC- en FEC-fouten en klapperende links naast de DOM-waarden, afgezet tegen de eigen baseline van elke module, en adviseert de goedkoopste oorzaak eerst. Bijvoorbeeld: "Reinig eerst de verbinding. Daarna meet Praevisio een kwartier opnieuw. Geeft het dan nog hetzelfde advies, dan pas: wissel de transceiver." Je data blijft in Nederland.

Nu al aan de slag? Een Clear Connection Tool en een paar reserve-patchkabels (OS2, OM4) lossen meer CRC errors op dan een nieuwe optic. Blijft de link fouten geven, bel een engineer of laat ons de link meten via onze services.

Yvan Watchman

Over de auteur

Yvan Watchman

Oprichter van FiberNxt en Xyphen IT

Yvan Watchman is oprichter van FiberNxt en Xyphen IT. Hij bouwt en beheert al jaren netwerken en datacenterinfrastructuur in en rond Amsterdam.

LinkedIn-profiel

Gerelateerde producten en diensten

Veelgestelde vragen

Wat betekenen CRC errors op een switchpoort?

Dat er frames binnenkomen waarvan de checksum (de FCS aan het eind van elk Ethernet-frame) niet klopt met de inhoud. Er zijn onderweg bits omgevallen. De switch gooit zo'n frame meestal weg en telt het als input error. De teller zegt dat er iets mis is op het pad naar deze poort, niet wat.

Moet ik bij CRC errors op fiber meteen de SFP vervangen?

Nee. In een Microsoft-studie (350.000 gemonitorde links, ruim 300 geanalyseerde storingstickets) waren een vervuilde connector of een beschadigde of te krap gebogen vezel samen vaker de oorzaak dan de transceiver. Reinig en inspecteer eerst beide kanten en wissel de patchkabel; de optic komt daarna.

Waarom lopen de CRC errors maar aan één kant op?

Omdat in een duplex-link elke vezel licht in één richting vervoert. Vuil of schade zit meestal in één van de twee vezels van een duplex-link, dus alleen de ontvangende kant ziet fouten. Dat helpt je juist bij het zoeken.

Verder lezen