Hercontrolestrategieën: een nieuwe status bevestigen voor de melding
Een hercontrole is de tweede mening die een monitoringsysteem vraagt voordat het een statuswijziging gelooft: de mislukte of nieuw geslaagde controle wordt herhaald vanaf andere locaties, zodat één slecht waarnemingspunt niet op eigen houtje een incident kan openen. HostTracker controleert een site volgens het schema dat in de monitoringconfiguratie is ingesteld, en een nieuw gedetecteerde status UP of DOWN wordt als kandidaat behandeld tot de hercontrole die bevestigt.
Waarom één mislukte controle geen storing is
Een controleresultaat beschrijft één verzoek, vanaf één plek, op één moment. Elk van die drie kan iets verkeerds zeggen over de site als geheel. Het netwerk tussen één enkel controlepunt en uw server kan kapot zijn terwijl elke andere route prima werkt. Een DNS-record kan in één regio nog aan het doorkomen zijn en in de volgende regio al correct staan. De omgeving van een controlepunt zelf kan onverenigbaar zijn met iets wat uw server doet.
Als een monitoringsysteem op elk eerste resultaat zou reageren, zou het u voor al deze gevallen alarmeren en ook uw uptimestatistieken verstoren, want de storing die het registreerde, heeft voor uw gebruikers nooit plaatsgevonden. Daarom wordt de gedetecteerde status, UP of DOWN, als onbevestigd vastgehouden tot die is bevestigd, en pas daarna gebeurt er iets verderop: een melding gaat uit, een incident wordt geopend, het uptimecijfer verandert.
Wat een hercontrole opvangt
Hercontroleren vanaf andere locaties is wat een echte, sitebrede wijziging onderscheidt van een lokaal artefact. De gevallen die het het vaakst uitfiltert zijn:
- Korte downtime tijdens een nieuwe deployment, waarbij de site alweer terug is voordat een tweede controle loopt
- DNS-onbeschikbaarheid terwijl een configuratiewijziging doorkomt, zodat sommige resolvers al antwoorden en andere nog niet
- Een lokale blacklisting van de site of van het adres van het controlepunt, alleen zichtbaar vanaf één netwerk
- Een controleagent waarvan de omgeving onverenigbaar is met de technologieën die de server gebruikt
- Routerings- of peeringproblemen op het pad tussen één enkel controlepunt en de server
De bevestigende controles komen uit de geo-regio die is ingesteld voor de monitoringtaak, zodat de tweede mening komt uit hetzelfde deel van de wereld als uw gebruikers, en niet zomaar van waar toevallig capaciteit vrij is.
De drie hercontrolestrategieën
HostTracker ondersteunt drie manieren om te bepalen of een nieuwe status echt is.
1. Meerderheidsstem. Wanneer een controle een nieuwe status teruggeeft, wijst het systeem tot 7 nieuwe locaties uit de geo-regio van de monitoringtaak toe om die te bevestigen. De teruggekregen resultaten worden gegroepeerd op status, en de grootste groep wint. Stel dat een controle vanuit Miami DOWN meldt, en hercontroles vanuit New York, Boston en Chicago komen terug met UP, DOWN, UP. De DOWN is onbevestigd en wordt verworpen, en Miami wordt bestraft: het wordt niet meer gebruikt voor controles van die site. Draai hetzelfde voorbeeld andersom, met Miami dat UP meldt na een DOWN en New York en Chicago die UP bevestigen, en dan wordt de overgang van DOWN naar UP geregistreerd.
2. Een vast aantal locaties dat DOWN bevestigt. Hier stelt u het minimumaantal hercontroles in dat nodig is om een DOWN te bevestigen, terwijl een UP nog altijd de meerderheidsstem vereist. Staat dat aantal op 1, dan is in hetzelfde voorbeeld Boston alleen al genoeg om de DOWN van Miami te bevestigen, ook al waren New York en Chicago het daar niet mee eens.
3. Geen hercontrole. De nieuwe status wordt altijd meteen bevestigd zodra die wordt gedetecteerd. Dit gaat uit van volledig vertrouwen in de server en in de omgevingen van de monitoringlocaties. Het past bij een paar specifieke monitoringbehoeften en moet zorgvuldig worden gekozen, want elk tijdelijk netwerkprobleem bij één controlepunt wordt dan een valse melding en een deuk in het uptimecijfer.
Een strategie kiezen
- Begin met de meerderheidsstem. Dat is de gebalanceerde standaard: het kost een paar seconden extra bevestigingstijd en verwijdert vrijwel alle ruis van een enkel controlepunt.
- Verlaag de bevestigingsdrempel voor DOWN wanneer een snelle melding meer waard is dan een rustige inbox. Een regionale storing die maar twee locaties kunnen zien, bereikt u dan alsnog, tegen de prijs van meer valse meldingen.
- Houd de meerderheidsstem aan voor UP-overgangen, hoe u DOWN ook instelt. Een voortijdige UP sluit een incident dat nog bezig is en verbergt het staartje van de storing uit uw statistieken.
- Bewaar geen-hercontrole voor doelen die u volledig zelf beheert, waar u liever een valse melding onderzoekt dan op bevestiging wacht.
Welke strategie u ook kiest, u kunt een verschil van mening zelf reproduceren vanaf twee verschillende netwerken en vergelijken wat elk ervan ziet:
curl -sS -o /dev/null -w '%{http_code} %{time_total}s\n' https://example.com/Een 503 vanaf het ene netwerk en een 200 vanaf het andere is precies het patroon waarvoor de hercontrole is bedoeld. Is de falende status een 5xx in plaats van een timeout, dan heeft de server wel geantwoord, en dat is een ander probleem: zie 503 Service Unavailable.
Wat bevestiging u oplevert
Hercontroles zijn wat een monitoringsysteem in staat stelt om frequente controles vanaf veel plekken te draaien zonder dat die gevoeligheid in ruis verandert. HostTracker controleert vanaf 300+ controlepunten in 158 steden, dus er zijn altijd onafhankelijke locaties beschikbaar voor de tweede mening, en alleen een bevestigde overgang activeert een melding via e-mail, sms, spraakoproep, Slack, Telegram en meer. De strategieën hierboven zijn niet de volledige mogelijke reeks, en support kan een nieuwe overwegen voor een toekomstige release als uw monitoring een behoefte heeft die geen ervan dekt. Zie gedistribueerde beschikbaarheidsmonitoring voor hoe het controlepuntnetwerk wordt gebruikt, en de rest van het onderdeel over monitoringbegrippen voor de termen erachter.