Ekstern CTO - Black Friday uden nedbrud

Der er få ting der er værre end at se din webshop gå ned midt i din største kampagne. Ordrer der ikke går igennem. Kunder der får timeout-fejl. Support-indbakken der eksploderer.

Jeg har set det ske. Webshops der har brugt måneder på at planlægge kampagnen, bygge landingssider og forberede lageret men som glemte den tekniske forberedelse. Resultatet var timer eller dage med nedsat kapacitet, tusindvis af tabte ordrer og kunder der rykkede til konkurrenten.

Det behøver ikke ske for dig.

Hvorfor teknisk forberedelse er kritisk

På en normal dag har din webshop måske 500 besøgende fordelt jævnt over dagen. På Black Friday kan du have 5.000 besøgende og halvdelen af dem kommer mellem kl. 8-10 om morgenen. Det er ikke bare 10x mere trafik. Det er 10x mere trafik koncentreret i et kort tidsrum.

Når trafikken stiger belastes alle dele af dit system samtidig. Din webserver skal servere flere sider, din database skal håndtere flere forespørgsler, dine apps skal behandle flere requests, din betalingsgateway skal processere flere transaktioner og dit lagersystem skal opdatere flere ordrer. Hvis bare én af disse komponenter ikke kan følge med oplever dine kunder problemer.

Det performance-problem du ignorerede i august og den integration der af og til giver timeout og den app der er lidt langsom bliver under peak-trafik til store problemer. Et API-kald der normalt tager 500ms kan tage 5 sekunder når serveren er presset. Og pludselig har du en kø af frustrerede kunder.

De 7 mest almindelige peak-fejl

Third-party apps der ikke kan skalere er et problem fordi du har en app til lagerstyring, en til reviews og en til upsells hvor hver app har sin egen server. Under peak kan disse servere ikke følge med og dine sider bliver langsomme eller viser fejl. Løsningen er at identificere dine kritiske apps og teste dem under belastning, kontakte app-udviklerne og spørge til deres peak-kapacitet og overveje at deaktivere ikke-kritiske apps under selve kampagnen.

Betalingsgateway-begrænsninger opstår fordi din betalingsgateway har en grænse for antal transaktioner per minut som du under normal drift aldrig rammer men under peak rammer konstant. Løsningen er at kontakte din betalingsudbyder minimum 4 uger før, spørge om dine grænser og få dem hævet midlertidigt og sørge for at have en backup-gateway konfigureret.

Lagersystem der ikke synkroniserer hurtigt nok sker når dit lagersystem opdaterer beholdningen hvert 5. minut men du på Black Friday sælger 100 stk. af en vare på 3 minutter. Resultat er oversalg og sure kunder. Løsningen er at sætte synkroniseringsfrekvensen op til real-time eller hvert minut, teste at integrationen kan håndtere den øgede volumen og sætte lav lagergrænser på populære varer.

Ingen fallback når noget går galt betyder at din hovedbetalingsløsning fejler og du har ingen backup så kunder ikke kan betale. Løsningen er at konfigurere mindst to betalingsmetoder, teste at de begge virker og have en plan for at skifte hvis den ene fejler.

Manglende monitoring betyder at din webshop går ned kl. 9:15 og du opdager det kl. 11:30 når en kunde ringer så du har mistet 2+ timers salg. Løsningen er at sætte real-time monitoring op der alarmerer dig ved problemer.

Tunge third-party scripts som Facebook Pixel, Google Analytics, Hotjar, TrustPilot-widget, chat-widget og remarketing-tags fra 5 forskellige netværk belaster alle browseren under peak og gør oplevelsen langsom. Løsningen er at auditere dine third-party scripts, fjerne dem du ikke har brug for og deaktivere midlertidigt de ikke-kritiske under peak.

Ingen load test før kampagnen betyder at du ikke aner om din webshop kan håndtere 10x trafik og finder ud af det live på Black Friday. Løsningen er at køre load tests minimum 2 uger før, simulere realistisk trafik og identificere flaskehalse.

Tjekliste 4 uger før Black Friday

Test din nuværende performance ved at køre Google PageSpeed Insights på forside, kategoriside, produktside og kurv. Noter alle scores og de specifikke problemer der identificeres. Test på mobil da det er der flertallet af dine kunder kommer fra. Identificer sider med score under 50 på mobil da de kræver handling. Mål reelle loadtider ved at åbne developer tools og måle faktisk loadtid på dine vigtigste sider. Test fra forskellige netværk som wifi, 4G og langsom forbindelse. Mål Time to First Byte som bør være under 200ms.

Ryd op i apps ved at liste alle installerede apps og deres formål, identificere apps du ikke aktivt bruger, afinstallere unødvendige apps, tjekke for efterladt kode fra tidligere apps i dit tema og identificere hvilke apps der er kritiske versus nice-to-have.

Optimer billeder ved at gennemgå dine produktbilleder og sikre de er optimeret. Tjek at alle billeder er i WebP-format. Verificer at lazy loading er aktiveret for billeder under folden. Sørg for at hero-billeder på kampagnesider er ultra-optimerede.

Forbered betalingsløsning ved at kontakte din betalingsudbyder og informere om forventet peak-volumen. Bekræft dine transaktionsgrænser og få dem hævet om nødvendigt. Test at din backup-betalingsmetode virker. Verificer at 3D Secure ikke giver problemer under høj load.

Gennemgå integrationer ved at liste alle kritiske integrationer til lager, ERP, email og forsendelse. Kontakt dine integrations-leverandører om deres peak-kapacitet. Test synkroniseringshastighed under simuleret load. Sæt fejlnotifikationer op for alle kritiske integrationer.

Tjekliste 1 uge før Black Friday

Kør load tests med værktøjer som Loader.io eller k6. Start med 50 samtidige brugere og øg gradvist til 200-500. Test de kritiske flows fra forside til kategori til produkt til kurv til checkout. Identificer flaskehalse og løs dem. Test igen efter rettelser. Kig efter responsetider der stiger drastisk under load, fejlrater der stiger over 1%, specifikke sider eller API-kald der timer ud og memory eller CPU-forbrug der når grænsen.

Audit third-party scripts ved at identificere alle third-party scripts på din side, fjerne scripts fra kampagner der er afsluttede, beslutte hvilke scripts der er kritiske versus kan slås fra under peak og forberede en kill switch til hurtigt at deaktivere ikke-kritiske scripts. Scripts du typisk kan undvære under peak er heatmap-tools som Hotjar, A/B testing scripts, remarketing-tags fra mindre netværk og chat-widgets.

Test specifikt de landingssider du vil bruge i kampagnen. Optimer billeder og grafik på kampagnesider. Fjern unødvendige elementer der belaster loadtid. Test at alle links og call-to-actions virker.

Tag backup af dit tema og dine konfigurationer. Dokumentér hvordan du ruller ændringer tilbage. Test at du hurtigt kan aktivere maintenance mode hvis nødvendigt. Hav kontaktinfo klar til hosting og platform support.

Definér hvem der er ansvarlig for teknisk overvågning under kampagnen. Lav en eskalerings-procedure for hvem der kontakter hvem ved problemer. Sørg for at nøglepersoner er tilgængelige og har besked. Del monitoring-dashboards med teamet.

Monitoring under kampagnen

At have monitoring under selve kampagnen er ikke optional men kritisk.

Overvåg på server-niveau CPU-forbrug med alert ved over 80%, memory-forbrug med alert ved over 85%, disk I/O med alert ved unormal aktivitet og netværkstrafik.

Overvåg på application-niveau responsetider per side med alert ved over 3 sekunder, fejlrate med alert ved over 1%, antal aktive sessioner og database query-tider.

Overvåg på business-niveau ordrer per minut for at se trends, checkout completion rate, betalingsfejl-rate og kurv-værdi.

Hav klare trigger-punkter defineret på forhånd. Responsetid er normalt under 2 sekunder, bekymrende ved 2-5 sekunder og kritisk over 5 sekunder. Fejlrate er normalt under 0.5%, bekymrende ved 0.5-2% og kritisk over 2%. CPU er normalt under 60%, bekymrende ved 60-80% og kritisk over 80%.

Ved niveau 1 bekymrende noterer du problemet, tjekker om det er isoleret eller generelt og overvåger tæt de næste 5 minutter. Ved niveau 2 kritisk men fungerende deaktiverer du ikke-kritiske apps og scripts, informerer teamet og forbereder yderligere tiltag. Ved niveau 3 alvorlige problemer aktiverer du maintenance mode hvis checkout ikke fungerer, kontakter platform support, kommunikerer til kunder via sociale medier og eskalerer til alle involverede parter.

Hvad der typisk går galt

Ved tredjepartsapp der går ned ser du symptomer som fejl på specifikke sider, elementer der ikke loader og connection timeout fejl. Handling er at identificere hvilken app der er problemet via Network-fanen i developer tools, deaktivere appen midlertidigt, kontakte app-udvikleren og fortsætte uden appen indtil problemet er løst.

Ved betalingsgateway der er overbelastet ser du symptomer som betalinger der fejler, timeouts under checkout og fejlbeskeder fra gateway. Handling er at skifte til din backup betalingsmetode, kontakte din betalingsudbyder og informere kunder om alternative betalingsmuligheder.

Ved lagersystem ude af sync ser du symptomer som varer der vises som på lager men er udsolgte og ordrer med varer der ikke kan sendes. Handling er at sætte populære varer til lav lagerantal manuelt, overveje at pause salg af problematiske varer, force-sync dit lagersystem og kommunikere proaktivt med berørte kunder.

Ved generel overbelastning ser du symptomer som at alt er langsomt uden specifik fejl og høj server-load. Handling er at deaktivere alle ikke-kritiske apps, fjerne third-party tracking scripts, aktivere maintenance mode hvis nødvendigt og kontakte hosting for at skalere op.

Post-mortem og læring

Når Black Friday er overstået er det fristende bare at trække vejret lettet og gå videre. Men de bedste webshops bruger tid på at analysere hvad der skete.

Analyser performance-data som hvad var din peak-trafik og hvor mange samtidige brugere, hvordan klarede responsetider sig under peak, var der perioder med højere fejlrate og hvilke sider var langsomst. Analyser forretnings-data som hvad var konverteringsraten under peak vs. normalt, hvor mange kurve blev forladt og var der tidspunkter med lavere checkout-rate. Analyser tekniske issues som hvad gik galt og hvad var den grundlæggende årsag, hvor lang tid tog det at opdage problemerne, hvor lang tid tog det at løse dem og hvad kunne have forhindret problemerne.

Dokumentér til næste år hvad der virkede godt som de forberedelser der var værd at gøre, hvad der gik galt som problemer der opstod og deres årsager, hvad I gør anderledes som konkrete ændringer til næste peak og nødvendige investeringer som opgraderinger der bør laves før næste gang.

Typiske learnings er at vi skulle have load testet mere aggressivt, vi undervurderede hvor meget trafik vi ville få, den app vi troede var kritisk var den der gav problemer, vi skulle have haft bedre monitoring fra starten og vores eskalerings-procedure var ikke klar nok.

Opsummering

Black Friday og andre peak-perioder behøver ikke at være et mareridt. Med den rigtige forberedelse kan du fokusere på at sælge i stedet for at slukke brande.

Start tidligt da 4 uger før ikke er for tidligt. Test realistisk med load test med mere trafik end du forventer. Prioritér hårdt da ikke alle apps og scripts er kritiske. Monitorer aktivt fordi du ikke kan fikse det du ikke kan se. Hav en plan og ved hvad du gør når noget går galt. Lær af det ved at dokumentere og forbedre til næste gang.

Peak-perioder er også en mulighed for at identificere teknisk gæld og performance-problemer du har ignoreret. De problemer du ser under Black Friday eksisterer også resten af året men de er bare mindre synlige. Brug det du lærer til at gøre din webshop mere robust hele året rundt.