Utföra prestandatester och redundanstester i produktion.

De flesta prestandatester utförs i en dedikerad miljö, just för att kunna upprepa testerna för applikationsändringar och/eller infrastrukturförändringar och se om dessa håller måttet i kommande produktion.
Dagens applikationer blir mer och mer komplexa i så motto att det finns beroenden till andra system. Vid prestandatester i dedikerad prestandatestmiljö löser man det oftast med ”stubbar”, dvs program som ”simulerar svaret från den externa källan. Fördelen är ju att du kan genomföra testerna, men nackdelen är ju att du förenklar verkligheten.
Ovanstående kombinerat med att det finns utmaningar att efterlikna produktionsmiljön i testmiljön, exempelvis exakt konfigurering i infrastrukturen, gör att vissa frågeställningar som verksamheten söker svar på kan tacklas/kombineras med andra tester än de tradionella prestandatesterna/redundanstesterna i dedikerad miljö.
Jag vill ge två exempel på frågeställningar när test i produktion kan vara en fördel.
Kontrollera redundansen, eller vad händer om redundant enhet slutar fungera samt vad händer vid volymökning.

Kontrollera redundansen
I de flesta applikationer finns det infrastruktur som skall klara av så pass enkla scenarier som att om en webbserver, filserver, databasserver, switch, brandvägg, etc. etc. fallerar, skall användaren inte drabbas av detta.
Visst, innan produktionssättning utfördes säkert tester med ovannämnda scenarier, som bekant så ändras infrastruktur och applikationer under tiden, detta kan påverka redundansen.
Vad händer vid volymökning
I de flesta fall har prestandatester i dedikerad prestandatestmiljö utförts och man vet konsekvenserna av ökad volym, exempelvis ökning av antalet besökare på webbsiten, ökande batchbearbetning i kombination med onlinetrafiken etc. etc. Men även här har vi verkligheten, att applikationer/infrastruktur ändras och som alternativ/komplement till prestandatester i dedikerad miljö så kan man utför dylika tester i produktion.
Så nu är det bara att göra testerna i produktion 🙂 , eller ?
Tänk på följande innan:
– Du har mätningar i realtid i produktion inom nivåerna servrarnas hälsa (cpu,ram, I/o), operativsystemens hälsa inklusive databas, applikationens hälsa, aktiv samt passiv övervakning av slutanvändarnas svarstider, dedikerade robotar/program som läser av hälsan direkt mot en webserver (istället för att gå via exempelvis lastbalanseraren).
– Du har gjort upp en plan när testerna skall utföras och har försäkrat dig om att alla ”experter” är på plats.
– Du har en uppgjord handlingsplan, om det är så att vissa mätparametrar börjar nå kritiska siffror, action sker exempelvis avbryt testerna. Och kritiska siffror har du fått från tidigare prestandatester.
– En general leder arbetet och har kontakt med alla intressenter under testets gång.

Sammanfattning.
Det är bättre att under kontrollerade former finna defekter än att dessa uppdagas kl 03 00 på lördag morgon. Chaos monkey (https://en.wikipedia.org/wiki/Chaos_Monkey) då det gäller redundansen, utnyttjas av Netflix, det finns dock mellanlägen … 🙂  Kontakta oss på Lights In Line så kan vi ha en förutsättningslös diskussion i ämnet.

En halv miljon skolfoton kräver hög prestanda

 

På sin hemsida berättar företaget Viron Media att de älskar att arbeta med människor och att nätet är deras andra hem. Och när man årligen tar mer än en halv miljon skolfoton på svenska elever och dessutom bevakar Vasaloppet så alla åkarna kan köpa bilder på sig själva i spåret, får nog det påståendet betraktas som helt sant.

Men bakom ridån krävs teknik som måste vara i toppform för att orka med de många belastningstoppar som uppstår när kunderna vill komma åt sina bilder. Håkan Johansson, som arbetar som systemchef på Viron Media berättar hur han första gången kom i kontakt med Lights in Line och hur de sedan dess arbetat för att företagets webbsite skall ha allra bästa prestanda.
-Genom åren har vi gått från att ha varit ett postorderföretag till dagens automatiserade flöde vilket krävt en hel del utveckling. När vi för ungefär två år sedan skulle lansera en ny version av websiten upplevde vi en del prestandaproblem och kom snabbt fram till att vi inte kunde riskera att genomföra förändringarna utan professionella tester. Med de kundvolymer vi har måste helt enkelt allt fungera och webbens prestanda är en stor del av detta. Säsongen för skolfotona drar igång i början på september och under en kort period kan vi som mest ha över 700-800 samtidiga användare och då måste allt fungera.

-Hur kom Ni i kontakt med Lights In Line?

-Sanningen att säga så kände jag till dem redan tidigare och på ett möte poppade helt enkelt deras namn upp i huvudet. Så vi kontaktade dem, tog in en offert för att jämföra vad det skulle kosta att göra tester själva, alternativt att lägga ut det. Slutsatsen blev ganska snabbt att det var bättre att använda extern expertis.

-Vad gjorde Lights In Line?

-En hel del faktiskt, som att hitta flera problem kring last- och samtidighetsproblematik. Vi skruvade och ändrade och senare började vi också prenumerera på Lights In Lines övervakningstjänst vilken vi nu kört i ungefär ett år och som ger oss möjlighet att kontinuerligt övervaka vår website och på ett tidigt stadium få signaler när något inte står rätt till. Tjänsten innebär att vi får meddelanden från Lights In Line via e-mail eller SMS. Sedan går vi själva in och åtgärdar felen.

Bo Svensson, VD på Lights in Line berättar om samarbetet med Viron Media:

-Det började med prestandatester lite då och då och Viron Media upplevde att de fick bra och snabba svar från oss. Både våra och deras tekniker kom också väldigt bra överens vilket snabbt blev till ett kreativt samarbete och för ungefär tio månader sedan kom vi fram till att det kanske vore bättre att Lights Line kontinuerligt levererade prestandatest som en tjänst för ett fast pris per månad. Detta innebär att Lights In Line rycker in med kort varsel och blir det större åtagande kör vi på löpande räkning.

Håkan berättar vidare;

-När vi nu fortsätter att utveckla vår webbsite och våra system gör vi last- och prestandatester som en integrerad del av det arbetet. Lights In Line kommer in lite då och då som exempelvis nu när vi skall ha ett möte inför hösten. Beroende på omfattningen i nyutvecklingen får Lights In Line själva bedöma omfattningen på behovet av testerna.

-Har det någon gång varit stora problem?

-Lyckligtvis har vi aldrig haft någon riktigt allvarlig incident och Lights In Line har helt klart hjälpt oss att hitta problem som vi inte själva upptäckt. Utifrån Lights In Lines övervakningsstatistik och loggar har vi också själva gjort en del tester och men också snabbt kunnat se saker som behövt åtgärdas.

-Vi hade heller aldrig kunnat ta den affärsmässiga risken att INTE genomföra prestandatester. Det skulle ju kunnat innebära en opålitlig och långsam website och därmed mindre beställningar. Självklart är det svårt att kvantifiera vad prestandatesterna sparat in i tid och pengar men när vi vid ett tillfälle hade ett tvärstopp så blev det ju heller inga intäkter. Tillsammans med Lights In Line har vi också kunnat korta svarstiderna på webben med uppskattningsvis 30 och 50% vilket är rejält. I praktiken innebär det en skillnad för användaren på att vänta 5 eller 2,5 sekunder på svar vilket är avgörande.

-Skulle du rekommendera Lights In Line till Dina kollegor?

-Ja det skulle jag. Det som varit bra är att när vi är ett snabbrörligt företag har Lights In Line mött upp med att alltid vara positiva och behjälpliga när det behövs. Mina tekniker har en effektiv dialog med Lights In Lines tekniker och det är sällan missförstånd eller frågetecken. För mig är det skönt att veta att jag stöttar mina medarbetare genom att samarbeta med Lights In Line kring övervakning och prestandatester.
Viron Media-gruppen är en större svensk e-handelskoncern med flera välkända och rikstäckande varumärken inom framförallt media och skolområdet. Bland varumärkena finns exempelvis Photomic, Kungsfoto och Galio of Sweden.

Inte alla tar kvasten och sopar problemen under mattan även om några tar semester till Blåkulla.

 Vi arbetar ju med prestandatester och kvalitetssäkring och nu när påsken är här så fortsätter vi oförtrutet med våra metoder och processer under helgen och ger lite tips.

Performance Engineer   blir Performance Ägginer.

Vilka är era prestandamål i påsk?

Eftersom mål och tid går hand i hand för att få en totalitet (läs ihop => måltid)

måste ju de ickefunktionella kraven specificeras. Så som:

Ägg/h

Sill/h

Nubbe/h

Räknar ni med att testa skalbarhet? Det går äggstra bra i helgen.

(Naturligtvis både på bredden och höjden!)

Har ni gjort rightsizeing på era systeminköp?

Fungerade köhanteringen?

Kommer era system klara efterfrågan?

Det är ett mycket vanligt problem med I/O (Input/Output) både avseende

  • bitrate dvs Byte = Words/s (fort och fel)
  • eller LongWord/s (sluddrande).

Viktigt att kontrollera så att inga bit fel uppstår – det gäller ju att bita sig i rätt tunga..

Vidare tenderar vissa klienter helt plötsligt byta protokoll till t.ex. EBCDIC eller

helt sluta svar mitt i en session. Utan vare sig att vifta med FIN-flaggan (Finnish – den finska) eller

en RST (Reset – jag har svalt min servett).
Räknar ni med att hitta flaskhalsen under testerna?

Om ni gör det kommer ni att ta steget vidare och hitta nästa flaskhals?

Efter hur många flaskhalsar kommer ni att hitta ert bortre performance knee?

Kan ni sedan komma ihåg vart det första knät tog vägen?

Räknar ni med att få en backlog?

Hanterar garbage collectorn de efterföljande problemen ?

Det är alltid rätt att logga varje enskilt testfall.
Skicka in er logg till oss på Lights In Line med bildbevis så kommer vi att utse en vinnare!

Är man inte säker på att man kommer vara helt närvarande kan autologgning göras med video.

Vi kommer inte att godkänna protokoll som hänvisar till störningsjouren eller dylikt.

Glad Påsk från oss på LIL!

 

Myter om övervakning av prestanda på IT-system

”vi kan inte mäta för mycket, då ser vi ju inte se skogen för alla träd, vi behöver inte rapportera om allt fungerar bra”.

 

Myt 1 , ”vi kan inte mäta för mycket”.
Jag tror detta kommer från att ”tung profilering av exempelvis sql-server eller programkod tar kraft och vi kan inte mäta ihjäl oss”. Och det är rätt delvis, men det finns exempelvis inom windows värden många viktiga mätningar som kan göras kontinuerligt, utan att ta prestanda. Och naturligtvis så har du säkert en prestandamiljö där du lätt kan verifiera prestandamätning påslagen/ inte påslagen. Det finns lättviktsprofilering som inte tar så mycket resurser, men som alltid när du inför profilering, gör prestandatest först för att kolla hur mycket prestanda profileringen tar.
Att mäta mycket betyder inte att du visar allt mätdata! Alltså mät mycket men spara värdena i en databas med en upplösning på exempelvis 300 sek. Nu har du ett material som kanske inte behöver användas nu, men vid prestandaproblem bidrager sparade mätningar till att snabbare komma fram till problemet och vidtaga erforderliga åtgärder.
Myt2., ”systemen fungerar vi behöver inte mäta”.
Resonemanget jag hör, är att ”om systemet fungerar bra så behöver vi ju inte mäta, det är när det strular som vi samlas”. Genom att mäta kontinuerligt och många parametrar har du ovärderlig information om systemet när det fungerar bra. Jag utgår här att du naturligtvis också mäter volym som samtidiga användare , antal inloggningar etc etc. Och dessa mätningar kan då tillsammans utesluta vissa felorsaker.
Slutord.
Jag vill påpeka att enbart mäta hur resursförbrukningen på servrar samt nätverket mår, inte räcker för att ha koll på sin applikation och Infrastruktur. Du måste också mäta volymen, antal samtidiga användare, antal transaktioner, hits etc. Och inte minst, mäta utifrån användarens perspektiv.
Volym, resursförbrukning samt svarstider/tillgänglighet från slutanvändare bildar tillsammans information som gör att du får koll på prestandan i ditt IT-system.
Vi på Lights In Line arbetar i dag tillsammans med stora och små kunder inom dessa områden och vi vill diskutera med dig hur vi tillsammans kan hjälpa dig med införandet/förädling av processerna.
Bo Svensson
ledning@lightsinline.se
Du kan naturligtvis också ta kontakt direkt med någon av oss, våra kontaktuppgifter finns på hemsidan.

Prestanda och svarstider på topp hos Region Skåne

IT-system som används av upp till 32 000 personer dagligen måste alltid vara i toppform. Svarstiden måste vara omedelbar och systemen måste klara höga belastningar. Lights In Line arbetar nu som utvald partner till Region Skåne och med hjälp av sina övervakningstjänster håller man dygnet-runt-koll på systemens prestanda. Nu samlar man också en arbetsgrupp där alla leverantörer träffas för att granska veckans händelser så nya förbättringar kan göra Region Skåne bättre än bäst.

Region Skåne är resultatet av den sammanslagning av landstingen i Malmöhus och Kristianstads län som gjordes år 1999 där nu över 31 000 personer arbetar i en organisation som förser södra Sverige med sjukvård och kollektivtrafik. Självklart finns här också en IT-avdelning med mängder av underleverantörer som servar både anställda och kunder och ser till att hålla effektiviteten på toppnivå.

Bo Svensson, VD på Lights In Line, berättar att den första kontakten med Region Skåne kom av en ren händelse när de ville göra en översyn av sina SQL-databaser. Detta ledde vidare till en teknisk analys av Region Skånes intranät, den stora Skåneportalen som dagligen används av alla anställda och som är en av de allra största interna webbportalerna i Sverige.
-Det är ett mycket komplext system där alla som loggar på får en roll kopplad till sin profil vilket är praktiskt för användarna men också ökar mängden transaktioner och därmed kraven på god prestanda. När Lights In Line började arbeta med Region Skånes Intranät så fanns det inga användare uppkopplade mot Intranätet. Uppdraget gick ut på att inför lanseringen av Intranätet säkra kvalitén. Idag är det nära 20 000 en ökning som succesivt skedde på ungefär ett år. Denna ökning ställde en hel del krav på Lights In Line vad gällde att göra kalkylerade beräkningar på den tekniska miljöns förmåga och att ge prognoser för kapaciteten i plattformen inför kommande planerade lanseringar.

Lights In Line har med sin långa erfarenhet inom prestandatest och svarstidsanalys under många år arbetat med att utveckla övervakningssystem som kontinuerligt hämtar information från kundens servrar och sammanställer statistik över prestanda och svarstider. Sedan kan kunden själv gå in och granska grafer och analyser över just deras system och upptäcka var eventuella flaskhalsar uppstått.

Men vilken information är det då som är viktigast att få fram om man vill hålla en aktiv koll på sina IT-system? För Region Skåne är det i huvudsak följande information som man kontinuerligt vill hålla koll på:

1. Hur mår servrarna: finns det alltid tillräckligt med diskutrymme? Hur är CPU-förbrukningen? Hur är minnesutnyttjandet?
2. Transaktionsvolymen: uppdelat per server, dvs hur står det till med lastbalanseringen och fördelningen av volymen över de många servrar som ingår i en komplex IT-miljö?
3. Hur är svarstiderna för den individuella användaren: var har det uppstått flaskhalsar och långa svarstider och vad beror det på? Håller kodningen för låg kvalitet av själva applikationen?

Statistiken som Lights In Line levererar till Region Skåne och alla andra kunder är en basinformation som beskriver nuläget. Men den stora och mest uppskattade delen i Lights In Lines tjänster ligger i den löpande analys man levererar veckovis där Lights In Line med sin erfarenhet och expertis pekar ut problemområden som borde åtgärdas.

-För de företag och organisationer som har stora volymer med kundkontakter över nätet kan det vara en fråga om att vinna eller försvinna om man inte proaktivt arbetar med prestanda och svarstidsövervakning, berättar Bo. För Region Skåne är den stora gruppen användare interna, men det kan lika gärna vara kunder till ett flygbolag, spelbolag, en bank eller en tidning som alltid måste vara on-line och kunna nå ut. Då måste man prioritera arbetet med prestanda- och svarstidsanalys och man måste också se det som en av de viktigaste hörnstenarna i verksamheten. Många arbetar redan aktivt med detta men andra ännu inte riktigt prioriterat detta så högt. För de senare kan det dessvärre komma att bli obehagliga överraskningar den dag då problem uppstår och det finns självklart flera som redan råkat illa ut, ingen nämnd, ingen glömd…

Stefan Lund arbetar som Systemansvarig på Medicinsk service inom Region Skåne och berättar om samarbetet med Lights In Line:

-Innan Lights In Line kom in i bilden hade vi en ganska brokig resa med vår Skåneportal där de anställda hämtar allt från interna regler till styrande dokument och övrig information som underlättar det dagliga arbetet ute i verksamheterna. Vi bestämde då att vi måste bli mer proaktiva och titta närmare på bland annat prestanda och lastbalansering. Idag kallar vi allt detta övergripande för kvalitetstester och tillsammans med Lights In Line har vi nu en mycket bättre bild över vad systemen klarar av.
-Vi har också ett helt annat åtgärdsprogram och kan idag lätt göra beräkningar för kommande ökningar i volymerna vilket i sin tur medfört förstärkningar i den tekniska miljön. Det är däremot svårt att sätta ett pris på vilka besparingar detta inneburit men i samma mening skall det sägas att det är ännu svårare att sätta ett pris på de eventuella kostnader som kunde ha uppstått om vi inte haft koll om något allvarligt inträffat.
Nyckeln till framgången är det proaktiva arbetet.

Stefan berättar att man nu också samlar alla leverantörer och intern personal runt de möten som man har varje vecka med Lights In Line. Det är ett uppskattat forum där det kan bli både kan bli ris och ros och som på ett mycket strukturerat och positivt sätt tar arbetet framåt. Mötena har blivit ett permanent inslag i arbetsveckan där vi får mängder av input från Lights In Line och tillsammans kan titta på mätningar och analyser som sedan leder till olika typer av actions.

Det är ingen tvekan om att samarbetet mellan Region Skåne och Lights In Line burit många nya frukter och Stefan avrundar med att berätta att Lights In Line nästan fungerar lite som en intern IT-revisor. Som med sin långa erfarenhet från mängder av komplexa IT-miljöer och underlag i sina analyser kan peka ut områden som potentiellt kan förbättras. Detta är verksamhetsutveckling när den är som allra mest kreativ och med högsta affärsnytta som slutmål.

LIL arbetar numera och övervakar även portalen www.skane.se som för i år är en nylanserad och en toppmodern webbplats som kvalificerat sig bland fyra nominerade i Episerver Award till att vara bästa webbplats för offentlig verksamhet. Vinnare utses i mitten av november i Stockholm.
Vill Du också ha koll på Din IT-produktionsmiljö och använda Lights In Lines många tjänster inom svarstids- och prestanda.analys. Kontakta Bo Svensson på e-mail: bo.svensson@lightsinline.se eller på telefon 070-594 09 48

Prestandan på IT-system

Antingen det gäller applikatorisk övervakning (mäta svarstid/tillgänglighet utifrån användarens upplevelse) eller teknisk övervakning (mäta resursförbrukning på servrar, exempelvis cpu utnyttjande och minnesutnyttjande) så finns det stor förbättringspotential i presentationen av mätningarna och sättet att mäta hos många verktyg.

Under mina år som konsult inom kvalitetssäkring har jag upplevt några  klassiska scenarier:

  • ”Exempelvis systemet kraschar plötsligt och du sätter först nu in övervakning med exempelvis performance monitor. Du vet inte vilka parametrar som skall mätas och tar till i överkant och startar mätningen och orkar kanske hålla på en vecka, försöker analysera och hittar inget. Om vi tänker efter så inser vi att det är ju information före och under kraschen som är intressant i analysen så därför hittar vi vanligtvis inget.”
  • ”Ett annat scenario är att du har övervakning med något verktyg som visserligen mäter, låt oss säga var 5 minut. Men de flesta verktyg på marknaden konkatenerar ihop dessa data per timme och per dag för äldre data för att spara lagringsplats. Att förlora så mycket i upplösning medför svårigheter att analysera vissa mönster över tid. ”

Vi på Lights In Line gjorde en inventering på marknaden för några år sedan och såg att det inte fanns vettiga verktyg till vettiga priser att använda till övervakning.
Vi gick därför vår egen väg och har nu skapat tjänster för övervakning som är kostnadseffektiva, mäter kontinuerligt och lagras i databaser flera år tillbaka med en upplösningsnivå på 5 minuter. Eftersom datalagring bara blir billigare så bekymrar vi oss inte över datamängden. Vår långa erfarenhet av IT-systems resursbehov gör att vi frågar inte kunden vad som skall mätas utan föreslår istället vad som skall mätas utifrån den information vi får om kundens IT-system.
Vidare anpassar vi rapporteringen till kundens behov, vissa vill ha rapport (på pdf via epost) en gång per månad, andra vill ha rapport veckovis och själva kunna gå in i vår portal och analysera i online informationen. Andra kunder vill bara att vi kontaktar dom om det är problem, ja det finns ett flertal varianter. Naturligtvis finns larm vid olika tröskelvärden och som skickas via epost eller sms.
För att gå tillbaka till mina exempel i början:

  • Våra kunder har nu större chans med vårt verktyg att kunna analysera vad som hände/orsakade kraschen eftersom vi mäter kontinuerligt.
  • Våra kunder har nu större chans att över lång tidsaxel analysera vissa skeenden ner på en upplösning av 5 minuter.

Det är inte säkert att man lyckas knäcka vad som orsakade exempelvis kraschen, men sannolikheten har ökat. Jämför med andra dela inom industrin, exempelvis svarta lådan.
Vi berättar gärna mera om vårt sätt att paketera våra tjänster för övervakning som passar just dina behov.
bo.svensson@lightsinline.se eller ring 070-5940948

Agile DevOps Performance Testing

Lights In Line håller nästa Prestandaforum i Stockholm den 12 Februari 2014 i Spårvagnshallarnas lokaler. Ämnet är Agila Prestandatester och DevOps, och vi kommer gå igenom ett kundcase där vi jobbar hårt med dessa metoder, 25000 VU under 24 timmar och rapport dagen efter. Välkomna!

http://www.meetup.com/Prestandaforum-Stockholm/events/155781162/

Presentationsmaterialet hittar du här: Dev Ops (PDF)

Nu är det snart dags för det första nyhetsutskicket

I början av oktober går vi ut med kanalen e-post och berättar om vår tjänst e2e-light.

Själva basen i e2e-light baseras på vår stabila övervakningsmotor som under flera år hjälpt våra kunder i kvalitetssäkringen av deras IT-system.

Vi har nu paketerat e2e-light i en tjänst som gör att du som kund får en låg tröskel avseende pris och egen insats vid övervakning av ditt IT-system.

Förutom att du får resultatet av din webbplats varje månad , kan du även jämföra ditt resultat med 100 andra webbsiter som vi också mäter kontinuerligt.

Du kan välja att ha kvar denna basplattform eller utöka tjänsten så att den klarar av alla dina mätningar för att kunna ha ett aktivt SLA (service level agreement)