Engagemang är det enda som betyder något

mip 20160504patrik

Min Pension är ett företag man helt enkelt bara måste betrakta som ett genialiskt litet affärskoncept inom modern informationshantering. Här samlar man dagligen in data från cirka 30 svenska pensionsbolag så alla svenska medborgare smidigt kan logga på för att få sin egen aktuella pensionsprognos. För Patrik Berg, IT-chef och IT-arkitekt på Min Pension är det ständigt många bollar i luften när vi träffas på hans kontor på Karlavägen i Stockholm för att ta reda på mer om företaget och dess utmaningar.

Varje år gör över 2,6 miljoner svenskar 4 miljoner inloggningar på Min Pensions webbsite för att i sin tur göra 6 miljoner pensionsprognoser, så det är kanske inte så konstigt att bolaget länge varit kund hos Lights In Line vad gäller prestandatest. Under ”högsäsong”, det vill säga när alla svenskar får det orangea kuvertet i brevlådan, ökar transaktionsvolymerna drastiskt i Min Pensions system när alla plötsligt vill titta in på webbsiten för att att få mer detaljer. Här gäller det alltså att under resten av året trimma och testa systemen innan man går in i hetluften vilket inträffar mellan mitten av februari och slutet på mars.

Medan vi slår oss ner i ett stort konferensrum berättar Patrik att företaget idag har 10 anställda och att man planerar att anställa ytterligare. Leverantörer av IT-tjänster är desamma som när man började för fjorton år sedan, med Sigma som leverantör av system- och systemutveckling och EVRY som drift- och produktionspartner. Den tredje leverantören är Lights In Line som prestandatestar systemen men också fungerar som något av ett ”kitt” mellan utveckling och produktion. Patrik förklarar:

-Lights In Line mäter hela tiden vad som händer med systemen i den verkliga produktionen. Sedan kan vi alla tillsammans gå på djupet med eventuella fel. Alla vet ju att ingenting händer av en slump och genom Lights In Lines tester och mätverktyg kan vi snabbt hitta flaskhalsar genom att minut för minut ha koll på den tekniska infrastrukturen, transaktionsvolymerna, svarstider och sedan gå igenom incidenter. Sedan följer vi upp med gemensamma veckomöten då vi går igenom hur veckan varit, så att alla är med på banan.

DevOps

När vi pratar med Bo Svensson, VD på Lights In Line, berättar han att det här arbetssättet idag kallas för DevOps (Development & Operations), det vill säga motsatsen till de stuprör som lätt uppstår när drift och utveckling jobbar var och en för sig. DevOps betyder helt enkelt att man jobbar tätare tillsammans i relativt korta projekt där både verksamheten, utvecklare och drift är med i hela processen. Ett arbetssätt som också fokuserar en hel del på kultur och att man har ETT arbetssätt i projekten. Patrik fortsätter:

-För mig här på Min Pension är det är viktigt att vi har en maximalt effektiv kultur i utvecklingsarbetet. Under de senaste åren har Min Pension kommit att bli en allt viktigare partner för både pensionsbolagen och pensionsmyndigheten vilket i sin tur innebär djupare integration med våra system. Exempelvis har Pensionsmyndigheten ”jackat in” sig i våra system vilket innebär att vi måste ta hänsyn till varandras utvecklingsprocesser och riktlinjer, en trend mot mer verksamhetsnära systemutveckling och kontinuerlig produktionssättning. En bra jämförelse är med appar på en mobiltelefon. Här kommer ständigt nya förändringar och förbättringar, så här blir DevOps en given metodik. Men det gäller också att hålla stenhård kostnadskontroll och veta när man gjorde exakt vad.

En resa från 2013 till idag

Men precis som i alla företag kan det från tid till annan gå både upp och ner med både projekt och systemen, vilket Patrik fick erfara när han började på Min Pension för några år sedan:

-År 2013 startade Pensionsmyndigheten en kampanj som man kallade Prognos till Alla vilken var menad som reklam för pensionsprognosen. Så här i efterhand kan vi nog lugnt säga att ingen av oss var speciellt förberedda på konsekvenserna.”

-Vad hände?
-Systemet stannade. Vi hade överhuvudtaget inte kunnat föreställa oss att volymerna skulle öka så pass mycket som det gjorde när det plötsligt blev en 5-6-dubbling av transaktionsvolymerna. Det är roligt med framgång och att vara populär men icke desto blev det problem.

Direkt efteråt satte vi oss ner för att en total genomlysning och tillsammans upptäckte vi då bland annat att vårt Content Management System (CMS) inte riktigt hängde med. Vi hade helt enkelt inte kunnat testa en volymökning på den nivån som uppstod. Men den verkligt stora lärdomen från den perioden var det engagemang och den  kompetensuppbyggnad som grundlades. Redan på hösten 2014 började vi prestandatesta inför säsongen 2015, med olika scenarios och tester mot Försäkringskassan, pensionsmyndigheten och andra inblandade. Så inför 2015 kände vi oss ordentlig förberedda.

-Gick det bättre?

-Absolut. Men ändå dök en oförutsedd händelse upp. Plötsligt började alla logga in med Bank-ID (tidigare med Pin-kod), vilket vi inte hade haft möjlighet att testa. Systemen saktade ner och nu blev det panikåtgärder igen. Men på det hela taget var det en massiv förbättring mellan 2014 och 2015 och än en gång tog vi lärdom och jobbade på med nya tester under hösten 2015. Och nu under 2016 kan jag konstatera att vi hade 3 mycket små avbrott på totalt 10 minuter. Så efter hårt arbete har det blivit en riktigt solskenshistoria!

-Vi har verkligen jobbat hårt, säger Patrik. Vår målbild har varit att vi nu under 2016 skall kunna luta oss tillbaka när det orangea kuvertet går ut och njuta av att vi faktiskt klarar den ökade transaktionsvolymen utan problem. Och så har det faktiskt blivit.

En investering i engagemang

-Jag vill gärna se allt detta arbete under de senaste tre åren som en investering i engagemang, menar Patrik. Tillsammans med Min Pensions tre leverantörer – Sigma, Lights in Line och EVRY – som representerar olika inriktningar och specialkompetenser, gäller det ju också att balansera dem mot varandra och ibland sansa sig något. Det är ju trots allt tre leverantörer med fokus åt olika håll. Sigma är ”viljan att leverera”, EVRY är ”struktur, ordning och reda” medan Lights In Line är experter på sitt område men också teknikentusiaster ut i fingerspetsarna. Så för att få allt att fungera så måste man ibland nästan be respektive expert för en stund byta plats för att på så sätt öka förståelsen för helheten. Idag tycker jag på det hela taget att det här samarbetet fungerar helt utmärkt.

-För mig är det också oerhört viktigt att alla har en tydlig medvetenhet av målbilden, säger Patrik. Oavsett om jag har egna anställda eller köper in konsulttjänster så är det ju människor med stor kompetens som måste samarbeta och kommunicera. Och ju mer engagerade de är dess bättre blir det. Det är egentligen väldigt enkelt, har man viljan så brukar det mesta fixa sig.

-Vad händer framåt hos Min Pension?

-Idag har vi 2,6 miljoner registrerade medborgare i våra system och vi hoppas att kunna ta oss upp till 5 miljoner. Varje år får vi in ca 300.000 nya men det är framför allt de som börjar bli äldre och närmar sig sin pensionen. Vi vill ha in fler 30- och 40-åringar och vårt mål är att varje ”pensionsfähig” person i Sverige skall göra minst en prognos varje år. Detta skulle också betyda att vi skulle få ett jämnare flöde över året när volymökningen inte längre blir så starkt kopplade till det orangea kuvertet. Min förhoppning är att pensionsprognosen blir en vardagligt återkommande rutin för alla och att man då och då tittar in till oss på Min Pension.

-När det sedan kommer till prestanda och samtidiga användare kan det vara bra att jämföra med en av våra storbanker som har cirka 170 miljoner inloggningar per år. Om vi skulle erbjuda pensionsprognoser som en integrerad del i deras system pratar vi om en massiv ökning i transaktionsvolymerna hos oss. På något sätt tror jag att vi kommer att komma hit så småningom så det här med prestandatester, bra system och välfungerande drift kommer bara att bli viktigare och viktigare för oss.

Prestanda och svarstider på topp hos Region Skåne

IT-system som används av upp till 32 000 personer dagligen måste alltid vara i toppform. Svarstiden måste vara omedelbar och systemen måste klara höga belastningar. Lights In Line arbetar nu som utvald partner till Region Skåne och med hjälp av sina övervakningstjänster håller man dygnet-runt-koll på systemens prestanda. Nu samlar man också en arbetsgrupp där alla leverantörer träffas för att granska veckans händelser så nya förbättringar kan göra Region Skåne bättre än bäst.

Region Skåne är resultatet av den sammanslagning av landstingen i Malmöhus och Kristianstads län som gjordes år 1999 där nu över 31 000 personer arbetar i en organisation som förser södra Sverige med sjukvård och kollektivtrafik. Självklart finns här också en IT-avdelning med mängder av underleverantörer som servar både anställda och kunder och ser till att hålla effektiviteten på toppnivå.

Bo Svensson, VD på Lights In Line, berättar att den första kontakten med Region Skåne kom av en ren händelse när de ville göra en översyn av sina SQL-databaser. Detta ledde vidare till en teknisk analys av Region Skånes intranät, den stora Skåneportalen som dagligen används av alla anställda och som är en av de allra största interna webbportalerna i Sverige.
-Det är ett mycket komplext system där alla som loggar på får en roll kopplad till sin profil vilket är praktiskt för användarna men också ökar mängden transaktioner och därmed kraven på god prestanda. När Lights In Line började arbeta med Region Skånes Intranät så fanns det inga användare uppkopplade mot Intranätet. Uppdraget gick ut på att inför lanseringen av Intranätet säkra kvalitén. Idag är det nära 20 000 en ökning som succesivt skedde på ungefär ett år. Denna ökning ställde en hel del krav på Lights In Line vad gällde att göra kalkylerade beräkningar på den tekniska miljöns förmåga och att ge prognoser för kapaciteten i plattformen inför kommande planerade lanseringar.

Lights In Line har med sin långa erfarenhet inom prestandatest och svarstidsanalys under många år arbetat med att utveckla övervakningssystem som kontinuerligt hämtar information från kundens servrar och sammanställer statistik över prestanda och svarstider. Sedan kan kunden själv gå in och granska grafer och analyser över just deras system och upptäcka var eventuella flaskhalsar uppstått.

Men vilken information är det då som är viktigast att få fram om man vill hålla en aktiv koll på sina IT-system? För Region Skåne är det i huvudsak följande information som man kontinuerligt vill hålla koll på:

1. Hur mår servrarna: finns det alltid tillräckligt med diskutrymme? Hur är CPU-förbrukningen? Hur är minnesutnyttjandet?
2. Transaktionsvolymen: uppdelat per server, dvs hur står det till med lastbalanseringen och fördelningen av volymen över de många servrar som ingår i en komplex IT-miljö?
3. Hur är svarstiderna för den individuella användaren: var har det uppstått flaskhalsar och långa svarstider och vad beror det på? Håller kodningen för låg kvalitet av själva applikationen?

Statistiken som Lights In Line levererar till Region Skåne och alla andra kunder är en basinformation som beskriver nuläget. Men den stora och mest uppskattade delen i Lights In Lines tjänster ligger i den löpande analys man levererar veckovis där Lights In Line med sin erfarenhet och expertis pekar ut problemområden som borde åtgärdas.

-För de företag och organisationer som har stora volymer med kundkontakter över nätet kan det vara en fråga om att vinna eller försvinna om man inte proaktivt arbetar med prestanda och svarstidsövervakning, berättar Bo. För Region Skåne är den stora gruppen användare interna, men det kan lika gärna vara kunder till ett flygbolag, spelbolag, en bank eller en tidning som alltid måste vara on-line och kunna nå ut. Då måste man prioritera arbetet med prestanda- och svarstidsanalys och man måste också se det som en av de viktigaste hörnstenarna i verksamheten. Många arbetar redan aktivt med detta men andra ännu inte riktigt prioriterat detta så högt. För de senare kan det dessvärre komma att bli obehagliga överraskningar den dag då problem uppstår och det finns självklart flera som redan råkat illa ut, ingen nämnd, ingen glömd…

Stefan Lund arbetar som Systemansvarig på Medicinsk service inom Region Skåne och berättar om samarbetet med Lights In Line:

-Innan Lights In Line kom in i bilden hade vi en ganska brokig resa med vår Skåneportal där de anställda hämtar allt från interna regler till styrande dokument och övrig information som underlättar det dagliga arbetet ute i verksamheterna. Vi bestämde då att vi måste bli mer proaktiva och titta närmare på bland annat prestanda och lastbalansering. Idag kallar vi allt detta övergripande för kvalitetstester och tillsammans med Lights In Line har vi nu en mycket bättre bild över vad systemen klarar av.
-Vi har också ett helt annat åtgärdsprogram och kan idag lätt göra beräkningar för kommande ökningar i volymerna vilket i sin tur medfört förstärkningar i den tekniska miljön. Det är däremot svårt att sätta ett pris på vilka besparingar detta inneburit men i samma mening skall det sägas att det är ännu svårare att sätta ett pris på de eventuella kostnader som kunde ha uppstått om vi inte haft koll om något allvarligt inträffat.
Nyckeln till framgången är det proaktiva arbetet.

Stefan berättar att man nu också samlar alla leverantörer och intern personal runt de möten som man har varje vecka med Lights In Line. Det är ett uppskattat forum där det kan bli både kan bli ris och ros och som på ett mycket strukturerat och positivt sätt tar arbetet framåt. Mötena har blivit ett permanent inslag i arbetsveckan där vi får mängder av input från Lights In Line och tillsammans kan titta på mätningar och analyser som sedan leder till olika typer av actions.

Det är ingen tvekan om att samarbetet mellan Region Skåne och Lights In Line burit många nya frukter och Stefan avrundar med att berätta att Lights In Line nästan fungerar lite som en intern IT-revisor. Som med sin långa erfarenhet från mängder av komplexa IT-miljöer och underlag i sina analyser kan peka ut områden som potentiellt kan förbättras. Detta är verksamhetsutveckling när den är som allra mest kreativ och med högsta affärsnytta som slutmål.

LIL arbetar numera och övervakar även portalen www.skane.se som för i år är en nylanserad och en toppmodern webbplats som kvalificerat sig bland fyra nominerade i Episerver Award till att vara bästa webbplats för offentlig verksamhet. Vinnare utses i mitten av november i Stockholm.
Vill Du också ha koll på Din IT-produktionsmiljö och använda Lights In Lines många tjänster inom svarstids- och prestanda.analys. Kontakta Bo Svensson på e-mail: bo.svensson@lightsinline.se eller på telefon 070-594 09 48

Agile DevOps Performance Testing

Lights In Line håller nästa Prestandaforum i Stockholm den 12 Februari 2014 i Spårvagnshallarnas lokaler. Ämnet är Agila Prestandatester och DevOps, och vi kommer gå igenom ett kundcase där vi jobbar hårt med dessa metoder, 25000 VU under 24 timmar och rapport dagen efter. Välkomna!

http://www.meetup.com/Prestandaforum-Stockholm/events/155781162/

Presentationsmaterialet hittar du här: Dev Ops (PDF)

Lights In Line håller koll på tillgängligheten på Hertz website

Att boka en hyrbil på nätet är en av de där tjänsterna då man som kund knappast tolererar dåliga svarstider. Så för att hålla webbplatsen i toppform anlitar Hertz övervakningstjänster från Lights In Line som håller järnkoll dygnet runt och varnar när det behövs!  

Den som inte har något körkort kanske aldrig har hört talas om Hertz men för alla andra är det namnet och varumärket på världens största biluthyrningsföretag. Sedan starten för snart hundra år sedan så finns man idag i 146 länder och bara i Sverige har man 200 uthyrningskontor från Ystad i söder till Lannavaara i norr och ca. 12.000 bilar för uthyrning.  Med dessa imponerande siffror så kan Hertz titulera sig marknadsledande i Sverige och deras bilar hyrs ut till både privatpersoner och företag. Man är också stora inom det som kallas ”replacement”, det vill säga långtidsuthyrning när Din egen bil är på service eller reparation.

Peer Jorns är CIO hos Hertz i Sverige och ansvarar för alla de affärskritiska systemen som är företagets IT-hjärta. De klassiska biluthyrningskontoren som man hittar på till exempel flygplatser kompletteras idag av en mängd spännande IT-tjänster och helautomatiserade kiosker. Du kan till exempel hyra en bil via din mobil och sedan plocka upp den på en anvisad plats någonstans i stan, vilket mobil-appen håller rätt på.

Bakom allt detta finns en komplex teknisk miljö som dirigeras via Hertz IT-center i Oklahoma och Dublin. Så för att hålla kolla på både dem och de lokala svenska systemen har Peer en prenumeration på Lights In Lines övervakningstjänster.

Nu kan vi blixtsnabbt se när både våra lokala och internationella system inte är riktigt i form och då åtgärda problemen omedelbart, berättar Peer. Med hjälp av Lights In Lines system ligger vi oftast ett par steg före våra kollegor på både Irland och i USA, vilket har gett oss en hel del intern status och respekt. Att vi dessutom använder en oberoende tredjepartsleverantör för övervakningstjänsterna gör att man tar informationen på ett annat allvar.

En gång i månaden får Peer en rapport från Lights In Line där han kan se månadens statistik, både övergripande men också har möjligheten att gå ner i detalj, timme för timme. Utöver detta kan Hertz också jämföra sin egen tillgänglighet med hela den svenska marknaden.

-Lights In Line förser oss med statistik på tillgängligheten hos de 100 största företagen i Sverige vilket gör att vi lätt kan se hur vi själva ligger till, något som givetvis är mycket värdefullt för oss.

Våra övervakningstjänster är ett helt koncept, berättar Bo Svensson, VD på Lights In Line. Hos Hertz mäter vi tillgängligheten till deras website utifrån, det vill säga som om vi vore en av deras kunder på jakt efter att boka en hyrbil. Men vi kan också mäta inifrån, på en specifik server eller en applikation eller lägga in agenter i kundens nätverk och på så sätt få fram en mer djuplodande och bredare helhetsbild över IT-systemens totala prestanda. Hos några andra av våra kunder har det ena lett till det andra och vi har gått in i regelrätta projekt som både omfattar prestanda i kundens system men också IT-tjänster från andra leverantörer som är med i samma helhet. Och i det läget handlar det nästan mer om IT-samordning, avslutar Bo.

hertz bild artikel

Peer Jorns till vänster och Bo Svensson till höger

Siemens Healthcare säkrar prestanda i Melior journalsystem

 

Fredrik Lennartsson, Test Manager på Siemens

Fredrik Lennartsson, Test Manager på Siemens

Fredrik Lennartsson arbetar på Siemens som Test Manager tillsammans med ett testteam på 10 personer som är inriktade på journalsystemet Melior. När systemet skulle säkerställas för ca 9000 samtidiga användare tog Siemens kontakt med Lights In Line som är specialister inom området prestandatester.

Siemens är ett minst sagt imponerande företag som började sin resa för 165 år sedan. Idag erbjuder Siemens världens största miljöportfölj med innovativa och högteknologiska lösningar inom områdena infrastruktur, industri, energi, hälso- och sjukvård. I Sverige har Siemens  cirka 4 700 medarbetare på ett 40-tal orter med huvudkontor i Upplands Väsby. Förra affärsåret var omsättningen ca 18 miljarder kronor.

Hälso- och sjukvård är ett av de områden där Siemens är en av de världsledande aktörerna. I Sverige levereras bland annat flera journalsystem och kundanpassade IT-lösningar för hälso-och sjukvård där bl a journalsystemet Melior och processtödet för förlossning och mödrahälsovård, Obstetrix, ingår. I effektiviseringens spår håller nu landstingen på att gå från lokala sjukhusinstallationer  till system på regional nivå. Detta innebär att system som tidigare skulle klara av upp till 3000 samtidiga användare nu i de regionala lösningarna kräver att de kan klara av upp till 9000 samtidiga användare.

Samtidigt pågår flera olika projekt med nationella lösningar t ex NPÖ (Nationell patientöversikt), som skall matas med information från de lokala/regionala systemen.

”- Och det är här som Lights in Line kommit in i bilden. Med sin långa erfarenhet och metodologi kring strukturerad prestandatest har de tillsammans med Siemens Healthcare implementerat nya arbetsmetoder som sparat både tid och pengar.”

Melior omfattar flertalet funktioner, bl a för klinisk dokumentation och läkemedelshantering.  Siemens behövde säkerställa att systemet kan användas på regional nivå och man satte målet till minst 9000 samtidiga användare. Denna siffra baserades på en av kundernas tänkta användande av systemet. Det blev en installation som var 4 gånger större än som tidigare var normalfallet. Installationen behövde testas och Siemens ville ha en erfaren partner för att genomföra detta. Man rådfrågade bl a Microsoft om lämplig partner och de föreslog Lights In Line eftersom det var ett företag som kunde prestandatester.

”- Tillsammans med Lights In Line testade vi Melior och vi har hittat några potentiella flaskhalsar, berättar Fredrik. Vi började med att göra mätningar i en av kundernas produktionsdatabaser för att se hur många transaktioner som genereras i olika moduler över dygnet. I det initiala testarbetet kokade sedan dessa transaktioner ner till ca 15 användarscenarios som uppskattades täcka in de flesta av de mest frekventa databasförfrågningarna från användarna.”

Projektet leddes av Siemens där Lights In Lines roll varit att stå för teststrategi, testmetodik och expertis. En bit in i projektet fick Siemens också möjlighet till ett aktivt samarbete med Intel som ville utvärdera ett effektivare serveranvändande samt även testa sina nya generationer av servrar. I Intels tekniklabb i Kalifornien kunde sedan Siemens och Lights In Line tillsammans testa systemet i en fullskalig miljö med simuleringen av 9000 samtidiga användare.

”- Lights in Line baserar sin metodik kring prestandatester på tre hörnstenar – stabilitet, samtidighet och skalbarhet – och med detta tankesätt har man under projektets gång säkerställt Meliorsystemet i flera avseenden och verifierat att det idag klarar ett framtida, mer omfattande användande.”

”- Sista pusselbiten i detta säger Fredrik, är att vi tillsammans med landstingen ska få detta att fungera. Ett sådant här stort projekt ställer höga krav på exempelvis nätverk och IT-infrastruktur. Vi ser dock en effektivisering som kommer att förbättra för den svenska sjukvården.”


FOTNOT

Initialt började projektet redan 2009 då Siemens efterfrågade en utredning vilket prestandatestverktyg man skulle välja för att göra storskaliga tester av Melior. Då Siemens utvecklat hela lösningen själva i Microsofts miljö, var Visual Studio en av kandidaterna, och efter en intern Proof of Concept tillsammans med LIL det verkyg som användes för samtliga prestandatester sedan dess.

Rent tekniskt är Melior uppbyggd med blandade tekniker, med en rik client/server lösning som den huvudsakliga applikationen kombinerad med en modern 3 lager lösning och tekniker som WCF och tunna webbgränsnitt. De 15 användningsfallen som i huvudsak användes under prestandatesterna nyttjar alla tre av dessa tekniker och samtliga är utvecklade tillsammans med samma team hos Siemens som även utvecklar applikationen. Därmed kan även dessa komponenter versionshanteras tillsammans med all annan kod i applikationens lifscykel och även testas av utvecklarna att de fungerar med kommande versioner innan vi utför prestandatester. 

Öresundskraft.se till molnet och Lights In Line prestandatester

Öresundskraft är ett av Sveriges större energibolag. Kärnverksamhet är försäljning och distribution av energi (el, fjärrvärme, naturgas och fjärrkyla) samt försäljning av bredband och fordonsgas. Försäljning och distribution av el drivs i två separata bolag enligt reglerna i ellagen.

 

I samband med ny design av hemsidan så beslöt man att byta plattform och flyttade till Microsofts molnmiljö, Windows Azure.

Efter kontakt med Lights In Line togs beslut om att kvalitetssäkra prestandan och tillgängligheten av webbplatsen i den nya miljön.

Lights In Line satte genast igång med prestandatest och applikatorisk övervakning, dvs. se hur användaren upplever svarstiderna, på webbplatsen innan flytten. Resultatet av dessa tester jämfördes med prestandatesterna på den nya webbplatsen i molnet och fick godkänt.

Charlotte Dunder Forslin, produktansvarig Extern webb på Öresundskraft:
”Det kändes tryggt att ta hjälp av Lights In Line AB för att kvalitetssäkra prestanda och tillgänglighet för den nya hemsidan i samband med byte av både CMS och plattform.  Dessutom kunde vi med Lights In Line på ett enkelt sätt utforska och mäta prestandaförändring vid upp- respektive nedskalning av kapaciteten.

Den applikatoriska övervakningen före och efter flytten är användbar i proaktivt syfte.”


SAS gör prestandatester från molnet

Molnet har sedan länge varit ett av de hetaste diskussionsteman på nätet. Men kan det verkligen ge ett mervärde för prestandatester? Rätt utnyttjat är det ett mycket kraftfullt verktyg som dramatiskt kan sänka kostnaderna och minska tiderna för att få värdefulla resultat. Följ oss i denna artikel hur vi utförde prestandatesterna åt SAS med hjälp av Amazon EC2 och Visual Studio Loadtest.

LIGHTS IN LINE AB har sedan något år tillbaka utfört prestandatester på regelbunden basis åt Scandinavian Airlines (SAS);

– ”Vi kom in i början som ett komplement då SAS sökte en partner som inte bara var en testshop utan även kunde rådgöra och hjälpa SAS med ett mera helhetsgrepp för att höja och säkerställa prestandan för SAS Internet Portal”
säger Christian Gerdes, som varit kundansvarig för SAS sedan starten.

– ”Having worked with Lights In In Line 3 times now, I can highly recommend their professional services AND conceptual thinking. Not only have we found a competente partner in generating heavy and realistic production-look-a-like load, but we also gained a strategic partner in analyzing, setting and sizing our farm.”
säger projektledaren Chris Ramsby

Vi har traditionellt genomfört prestandatester direkt mot SAS produktionsmiljöer, under kontrollerade former. Det gjorde SAS till en klockren kandidat att ta steget fullt ut till att nyttja Molnet som lastgenerator under testerna. Tidigare nyttjades LIL’s egna infrastruktur i Stockholm för att generera produktionslik belastning mot SAS portalen.

– Vi saknade dock möjligheten att snabbt och enkelt kunna skala upp lastgenereringskapaciteten vid behov med vår befintliga miljö. Att använda fysiska servrar har sina fördelar, men även sina begränsningar.

Steget ut i molnet

Innan vi kunde lita på molnets stabilitet och kapacitet kände vi att vi behövde göra en ‘benchmark’ av molnet i sig, och kunna mäta vad ett antal virtuella agenter kunde generera för volymer innan de i sig själva blev en flaskhals. För att genomföra detta använde vi vår egna hemsida (www.lightsinline.se) som referens, vilken cachas av en webb accelerator här i stockholm. SAS har sina servrar i Köpenhamn och vi tyckte att ett test mot Stockholm skulle hitta eventuell påverkan av nätverket och internet däremellan lika bra.

Första testerna visade på mycket goda resultat, med 4 agenter av High CPU slaget (c1.medium) i Amazon EC2 kunde vi lätt generera 1000 unika webbläsare och användare per agent i molnet. Dessa fyra, med normala betänketider mellan besöken och en lite elakare inställning av att alla var så kallade ”första gångs besökare” genererade vi en bandbredd på totalt 140 Mbit/s samt en belastning av 4000 samtidiga besökare som genererade cirka 96 sidor per sekund, 953 hits per sekund och cirka 16 000 samtidiga TCP anslutningar mot vår accelerator i Stockholm.

Baseline prestandatest mot www.lightsinline.se

Baseline prestandatest mot www.lightsinline.se från Amazon EC2 i Irland

Ovan ser ni Key Performance Metrics för prestandatestet vi gjorde från Amazon EC2 mot www.lightsinline.se för att testa av miljön först. Då samtliga anrop mot vår hemsida cachas av en webb accelerator med en mycket snabb direktanslutning till internet (1GBit) blev detta ett bra test för att validera lastgenereringsmiljön eller testriggen. Som synes i resultaten föreligger inga flaskhalsar vid denna last och man ser även under upprampningen av testet (när vi successivt ökar lasten tills vi når målet med 4000 unika användare) att svarstiderna inte förändras med lasten. Tvärtom är de mycket stabila, tiden för en komplett nedladdning av startsidan inklusive alla bilder och resurser ligger i snitt på 0,46 sekunder med en avvikelse på endast 0,02 sekunder till maximala svarstiden för sidan.

Den gröna grafen i bilden ovan som verkar skakig ska vara precis så. Det är effekten av att förändra betänketiden enligt en normal fördelning för att efterlikna mer produktionslika förhållanden. Istället för att varje användare av de 4000 vi simulerar väntar exakt lika länge mellan sidbesöken varieras denna av verktyget genom att variera tiden däremellan. I snitt blir den dock de 45 sekunder som vi vill ha. Eftersom ett mätvärde i grafen är ett genomsnitt för alla 4000 under de senaste 5 sekunderna varierar detta något pga denna normalfördelning.

Verktygen som vi använde i detta fall är Microsofts verktyg för prestandatester, kallat Load test som ingår i Visual Studio Ultimate sviten samt vanliga public Amazon Web Services (AWS) EC2 molnet där man betalar för maskinerna per timme. Vi satte inför dessa tester upp följande miljö i molnet med hjälp av AWS konsolen (ett webbgränsnitt för molnet).

Typ av maskin Kapacitet Syfte Pris per timme
c1.medium 1.7 GB / 2x 2.5 GHz Controller + SQL 2 SEK
c1.medium 1.7 GB / 2x 2.5 GHz Load Agent 1 2 SEK
c1.medium 1.7 GB / 2x 2.5 GHz Load Agent 2 2 SEK
c1.medium 1.7 GB / 2x 2.5 GHz Load Agent 3 2 SEK
c1.medium 1.7 GB / 2x 2.5 GHz Load Agent 4 2 SEK

Tabellen visar instans typen, dess kapacitet, vad vi använde den till samt timpriset för instansen. Samtliga maskiner är färdiga Windows Server 2008 Datacenter instanser där licenspriset ingår i timpriset. Förutom timkostnaden tillkommer även avgifter för utnyttjad bandbredd, överförda bytes mot nätverk och disk samt lagringskostnader för diskarna (vi valde EBS (Elastic Block Storage) vilket ger bättre I/O performance och persistenta volymer).

Installationen gjorde vi genom en micro instans där vi skapade en volym med MSDN skivorna för Visual Studio och alla service packs mm. Denna delades sedan ut till alla maskinerna ovan så vi kunde installera programvaran. Det hela gick relativt snabbt eftersom operativet redan var installerat av Amazon. Fördelen efter att VS2010 agent installationen är gjort med EBS volymer är att vi sedan kunde spara undan en AMI (Amazon Machine Image) av en agent för att mycket snabbt starta upp flera utan att behöva installera dem efter uppstart. Vi testade med att starta upp 8 nya agent maskiner parallellt med en sådan image, och det tog endast 4 minuter innan alla var uppe och registrerade i controllern redo för lasttester…

Vi hade testriggen uppstartad under cirka 70 timmar, för att hinna med alla tester och analysera resultaten. Agenterna stängde vi ner så fort vi var klara med dem, varvid de slutar kosta pengar. Totala kostnaden för projektet till Amazon slutade på under 1000 SEK inklusive alla kostnader för datatrafik mm.

Succé av prestandatesterna för SAS

Miljön i Amazon fungerade klockrent under testerna vi sedan utförde åt SAS. Eftersom vi redan visste vad testriggen klarade av, kunde vi mycket snabbt dra slutsatser under själva testerna om vad som blev flaskhalsen. På några timmar hade vi utfört en hel del tester som gav värdefulla resultat. Självklart tack vare bra förarbete;

  • Samtliga test automatiseringar (skript) tillverkades i förväg. Vi simulerade trafik till samtliga startsidor på SAS för de olika länderna, samt skapade vi ett ”Klicka runt” skript som simulerade besökare som slumpmässigt valde sidor att läsa på deras portal. Vilka sidor det var lät vi en så kallad ”web-crawler” identifiera först, vilken enkelt förklarat går igenom sajten och letar efter länkar som leder till andra sidor. På detta sätt får man en fräsch realistisk blandning av hundratals unika sidbesök till sidor som faktiskt finns på sajten.
  • Själva test scenariot som utfördes bestod sedan av en produktionslik mix av startsidor och klicka runt besök, baserat på tidigare uppmätt statistik. Vi simulerade en betänketid på 45 sekunder mellan sidbesöken, samt en korrekt emulerad Internet Explorer cache av resurser på sidorna. Verktyget kommer automatiskt ladda ner alla resurser som inte finns i cachen eller inte får cachas, och 60% av besökarna simulerade så kallade första gångs besökare, dvs de har inga tidigare cachade filer i sina webbläsare. Vi använde dock ett filter som endast laddar ner resurser som finns på samma sajt, för att undvika trafik utanför de servrar som vi ville testa.
  • Verktyget simulerade en webbläsare per användare som har maximalt 6 parallella anslutningar per webbläsare till webbservern. Vi ställde även in connection hanteringen till att vara mer produktionslik avseende keep-alive connections och connections i time wait state, eftersom SAS uttryckligen ville ha sina lastdelare och nätverkskomponenter testade.
  • Vi gjorde upp en detaljerad testplan där varje körning och varför vi ville göra den var planerad i förväg. Själva testerna utförde vi sedan via telefonkonferans med alla inblandade parter närvarande och framför sina respektive verktyg, både vi på LIL med prestandatesterna och dess resultat, testledare från SAS som höll i taktpinnen samt driftpersonal med tillgång att kunna se vad som händer på nätverket och servrarna. Vi hade även vårt E2E övervakningsverktyg igång som kontinuerligt övervakade övriga delar av SAS applikationerna för att se hur vi påverkade dem.

Slutsats

Utan att gå ner i detaljerade testresultat måste vi säga att vi är mycket nöjda med resultaten samt hur smidigt det fungerade att arbeta med molnet. Den stora fördelen är just att man mycket snabbt får tillgång till den kapacitet som för tillfället behövs under prestandatesterna, och tack vare prismodellen att betala för det man utnyttjar och per timme lyckades vi minska kostnaderna och tidsåtgång för ett genomfört prestandatest, utan att behöva tumma på kvaliteten.

Vi var initialt oroliga över hur mycket just nätverket mellan Amazon och mål miljön kunde påverka, men tack vare våra möjligheter att kunna validera testriggen först på det sätt vi gjort här visade att vi inte hade något att oroa oss för, och gav oss de mätvärden vi behövde för att kunna dra rätt slutsatser snabbt. Vi kommer fortsättningsvis alltid inleda våra prestandatester med en baseline mot vår egen hemsida som referens.

Lights in Line håller koll på Bisnodes affärskritiska system

Bisnode_skärm

Ovan en bild på skärmen i Bisnodes operation center som visar status på alla monitorerna, de senaste larmen samt dagens tillgänglighet.

När man nämner företagsnamnet Bisnode så skakar nog de flesta på huvudet. Men när man blir klar över vilka tjänster som de faktiskt levererar är det dess fler som nickar igenkännande. I tjänstemenyn hittar man välbekanta produkter som till exempel kreditupplysningar och finansiell information från Soliditet och Dun & Bradstreet, adresser från PAR, CRM-system, pressreleaser, direktmarknadsföring, nyhetsbrev och mycket, mycket annat.

Det som en gång startade som Bonniers Affärsinformation har idag 4,3 miljarder i omsättning, 3000 anställda och verksamhet i 17 länder. Idag handlar Bisnodes verksamhet om avancerad informationshantering, vidareförädling och leverans i realtid. Företagets egen framtidsutsikt är att bli den ledande leverantören av affärsinformation i Europa och erbjuda de bästa produkterna och lösningarna. Sammanfattningsvis handlar det om att samla in data, sortera, aggregera och förpacka information som sedan levereras som en paketerad tjänst till kunden.

I en verksamhet som i stort sett enbart handlar om informationshantering är det givet att övervakning av tillgänglighet är A och O och det är här Lights In Line har kommit in i bilden och sedan 2006 har man jobbat tillsammans.

Bisnode_Sven_Täveby

Bisnodes Sven Täveby

Sven Täveby arbetar på Bisnodes interna IT-avdelning i Sundbyberg och ansvarar för övervakningen av de affärskritiska systemen.

”- Vi har jobbat ihop med Lights In Line ett bra tag nu och mitt intryck är att det är ett mycket högkompetent gäng som är både rappa och smidiga att jobba med, säger Sven. Att övervaka IT kan man givetvis göra internt men det är en helt annan sak när en tredje part gör det. Det ger en helt annan seriositet och en helt annan trygghet. Jag känner hela tiden att jag har full koll på vad som händer.”

Lights In Lines tjänst består i att kör ett antal script som simulerar vanliga användare och som loggar på tjänsterna var 5:e minut. Sedan rapporteras status kring tillgängligheten till den som just för stunden har ansvar för beredskapen hos Bisnode, som även med hjälp av Lights In Lines mobil-app kan ha koll på att systemen är uppe. Går något fel så skickas omedelbart ett SMS från Lights In Line till Bisnode.

”Övervakningen har också resulterat i att Bisnode kunnat se att deras Internet-leverantörer plötsligt ändrat i sina routers, något som får betraktas som en överaskande bonusinformation.”

Bisnode LILMA Mobil App

Bisnode LILMA Mobil App

Ett annat spännande teknikområde är övervakning av IP-telefoni, något som Lights In Line skall börja titta på tillsammans med Bisnode i en nära framtid. Eftersom IP-telefoni i princip kräver samma typ av övervakning och prestandaoptimering som Lights In Line redan idag arbetar med är det här ett område där det är sannolikt att man kan bidra med kompetens och expertis.

”Fler och fler i Bisnode-koncernen efterfrågar också Lights In Lines tjänster i takt med att man succesivt siktar på att i höst gå från 18/7 beredskap till 24/7. Fler övervaknings-script är på gång att installeras och Lights in Line tar en roll som ”domare” över tekniken. Statistik över de olika systemens tillgänglighet har nu också börja dyka upp på interna möten hos koncernens olika tjänsteansvariga vilket naturligtvis är helt rätt. Säljer man tjänster på nätet är ingenting viktigare än att allt fungerar utan dröjsmål. Annars är kunden borta på tre röda sekunder…”


Fotnot

Bisnode är en av våra första större implementationer av övervakningslösningar. De gjorde från början en mycket seriös upphandling, där flera leverantörer fick visa upp sina lösningsförslag samt genomfördes även en PoC (Proof of Concept) med två utvalda leverantörer. Vi valde att basera lösningen på ett verktyg från ManageEngine, Applications Manager, och byggde ut denna med en egen implementation av en script motor för testautomatisering som vi kallar LILSE. Tack vare våra erfarenheter att tillverka skript som klarar förändringar på sajten utan att felaktigt larma, samt vår styrka att kunna anpassa och förädla produkter till kundens behov, fick vi förtroendet att implementera lösningen.

Idag har vi även anpassat lösningen till att kunna mäta tillgänglighet under flera parallella tidsperioder då Bisnodes kunder har olika SLA på en och samma tjänst. Vi har även lagt mycket tid på att minimera falska larm som beror på tillfälliga störningar, samt processer och systemstöd för att snabbt kunna avgöra vad felen beror på. Vi trendanalyserar även feltyperna månad för månad för att kunna hjälpa vår kund att kontinuerligt förbättra sin tillgänglighet.

Succé för Lights In Line s E2E tjänster på Piab

Sedan drygt ett år tillbaka har Piab använt sig av Lights In Lines E2E tjänster för övervakning, trendanalyser, larm och SLA-rapportering.

”Vi har nu bättre koll på vår tillgänglighet tack vare lättlästa SLA-rapporter och dessutom så får vi direkt larm om våra tjänster på hemsidan skulle få problem” säger Manuel  Donoso, IT-chef på Piab.

Från Piabs hemsida kan den presumtive kunden efter inloggning ”plocka ihop” sin produkt, E2E tjänsten övervakar att dessa rutiner fungerar och larmar om något problem.

Just att övervaka mera komplexa skeenden upplever vi som styrkan i E2E tjänsten , säger Manuel och fortsätter:

”Vi är helnöjda med LIL s tjänster och känner ett stort förtroende  i deras serviceanda och flexibilitet”

 

Om Piab

Piab grundades 1951 och har tagit fram innovativa lösningar som förbättrar energieffektiviteten, produktiviteten och arbetsmiljön hos vakuumanvändare runt om i världen. Som en tillförlitlig partner till många av världens ledande tillverkare utvecklar och tillverkar Piab en komplett uppsättning av vakuumpumpar, vakuumtillbehör, vakuumtransportörer och sugkoppar för ett stort antal processer inom automatiserad materialhantering och fabriksautomatisering. Piab har en världsomspännande organisation med dotterföretag och distributörer i fler än 50 länder, med huvudkontor i Sverige.

Prestandatest av Swedbank Mobilbanken 3.0

Senaste uppdateringen för HP Loadrunner 11, kallad Patch 4, innehåller lite godis för oss som testar de nya Web 2.0 sajterna. Bland annat stöd för både GWT och JSON REST applikationer i web protokollet med hjälp av den nya DFE tekniken (Data Format Extensions), nya mobila protokoll och stöd för inspelning direkt på nätverket, nya funktioner i Ajax TruClient, stöd för de senaste webbläsarna och mycket mer.

LIL har haft möjligheten i ett av de senaste projekt på Swedbank att dra nytta av dessa funktioner när vi prestandatestade den nya Mobilbanken 3.0. Vi gjorde även en presentation om projektet och hur vi nyttjade dessa nya tekniker i Loadrunner för HUGS (HP User Group Sweden) för två veckor sedan, vilken var mycket uppskattad. Vi kommer även att hålla den internt för Skatteverket idag under deras prestandatestdag och du kan nu även ta del av den här genom att ladda ner den här;

Länk till presentationen
Prestandatest Mobilbanken 3.0