De kwaliteitsmonitor versus de testmanager
De kwaliteitsmonitor versus de testmanager
In november 2011 is het concept Project de Baas gelanceerd. Met dit concept is een integrale manier van kijken geïntroduceerd, ofwel dat vanuit het proces, de middelen en de organisatie de implementatie van het nieuwe c.q. gewijzigde informatiesysteem wordt gerealiseerd. Na de launch kwam regelmatig de vraag naar voren wat is nu het verschil tussen een kwaliteitsmonitor een testmanager? Dit artikel gaat op de verschillen in.
Allereerst wil ik eerst de definities geven van de kwaliteitsmonitor en de testmanager. De testmanager is de persoon die verantwoordelijk is voor het projectmanagement van testactiviteiten en testmiddelen, evenals het evalueren van een testobject. De persoon die de evaluatie van een testobject stuurt, beheerst, administreert, plant en reguleert. De kwaliteitsmonitor is verantwoordelijk om de inpasbaarheid van het nieuwe c.q. gewijzigde informatiesysteem in de lopende organisatie vast te stellen, ten aanzien van het proces, de middelen en de organisatie.
Wat zijn nu de verschillen? Laten we daar eens verder op ingaan.
De verschillen
Het verschil tussen de kwaliteitsmonitor en de testmanager is op verschillende manieren te duiden. Vanuit de positionering, vanuit het proces en vanuit de scope.De testmanager zoals we die tot op heden kennen maakt onderdeel uit van de voortbrengingsketen en is in het algemeen verantwoordelijk voor een testsoort of een testvorm. Daarbij zijn ze veelal gepositioneerd aan de aanbodzijde. Een aantal organisaties maakt gebruik van de rol van programmamanager test waarbij de span of control groter en omvangrijker is dan een bepaalde testsoort of testvorm. De kwaliteitsmonitor kijkt niet naar een specifieke testsoort of testvorm maar kijkt over het gehele traject, waarbij vooral de interactie tussen de diverse onderdelen onderwerp van aandacht is. De kwaliteitsmonitor is gepositioneerd aan de vraagzijde. Juist om vast te stellen of het nieuwe/gewijzigde informatiesysteem goed aansluit bij de organisatie en de bedrijfsprocessen. De kwaliteitsmonitor is op programmaniveau of op C-level gepositioneerd.
Een ander kenmerkend verschil is de scope. De testmanager is (vaak) verantwoordelijk voor het testen van het informatiesysteem zelf. Een uitzondering daarop is de testmanager die verantwoordelijk is voor de gebruikers acceptatietest (=GAT). Afhankelijk van de organisatie inrichting kan bijvoorbeeld de werkinstructie ook getest worden. De kwaliteitsmonitor test het informatiesysteem over het algemeen niet zelf maar krijgt de informatie aangereikt vanuit de voortbrengingsketen, gepresenteerd via het zogenaamde dashboard. Dit betreft alleen de middelen! Voor de procesverificatie en/of het vaststellen van de organisatiegereedheid organiseert de kwaliteitsmonitor vaak zelf validatiesessies.Een ander opmerkelijk verschil is in de transitie gelegen. De kwaliteitsmonitor kijkt ook nadrukkelijk naar de wijze waarop de organisatie de transitie naar de nieuwe situatie vorm geeft. In het bijzonder ligt hier de nadruk op de organisatiegereedheid. Weten de diverse partijen wat er van hun verwacht wordt en op welk moment? Denk bijvoorbeeld aan productiedraaiboeken. De testmanager kijkt daar over het algemeen niet naar. De focus ligt wellicht op een bepaalde testvorm (bijvoorbeeld de conversie) maar verder zal de betrokkenheid niet reiken.
Al eerder is de span of control genoemd. Ik wil daar nog even verder op ingaan. De testmanager is, zoals al aangegeven, verantwoordelijk voor een deelactiviteit. Denk daarbij aan een testsoort en/of testvorm. Op basis van acceptatiecriteria wordt voor het betreffende deel, testen voorbereid en uitgevoerd. De resultaten worden gerapporteerd. De span of control beperkt zich dan tot de betreffende testsoort en/of testvorm. Voor de kwaliteitsmonitor is een testsoort of een testvorm slechts een schakel in de gehele keten. Alle gedefinieerde testsoorten en/of testvormen vormen onderdeel van de span of control. De resultaten worden door de kwaliteitsmonitor geanalyseerd en vertaald naar de impact voor de organisatie of de bedrijfsprocessen.Tot zover een kort overzicht van de meest kenmerkende verschillen tussen de testmanager en kwaliteitsmonitor. Mochten er in de toekomst nog meer opmerkelijke verschillen ontstaan dan zal ik een update verzorgen van dit artikel.
Het schrijverscollectief
Project de Baas is ontwikkeld door een schrijverscollectief. Het schrijverscollectief is een interdisciplinair collectief van praktijkmensen die elkaar gaande weg hun professionele loopbaan één of meerdere malen zijn tegengekomen tijdens diverse projecten in diverse contexten en altijd met oog voor het resultaat. In de loop van de jaren heeft het woord ‘integraliteit’ hen gebonden en is daardoor de basis van het boek gaan vormen.
Het schrijverscollectief bestaat uit Jos van Rooyen, Jan Fokke Mulder, Hanneke Kroon – van der Linde, Hans Somers en Jurgen van Amerongen.Voor meer achtergrond informatie kan onderstaande literatuur geraadpleegd worden.
[Lit. 1] ‘www.projectdebaas.nl – 2011
[Lit. 2] ‘Project de Baas’-J. van Rooyen et all – 2011
[Lit. 3] ‘De kwaliteitsregisseur’ – Werkgroep Testregie, TestNet – 2011
[Lit. 4] ‘Testwoordenboek’ – E van Veenendaal, M. Posthuma – 2010

Interesse? We praten graag met je verder!
Heb je een vraag of wil je met ons sparren? Neem gerust contact op met Marleen Kleijn.
Het vakidioom
Het vakidioom
Testers en mensen van de business begrijpen elkaar vaak niet. Stel de volgende situatie voor: een testmanager staat aan het begin van zijn project en wil gestructureerd zijn project gaan uitvoeren. Een van de zaken die de testmanager nodig heeft is een teststrategie. Om de strategie te kunnen bepalen belegt hij een workshop met zijn stakeholders. Om goed beslagen ten ijs te komen heeft de testmanager zich tot in detail voorbereid. Vragenlijsten zijn opgesteld, beschikbare documentatie is grondig doorgelezen, met een aantal applicatiebeheerders is uitgebreid gesproken. Kortom het kan gewoon niet mis gaan!
Vol goede moed begint hij met de workshop. De eerste vraag wordt aan de opdrachtgever gesteld: Wat moet er van het kwaliteitsattribuut leerbaarheid getest worden voor module A? “Zullen we de rekenmodule syntactisch testen?” is een vraag die de accountant gesteld krijgt.
De stakeholders kijken elkaar niet begrijpend aan en zijn direct het spoor volledig bijster. Ze proberen zich een beeld te vormen van de vragen en geven zo goed en kwaad als het kan een antwoord. De testmanager is verbaasd over het antwoord en snapt op zijn beurt het antwoord niet. De vragen zijn toch duidelijk? Waarom een dergelijk vaag of ontwijkend antwoord? Zo sleept de workshop zich voort. Na twee uur beëindigt de testmanager de workshop. De stakeholders gaan weg met een slecht gevoel. Wat was nu het doel van deze exercitie? Wat voor soort systeem krijg ik dadelijk? Dit slechte gevoel zal weinig vertrouwen geven. De testmanager zit met hetzelfde gevoel. De input van de stakeholders is onduidelijk, waardoor de testdoelen onduidelijk zijn, of gebleven. Kortom een en al onduidelijkheid. Wordt hier een uitzonderlijke situatie geschetst? Helaas niet. In mijn rol als testadviseur kom ik het regelmatig tegen. Wat is de oorzaak van deze problematiek?
Ieder beroep heeft zijn eigen taal. De timmerman praat over: “We zagen er even een plankje in”. Hij bedoelt dan: we hangen de schappen van de kast even op! Zo ook wij als testers. Iedereen weet dat ons vak de laatste jaren zich enorm heeft ontwikkeld. Daarbij is ook het aantal begrippen en termen toegenomen. Bij ieder seminar worden er nieuwe begrippen geïntroduceerd door de geachte sprekers. Bovendien kan de betekenis van een bestaand begrip verschuiven. Daar ligt de oorzaak van het probleem van onze testmanager. We zijn met zijn allen zo bezig om te laten zien dat we ons vak beheersen dat we de klanten, waarvoor we het allemaal doen, vergeten. Onze stakeholders begrijpen kreten als ‘leerbaarheid’ en ‘het syntactisch testen van een rekenmodule’ niet. De stakeholders denken in termen als debet en credit. Als testers moeten we in staat zijn om de taal van onze gesprekspartner te begrijpen en te leren spreken. De informatie die aldus verkregen wordt kan dan door ons vertaald worden naar ons eigen vakjargon. Dit vertalen van jargon naar de taal van de klant en omgekeerd geldt niet alleen voor onze ongelukkige testmanager maar voor iedere rol die in het vakgebied wordt onderscheiden.
Op het moment dat je in staat bent te denken in de wereld van de stakeholder zal de hiervoor genoemde workshop veel meer resultaat opleveren. De doelen die bereikt moeten worden zijn helder en scherp uitgekristalliseerd.
Bereik je dit zomaar? Het antwoord is nee. Als tester moet je er aan werken om je deze vaardigheden eigen te maken en daardoor je (test)bagage nog verder te vergroten. De vraag is natuurlijk hoe je leert denken in de taal van de stakeholder. Het staat buiten kijf dat je in een aantal gevallen nooit het gedetailleerde niveau van de stakeholder kunt en moet willen bereiken. Maar wat dan? Hier volgen een aantal handvaten.
Het klinkt als een open deur, maar verdiep je bijvoorbeeld voor het opstellen van de teststrategie in de bedrijfstak, klant en project. Probeer te achterhalen wat de bedrijfsdoelstellingen zijn. Waarom moet het project worden uitgevoerd? Wat draagt het project bij aan de bedrijfsdoelstellingen. Je krijgt dan een idee van wat er getest zou moeten worden. In het voorbeeld werd leerbaarheid genoemd. Indien je de indruk krijgt dat leerbaarheid een testonderwerp is, moet je voor jezelf vragen definiëren. Hierdoor kun je er voor jezelf achter komen of leerbaarheid echt wel zo belangrijk is dat er aandacht aan moet worden besteed. Voorbeelden van vragen zijn: welk type gebruiker gaat het systeem gebruiken? Is het een nieuw systeem? Wat zijn de specifieke kenmerken van het systeem? Dit zijn voorbeelden van vragen waarmee achterhaald kan worden of leerbaarheid een testonderwerp is. Inmiddels zijn er verschillende tools en checklists beschikbaar die de testmanager kunnen ondersteunen bij het proces van bepalen wat nu wel en wat niet van belang is.
Een andere mogelijkheid is het uitbreiden van de aanwezige basiskennis door het volgen van specifieke branchecursussen. Voor verschillende branches zijn cursussen beschikbaar waarmee in redelijke korte tijd een goed inzicht verkregen kan worden in de bedrijfstakspecifieke materie. Met behulp van deze kennis kan de testmanager dan een complete en efficiënte teststrategie ontwikkelen.
Compleet in de zin van met kennis van zaken in de bedrijfstak en efficiënt in termen van kort, krachtig en de juiste focus in testen aangebracht.
Zo blijkt dat de testmanager kennis nodig heeft van verschillende gebieden. Niet alleen testkennis, maar ook van sociale vaardigheden, ict-kennis en materiekennis. Op het moment dat de testmanager in staat is te schakelen tussen de materie en de vakinhoudelijke testkennis, dan functioneert de testmanager echt als een bruggenbouwer tussen de business en het testteam en zullen de resultaten van het testproject verbeteren en beter geaccepteerd worden.

Interesse? We praten graag met je verder!
Heb je een vraag of wil je met ons sparren? Neem gerust contact op met Marleen Kleijn.
Grip op de onbekende
Grip op de onbekende
Als testers moeten we steeds vaker op basis van minder concrete input gaan testen. De klant neemt besluiten/risico’s om zo snel mogelijk naar de markt te kunnen. Men weet vaak zelf ook niet concreet hoe een traject gaat lopen, men begint zonder exact duidelijk te hebben waar het zal eindigen. Laat staan dat de requirements duidelijk zijn. Het wordt dan incrementeel managen, stapje voor stapje. Van de leverancier verwacht men dan geen vragen over 100 procent volledige documentatie, etc., want die is er domweg niet. Men verwacht een partner die bereid is risico’s te nemen en deze samen te managen. Zo slim mogelijk met de tijd om gaan. Als je dan naar testen gaat, wordt creativiteit steeds belangrijker. Hoe maak je een planning/kostenbegroting, een teststrategie of testcases als je bij wijze van spreken niet eens een FO hebt? Daar ligt een uitdaging!
Ook dit lijkt dan op wat je kunt noemen incrementeel testen: globaal beginnen en in de tijd fijnslijpen, stapje voor stapje duidelijkheid creëren. Niet tegen de stroom in roeien maar meeroeien en langzaam bijsturen. Laag voor laag de ui afpellen. Kort gezegd: de uitdaging zit in een klant die zo snel mogelijk naar de markt wil, daarom projecten start zonder exact helder te hebben hoe zaken zullen gaan en de testpartner vragen dit te bewaken, inzicht in kwaliteit te verschaffen en dit uiteraard tegen vooraf redelijk inzicht in kosten/tijdsbesteding. Uitgangspunt is dat het beschikbare materiaal wordt gebruikt, aangevuld met eventuele wetgeving, vereiste standaarden, etc.
Net als bij een ui zul je de vraag moeten afpellen in een aantal slagen waardoor de requirements duidelijk worden. Dan loop je gelijk tegen een van de bekende valkuilen aan, namelijk hoe vertellen we elkaar wat we nodig hebben? Het probleem nummer 1 in ict-land! De huidige technieken schieten daarbij tekort! Kijk maar naar de grote hoeveelheid applicaties die geleverd wordt welke niet voldoen aan de wensen/eisen van de gebruikers.
Dit probleem constateren is een, maar hoe los je het op? Uiteraard moeten technieken als reviews en inspecties toegepast worden, maar die zijn toepasbaar op datgene dat concreet aanwezig is. De hiervoor geschetste problematiek gaat verder. Hoe stel je vast wat er exact aan functionaliteit nodig is?
In mijn ogen zijn er nog geen concrete (bewezen) oplossingen die hieraan invulling geven. Om het probleem op te lossen zullen we mijn inziens, voor een deel, buiten de ict moeten kijken. Een deel van de oplossing ligt in de sociale wetenschappen, maar dan niet alleen de toepassing van interviewtechnieken. Dat is te voor de hand liggend. Die gebruiken we al en lossen het probleem niet 100 procent op. Nee, technieken die een andere manier van denken stimuleren. Denken vanuit het waarnemen, vanuit het bedenken, vanuit de beleving of bijvoorbeeld het willen. Gecombineerd met een aantal waarheidsperspectieven, zoals monadisme, idealisme, etc.
Door deze technieken te combineren met het multidisciplinaire karakter van Agile kan er een basis ontstaan van datgene wat gewenst is. Deze basis zal ook getoetst moeten worden. Dat kan op de traditionele wijze, maar ook hier denk ik een stap verder. De laatste jaren wordt ‘model based testing’ voor een breder publiek toegankelijk. De definitie volgens Wikipedia is ‘Model based testing is software testing in which test cases are derived in whole or in part from a model that describes some aspects of the system under test’.
De definitie zegt het al. Requirements worden vertaald naar modellen. Door deze slag te maken komen onduidelijkheden, open einden, etc. boven tafel. Door model based testing te combineren met de eerste stap krijg je in een aantal iteraties de gewenste functionaliteit boven tafel. De output van de modellen vormt de input voor de volgende iteratie. Tijdens de testuitvoer kan gekozen worden voor handmatige uitvoering of geautomatiseerde testuitvoering.
Is dit idee fictie of werkelijkheid? Beide nog net niet! Momenteel wordt met verschillende partners een onderzoek gedefinieerd om stap voor stap te onderzoeken of het geschetste idee realistisch en haalbaar is. Het onderzoek moet antwoord geven op vragen als: is de geschetste oplossing realiseerbaar? Welke testskills zijn nodig binnen deze aanpak, op welke punten moet bijvoorbeeld Agile uitgebreid worden en welke bagage hebben de toekomstige testers nodig?
Wat betekent dit voor je testskills? Hoe ga je het aanpakken? Voor het testvak komt er een extra dimensie bij. Om met het nieuwe werken om te kunnen gaan zijn er nieuwe skills noodzakelijk. Exact welke is nog niet bekend. Dat is een van de resultaten uit het onderzoek. Als de fictie werkelijkheid wordt, krijgen we als testcommunity de ideale testbasis op een presenteerblaadje aangereikt!

Interesse? We praten graag met je verder!
Heb je een vraag of wil je met ons sparren? Neem gerust contact op met Marleen Kleijn.
Het V-model, Back to the future
Het V-model, Back to the future
Samen met Egbert Bouman en Jan Jaap Cannegieter heb ik een thema avond voor Testnet verzorgd met betrekking tot het V-model. Ieder presenteerde zijn eigen variant op het V-model. De centrale vraag was of het V-model nog wel van toepassing kan zijn in deze moderne, snel wijzigende markt. Mijn conclusie is dat het V-model nog steeds springlevend is en met wat creatief denkvermogen in veel situaties nog goed van toepassing kan zijn.
Zelf heb ik een variant gepresenteerd op het V-model om het moment van de aanwezigheid van documentatie en resources inzichtelijk te maken. Deze variant is niet nieuw. Zo’n 15 jaar geleden heb ik deze variant bedacht om problemen in een project op te lossen. In dit project liepen de emoties nogal hoog op. Een deel van het project had de eis neergelegd dat alle documenten vanaf de start van het project beschikbaar moesten zijn. Natuurlijk is dat niet reëel te noemen maar overtuig de mensen maar dat het ook anders kan! Ik heb lang nagedacht hoe je de betrokkenen duidelijk kon maken dat dit niet nodig was. Aan de hand van het double V-model van Paul Gerrard kreeg ik het idee van een tripple V. Wat houdt deze tripple V nu eigenlijk in? Het double V-model zet naast iedere ontwikkelstap een mogelijke teststap. Dat kan een review zijn maar ook bijv. een systeemtest. De derde V die ik er naast had geplaatst was, wanneer je bepaalde documenten nodig had in het project. Op deze wijze werd al snel duidelijk dat je bijv. geen werkinstructies nodig hebt op het moment dat je nog aan het nadenken bent over de requirements.
Op dezelfde wijze kun je snel aangeven wanneer je bepaalde resources nodig hebt. Daarbij blijkt dat je in de opstartfase van een project juist heel veel verschillende type resources nodig hebt. De aard van de betrokkenheid verandert in de loop van het project.
Onderstaande figuur geeft een overzicht van de tripple V-variant:
Door op deze wijze de benodigde zaken inzichtelijk te maken kon ik de discussie indertijd snel en effectief beëindigen. De vraag is natuurlijk, is een dergelijke toepassing in de hedendaagse ontwikkelmethodieken nog toepasbaar. Ik kan daar een volmondig” JA” op geven. In een agile omgeving zet je de juiste mensen bij elkaar en bepaal je gezamenlijk welke documentatie noodzakelijk is om de release/project tot een succesvol einde te brengen. 15 jaar geleden heb ik dat gedaan met het V-model als kapstok. Je kunt je afvragen wat er daadwerkelijk nieuw is onder de zon? Dat brengt voor mij mee dat het V-model nog steeds springlevend is en goed toepasbaar in diverse situaties. Kortom, back to the future!

Interesse? We praten graag met je verder!
Heb je een vraag of wil je met ons sparren? Neem gerust contact op met Marleen Kleijn.







