Training

Quality Boost! Woensdag 8 maart 2017

Test Maturity: een context-driven aanpak

 Op 8 maart organiseerde Improve een Quality Boost Meetup (QBM) over "Test Maturity". Context-driven testers Joep Schuurkes en Huib Schoots deelden hun ervaringen met hun zoektocht om op een context-driven manier invulling te geven aan de vragen: "Hoe volwassen is mijn organisatie?" en "Hoe meet ik test maturity?". Deze vragen waren gesteld door een manager van een groep testers bij een bank waar Joep op dat moment werkte. In het management team hadden de andere managers een mooi rapportcijfer (KPI) voor hun teams. Daarom kon de test groep niet achter blijven. Joep werd gevraagd dit op te pakken. Hij koos ervoor om dit op een op context-driven geïnspireerde manier aan te pakken. Al snel haakte Huib aan en samen pakten ze deze uitdaging op.

Tijdens de QBM werd eerst gezocht naar een goede definitie van Maturity en een Maturity Model. Daarbij werd ook gekeken naar de blogpost Immaturity of Maturity Models van James Bach. De definities van James zijn: "Maturity is the degree to which a system has realized its potential and adapted to its context. A maturity model is plan for achieving maturity”. In zijn blog geeft hij aan dat het bereiken van Maturity geen doel is, succesvol zijn met projecten is dat wel.

 De essentie van context-driven testen is het toepassen van kennis en vaardigheden die passen in een specifieke situatie. Niet het toepassen van een standaard recept. Op de QBM legden Huib en Joep uit waarom modellen als TMMi en TPI voor hen niet werken:

  • Geen focus op de mensen die testen, maar op processen en artefacts
  • Het is een kant-en-klaar model: iedereen gebruikt hetzelfde model zonder rekening te houden met de specifieke context
  • Het model bepaalt wat belangrijk is en hoe er gemeten moet worden
  • Groei is voorgedefinieerd: dit impliceert dat alle organisatie hetzelfde groeipad hebben
  • Het model zelf is geen onderdeel van de evaluatie
  • Scores zijn de enige manier om aan te geven wat belangrijk is en wat er mogelijk verbeterd kan worden.

Als interessant feitje werd nog gedeeld dat TMMi gebaseerd is op "The evolutionary testing model" uit een artikel “The growth of Software Testing” van Gelperin & Hetzel" uit 1988 (!). De wereld is inmiddels in 30 jaar behoorlijk veranderd!

De conclusie die getrokken werd is dat Maturity niet objectief te meten is met een standaard model. Wel is inzicht te geven in mogelijke verbeteringen die een organisatie, team of individu verder kunnen helpen. Het model suggereert een vaste volgordelijkheid. Beter zou zijn om het model aan te passen aan de context, of zelfs het model te maken als onderdeel van een assessement. Daarnaast adviseerden Huib en Joep de groep om gebruik te maken van heuristieken in plaats van voor gedefineerde vragenlijsten. Het tweede deel van de avond werd ingevuld door een demo van een aanpak die Huib en Joep ontwikkelden om mogelijke test verbeteracties te kunnen definieren. Ze presenteerden heuristieken in 6 categorieen. Over het model hebben ze een artikel geschreven: Testing maturity in an agile/CDT environment. De titel van dit artikel is dus eigenlijk verkeerd concludeerden ze zelf. Beter zou zijn: Testing Improvement in an agile/CDT environment.