Training

Quality Boost! Woensdag 1 februari 2017

The Battle Royale: automation vs exploratory

Test automatisering is niet meer weg te denken in het huidige IT landschap. Maar is het geschikt voor alle testen? Kunnen we alles automatiseren? Willen we alles automatiseren?

1 februari 2017, The Battle Royale tussen handmatig testen en geautomatiseerd testen. 

Maar liefst 20 personen waren aanwezig om deze battle uit te vechten.

Het systeem onder test: Flappy Bug, de game en het onderwerp waarmee in de Workshop Automation Minded Testers wordt gewerkt, al eerder gebruikt bij TestBash The Netherlands.

De opdracht: beschrijf welke test je zou uitvoeren en welke bug je daar potentieel mee zou kunnen vinden. De ene helft van de deelnemers had de focus op automatisering, de andere helft kon alleen handmatig testen. Na een tijd brainstormen en testen, waarbij potentieel gevonden bugs op sticky notes werden geschreven kwamen we weer bij elkaar om the battle uit te vechten.

Drie sheets:

  • een waarop punten konden worden gescoord voor puur automatisch testen;
  • een voor puur handmatig testen;
  • een hybride sheet waarop halve punten konden worden gescoord voor dingen die er tussen in vielen.


Tijdens the battle kwam al snel discussie op gang. "Leuk die test bedacht vanuit automatisering, maar handmatig kunnen we deze beter vinden." "Mooi die handmatige test, maar met automatisering was dit veel makkelijker geweest. "
De discussie ging over en weer, waarbij Pieter Withaar en Huib Schoots hun visie op testen en test automatisering konden delen en regelmatig advocaat van de duivel voorbij kwam. Er werd nagedacht en gediscussieerd waarom we nou automatiseren en waar de grenzen liggen. Ook werd diep ingegaan op effectief en efficiënt automatiseren en over het feit dat bij testautomatisering zowel de input van de tester als de automatiseerder van belang is. Samenwerking is cruciaal. 

Uiteindelijk moest er natuurlijk een beslissing vallen. Wie wint er: geautomatiseerd testen of handmatig testen? De deelnemers kregen nog een aantal minuten om hun killer voordeel van automatiseren of handmatig aan te dragen. Het werd een gelijkspel. Automatisering is nodig om handmatige testen sneller en efficiënter te kunnen laten draaien. Maar we kunnen ook niet zonder de handmatig testen, die soms ook sneller en efficiënter zijn. Een groot aantal van de hybride vormen blijken het meest spectaculair, kijkend naar het resultaat dat ze opleveren. 

In een aantal van de (vele) lessons learned kwam dit terug.

  • "Ik ga de ontwikkelaars er meer bij betrekken".
  • "Kritisch kijken naar waar wat wordt geautomatiseerd".
  • "Vragen om testability".

Een geslaagde avond waarin de aanwezigen in een open vrije sfeer met elkaar konden discussiëren over het nut en de noodzaak van testen...al dan niet geautomatiseerd.