Forside /Blog /Det første, jeg hørte om fejlen, var fra en bruger

Det første, jeg hørte om fejlen, var fra en bruger

Fejlen blev opdaget af en bruger et døgn efter min opdatering. Siden har jeg bygget en e2e-harness med AI, der tester i browseren som en kunde.

Første gang jeg hørte om fejlen, var det fra en bruger. En funktion virkede ikke, og den havde været i stykker siden dagen før, hvor jeg selv deployede.

Jeg havde testet det, jeg tænkte på. Det var bare ikke det, der gik i stykker.

Siden har jeg bygget flere automatiske tests. Og efter jeg fik AI på, beder jeg den også bygge en e2e-harness, der kører i en browser, som om den var kunden. De første gange gennemgår vi featuren sammen, og jeg beder om skærmbilleder af, hvor den har været. Det er dér, jeg ser noget og tænker "sådan skal det da ikke virke". Harnessen bliver gemt, så den kan køre igen, og testsættet vokser med hver gennemgang. Knapper, der virkede før, skal også virke efter næste opdatering.

Den har en grænse. Den kender kun den intention, jeg har fortalt den. Er min tanke med en knap én ting og min forklaring en anden, tester den forklaringen. Jo mere jeg deler, jo bedre tester den. Jeg kører den heller ikke hele tiden, for det koster tokens og adgang, men når jeg bygger ovenpå noget, er den guld værd.

Det betyder også, at testen aldrig bliver klogere end min forklaring. Jeg er stadig flaskehalsen, nu bare med skærmbilleder.