RobertTECHNIEK · BEELD · NIEUWSGIERIGHEID

Bouw ik met AI? Of bouwt AI met mij? · 05 / 08

De V8 onder de motorkap

De knop was duidelijk. Maar was de verwerking erachter ook betrouwbaar?

Scroll verder

05 · De V8 onder de motorkap

De knop was duidelijk. Maar was de verwerking erachter ook betrouwbaar?

Stel dat ik tien resultaten had beoordeeld en de applicatie halverwege het vastleggen stopte. Zes beslissingen geregistreerd, vier niet. Op het scherm had ik één keer bevestigd, maar in de opslag was slechts een deel aangekomen. Bij een volgende poging zou bovendien duidelijk moeten zijn wat er al wél gebeurd was.

Het moest dus alles of niets zijn. Niet tien losse schrijfacties waarvan we hoopten dat ze allemaal lukten, maar één samenhangende transactie. Pas wanneer de hele verwerking slaagde, mocht de nieuwe toestand gelden. Ging er onderweg iets mis, dan moest de vorige toestand terug kunnen komen.

Dat principe wordt vaak met geld overmaken uitgelegd. Een bedrag mag niet van de ene rekening verdwijnen zonder op de andere terecht te komen. Hier ging het om mijn beoordelingen, de bijbehorende status en de historie. Ook die moesten het eens zijn over wat er gebeurd was.

Tien beoordelingen worden in één transactie opgeslagen; bij een fout wordt de oude toestand hersteld.

De stekker eruit. Bij wijze van spreken.

Alleen een foutmelding tonen was niet genoeg. Want wat als halverwege de stekker eruit ging? Daarom legde de applicatie vóór de wijzigingen een undo-log vast. Daarmee kon na zo'n onderbreking de oude toestand worden hersteld.

Ook een dubbele klik verdiende aandacht. Twee keer op de bevestigingsknop drukken mocht niet twee keer dezelfde beslissingen aan de historie toevoegen. Het systeem moest een herhaalde bevestiging herkennen, in plaats van die enthousiast nog eens uit te voeren.

Work controleerde dit met 28 gerichte foutsimulaties. Daarbij werd de verwerking onder meer opzettelijk onderbroken. Geen fysieke stekker uit mijn computer, maar wel een proces dat niet netjes mocht afronden. Juist op zulke momenten moest blijken of de herstelroute ook werkelijk werkte.

Het undo-log wordt vóór uitvoering vastgelegd; na een abrupte onderbreking kan de vorige toestand worden hersteld.

Ik begon het contrast prachtig te vinden. Boven de motorkap steeds meer rust, daaronder steeds meer techniek. Een V8 met een heel bescheiden dashboard.

Twintig hardnekkige afwijkingen

Later bleven bij een volledige regressieronde twintig tests falen. Diezelfde twintig faalden ook in een eerdere versie. Dat vertelde ons dat ze niet allemaal door de nieuwste uitbreiding waren ontstaan. Het vertelde nog niet dat ze onschuldig waren.

Ik wilde het fijne ervan weten. Waren het echte fouten, verouderde verwachtingen of problemen met de testomgeving? Eerst onderzoeken, dan pas repareren. Anders konden we de tests groen maken door precies de verkeerde dingen aan te passen.

Er bleken achterhaalde tests en onjuiste aannames in de testopstelling te zijn, maar ook een echte, beperkte fout in de oefenomgeving. Die vroeg om een gerichte reparatie. We lieten de oorzaken herstellen, zonder de veiligheidscontroles simpelweg uit te schakelen.

Twintig regressieafwijkingen onderzoeken en gericht herstellen; daarna 313 testuitvoeringen geslaagd.

Tijdens een van die lange work-chat-sessies verscheen onderaan de voortgangsmelding ineens: 'I need'. Meer niet. Zelfs de work-chat leek overwerkt. Ik reageerde droogjes: 'Me too.'

I need

Me too.

Uiteindelijk stonden er 313 geslaagde testuitvoeringen. Dat waren geen 313 verschillende functies: dezelfde voorziening kon onder meerdere omstandigheden worden getest. Het getal gaf dus vooral aan hoeveel controles in die ronde waren uitgevoerd. Geen garantie dat er nooit meer iets mis kon gaan, maar wel meer onderbouwing dan alleen een knop die het één keer netjes deed.

Het dashboard werd rustiger. De techniek betrouwbaarder. En toen kreeg ik een nieuw idee.

Zou ik die twee AI's ook mijn eigen artikelen kritisch kunnen laten lezen?

Achter de schermen

TERUG NAAR HET OVERZICHT

Bouw ik met AI? Of bouwt AI met mij?Overzicht van de acht hoofdstukken.
Open volledig beeld ↗

Wat als het opslaan halverwege mislukt?

ROBERT

[…]

Moet dat niet zijn:

"Onze nieuwe eindbevestiging moet betrouwbaar zijn: óf alle voorbereide beslissingen worden correct geregistreerd. EN er mag geen half-afgeronde administratie ontstaan.
We moeten Bouwen 7 laten uitzoeken hoe dat binnen de bestaande registratie veilig kan worden gerealiseerd."

?

ADVIES-CHAT

Haha, ja! 😄 Je hebt hier terecht een formulering te pakken die niet helemaal uitdrukt wat we bedoelen.

Maar ik zou jouw correctie nog één stap verder aanscherpen.

Mijn oorspronkelijke óf ... óf ... was logisch niet goed geformuleerd. Jouw én maakt duidelijk dat beide voorwaarden moeten gelden, maar laat nog één vraag open: wat moet er gebeuren als het opslaan halverwege mislukt?

Ik zou het daarom zo formuleren:

Bij definitieve bevestiging worden alle voorbereide beslissingen als één geheel opgeslagen.

Ofwel worden alle beslissingen correct en definitief geregistreerd, ofwel wordt geen enkele beslissing definitief geregistreerd.

Bij een fout blijven de conceptbeoordelingen behouden, zodat Robert het opnieuw kan proberen. Een gedeeltelijk afgeronde administratie is nooit toegestaan.

[…]

ROBERT

[…]

Alle donders. Ik snap je, maar dit is wel briljant.

Hebben we nu alle layout, functionaliteit, en randvoorwaarden helder genoeg om dit te laten bouwen door onze uitzendkracht?

ADVIES-CHAT

[…]

Er is nog één technische ontwerpvraag: hoe realiseren we die alles-of-niets-vastlegging binnen de bestaande JSON-administratie?

Die hoeven wij niet zelf vooraf op te lossen. Dat is nu juist een uitstekend uitzoekvraagstuk voor Bouwen 7.

[…]

Ook de uitzonderingen tellen

ROBERT

Je zegt: "Stel dat je vijf beoordelingen hebt voorbereid en er vervolgens een nieuwe uitvoering wordt geladen. Dan mogen je oude conceptkeuzes niet ongemerkt op die nieuwe resultaten worden toegepast."

Oef... niet aan gedacht. Mijn goedheid.

En "En voor geblokkeerde of niet-uitgevoerde resultaten behouden we hun eigen passende beoordelingsroute. Niet ieder technisch resultaat kan simpelweg met ja of nee worden goedgekeurd."

Oef. OOK niet aan gedacht. Mijn goedheid 2.

[…]

ADVIES-CHAT

[…]

De applicatie moet dan:

- Herkennen dat er nog onafgeronde beoordelingen bij het oude rapport horen.
- Die conceptbeoordelingen behouden, gekoppeld aan precies dat rapport en de bijbehorende uitvoeringsversies.
- Voorkomen dat ze automatisch worden toegepast op nieuwe uitvoeringen.
- Duidelijk uitleggen wat er aan de hand is en welke beoordeling nog openstaat.

Geen stilzwijgend verlies van conceptkeuzes en geen goedkeuring van de verkeerde uitvoering.

[…]