Harness engineering: elke fout maakt de harness strakker

Als een AI-agent een fout maakt, kun je op twee manieren reageren. Je verbetert het resultaat en gaat verder. Of je vraagt je af waarom het gebeurde en past de omgeving van de agent aan, zodat het niet opnieuw gebeurt. Die tweede manier heet harness engineering.

De term brak door in het begin van 2026. Op 11 februari beschreef OpenAI hoe een klein team een product bouwde met programmeeragents, volgens eigen zeggen zonder zelf code te schrijven. Het werk van de engineers verschoof naar het ontwerpen van de omgeving, de instructies en de controles. Op 2 april publiceerde Birgitta Böckeler van Thoughtworks er een kader voor op martinfowler.com. Allebei gaan ze over software. De methode werkt voor elk team.

Gidsen en sensoren

Böckeler deelt elke controle in een harness in twee soorten in.

• Gidsen werken vóór de agent iets doet: instructies, afspraken, sjablonen, werkwijzen en voorbeelden. Ze mikken op een goede eerste poging.
• Sensoren werken erna: tests, controles, een tweede nalezing. Ze vertellen de agent wat er misging, zodat hij zichzelf kan bijsturen.

Je hebt beide nodig. Met alleen sensoren blijft de agent dezelfde fout maken en wordt hij telkens opnieuw verbeterd. Met alleen gidsen weet je nooit of je regels werken.

Elke controle is daarnaast rekenkundig of oordelend. Een rekenkundige controle is exact, snel en goedkoop: een getal klopt of het klopt niet. Een oordelende controle gebruikt het oordeel van een model, zoals een tweede AI die een tekst naast je tone of voice legt. Die vangt subtielere problemen op, maar is trager, duurder en minder voorspelbaar. Dus komen de goedkope, exacte controles eerst.

Gidsen en sensoren buiten code

In een marketing-, sales- of operationeel team zien dezelfde twee soorten er zo uit.

• Gidsen: merkregels, tone of voice, rapportsjablonen, een uitgeschreven werkwijze, een lijst van wat de agent nooit mag doen.
• Sensoren: elke ratio opnieuw berekend uit de ruwe cijfers, het resultaat naast een kwaliteitslat gelegd, een tweede nalezing, een mens die goedkeurt voor er iets verstuurd of gepubliceerd wordt.

Een echt voorbeeld: een naam die juist moest klinken

Voor zaela.com werden zestig korte films gemaakt met synthetische stemmen. Zaela spreek je uit als za-jé-la, en een spraakmodel weet dat niet. Dat was de fout.

• De gids: een fonetische schrijfwijze van de naam voor elke taal, vastgelegd in het geheugen, zodat elke stem vertrekt van de juiste spelling.
• De sensor: elke zin met de naam werd nagekeken met spraakherkenning. Werd de naam niet gehoord, dan kwam er een gecontroleerd fragment in dezelfde stem in de plaats, en werd de zin opnieuw nagekeken.

De fout zit nu in de harness: de volgende film begint met allebei. Lees hoe de films gemaakt werden.

Zes gewoontes van harness engineering

1. Leg het vast waar de AI het kan lezen. Regels in hoofden of in oude chats bestaan niet voor een agent. In het experiment van OpenAI was de codebase de enige bron van waarheid. Voor een team is dat gedeeld geheugen.
2. Knip werk op in kleine, controleerbare stappen. Een stap met een duidelijke definitie van klaar is makkelijker na te kijken dan één grote taak.
3. Zet goedkope, exacte controles eerst. Herbereken, tel, vergelijk met een lijst. Hou een tweede nalezing door AI voor wat een exacte controle niet ziet.
4. Laat elke controle zeggen hoe het beter moet. “Het totaal is niet de som van de kanalen” helpt een agent zichzelf te verbeteren. “Fout” niet.
5. Maak de harness strakker na elke fout. Verbeter het één keer, in de instructies, in plaats van telkens opnieuw in de chat. Het developerteam van Google raadt aan te beginnen met één fout die steeds terugkomt.
6. Begrens wat de agent mag aanraken, en bewaar de logs. Toegang per persoon en goedkeuring voor riskante acties horen bij de harness. Logs tonen wat er gebeurde, en daar leer je van.

De grenzen

Harness engineering is geen garantie. Böckeler zegt duidelijk wat sensoren missen: een probleem dat verkeerd werd ingeschat, een oplossing die ingewikkelder is dan nodig, een instructie die de agent verkeerd begreep. En het experiment van OpenAI is één geval dat het bedrijf zelf rapporteert, op een nieuw product zonder oude code. Hou een mens aan de poort waar smaak en verantwoordelijkheid tellen.

Harness engineering in Zaela

Zaela is een AI-harness voor bedrijven, gemaakt zodat een team dit werk kan doen zonder te programmeren. Gidsen zitten in het geheugen, in werkwijzen en in de instructies van elke agent. Sensoren horen bij de werkwijzen: exact rekenen, een kwaliteitslat, een lijst van wat een agent nooit doet, goedkeuring voor iets live gaat. Elke actie wordt gelogd. En alles wat de AI gebruikt, kun je zien, aanpassen en aanvullen in de webapp, zodat een les nog dezelfde dag in de harness zit.

De vuistregel is dezelfde als voor agents. Vraag je twee keer hetzelfde? Maak er een agent van. Verbeter je twee keer hetzelfde? Maak er een regel van. De volledige achtergrond lees je in de gids over harness engineering op artificial-intelligence.be, ook uitgegeven door Edge.