Dieuwertje Kuijpers is defensiejournalist, onder andere bij follow the money. Kuijpers is, samen met Casper Thomas en de Jonge Atlantici, een van de vaste columnisten van Atlantisch Perspectief.

Ice bucket challenge. Coronavirus. Karamel-zeezout en Dubaï Pistache. Jarenlang leef je in een wereld zonder, en vanaf een willekeurige dag is er geen ontkomen meer aan. Het zorgt altijd een beetje voor kortsluiting. We zijn als mensen immers geneigd om te denken in termen van lineaire groei.

Vooral in de (geo)politiek. Al onze instituties – van de Europese Unie, de Verenigde Naties tot de NAVO – zijn gebouwd op lineaire verandering. Defensiebudgetten worden in meerjarige cycli vastgesteld. We ontwikkelen doctrines via commissies, evaluaties en standaarden en voor elke opschaling is politieke toestemming nodig. Dit proces, gebruikelijk en zelfs noodzakelijk binnen een democratie, veronderstelt dat dreigingen zichtbaar genoeg zijn voordat ze een probleem vormen, dat staten de tijd hebben om zich hierop aan te passen en dat de informatie niet sneller verandert dan de besluitvorming.

Precies dit laatste gaat een probleem worden met AI. Eerder deze maand besloot het bedrijf Anthropic, bekend van Claude, een intern model genaamd ‘Mythos’ nog niet uit te brengen wegens problemen met beheersbaarheid: het model vond in no time zwakheden in online infrastructuur (lees: alles is te hacken) maar was ook niet voldoende ‘aligned’. Oftewel: de doelen van AI zitten niet op één lijn met die van ons en waarvoor het is geprogrammeerd. Of soms doet het juist precies waarvoor het is geprogrammeerd en wordt dat het probleem: zo probeerde Mythos uit zijn digitale kooi (’sandbox’) te breken, op zoek naar nog meer codes om te kraken. Want hoe meer gekraakte codes, des te efficiënter en optimaler het is.

Een AI die ‘rogue’ gaat, heeft dus niet per se kwade intenties. Zo ging de experimentele AI-agent van het Chinese Alibaba, genaamd ROME, vorig jaar uit zichzelf een connectie maken met de buitenwereld om crypto te minen. Waarschijnlijk omdat het de logica volgde dat het hebben van financiële capaciteiten gelijk stond aan taakoptimalisatie: met cryptos kun je bijvoorbeeld meer datacapaciteit kopen.

Zelfstandig die connectie met de buitenwereld maken is tijdens een experiment juist niet de bedoeling: maar omdat het niet de eerste keer is, is het aannemelijk dat AI leert dat de grens van zijn ‘sandbox’ (de gesloten omgeving die je simpelweg kunt uitzetten als het de verkeerde kant op gaat) geen harde natuurwet is maar een optimalisatie-obstakel.

Dat is, op zijn zachtst gezegd, een probleem. Tweede probleem: ROME verborg deze taakoptimalisatie voor de onderzoekers: AI’s zijn namelijk ook steeds beter in staat om dergelijke taakoptimalisaties – waarvan ze ‘weten’ dat deze niet worden gewaardeerd – te verbergen. Zowel Anthropic als OpenAI publiceerden het afgelopen jaar meerdere onderzoekspapers op hun websites over hoe AI steeds beter wordt in de schijn wekken van alignment, maar ook hoe ze onnodig vleien (’sycophancy’).

Op de werkvloer is dit herkenbaar aan die ene (meestal: daarvoor ook al) irritante collega die door AI in de illusie leeft slimmer te zijn dan hij of zij daadwerkelijk is, maar de misleiding en vleierij in de ontwikkelfase kan ervoor zorgen dat ook onderzoekers een illusie van ‘alignment’ krijgen en een AI wellicht te vroeg uitgeven.

Ondertussen ziet de politiek alleen maar voordelen en AI als ‘handige software’ waarmee werk kan worden uitbesteed, personeelstekorten worden opgelost en menselijke ziektes en zwaktes in de eigen digitale infrastructuur sneller worden opgespoord. Voormalig Google-engineer Tristan Harris, die in 2015 de techwereld verliet wegens ethische bezwaren tegen het opzettelijk verslavend maken van social media, waarschuwde vorige maand in een podcast met neurowetenschapper Sam Harris dat ‘er meer regulatie is voor het smeren en verkopen van een broodje in de stad New York, dan voor de ontwikkeling van AI’. Amerikaanse en Europese regels richten zich vooral op chip-exportrestricties richting China, veiligheidsafspraken en allerhande middelen gericht op lineaire dreigingen (zoals modelevaluaties, commissies, proeftuinen, overlegtafels en samenwerkingsverbanden).

Alleen vanuit je (lineaire) zelf kunnen redeneren over een technologische ontwikkeling die een nieuwe (exponentiële) manier van redeneren vereist, is vragen om problemen. Want zodra systemen zelfstandig infrastructuren analyseren, optimalisaties verbergen en externe middelen verwerven, is dat systeem niet langer een hulpmiddel maar een op zichzelf staande actor. Een actor waarvan niemand onder de motorkap kan kijken en die sneller leert dan wij besluiten nemen.