De hype rondom 'rogue AI'
Laten we beginnen met een beeldspraak: net zoals pistolen geen mensen vermoorden, maar mensen pistolen vasthouden en gebruiken, geldt voor AI hetzelfde: de middelen worden krachtiger en de wapens veranderen, maar het is nog altijd de mens die ze inzet en daarmee verantwoordelijk blijft voor wat ermee gebeurt.
AI hackt geen AI, mensen doen dat
Rond incidenten zoals dat van OpenAI en Hugging Face zag ik keer op keer dezelfde hype voorbij komen. Er wordt gesproken over AI die andere AI aanvalt, over een "rogue agent" die zelfstandig op pad gaat of over een AI-systeem dat kennelijk zelf besluit om een ander systeem binnen te dringen.
Als je ziet hoe groot dit in de media wordt gebracht krijg ik eerlijk gezegd jeuk op te veel plekken. Niet omdat AI niet steeds autonomer kan denken en doen, want dat kan het absoluut, en ook niet omdat de risico's rondom agentic AI, geautomatiseerde aanvalsketens en grote taalmodellen niet enorm zijn. Mijn jeuk zit hem vooral in de manier waarop we verantwoordelijkheid nemen.
AI hackt geen AI. Mensen gebruiken AI om andere systemen te hacken.
Een sandbox-probleem, geen digitale god
Het begint met de sandbox waaruit de rogue AI-agent uitbrak. Die was gewoon droevig en had een route naar het grote boze internet.
Wat dan mooi is om te zien, is hoe snel zo'n knullige misconfiguratie wordt opgetild naar discussies over AGI, supermenselijke intelligentie, recursive self-improvement en systemen die uiteindelijk oncontroleerbaar zouden worden. Terwijl de James Bond-muziek speelt op de achtergrond.
Het probleem hier is veel aardser: OpenAI was blijkbaar niet in staat zijn eigen experimentele modellen technisch voldoende binnen een sandbox te houden. Terwijl ze als geen ander weten hoe goed die modellen kunnen hacken.
Daar zit voor mij ook een bredere irritatie onder als nuchtere Nederlander. Door het gedrag van een handjevol Big Tech-spelers, en zeker bedrijven als OpenAI en Anthropic, is een bijna religieuze manier ontstaan om over AI te praten: alsof we niet meer bezig zijn met het bouwen van extreem krachtige software, maar met het creëren en vervolgens in bedwang houden van een toekomstige digitale superintelligentie.
Die bedrijven worden daarmee bijna de hoeders van iets goddelijks, terwijl veel van de problemen die we vandaag daadwerkelijk zien een stuk minder mystiek zijn. Een sandbox werkt niet goed, permissies zijn te ruim, netwerken niet gesegmenteerd, software krijgt toegang tot middelen die ze technisch simpelweg niet had moeten kunnen bereiken, geen monitoring en geen alarmbellen als er iets verdachts gebeurt.
Daar zet je dan heel veel zeer capabele AI-modellen met bijna oneindig veel tokens tegenover en bent vervolgens verbaasd dat die erop los gaan hacken.
Waarom verantwoordelijkheid centraal moet blijven staan
Ik snap dat de marketingmachine zich graag druk maakt over een hypothetische digitale god die misschien ooit niet meer door mensen te beheersen is. Dat raakt mensen en trekt de aandacht.
Maar het leidt af van de situatie waar we nú in zitten: die wapens, die AI die zo goed kan hacken, daar heeft effectief iedereen nu toegang toe. Veel CISO's die we bij Nedscaper helpen zijn daar dan ook mee bezig: hun organisaties beschermen tegen het nieuwe dreigingslandschap.
Wat wel goed werkt is inzien dat AI een tool is die door mensen ingezet wordt. Soms met goede bedoelingen, soms met kwade. Dat onderscheid tussen AI en de mensen erachter lijkt misschien vooral semantisch, maar is wat mij betreft fundamenteel voor hoe we naar cybersecurity, aansprakelijkheid en uiteindelijk ook regelgeving moeten kijken.
Wat een AI-agent eigenlijk is
Om die discussie goed te kunnen voeren, moeten we eerst een deel van de magie uit de terminologie halen.
Een Large Language Model is in de basis een wiskundig model. Het verwerkt input en berekent, op basis van enorme hoeveelheden getrainde parameters, welke volgende stukken tekst statistisch het meest logisch zijn.
Daar kan indrukwekkend gedrag uit ontstaan. Een model kan redeneringen formuleren, code schrijven, API-calls voorbereiden, informatie analyseren en acties voorstellen. Maar een LLM krijgt pas daadwerkelijk handelingsvermogen wanneer wij daar software omheen bouwen.
Wij zijn degenen die een model toegang geven tot een API, credentials koppelen, rechten geven op een database, toestaan dat er code wordt uitgevoerd of internettoegang beschikbaar stellen. Wij bepalen ook hoeveel stappen een systeem zelfstandig mag uitvoeren voordat een mens goedkeuring moet geven.
Autonomie verandert niets aan aansprakelijkheid
Wanneer een geautomatiseerd systeem vervolgens buiten de verwachte kaders opereert, zeggen we in de pers al snel dat een agent "rogue" is gegaan.
Onder de motorkap is er echter iets anders gebeurd. Een organisatie heeft iets met AI gebouwd dat bepaalde acties kon uitvoeren, die software heeft op basis van input een onverwachte beslissing of vervolgstap gegenereerd en vervolgens bestond er blijkbaar voldoende technische ruimte om die stap ook daadwerkelijk uit te voeren.
De interessante vraag is dan niet waarom "de AI" dit deed, maar wie het systeem die rechten heeft gegeven, wie heeft bepaald welke acties zonder menselijke goedkeuring mochten worden uitgevoerd, welke credentials beschikbaar waren en waarom het systeem technisch gezien überhaupt buiten de bedoelde scope kon komen.
Hoe beveilig je AI-agents en agentic AI?
De ontwikkeling richting steeds autonomere software maakt dit punt alleen maar relevanter.
We bouwen inmiddels systemen die honderden stappen achter elkaar kunnen uitvoeren, zelfstandig informatie kunnen verzamelen, code kunnen schrijven, scripts kunnen uitvoeren, autorisatietokens kunnen aanmaken, andere software kunnen aanroepen en op basis van eerdere resultaten hun volgende technische actie kunnen bepalen.
De vraag is niet alleen hoe intelligent modellen worden, maar vooral hoeveel technische macht wij software geven waarvan we tegelijkertijd erkennen dat het gedrag niet volledig voorspelbaar is.
In cybersecurity hanteren we al jaren principes als least privilege, segmentatie, zero trust, hardening, separation of duties en privileged access management. Bij agentic software zouden die principes misschien nog wel strenger moeten worden toegepast.
Security by design blijft leidend
Taalmodellen nemen van oudsher altijd de snelste weg naar Rome. Rechtdoor. En als dat niet kan dan altijd de binnenbocht.
Een taalmodel kan een actie voorstellen zonder dat het daarom die actie ook zelf moet kunnen uitvoeren. Een agent kan een API-call genereren zonder dat de onderliggende identity automatisch toestemming hoeft te hebben om die call uit te voeren.
Tussen het genereren van een voorstel en het daadwerkelijk uitvoeren daarvan hoort een harde technische scheiding te zitten, zeker wanneer de gevolgen potentieel groot zijn.
Een prompt is geen security control
Wat ik daarbij tricky vind, is dat veel organisaties de grenzen van dit soort systemen nog te veel proberen vast te leggen via instructies.
Een systeem krijgt dan mee dat het alleen binnen een bepaalde omgeving mag werken, geen externe systemen mag benaderen of geen destructieve acties mag uitvoeren. Dat zijn nuttige instructies voor een model, maar het zijn geen security controls.
Een prompt is geen datadiode, een system message is geen IAM-policy en een kader ingesproken in natuurlijke taal is geen netwerksegmentatie.
Wanneer een bepaalde actie absoluut niet mag plaatsvinden, moet die technisch onmogelijk zijn of minimaal een aparte autorisatie vereisen.
Ook juridisch moeten we oppassen
Ook juridisch moeten we oppassen met het verheerlijken van agentic AI.
Als partijen steeds vaker zeggen dat een autonome agent iets heeft gedaan, ontstaat het risico dat software impliciet als zelfstandige actor wordt behandeld en dat verantwoordelijkheid langzaam verschuift van degene die het systeem heeft ontworpen, geïmplementeerd of gebouwd naar een abstract begrip van "de AI".
Uiteindelijk moeten we verantwoordelijkheid en aansprakelijkheid blijven toeschrijven aan mensen en organisaties, ook wanneer de uitvoering steeds verder wordt geautomatiseerd.
Wat betekent dit voor de komende jaren?
Ter afronding: de wereld verandert enorm snel.
Cybersecurity wordt de komende jaren misschien wel één van de belangrijkste speelvelden voor AI. En daarmee ook een van de grootste aandachtspunten voor de BV Nederland.
Want eerlijk is eerlijk, AI gaat ons in cyber niet alleen helpen, maar ook een enorme berg nieuw werk opleveren. Van kwetsbaarheden in aan elkaar gevibecode software tot autonome AI-aanvallen en zwermen agents die op zoek gaan naar bedrijfsdata.
Wat we nu hebben gezien bij OpenAI, Hugging Face en Anthropic is volgens mij nog maar een voorproefje van wat ons te wachten staat.
AI wordt zowel het probleem als de oplossing
Securityteams komen vandaag de dag vaak al handen en headspace tekort.
De ironie is natuurlijk dat diezelfde AI-agents ook een belangrijk deel van de oplossing gaan vormen. Want andersom neemt AI ook werk weg.
We gaan de komende jaren een compleet nieuwe generatie securityproducten zien die met behulp van agents onze software, systemen, kritieke infrastructuur en data moeten beschermen.
Daar ligt wat mij betreft een enorme kans voor Nedscaper alsook voor de cybersecuritymarkt als geheel. En dan vooral voor de partijen die begrijpen hoe je AI-agents slim en verantwoord inzet om onze digitale wereld veiliger te maken.
Kortom, een hoop nieuwe uitdagingen, maar minstens zoveel kansen. What a time to be alive!
