De Europese Commissie intensiveert haar toezicht op de krachtigste AI-modellen nadat haar onafhankelijke Scientific Panel recente ‘loss-of-control’-incidenten heeft onderzocht. Tijdens een speciale bijeenkomst op 9 oktober bespraken 60 AI-experts onder meer recursieve zelfverbetering, moeilijker controleerbare trainingsmethoden en de vraag hoe Europa toekomstige incidenten moet onderzoeken. De aanbevelingen gaan opvallend ver: strengere controle tijdens modelontwikkeling, een Europese onderzoekscapaciteit voor AI-incidenten en internationale afspraken tussen toezichthouders en ontwikkelaars.
Voor de voorbereidingen van de inhoud en creatie van de visuals wordt (uiteraard) gebruikgemaakt van generatieve AI.
Geheime ‘loss of control incidents’
De Europese AI Act gaat een nieuwe fase in. Waar het debat lange tijd draaide rond regels op papier, verschuift de aandacht nu naar de vraag hoe toezichthouders moeten reageren wanneer zeer geavanceerde modellen gedrag vertonen dat ontwikkelaars onvoldoende kunnen voorspellen of controleren.
Op 9 oktober kwamen Henna Virkkunen, uitvoerend vicevoorzitter van de Europese Commissie voor technologische soevereiniteit, veiligheid en democratie, en Seán Ó hÉigeartaigh, voorzitter van het AI Scientific Panel, bijeen voor een bijzondere vergadering over frontier AI.
Aanleiding waren recente incidenten die de Commissie omschrijft als “loss-of-control incidents”. Welke bedrijven en modellen daarbij betrokken zijn, maakte de Commissie niet bekend.
Commissie stelt rechtstreeks vragen aan AI-bedrijven
Het Scientific Panel onderzocht wat vandaag over de incidenten bekend is en vooral welke informatie nog ontbreekt.
Samen met het EU AI Office stelde het panel vervolgens een reeks vragen op voor de bedrijven die de betrokken modellen ontwikkelden. Het AI Office heeft inmiddels ernstige-incidentrapporten ontvangen en informatie opgevraagd over de gebruikte beveiligingspraktijken.
De Commissie kondigt nu aan bijkomende informatieverzoeken te versturen waarin de vragen van het Scientific Panel en het AI Office worden gecombineerd.
Dat past binnen de bevoegdheden die de AI Act aan Europa geeft. Aanbieders van general-purpose AI-modellen met systemisch risico moeten hun modellen evalueren, systeemrisico’s identificeren en beperken, ernstige incidenten melden en passende cybersecuritymaatregelen nemen. Deze handhavingsbevoegdheden zijn sinds 2 augustus 2026 operationeel.
Recursieve zelfverbetering komt expliciet op tafel
Opvallend is dat de Commissie niet alleen naar concrete incidenten kijkt.
Het panel besprak ook technische ontwikkelingen rond recursive self-improvement: het scenario waarin een AI-systeem onderdelen van zijn eigen ontwikkeling of verbetering kan versnellen. Daarnaast werd gekeken naar nieuwe trainingsmethoden die de monitorability van modellen kunnen verminderen.
Met monitorability wordt bedoeld in welke mate onderzoekers en ontwikkelaars nog kunnen observeren, begrijpen en onderzoeken wat zich binnen een model afspeelt en waarom bepaald gedrag ontstaat.
Volgens het panel verdienen architecturen en trainingsmethoden die deze controleerbaarheid verminderen extra toezicht.
Vier aanbevelingen voor Europa
Het Scientific Panel doet vier concrete aanbevelingen.
Ten eerste moet toezicht niet pas beginnen wanneer een model publiek wordt uitgerold. Ook interne modellen tijdens ontwikkeling en testdeployment moeten volgens het panel onder een passend risicoregime vallen.
Ten tweede moet Europa zijn eigen capaciteit opbouwen om ernstige AI-incidenten te detecteren, evalueren en onderzoeken. Een gespecialiseerde taskforce behoort expliciet tot de voorgestelde opties.
Ten derde adviseert het panel een internationale samenwerking rond frontier AI, zodat landen informatie kunnen uitwisselen, gemeenschappelijke eisen aan ontwikkelaars kunnen formuleren en gezamenlijk kunnen reageren wanneer zich een ernstige crisis voordoet.
Tot slot moet er extra controle komen op technische keuzes die het moeilijker maken om AI-modellen achteraf te analyseren.
Scientific Panel krijgt steeds belangrijkere rol
Het panel bestaat uit 60 onafhankelijke experts en is onder artikel 68 van de AI Act opgericht om het AI Office en nationale autoriteiten technisch te ondersteunen.
Het kan onder meer waarschuwen voor systemische risico’s, adviseren over de classificatie van krachtige general-purpose modellen en bijdragen aan evaluatiemethoden en grensoverschrijdend markttoezicht.
De bijeenkomst laat daarmee zien hoe de AI Act in de praktijk verandert van regelgevend kader naar actief toezicht op frontier AI.
Europa probeert niet langer alleen vast te leggen welke verplichtingen ontwikkelaars hebben. Het bouwt nu ook de technische expertise en onderzoeksstructuren waarmee het kan bepalen wat er moet gebeuren wanneer een AI-model zich anders gedraagt dan verwacht.