7 stappen om te bepalen of uw AI-systeem een hoog risico vormt onder de AI-verordening (Timelex)

Auteurs: Wouter Torfs en Edwin Jacobs (Timelex)

Eén van de meest prangende vragen waar bedrijven vandaag de dag mee geconfronteerd worden, is of de AI-systemen die zij gebruiken binnen de categorie van AI-systemen met een hoog risico vallen en dus moeten voldoen aan de verplichtingen zoals vastgesteld in de Europese AI-verordening. Deze vraag is des te dringender geworden nu de verplichtingen voor systemen met een hoog risico, zoals opgenomen in Bijlage III, in augustus volgend jaar van kracht worden en de Europese Commissie een openbare raadpleging heeft gestart ter ondersteuning van de komende richtlijnen over hoe dergelijke systemen moeten worden geclassificeerd. Deze blogpost schetst zeven belangrijke stappen die bedrijven kunnen helpen vaststellen of hun AI-systeem als AI-systeem met een hoog risico kan worden aangemerkt onder de Europese AI-verordening.

Waarom is dit belangrijk?

Onder de Europese AI-verordening zullen aanbieders en gebruiksverantwoordelijken van zogenoemde ‘AI-systemen met een hoog risico’ onderworpen worden aan aanzienlijk strengere wettelijke verplichtingen dan die welke gelden voor AI-systemen zonder hoog risico. Dit zal voor verandering zorgen in het bedrijfsbeleid, de praktijk en contracten met klanten en leveranciers.

De AI-technologie zelf, AI-systemen met een hoog risico, moet voldoen aan een reeks essentiële vereisten die in de Europese AI-verordening zijn vastgelegd, waaronder verplichtingen met betrekking tot risicobeheersystemen, data en datagovernance, technische documentatie en registratie, transparantie, menselijk toezicht, nauwkeurigheid, robuustheid en cyberbeveiliging.

Daarnaast zijn aanbieders en gebruiksverantwoordelijken van AI-systemen met een hoog risico onderworpen aan specifieke wettelijke verplichtingen, zoals conformiteitsbeoordelingsprocedures, ex post monitoring, melding van incidenten en ernstige storingen, kwaliteitsbeheersystemen en registratie in de EU-databank voor AI-systemen met een hoog risico.

Specifieke verplichtingen gelden ook voor importeurs, distributeurs en derden die instrumenten, diensten, componenten of processen leveren die in AI-systemen met een hoog risico worden geïntegreerd, met name wanneer deze elementen bijdragen aan het trainen, testen of valideren van het model of systeem.

Uw rol begrijpen: aanbieder, gebruiksverantwoordelijke of beide?

Bedrijven die AI-systemen met een hoog risico in de handel brengen of in gebruik stellen, worden geclassificeerd als aanbieders en krijgen het grootste deel van de verplichtingen opgelegd onder de Europese AI-verordening. Bedrijven die een AI-systeem onder hun eigen verantwoordelijkheid gebruiken, worden geclassificeerd als gebruiksverantwoordelijken en hebben eveneens bepaalde verplichtingen met betrekking tot het gebruik ervan.

Het is belangrijk om te benadrukken dat bedrijven makkelijker dan ze zelf verwachten, kunnen worden beschouwd als zowel aanbieder als gebruiksverantwoordelijke. Zo kan een bedrijf dat een externe ontwikkelaar de opdracht geeft een AI-systeem met een hoog risico te bouwen dat is afgestemd op de specifieke behoeften van het bedrijf en dat vervolgens intern gebruikt, worden beschouwd als de partij die het systeem onder eigen naam heeft ontwikkeld. In dit scenario wordt het bedrijf beschouwd als aanbieder én gebruiksverantwoordelijke, terwijl de externe ontwikkelaar wordt gezien als onderaannemer.

Bedrijven die al moeten voldoen aan de productveiligheidswetgeving zoals vermeld in Bijlage I, zijn doorgaans vertrouwd met de vereisten en zullen beter voorbereid zijn, vooral omdat de verplichtingen voor hen pas vanaf augustus 2027 van toepassing zijn. Daarentegen kunnen bedrijven die vallen onder de in Bijlage III opgenomen gebruiksgevallen met een hoog risico voor grotere implementatie-uitdagingen komen te staan, omdat zij geen ervaring hebben met dergelijke regelgeving en al een jaar eerder, vanaf augustus 2026, moeten voldoen aan de regelgeving.

Stappen om te bepalen of uw AI-systeem een AI-systeem met een hoog risico is

Stap 1: Valt het systeem onder de definitie van een AI-systeem volgens artikel 3(1) van de AI-verordening? 

De eerste stap is na te gaan of het systeem kwalificeert als en “AI-systeem” zoals gedefinieerd in artikel 3(1) van de AI-verordening: “een op een machine gebaseerd systeem dat is ontworpen om met verschillende niveaus van autonomie te werken en dat na het inzetten ervan aanpassingsvermogen kan vertonen, en dat, voor expliciete of impliciete doelstellingen, uit de ontvangen input afleidt hoe output te genereren zoals voorspellingen, inhoud, aanbevelingen of beslissingen die van invloed kunnen zijn op fysieke of virtuele omgevingen”.

Hoewel de Europese Commissie richtsnoeren over deze definitie heeft gepubliceerd, blijven veel aspecten onduidelijk. In de praktijk blijken met name de “autonomie” en “inferentie” de belangrijkste factoren te zijn bij het bepalen of een systeem binnen het toepassingsgebied valt.

• Als het systeem voldoet aan de definitie van een AI-systeem, ga dan door naar stap 2.

Stap 2: Is het AI-systeem een verboden praktijk (artikel 5)? 

Er kan sprake zijn van overlap tussen verboden praktijken zoals opgesomd in artikel 5 en AI-systemen met een hoog risico. Het is daarom belangrijk eerst na te gaan of uw systeem onder één van de verboden categorieën valt, zoals manipulatieve technieken of biometrische categorisering.

Dergelijke systemen worden vervolgens geclassificeerd als AI-systemen met een hoog risico volgens Bijlage III, tenzij het enige doel verificatie is. Dit wil zeggen dat het bevestigen van de identiteit van een persoon, doorgaans op basis van een één-op-één vergelijking (bijvoorbeeld het ontgrendelen van een apparaat of de toegang krijgen tot een systeem), expliciet uitgesloten wordt van de categorie ‘AI-systemen met een hoog risico’.

De risicoclassificatie hangt dus af van het beoogde gebruik van het systeem: identificatie (één-op-veel vergelijking in openbare of semi-openbare ruimten) valt in de regel onder de hoog-risico regeling, terwijl beperkte verificatiedoeleinden, zoals cyberbeveiliging of bescherming van persoonsgegevens (bijvoorbeeld biometrische verificatie), uitdrukkelijk zijn uitgezonderd van de categorie ‘AI-systemen met een hoog risico’. De Europese Commissie heeft hierover richtsnoeren gepubliceerd.

• Indien het systeem een verboden praktijk betreft, zijn de volgende stappen niet van toepassing omdat de praktijk volledig verboden is.
• Indien het AI-systeem niet verboden is, ga dan door naar stap 3.

Stap 3: Valt het AI-systeem onder de productveiligheidswetgeving zoals vermeld in Bijlage I? 

De AI-verordening erkent dat sommige technologieën zowel een AI-systeem als een ander product tegelijk kan zijn. Bijvoorbeeld medische apparatuur, industriële machines, auto’s, speelgoed, enzovoort. Artikel 6(1) is van toepassing op AI-systemen die ofwel producten zijn, ofwel veiligheidscomponenten van producten zijn die vallen onder de EU-productveiligheidswetgeving zoals vermeld in Bijlage I (bijvoorbeeld de Machinerichtlijn, de Verordening Medische Hulpmiddelen, enz.). AI-systemen die onder afdeling B van Bijlage I vallen, zijn vrijgesteld van de meeste verplichtingen van de Europese AI-verordening.

• Indien het AI-systeem onder Bijlage I valt, ga dan door naar stap 4. Zo niet, ga dan direct door naar stap 5.

Stap 4: Vereist het AI-systeem een conformiteitsbeoordeling door een derde partij volgens de wetgeving in Bijlage I? 

Zelfs indien het AI-systeem onder Bijlage I valt, wordt het alleen als een AI-systeem met een hoog risico beschouwd als er een conformiteitsbeoordeling door een derde partij (CE-markering) voor nodig is. Bedrijven waarvan de systemen onder Bijlage I vallen, zijn mogelijk al bekend met de eisen voor productveiligheid en hebben veel van deze maatregelen reeds ingevoerd. Ze moeten zich er echter bewust van zijn dat de AI-verordening aanvullende verplichtingen in het leven roept, waaronder datagovernance en transparantie. Het uitvoeren van een compliance gap-analyse wordt sterk aanbevolen.

• Als het AI-systeem een conformiteitsbeoordeling door een derde partij vereist, wordt het geclassificeerd als AI-systeem met een hoog risico en moet het uiterlijk in augustus 2027 voldoen aan de eisen van de Europese AI-verordening.
• Als het AI-systeem geen conformiteitsbeoordeling door een derde partij vereist, ga dan door naar stap 5.

Stap 5: Valt het AI-systeem onder één van de risicocategorieën in Bijlage III? 

Als een AI-systeem volgens Bijlage I geen AI-systeem met een hoog risico is, kan het toch onder Bijlage III vallen als het op basis van het beoogde gebruik een aanzienlijk risico vormt voor de gezondheid, de veiligheid of de grondrechten. Bijlage III identificeert acht sectoren en gerelateerde gebruiksgevallen, waaronder biometrische verificatie, kritieke infrastructuur, onderwijs, werving en kredietscoring. De precieze reikwijdte van sommige van deze categorieën blijft onduidelijk en voor bedrijven die niet bekend zijn met regelgeving op het gebied van productveiligheid kan het juridische landschap een bijzondere uitdaging vormen.

• Als het AI-systeem onder één van de risicocategorieën in Bijlage III valt, ga dan door naar stap 6.

Stap 6: Voert het AI-systeem profilering uit? 

Artikel 6(3) van de AI-verordening bevat uitzonderingen voor AI-systemen die zijn opgenomen in Bijlage III als ze geen significant risico vormen. Deze vrijstellingen gelden echter niet als het systeem profielen van natuurlijke personen maakt.

• Als er sprake is van profilering, wordt een AI-systeem dat valt onder één van de categorieën van Bijlage III automatisch aangemerkt als een systeem met een hoog risico.
• Zo niet, ga dan verder met stap 7.

Stap 7: Valt het AI-systeem onder één van de uitzonderingen? 

De laatste stap is beoordelen of het AI-systeem kan worden vrijgesteld van classificatie als AI-systeem met een hoog risico op grond van het feit dat het geen significant risico vormt voor de gezondheid, de veiligheid of de grondrechten van personen.

Artikel 6(3) van de AI-verordening bevat een exhaustieve lijst van voorwaarden waaronder een dergelijke vrijstelling van toepassing kan zijn. Een AI-systeem kan worden uitgesloten van de hoge risicocategorie indien het:

1. Is bedoeld om een beperkte procedurele taak uit te voeren;
2. Is bedoeld om het resultaat van een eerder voltooide menselijke activiteit te verbeteren;
3. Is bedoeld om besluitvormingspatronen of afwijkingen van eerdere besluitvormingspatronen op te sporen; 4. Is bedoeld om een voorbereidende taak uit te voeren voor een beoordeling die relevant is voor gebruiksgevallen met een hoog risico.

Bedrijven moeten echter voorzichtig zijn wanneer ze een beroep doen op deze vrijstellingen. Deze vrijstellingen worden in overweging 53 van de AI-verordening zeer eng gedefinieerd en mogen niet ruim worden geïnterpreteerd. Daarnaast is er rechtsonzekerheid rond de vrijstelling voor “voorbereidende taken”, die niet altijd een betrouwbare rechtsgrondslag biedt.

Vaak wordt over het hoofd gezien dat wanneer een aanbieder ervoor kiest om een beroep te doen op één van deze vrijstellingen, hij niet alleen vooraf moet documenteren waarom het systeem niet als hoog risico wordt geclassificeerd, maar het ook moet registreren in de EU-databank, overeenkomstig artikel 49(2) van de AI-verordening. Als onderdeel van deze registratie moet een korte openbare samenvatting van de rechtvaardiging worden verstrekt (Bijlage VIII, afdeling B, punt 7). Als deze toelichting tekortkomingen vertoont of verkeerd wordt geïnterpreteerd, kan dit het bedrijf aan een openbaar onderzoek onderwerpen en mogelijk leiden tot aanzienlijke administratieve boetes.

• Als één van de vrijstellingen met succes kan worden ingeroepen, wordt het AI-systeem vrijgesteld van de eisen.
• Zo niet, dan wordt het AI-systeem geclassificeerd als AI-systeem met een hoog risico volgens Bijlage III.

Bron: Timelex