AI en lokale besturen in het licht van de nieuwe EU AI Act (GD&A Advocaten)

Auteur: Lucas Van Wichelen (GD&A Advocaten)

Steeds meer gemeenten maken gebruik van kunstmatige intelligentie (AI) om hun dienstverlening te verbeteren, hun beleidskeuzes te ondersteunen, of hun efficiëntie te verhogen. Zo ontwikkelde de stad Roeselare een chatbot om burgers te helpen bij het vinden van de juiste informatie, en liep in Oostende een proefproject om met behulp van AI meeuwennesten te identificeren en te verwijderen. Aan het gebruik van AI zijn de nodige risico’s verbonden, die evenwel sterk kunnen verschillen naar gelang de precieze doelstellingen waarvoor en de manier waarop AI wordt ingezet door gemeenten.

Met als doel een uniform, toekomstbestendig en op risico gebaseerd regelgevend kader te creëren voor de ontwikkeling en het gebruik van AI in de EU trad op 1 augustus 2024 de zogenaamde ‘EU AI Act’ in werking. Deze nieuwe wetgeving bevat onder meer regels over de rechten en plichten van de verschillende actoren die betrokken zijn bij AI, de risicobeoordeling van AI-systemen en de bijhorende handhavingsmechanismen. Het brede toepassingsgebied van de AI Act maakt dat deze Europese regelgeving ook gevolgen zal hebben voor lokale besturen.

De EU AI Act definieert een AI-systeem als een ‘op een machine gebaseerd systeem dat is ontworpen om met verschillende niveaus van autonomie te werken en dat na het inzetten ervan aanpassingsvermogen kan vertonen, en dat, voor expliciete of impliciete doelstellingen, uit de ontvangen input afleidt hoe output te genereren zoals voorspellingen, inhoud, aanbevelingen of beslissingen die van invloed kunnen zijn op fysieke of virtuele omgevingen’.

Daarbij maakt de nieuwe regelgeving een onderscheid tussen vier categorieën van AI-systemen, op basis van het risiconiveau dat zij met zich meebrengen voor de fundamentele rechten van de gebruikers en andere betrokkenen. Deze categorieën zijn:

• Verboden AI-modellen: vormen van AI die een onaanvaardbaar risico vormen voor de fundamentele rechten van de gebruikers of van andere betrokkenen en die daarom verboden zijn in de EU. Voorbeelden zijn modellen die sociale scores toekennen aan mensen op basis van hun gedrag of voorkeuren, of AI-systemen die mensen op een misleidende of bedrieglijke manier beïnvloeden.
• AI-modellen met een hoog risico: vormen van AI die een hoog risico vormen voor de fundamentele rechten van de gebruikers of van andere betrokkenen, en die daarom onderworpen zijn aan strenge eisen op het vlak van transparantie, kwaliteit, toezicht, en verantwoordelijkheid. Voorbeelden zijn modellen die gebruikt worden voor kritieke infrastructuur, onderwijs, werkgelegenheid, rechtshandhaving, migratie, of biometrische identificatie.
• AI-modellen met een beperkt risico: vormen van AI die een beperkt risico vormen voor de fundamentele rechten van de gebruikers of van andere betrokkenen, en die daarom onderworpen zijn aan enkele specifieke verplichtingen op het vlak van transparantie of informatie. Dit zijn bijvoorbeeld AI-systemen die gebruikt worden voor chatbots, online advertenties, of deepfakes.
• AI-modellen met een minimaal risico: dit zijn AI-systemen die een minimaal of geen risico vormen voor de fundamentele rechten van de gebruikers of van andere betrokkenen, en die daarom vrij zijn van enige regelgeving. Dit zijn bijvoorbeeld AI-systemen die gebruikt worden voor games, spamfilters, of aanbevelingssystemen.
• GPAI-modellen (General Purpose Artificial Intelligence): dit zijn AI-systemen zoals ChatGPT die erop gericht zijn zeer breed te kunnen worden toegepast. Voor GPAI-modellen gelden specifieke regels met extra aandacht voor de systemische risico’s die zij met zich meebrengen.

De EU AI Act bevat een lijst van AI-systemen die als hoog-risico worden beschouwd, en die zal worden bijgewerkt door de Europese Commissie.

WELKE RISICO’S OMVAT HET GEBRUIK VAN AI DOOR LOKALE BESTUREN?

Artificiële intelligentie kan door lokale besturen op sterk uiteenlopende manieren en voor zeer verschillende doeleinden worden ingezet. De specifieke risico’s zijn dan ook verbonden aan de precieze modaliteiten van het gebruikte AI-model, en de classificatie van de toepassing als ‘verboden’, ‘hoog risico’, ‘beperkt risico’ of ‘minimaal risico’ (alsook als GPAI-model) volgens de AI Act.

Hieronder worden enkele belangrijke risico’s weergegeven die verbonden zijn aan het gebruik van AI door lokale besturen, met daarnaast enkele mogelijke maatregelen om deze risico’s in te perken:

WAT ZIJN DE PLICHTEN VAN DE LOKALE BESTUREN VOLGENS DE EU AI ACT?

Lokale besturen kunnen verschillende rollen vervullen in verband met AI, afhankelijk van de mate waarin zij betrokken zijn bij de ontwikkeling en het gebruik van AI-toepassingen. De EU AI Act voorziet in een reeks rechten en plichten voor de verschillende actoren die betrokken zijn bij AI, zoals de ontwikkelaars, de gebruikers, de distributeurs, of de importeurs. Aangezien lokale besturen voornamelijk als gebruiker (en in bepaalde gevallen eventueel als ontwikkelaar) van AI-modellen zullen optreden zijn hun voornaamste plichten verbonden aan deze twee rollen:

• Als gebruiker van AI: wanneer lokale besturen AI-systemen louter gebruiken moeten ze ervoor zorgen dat dit op een correcte en verantwoorde manier gebruiken, in overeenstemming met de instructies van de aanbieder, de geldende wetgeving, en de ethische principes. Zij moeten ook de nodige maatregelen nemen om de risico’s van de AI-systemen te beperken, de betrokkenen te informeren, en menselijk toezicht te waarborgen.
• Als ontwikkelaar van AI: in bepaalde gevallen is het mogelijk dat lokale besturen zelf, al dan niet in samenwerking met externe software-bedrijven, AI-modellen ontwikkelen en gebruiken. Zij moeten er in dat geval voor zorgen dat hun AI-systemen voldoen aan de eisen van de EU AI Act, zoals de kwaliteit van de gegevens, de technische documentatie, de conformiteitsbeoordeling, de registratie, of de monitoring. Ook moet een risicobeheersysteem worden opgezet, moet een contactpersoon worden aangewezen, en bestaat er een verplichting tot samenwerking met de Europese toezichthouders.

Eén van de belangrijkste verplichtingen die de EU AI Act invoert voor lokale besturen betreft de plicht om burgers op transparante wijze te informeren wanneer zij met AI-systemen communiceren of door AI gegenereerde informatie ontvangen. Slechts indien door AI-gegenereerde informatie nadien nog door mensen wordt gecontroleerd en bewerkt geld deze transparantieverplichting niet.

HOE KUNT U ZICH VOORBEREIDEN OP DE EU AI ACT?

Nu de AI Act op 1 augustus 2024 in werking is getreden begint een overgangsperiode die, afhankelijk van de specifieke bepaling, 6 tot 36 maanden zal duren. Hoewel de betrokken actoren dus de tijd krijgen om zich aan te passen aan de nieuwe regelgeving is het desalniettemin raadzaam om nu al te beginnen met de voorbereiding op de EU AI Act, om zo de kansen en de uitdagingen van AI optimaal te benutten, en om de risico’s en de kosten van AI te vermijden of te beperken. Enkele concrete te ondernemen stappen zijn:

• Maak een inventaris van de bestaande of geplande AI-systemen in uw gemeente, en bepaal welke categorie van risico zij vertegenwoordigen volgens de EU AI Act. Indien een AI-model kan worden kan worden gekwalificeerd als verboden onder de AI Act moet het gebruik ervan tegen 1 februari 2025 worden stopgezet. Indien het gaat om een hoog-risico model moet binnen de zes jaar worden voldaan aan alle verplichtingen uit de AI Act (registratie in de openbare Europese databank, invullen van een Fundamental Rights Impact Assessment, …).
• Voer een risicobeoordeling uit voor de AI-systemen die een hoog of een beperkt risico vormen, en identificeer de mogelijke maatregelen om deze risico’s te verminderen of te elimineren.
• Stel een AI-beleid op voor uw gemeente, waarin u de doelstellingen, de principes, de verantwoordelijkheden, en de procedures vastlegt voor de ontwikkeling, het gebruik, of de distributie van AI-systemen.
• Wijs een AI-coördinator aan voor uw gemeente, die zal instaan voor de implementatie, de opvolging, en de evaluatie van het AI-beleid, en die zal fungeren als aanspreekpunt voor de interne en externe belanghebbenden.
• Organiseer een AI-opleiding voor uw medewerkers, om hen bewust te maken van de mogelijkheden, de beperkingen, en de regels van AI, en om hen de nodige vaardigheden te geven om AI-systemen op een correcte en verantwoorde manier te gebruiken.

De precieze praktische modaliteiten van de EU AI Act zullen verder invulling krijgen via richtlijnen van de Europese toezichthouders, waaronder de Europese Commissie en het AI-bureau.

Bron: GD&A Advocaten