Var ska gränsen egentligen gå för hur AI får användas, och hur ska användandet kontrolleras?
Det håller EU på att bestämma om – och det får konsekvenser både för vanliga medborgare, företag och andra organisationer.
Susanna Lindroos-Hovinheimo som är professor i offentlig rätt vid Helsingfors universitet är glad över EU:s kommande AI-regler, som det har förhandlats om i fem år nu.
– Förhandlingarna har tagit rätt så lång tid och det har verkat som om lagstiftarna skulle ha ganska olika åsikter om den kommande förordningen. Men nu har de kommit överens om de svåraste frågorna.
Också Fredrik Heintz som är professor i datavetenskap vid Linköpings universitet och ordförande för AI-sällskapet i Sverige är glad över framsteget.
– Jag tycker det absolut viktigaste är att man faktiskt har kommit överens.
AI-system kan vara riskfyllda
Ännu återstår en del detaljer, och ingen lagtext har ännu publicerats, men det finns ändå en hel del information om vad man har kommit fram till.
Vi ska återkomma till det alldeles strax. Men först – varför behövs det AI-regler inom EU? Så här förklarar Susanna Lindroos-Hovinheimo:
– En tydlig orsak är att AI-systemen nu har uppfattats medföra hot mot våra samhällen, mot människorna och deras rättigheter. Och därför behöver vi en reglering. Orsak nummer två är troligen den att man på EU-nivå har märkt att ingen nuvarande lagstiftning riktigt räcker till.
Dessutom är det en fördel för många aktörer när AI-reglerna är desamma i alla EU-länder, istället för att det skulle uppstå nationella regler som skiljer sig från varandra.
Goda nyheter, säger experterna
Det handlar alltså om att maximera nyttan med AI samtidigt som man försöker minimera riskerna.
– För oss är det viktigaste att vi förhoppningsvis nu får tryggare AI-system. Och att vi kan börja lita på att någon övervakar AI-produkterna vi använder. För oss vanliga människor ser jag det som en jättebra nyhet att vi får den här förordningen. Den ökar tryggheten, påpekar Lindroos-Hovinheimo.
Fredrik Heintz är inne på samma linje:
– Självklart kommer det att få väldigt stor betydelse. Helt oberoende av om det är bra eller dåligt så kommer man behöva förhålla sig till det. Och det här styr utvecklingen framåt. Så jag tror att det kommer få väldigt stor effekt.
”Allt ska inte förbjudas”
Den mesta AI-användningen ska ändå vara tillåten också i framtiden.
– Ja, det är nog en viktig sak att märka. Idén med AI-förordningen är inte att förbjuda allt, eller lagstifta om allt, eller att ge dem som använder tekniken en massa skyldigheter, kommenterar Lindroos-Hovinheimo.
AI-system som endast medför en begränsad risk ska vara föremål för mycket lätta krav på transparens. Till exempel ska det vara tydligt att vissa innehåll har genererats av AI.
Samtidigt ska en del AI-användning regleras mer strikt och noggrant, eftersom den risk den medför anses vara hög.
Och för vissa användningar av AI bedöms risken alltså vara oacceptabel och därför kommer de här systemen att förbjudas i EU.
Här är exempel på AI-användning som förbjuds
Lagstiftarna har till exempel kommit fram till att det inte ska vara tillåtet att samla ihop en massa bilder på folk – till exempel från nätet eller från övervakningskameror – för att bygga databaser som kan användas för att identifiera enskilda personer.
Sociala kreditsystem där medborgare bedöms och får poäng efter hur de sköter sig förbjuds också.
Ett socialt kreditsystem används till exempel i Kina, och där påverkas vad du får tillgång till i samhället av hur många poäng du har.
En del slags förebyggande polisarbete med hjälp av AI kommer också att förbjudas, om det inte används med ”tydlig mänsklig bedömning och objektiva fakta”.
Också ansiktsigenkänning på allmänna platser var ett svårt tema i förhandlingarna, som Svenska Yle har rapporterat om tidigare.
Det fanns krav på att tekniken ska få användas av polis och säkerhetstjänst, men enligt uppgörelsen förbjuds användningen av tekniken i realtid, dock med vissa undantag.
Känslor är en känslig fråga
Professor Susanna Lindroos-Hovinheimo vid Helsingfors universitet påpekar dessutom att EU-förordningen ska förbjuda automatisk känsloigenkänning i skolor och på arbetsplatser.
– Där hör vi kanske ekon från EU:s dataskyddsförordning (GDPR) och det sätt på vilket EU starkt har velat skydda våra personuppgifter.
Att använda biometrisk kategorisering för att avgöra sexuell orientering eller vilken religion man tillhör förbjuds också.
AI-system som drar nytta av folks svagheter eller manipulerar folks beteende blir dessutom förbjudna.
Det kan till exempel handla om leksaker med en integrerad AI-röst som gradvis uppmuntrar minderåriga att bete sig allt mer farligt.
Reglerna omfattar också olika slags digitala spel, som innehåller funktioner som är byggda för att vara så beroendeframkallande som möjligt.
Hög risk vid styrning av kritisk infrastruktur
Flera användningsområden där risken i samband med AI-användning anses vara hög kommer att regleras noggrant så att man ska se till att tekniken används på ett bra och lämpligt sätt.
EU-kommissionen nämner att några exempel på AI-system med hög risk är kritisk infrastruktur, till exempel vatten, gas och el, medicintekniska produkter och system som används för att besluta om tillträde till utbildningsinstitutioner eller för rekrytering.
Hit hör också vissa system som används inom brottsbekämpning, gränskontroll, rättskipning och demokratiska processer.
Biometrisk identifiering, kategorisering och känsloigenkänning anses också utgöra en hög risk.
Också beslut som har ekonomiska konsekvenser för individen ska kontrolleras noggrant. Ett exempel på det är till exempel rekrytering med hjälp av AI.
Polisen kommer att behöva vända sig till domstol för att få tillstånd att använda biometrisk identifikation, och tillstånd fås bara i samband med bekämpning av 16 olika slags brott: till exempel terrorism, droghandel, människohandel och sexualbrott mot barn.
– Det är bra att domstolarna ska få förhandsgranska sådan här övervakning. Europeiska människorättsdomstolen har tidigare betonat att det måste ske någon sorts förhandskontroll, säger Susanna Lindroos-Hovinheimo.
Regler som gäller AI-chatbottar
EU-beslutsfattarna har också kommit överens om särskilda regler för så kallade grundmodeller.
Här avser man stora AI-system som på ett kompetent sätt kan utföra ett brett spektrum av uppgifter, som att generera video, text, bilder eller animationer.
Några exempel på sådana här system är OpenAI:s chattbot Chat GPT, Microsofts chattbot Bing AI och Googles chattbot Bard samt bildverktygen DALL·E och Midjourney.
Den kommande AI-lagen kräver att det tas fram bättre dokumentation för sådana här AI-system, att man följer EU:s upphovsrättslag och att man delar information om vilka data modellen tränades på.
Striktare regler ska dessutom gälla för AI-system som har tränats med en stor mängd data och med en prestanda som ligger långt över genomsnittet.
Det är ändå till att börja med upp till företagen själv att avgöra om AI-system de skapat är så avancerade att det är de striktare reglerna som gäller.
Teknikföretag kommer dessutom behöva dela information om hur säkra och energieffektiva deras AI-modeller är.
– De stora amerikanska teknologiföretagen är nog de som klarast kommer att träffas av den här AI-förordningen, säger Susanna Lindroos-Hovinheimo.
Blir AI-chattbotarna mer begränsade i EU?
När AI-systemen också ska respektera upphovsrätten så kan det få konsekvenser för chattbotar som Chat GPT och för olika bild- och videogenereringsverktyg som fritt har plockat information från en massa ställen.
En möjlig konsekvens kan vara att olika AI-system blir mer begränsade inom EU.
– Så går det säkert, men det här är en ganska svår sak att spekulera kring nu.
Lindroos-Hovinheimo tillägger också i förbigående att det ännu är oklart om ett AI-system i sig självt kan ha upphovsrätt för det innehåll systemet skapar. AI-förordningen kommer kanske inte heller att ge ett tydligt svar på den frågan.
Mer transparens och möjlighet att påverka
En rättighet som EU-medborgare också får via den nya lagstiftningen är rätten att veta att visst innehåll är AI-genererat.
Man ska också få veta när beslut har fattats av AI-system, och det ska vara möjligt att överklaga de besluten.
– EU-lagstiftarna har nu betonat att vi får en förordning som ger olika möjligheter för vanliga människor och konsumenter att klaga någonstans. Men hos vem vi egentligen får klaga och på vilka sätt, det är helt oklart ännu.
”Stränga sanktioner spelar stor roll”
De organisationer som bryter mot EU:s AI-förordning kan behöva betala en sanktionsavgift – en avgift på upp till 35 miljoner euro, eller 7 procent av omsättningen, beroende på vilket belopp som är störst.
Susanna Lindroos-Hovinheimo kommenterar att det är viktigt att det finns sådana här sanktioner.
– De är väldigt viktiga. I GDPR-sammanhang och i andra sådana här regleringar om digitalisering har vi märkt att de verkligen spelar roll.
Arbetet med AI-förordningen torde bli klart senast i vår, i god tid före EU-valet.
Efter att EU-parlamentet har gett grönt ljus för AI-förordningen kommer det ännu att räcka upp till två år innan reglerna måste börja tillämpas.
Förbudet mot användning av en del AI börjar gälla redan ett halvår efter beslutet, och företag som utvecklar så kallade grundmodeller, som AI-chattboten Chat GPT, behöver följa lagen inom ett år efter beslutet.
Lagstiftningen släpar ofta efter den snabba digitala utvecklingen.
Professor Susanna Lindroos-Hovinheimo tror ändå att AI-förordningen ska hålla sig väl i längden.
– Det sätt på vilket de nu försöker lösa det här problemet är att de främst reglerar användningsändamålen för och användningssätten av de här olika systemen. Man reglerar alltså inte systemens tekniska detaljer, utan vad de används till, vad de förorsakar och så vidare.