Sztuczna inteligencja i jej systemy wysokiego ryzyka

Definicja systemów sztucznej inteligencji

Zgodnie z aktualnym brzmieniem projektu, system sztucznej inteligencji ma oznaczać system maszynowy, który został zaprojektowany do działania z różnym poziomem autonomii. Może także (do wyraźnych lub dorozumianych celów) generować wyniki, takie jak przewidywania, zalecenia lub decyzje wpływające na środowiska fizyczne, lub wirtualne.

Prawodawca unijny zrezygnował zatem z definicji opartej o konkretne techniki lub podejścia, które mogą być wykorzystywane przez sztuczną inteligencję (np. uczenie maszynowe tzw. machine learning, uczenie głębokie tzw. deep learning, indukcyjne programowanie). Wszystko na rzecz określenia kluczowych cech, które charakteryzują sztuczną inteligencję, w tym na autonomię działania i zdolność do określania celów, w których są generowane wyniki.

Przyjęta definicja tworzy dosyć szeroki zbiór systemów, które będą podlegały regulacjom aktu w sprawie sztucznej inteligencji. Celem takiego ukształtowania definicji, jak można wnioskować ze sprawozdania Parlamentu Europejskiego, jest to, aby żaden system sztucznej inteligencji nie był z góry wykluczany z definicji „sztucznej inteligencji”.

Autonomia

Kluczowym elementem systemów opartych o sztuczną inteligencję jest ich autonomiczność. Ten element w praktyce może też sprawiać najwięcej problemów interpretacyjnych.

Jak się wydaje, zamiarem prawodawcy unijnego jest stworzenie szerokich ram prawnych dla systemów, które w minimalnym stopniu są niezależne od kontroli ze strony człowieka i są zdolne do działania bez interwencji człowieka.

Dwa sposoby wykorzystania artificial intelligence (AI)

Sztuczną inteligencję można rozróżnić na dwa podstawowe podejścia do tego typu technologii. Są to:

• podejście symboliczne – tworzenie modeli, które realizują konkretne funkcje, np. rozwiązują zadania matematyczne. AI tego typu to słaba sztuczna inteligencja (znana także jako wąska sztuczna inteligencja). Słaba sztuczna inteligencja znana także jako wąska sztuczna inteligencja stosowana jest jedynie do wykonywania określonych typów zadań, rozwiązywania określonych problemów;
• podejście subsymboliczne – tworzenie programów, które samodzielnie się uczą i nabywają doświadczenia z czasem. Służą do rozwiązywania problemów im postawionych. Ten typ AI znany jest jako silna sztuczna inteligencja (nazywana również ogólną sztuczną inteligencją). Silna sztuczna inteligencja nazywana również ogólną sztuczną inteligencją posiada uogólnione ludzkie zdolności poznawcze. Potrafi rozwiązać nieznane jej wcześniej zadanie bez pomocy człowieka.

System komputerowy naśladuje zachowanie człowieka, uczy się ma błędach, podejmuje decyzje na podstawie danych mu dostarczonych.

Zasady ogólne dotyczące wszystkich systemów sztucznej inteligencji

Pierwotna definicja systemów sztucznej inteligencji zawężała to pojęcie do systemów opracowanych przy użyciu konkretnych technik i podejść, które w przyszłości miały być określane przez Komisję Europejską. Z takiej konstrukcji jednak zrezygnowano, a w jej miejsce, słusznie zostały zaproponowane ogólne zasady, które będą zobowiązani stosować operatorzy systemów AI. Do tych zasad mają należeć: 

• przewodnia i nadzorcza rola człowieka;
• techniczna solidność i bezpieczeństwo;
• prywatność i zarządzanie danymi;
• przejrzystość;
• różnorodność, niedyskryminacja i sprawiedliwość;
• dobrostan społeczny i środowiskowy.

  

Sztuczna inteligencja wysokiego ryzyka – podział

Projekt rozporządzenia, oprócz zasad dotyczących wszystkich systemów sztucznej inteligencji, przewiduje szczególne regulacje, które będą miały zastosowanie do systemów sztucznej inteligencji wysokiego ryzyka 

Zgodnie z zaproponowanymi przepisami systemy sztucznej inteligencji wysokiego ryzyka będą kwalifikowane do dwóch grup: I oraz II grupy ryzyka.

I grupa   

Do pierwszej grupy będzie należał każdy system, który będzie spełniał następujące warunki:

• system sztucznej inteligencji jest przeznaczony do wykorzystywania jako związany z bezpieczeństwem element produktu objętego unijnym prawodawstwem harmonizacyjnym wymienionym w załączniku II do rozporządzenia lub system sztucznej inteligencji sam jest takim produktem;
• system sztucznej inteligencji jest przeznaczony do wykorzystywania jako związany z bezpieczeństwem element produktu objętego unijnym prawodawstwem harmonizacyjnym wymienionym w załączniku II do rozporządzenia lub system sztucznej inteligencji sam jest takim produktem.

  

II grupa

Drugą grupę systemów sztucznej inteligencji wysokiego ryzyka będą tworzyć systemy sztucznej inteligencji wchodzące w zakres co najmniej jednego z krytycznych obszarów i przypadków użycia określonych w rozporządzeniu, jeżeli stwarzają znaczne ryzyko szkody dla zdrowia, bezpieczeństwa lub praw podstawowych osób fizycznych.

Aktualne brzmienie rozporządzenia kreuje dosyć szeroki zbiór krytycznych obszarów, w których systemy sztucznej inteligencji będą co do zasady uznawana za systemy wysokiego ryzyka. Przykładowo takimi systemami będą systemy sztucznej inteligencji przeznaczone do:

• wykorzystania w celu oceny zdolności kredytowej osób fizycznych lub ustalenia ich punktowej oceny kredytowej;
• wykorzystania w celu podejmowania decyzji lub istotnego wpływania na decyzje o nawiązaniu stosunku pracy, awansie i rozwiązaniu stosunku pracy, przydzielania zadań na podstawie indywidualnego zachowania, lub cech osobistych lub cech charakterystycznych, oraz monitorowania i oceny wydajności i zachowania osób pozostających w takich stosunkach;
• stosowania jako związane z bezpieczeństwem elementy procesów zarządzania i zaopatrzenia w wodę, gaz, ciepło, energię elektryczną i krytycznej infrastruktury cyfrowej;
• wykorzystywania do wyciągania wniosków o cechach osobowych osób fizycznych na podstawie danych biometrycznych lub danych opartych na biometrii, w tym systemy rozpoznawania emocji;
• stosowania w celu identyfikacji biometrycznej osób fizycznych;
• stosowania w celu oceny uczniów w instytucjach edukacyjnych i instytucji szkolenia zawodowego oraz do oceny uczestników egzaminów powszechnie wymaganych w celu przyjęcia do tych instytucji;
• wykorzystania w celu rekrutacji lub wyboru osób fizycznych, w szczególności w przypadku umieszczania ukierunkowanych ogłoszeń o pracę, selekcji lub filtrowania podań o pracę, oceny kandydatów w trakcie rozmów kwalifikacyjnych lub testów;
• monitorowania i wykrywania niedozwolonego zachowania uczniów podczas testów w kontekście / w ramach instytucji kształcenia i szkolenia zawodowego;
• stosowania w celu podejmowania decyzji lub istotnego wpływania na podejmowanie decyzji w zakresie kwalifikowania się osób fizycznych do ubezpieczenia zdrowotnego i ubezpieczenia na życie.

  

Podejście oparte na ryzyku

Poprawki zaproponowane przez Parlament Europejski zwiększyły nacisk na podejście oparte o ryzyko. System AI wchodzący w krytyczny obszar lub stanowiący krytyczny przypadek użycia będzie bowiem kwalifikowany jako system wysokiego ryzyka, jeżeli będzie stwarzał znaczne ryzyko szkody dla zdrowia, bezpieczeństwa lub praw podstawowych osób fizycznych.

Powyższe oznacza, że dostawcy systemów sztucznej inteligencji wysokiego ryzyka będą zobowiązani do ciągłej analizy ryzyka opracowanych przez nich systemów.

Ryzyko i znaczące ryzyko

Warto zauważyć, że większy nacisk na podejście oparte na ryzyku znalazło również odzwierciedlenie we wprowadzonych definicjach ryzyka oraz znaczącego ryzyka. 

Ryzyko – skądinąd znane z metodyki ENISA, połączenie prawdopodobieństwa wystąpienia szkody oraz stopnia jej powagi.

Znaczące ryzyko – równoznaczne z ryzykiem, które jest znaczące w wyniku połączenia jego powagi, intensywności, prawdopodobieństwa wystąpienia i czasu trwania jego skutków oraz zdolności do oddziaływania na osobę fizyczną, na wiele osób lub do oddziaływania na określoną grupę osób. W tym przypadku kwestią otwartą jest przede wszystkim sposób określania intensywności skutków.

Powiadomienie organu nadzorczego 

Prowadzenie analizy ryzyka systemów AI będzie konieczne nie tylko z uwagi na zapewnienie bezpieczeństwa tych systemów, ale również zważając na obowiązek rozliczenia się przed właściwym organem nadzorczym. Nie wiadomo jeszcze jaka instytucja będzie pełniła tę rolę w Polsce.

Zgodnie z projektem rozporządzenia, jeżeli dostawca systemu wchodzącego w krytyczny obszar lub stanowiący krytyczny przypadek użycia stwierdzi, że jego system nie stwarza znacznego ryzyka szkody dla zdrowia, bezpieczeństwa lub praw podstawowych osób fizycznych, powinien przedłożyć krajowemu organowi nadzorczemu uzasadnione powiadomienie.

Powiadomienia te będą podlegały przeglądowi, a organ nadzorczy będzie uprawniony (w terminie 3 miesięcy) do złożenia odpowiedzi kwestionującej kwalifikację dokonaną przez dostawcę.

Kary finansowe

Warto zauważyć, że jeżeli dostawca błędnie zakwalifikuje swój system i wprowadzi go do obrotu przed upływem terminu na sprzeciw organu nadzorczego, będzie podlegał administracyjnej karze pieniężnej w wysokości do 10 000 000 EUR lub – jeżeli naruszenia dopuszcza się przedsiębiorstwo – w wysokości do 2% jego całkowitego rocznego światowego obrotu z poprzedniego roku obrotowego, przy czym zastosowanie ma kwota wyższa.

Zgodność z wymogami

Jak wskazałem powyżej, rozporządzenie w sposób szczególny będzie regulowało wymogi dotyczące systemów wysokiego ryzyka. Analizując ten obszar, warto na początku zwrócić uwagę na czynniki, które należy uwzględnić, zapewniając zgodność z wymogami. Tymi czynnikami są: 

• przeznaczenie systemu sztucznej inteligencji wysokiego ryzyka;
• dające się racjonalnie przewidzieć jego niewłaściwe wykorzystanie;
• system zarządzania ryzykiem. 

Na szczególną uwagę, jak się wydaje, zasługuje kwestia dającego się racjonalnie przewidzieć niewłaściwego wykorzystania. Według projektu należy rozumieć go jako wykorzystanie systemu sztucznej inteligencji w sposób niezgodny z jego przeznaczeniem wskazanym w instrukcji obsługi sporządzonej przez dostawcę, które to wykorzystanie może wynikać z dającego się racjonalnie przewidzieć zachowania człowieka lub interakcji z innymi systemami, w tym innymi systemami sztucznej inteligencji.

Wymogi dotyczące systemów sztucznej inteligencji wysokiego ryzyka

Systemów AI wysokiego ryzyka będą musiały sprostać wielu wymogom. Do najważniejszych z nich zgodnie z projektem należą:

• ustanowienie, wdrożenie, dokumentowanie i utrzymanie systemu zarządzania ryzykiem;
• zapewnienie odpowiedniej jakości danych treningowych, walidacyjnych i testowych;
• opracowanie dokumentacji technicznej;
• zapewnienie funkcji automatycznego rejestrowania zdarzeń oraz rejestrowania zużycia energii, a także pomiaru lub obliczania zużycia zasobów oraz wpływu systemu sztucznej inteligencji wysokiego ryzyka na środowisko;
• projektowanie i opracowywanie systemów w sposób zapewniający wystarczającą przejrzystość ich działania, umożliwiającą dostawcom i użytkownikom racjonalne zrozumienie funkcjonowania systemu;
• projektowanie i opracowywanie systemów w sposób umożliwiający ich nadzorowanie przez osoby fizyczne;
• projektowanie i opracowywanie systemów zgodnie z zasadą uwzględniania bezpieczeństwa na etapie projektowania i bezpieczeństwa domyślnego (zasady security by design i security by default, a więc podobnie jak w RODO zasady privacy by design i privacy by default).

System zarządzania ryzykiem

Jednym z kluczowych wymogów, który wiąże się z wykorzystaniem sztucznej inteligencji, będzie stworzenie systemu zarządzania ryzykiem. Projektodawca unijny wskazał, że taki system powinien się składać z ciągłego, iteracyjnego procesu realizowanego przez cały cykl życia systemu AI wysokiego ryzyka. System będzie musiał obejmować m.in. identyfikację, oszacowanie i ocenę znanego i racjonalnie przewidywalnego ryzyka, jakie może stwarzać dla zdrowia lub bezpieczeństwa osób fizycznych, ich praw podstawowych.

Wymogi dotyczące danych

Na szczególną uwagę spośród wielu wymogów, którym musi sprostać system wykorzystujący sztuczną inteligencję, zasługują również wymogi dotyczące jakości danych.

Sztuczna inteligencja wysokiego ryzyka wykorzystująca techniki obejmujące trenowanie modeli z użyciem danych musi być opracowana na podstawie zbiorów danych treningowych, walidacyjnych i testowych spełniających odpowiednie kryteria jakości.

Zbiory danych będą musiały podlegać odpowiednim praktykom, które np. będą dotyczyć gromadzenia danych, czy też ich badania pod kątem ewentualnej tendencyjności.

Co równie istotne, zbiory danych będą musiały uwzględniać cechy lub elementy, które są specyficzne dla:

• określonego kontekstu geograficznego;
• sytuacyjnego;
• behawioralnego;
• okoliczności, w których ma być wykorzystywany system sztucznej inteligencji wysokiego ryzyka.

Dane osobowe szczególnej kategorii

Przepisy rozporządzenia będą również regulowały kwestię wykorzystania danych szczególnej kategorii w rozumieniu art. 9 ust. 1 RODO. Rzecz w tym, że w zakresie, w jakim będzie to ściśle niezbędne do celów zapewnienie monitorowania, wykrywania i korygowania uprzedzeń systemów AI wysokiego ryzyka dostawcy będą mogli wyjątkowo przetwarzać m.in. dane szczególnej kategorii.

Warunkiem wykorzystania takich danych będzie stosowanie odpowiednich zabezpieczeń, ale również spełnienie szeregu warunków, w tym m.in.:

• dane będą speudonimizowane;
• dane nie będą przesyłane, przekazywane ani w inny sposób udostępniane innym podmiotom;
• dane będą usuwane po wyeliminowaniu tendencyjności lub po upływie okresu przechowywania danych osobowych.

Warto zaznaczyć, że przepisy nie będą kreowały odrębnej podstawy prawnej przetwarzania danych, lecz będą wprowadzały dodatkowe obostrzania i warunki ich przetwarzania. Tym samym dostawca systemu będzie zobowiązany do zabezpieczenia odpowiednich podstaw prawnych przetwarzania wynikających z RODO.

Obowiązki dostawców

Na dostawcach, czyli podmiotach, które opracowują system sztucznej inteligencji lub zlecają jego opracowanie, ciążą m.in. następujące obowiązki:

• opracowanie systemu zarządzania jakością;
• przechowywanie rejestru zdarzeń;
• zapewnienie, aby system sztucznej inteligencji wysokiego ryzyka poddano odpowiedniej procedurze oceny zgodności przed wprowadzeniem go do obrotu lub oddaniem go do użytku;
• podjęcie działań naprawczych w sytuacji, gdy sztuczna inteligencja jest niezgodna z rozporządzeniem, tym poprzez zapewnienie zgodności, wycofanie z rynku lub dezaktywację.

Obowiązki operatorów

Sztuczna inteligencja wysokiego ryzyka będzie regulowana również w obszarze jej bezpośredniego stosowania przez tzw. operatorów sztucznej inteligencji (w angielskiej wersji „deployer”), czyli podmioty, które korzystają z systemu AI pod swoją kontrolą.

Podstawowym obowiązkiem podmiotów wykorzystujących sztuczną inteligencję będzie podejmowanie środków technicznych i organizacyjnych w celu zapewnienia, że system jest użytkowany zgodnie z jego instrukcją obsługi.

Będą również zobowiązani do stałego monitorowania działania systemu oraz sprawdzania, czy sztuczna inteligencja nie stwarza ryzyka.

Warto również zauważyć, że operatorzy wykorzystujący sztuczną inteligencję wspierającą w podejmowaniu decyzji dotyczących osób fizycznych będą zobowiązani do poinformowania o tym.

Ocena skutków systemów sztucznej inteligencji wysokiego ryzyka dla przestrzegania praw podstawowych

Operatorzy będą również zobowiązani ocenić skutki, jakie sztuczna inteligencja wywoła w konkretnym środowisku (kontekście). Ocena skutków powinna zawierać co najmniej:

• jasne informacje o przeznaczeniu systemu;
• jasne informacje o geograficznym i czasowym zakresie wykorzystania systemu;
• kategorie osób fizycznych i grup, na które wykorzystanie systemu może mieć wpływ;
• weryfikację zgodności wykorzystania systemu z prawem unijnym i krajowym oraz z prawami podstawowymi;
• dający się racjonalnie przewidzieć wpływ oddania do użytku systemu sztucznej inteligencji wysokiego ryzyka na prawa podstawowe;
• szczególne ryzyko wystąpienia szkód, które mogą mieć wpływ na osoby zmarginalizowane lub grupy szczególnie wrażliwe;
• dający się racjonalnie przewidzieć negatywny wpływ korzystania z systemu na środowisko;
• szczegółowy plan określający sposób ograniczania szkód i negatywnego wpływu na prawa podstawowe;
• system zarządzania, jaki wprowadzi operator AI, w tym nadzór ludzki, rozpatrywanie skarg i środki odwoławcze.

Ocena będzie miała istotne znaczenie. Jeżeli bowiem zidentyfikowane w jej trakcie ryzyko okaże się niemożliwe do ograniczenia, operator nie powinien użytkować sztucznej inteligencji.

Warto zauważyć, że jeżeli operator jednocześnie będzie zobowiązany do przeprowadzanie oceny skutków dla ochrony danych na podstawie RODO, to ocenę skutków dla przestrzegania praw podstawowych będzie zobowiązany przeprowadzić łącznie z oceną skutków dla ochrony danych.

Obawy związane ze sztuczną inteligencją i jej dynamicznym rozwojem są jak najbardziej naturalne. Systemy SI często są wykorzystywane do pracy z danymi osobowymi. Wielokrotnie, systemy AI korzystają z funkcji rozpoznawania obrazów, czy analizy danych. Obecnie technologia AI może być wykorzystywana również do rejestrowania wideo w czasie rzeczywistym.

Autorem artykułu jest radca prawny: Jakub Pawłowski.

Potrzebujesz zweryfikować legalność wykorzystania AI w Twojej firmie? Nasi specjaliści Ci w tym pomogą. Napisz do nas maila: biuro@lexdigital.pl lub zadzwoń: +48 500 214 942.