Systemowe Zarządzanie bezpieczeństwem systemów sztucznej inteligencji

Sztuczna inteligencja (AI) coraz częściej stanowi ważny czynnik wspierania procesów biznesowych organizacji. Jest wykorzystywana na masową skalę i nie jest już zarezerwowana jakiemuś szczególnemu sektorowi działalności. Opracowywane prognozy plasują AI jako jeden z głównych czynników, który ma napędzać gospodarki przyszłości.

Znaczenie sztucznej inteligencji we współczesnym świecie

W opublikowanej w 2023 r. normie ISO/IEC 42001 Technologie informacyjne – Sztuczna inteligencja — System zarządzania, określającej wymagania i zawierającej wskazówki dotyczące ustanowienia, wdrożenia, utrzymania i ciągłego doskonalenia systemu zarządzania AI w kontekście organizacji wskazuje się potencjalne wyzwania związane ze sztuczną inteligencją, czyli:

zapewnienie szczególnego zarządzania związanego z wykorzystaniem sztucznej inteligencji do automatycznego podejmowania decyzji wykraczającego poza zarządzanie klasycznymi systemami informatycznymi;
zmianę podejścia co do opracowywania, uzasadniania i wdrażania systemów ze względu na wykorzystanie analizy danych, wglądu i uczenia maszynowego, a nie logiki zakodowanej przez człowieka do projektowania systemów;
zapewnienie odpowiedzialnego użytkowania systemów sztucznej inteligencji ze względu na ich ciągłe uczenie się i zmianę zachowania podczas użytkowania.

Aby w pełni wykorzystać możliwości, jakie daje sztuczna inteligencja, organizacje muszą zapewnić odpowiednią strategię postępowania skoncentrowaną na stosowaniu rozwiązań, właściwych dla sztucznej inteligencji.

Jak definiować sztuczną inteligencję

Pojęcie sztucznej inteligencji nie doczekało się jednej spójnej definicji. Sztuczna inteligencja jest definiowana wielowątkowo i z zasady obejmuje opisy różnych rozwiązań i mechanizmów.

Rezolucja Parlamentu Europejskiego z dnia 20 października 2020 r. z zaleceniami dla Komisji w sprawie systemu odpowiedzialności cywilnej za sztuczną inteligencję (2020/2014 (INL)) przedstawia system sztucznej inteligencji jako „system, który opiera się na oprogramowaniu albo na wbudowanym urządzeniu i wykazuje inteligentne zachowanie poprzez między innymi, gromadzenie, przetwarzanie, analizowanie i wyciąganie wniosków dotyczących otoczenia oraz podejmowanie działań, w pewnym stopniu autonomicznie, aby osiągnąć konkretne cele”. (https://eur-lex.europa.eu/lega...)

Gartner natomiast definiuje sztuczną inteligencję (AI) jako „zastosowanie zaawansowanych technik analitycznych i opartych na logice, w tym uczenia maszynowego (ML), do interpretowania zdarzeń, wspierania i automatyzowania decyzji oraz podejmowania działań” (https://www.gartner.com/en/topics/artificial-intelligence).

Projektowane Rozporządzenie Parlamentu Europejskiego i Rady ustanawiające zharmonizowane przepisy dotyczące sztucznej inteligencji (Akt w sprawie sztucznej inteligencji) postrzega system sztucznej inteligencji jako „oprogramowanie opracowane przy użyciu co najmniej jednej spośród technik i podejść wymienionych w załączniku nr 1 do Rozporządzenia, które może – dla danego zestawu celów określonych przez człowieka – generować wyniki, takie jak treści, przewidywania, zalecenia lub decyzje wpływające na środowiska, z którymi wchodzi w interakcję” (https://lexdigital.pl/kogo-dotyczy-i-co-reguluje-ai-act).

Wymiary cyberbezpieczeństwa sztucznej inteligencji

Związek między cyberbezpieczeństwem a sztuczną inteligencją jest wielowymiarowy, a wzajemne wektory przecinają się na wielu poziomach. Zapewnienie cyberbezpieczeństwa jest upatrywane jako fundament skutecznego wdrożenia sztucznej inteligencji w organizacji. Agencja Unii Europejskiej ds. Cyberbezpieczeństwa (ENISA) w swoim opracowaniu Artificial Intelligence Cybersecurity Challenges z 2020 r (https://www.enisa.europa.eu/publications/artificial-intelligence-cybersecurity-challenges) wskazuje trzy wymiary cyberbezpieczeństwa sztucznej inteligencji, tj.:

Zapewnienie cyberbezpieczeństwa sztucznej inteligencji sensu stricto — Czynnikami determinującymi nadanie dużej wagi cyberbezpieczeństwu przy wdrażaniu i wykorzystywaniu rozwiązań opartych o sztuczną inteligencją są identyfikowane na bieżąco zagrożenia, w tym ataki na systemy informatyczne i infrastrukturę AI, manipulowanie modelami i danymi, tzw. zatruwanie danych, zagrożenia dla prywatności przy korzystaniu z systemów sztucznej inteligencji,
Wykorzystanie mechanizmów sztucznej inteligencji do zapewnienia cyberbezpieczeństwa – AI postrzegana jest tutaj jako środek do tworzenia zaawansowanych mechanizmów kontroli bezpieczeństwa i ochrony przed zagrożeniami np. w postaci inteligentnego oprogramowania antywirusowego, aktywnych zapór sieciowych, aktywnych narzędzi monitorujących bezpieczeństwo czy jako środek wspierający kryminalistykę.
Wrogie wykorzystanie sztucznej inteligencji – szczególnie do tworzenia wyrafinowanych rodzajów ataków, inżynierii społecznej, tworzenia fałszywych tożsamości, łamania zabezpieczeń kryptograficznych czy przekłamywania danych.

Elementy zarządzania bezpieczeństwem sztucznej inteligencji w oparciu o wymagania normy ISO 27001

Podejście do modelu zarządzania

Jak już była mowa na początku, organizacje, które chcą skutecznie zarządzać systemami sztucznej inteligencji, muszą zapewnić odpowiednią strategię postępowania skoncentrowaną na stosowaniu rozwiązań, właściwych dla sztucznej inteligencji. Potrzeby i cele organizacji, procesy, wielkość i struktura oraz oczekiwania różnych zainteresowanych stron mają wpływ na powstanie i wdrożenie systemu zarządzania AI. Niektóre cechy sztucznej inteligencji, takie jak zdolność do ciągłego uczenia się i doskonalenia lub brak przejrzystości, lub wytłumaczalności, mogą uzasadniać wdrażania zabezpieczeń innych niż stosowane do tej pory. Na etapie budowania systemu zarządzania uwzględniającego mechanizmy sztucznej inteligencji warto zadać sobie pytanie, czy wymagania zawarte w obecnie funkcjonujących standardach technicznych takich jak norma ISO 27001:2022 są wystarczające, by mówić o kompleksowym zarządzaniu bezpieczeństwem informacji AI.

Biorąc pod uwagę fakt definiowania sztucznej inteligencji jako oprogramowania, można na pierwszy rzut oka założyć, iż wymagania standardu ISO 27001 będą, adekwatne do zapewnienia bezpiecznego funkcjonowania systemów sztucznej inteligencji. Trzeba jednak mieć na uwadze, iż techniki i narzędzia wykorzystujące sztuczną inteligencję działają inaczej niż klasyczne oprogramowanie, a wyniki działania sztucznej inteligencji mogą prowadzić do nieoczekiwanych rezultatów. Podejście prezentowane przez normę EN ISO/IEC 27001:2022 Bezpieczeństwo informacji, cyberbezpieczeństwo i ochrona prywatności — Systemy zarządzania bezpieczeństwem informacji – Wymagania, zakłada, iż system zarządzania bezpieczeństwem informacji chroni poufność, integralność i dostępność informacji poprzez zastosowanie procesu zarządzania ryzykiem i daje pewność zainteresowanym stronom, że ryzyko jest odpowiednio zarządzane. W tym kontekście norma nie przewiduje dodatkowych atrybutów sztucznej inteligencji takich jak identyfikowalność danych, pochodzenie danych, solidność danych. Uzupełnieniem w tym przypadku wymagań normy ISO 27001 może być uwzględnienie wymagań takich standardów jak:

PN-EN ISO 9001:2015 - Systemy zarządzania jakością – Wymagania;
ISO/IEC 42001:2023 Technologie informacyjne – Sztuczna inteligencja – System zarządzania;
ISO/IEC 23894:2023 Technologie informacyjna – Sztuczna inteligencja – Wytyczne dotyczące zarządzania ryzykiem;
ISO/IEC 38507:2022 Technologie informacyjne – Zarządzanie technologiami informacyjnymi – Wpływ wykorzystania sztucznej inteligencji przez organizacje na zarządzanie.

Sprawdź nasz artykuł: Co to jest ISO 9001? Międzynarodowy standard dla zarządzania jakością

Zdefiniowanie ról i obowiązków

Kluczowe znaczenie dla zarządzania bezpieczeństwem informacji w systemach sztucznej inteligencji ma odpowiednie zdefiniowanie ról i obowiązków w poszczególnych obszarach zarządzania sztuczną inteligencją. Dla określenia odpowiednich ról i odpowiedzialności szczególnie istotna będzie informacja o celach, zasadach i ryzykach sztucznej inteligencji. Obszary, które mogą wymagać zdefiniowania ról i odpowiedzialności to m.in. nadzór nad procesami, zarządzanie ryzykiem, ochrona danych osobowych (prywatności), zarządzanie aktywami, zarządzanie bezpieczeństwem fizycznym oraz teleinformatycznym, zarządzanie projektami, nadzór nad relacjami z dostawcami, zarządzanie jakością, zarządzanie ciągłością działania. Ważne jest by przypisane role i odpowiedzialności były zakomunikowane w organizacji i odpowiednio rozumiane, przez osoby których dotyczą.

Aktywa

Istotne z punktu widzenia ustanowienia i wdrożenia systemu zarządzania bezpieczeństwem informacji z uwzględnieniem sztucznej inteligencji będzie wskazanie przypadków użycia sztucznej inteligencji oraz zapewnienie równowagi między procesami zarządzania a procesami zmian determinowanymi rozwojem sztucznej inteligencji. W świetle wymagań normy ISO 27001 system zarządzania bezpieczeństwem AI powinien bowiem być zintegrowany z procesami organizacji i ogólną strukturą zarządzania.

Rozważając zapewnienie bezpieczeństwa sztucznej inteligencji jako aktywa objętego zakresem oddziaływania systemu zarządzania bezpieczeństwem informacji w organizacji zbudowanego w oparciu o wymagania normy EN ISO/IEC 27001:2022 ważne jest, by uwzględniać bezpieczeństwo informacji nie tylko w ramach procesów funkcjonowania sztucznej inteligencji, ale uwzględniać je już na etapie ich projektowania, a także zaimplementować odpowiednie rozwiązania związane z bezpieczeństwem informacji do mechanizmów kontroli AI. W tym sensie szczególnie istotne jest:

zidentyfikowanie obszarów, które należy zabezpieczyć,
zrozumienie modeli zarządzania danymi i ich wzajemnych powiązań
możliwie pełne zarządzanie zagrożeniami

Organizacja powinna dokonać kompletnej inwentaryzacji aktywów związanych z obszarem sztucznej inteligencji, na który mogą oddziaływać zagrożenia powszechnie znane systemom informatycznym, ale także te, które będą specyficzne dla AI. W dokumencie ENISA AI Cybersecurity Challenges Threat Landscape for Artificial Intelligence https://www.enisa.europa.eu/publications/artificial-intelligence-cybersecurity-challenges, wskazano katalog potencjalnych aktywów związanych ze sztuczną inteligencją. Do aktywów zalicza się tutaj m.in.:

Modele — Algorytmy, Algorytmy wstępnego przetwarzania danych, Algorytmy selekcji, Parametry modelu, Wydajność modelu, Parametry szkoleniowe, Modele wytrenowane.

Procesy — Pozyskiwanie danych, Przechowywanie danych, Eksploracja danych, Zrozumienie danych, Etykietowanie danych, Rozszerzanie danych, Zbieranie danych, Wybór funkcji, Technika redukcji/dyskretyzacji, Wybór modelu, Strojenie modelu, Adaptacja modelu, Konserwacja modelu

Dane — Surowe dane, Oznaczony zestaw danych, Zbiór danych publicznych, Dane treningowe, Rozszerzony zestaw danych, Testowanie danych, Zestaw danych walidacyjnych, Dane ewaluacyjne, Wstępnie przetworzony zestaw danych.

Środowiska/ narzędzia — Sieci komunikacyjne, Protokoły komunikacyjne, Chmura, Platformy pozyskiwania danych, Platformy eksploracji danych, Narzędzia do eksploracji danych, Rozproszone systemy plików, Platformy obliczeniowe, Zintegrowane środowisko programistyczne, Biblioteki, Narzędzia do monitorowania, Systemy operacyjne, Techniki optymalizacji, Platformy uczenia maszynowego, Procesory, Narzędzia do wizualizacji

Artefakty — Lista kontroli dostępu, Przypadki użycia, Propozycje wartości i model biznesowy, Nieformalne/pół nieformalne wymagania AI, Zasady zarządzania danymi, Wyświetlanie i wykresy danych, Opisowe parametry statystyczne, Struktura modelu, Oprogramowanie sprzętowe i wykaz sprzętu, Artefakty kompozycji, Narzędzie do tworzenia kompozycji modeli AI, Przypadki testowe wysokiego poziomu, Architektura modelu, Projekt sprzętu modelu, Dane i schemat metadanych, Indeksy danych.

Zinwentaryzowanie aktywów, czyli wszystkiego, co ma znaczenie dla organizacji, a także zrozumienie cyklów życia systemów sztucznej inteligencji jest niezbędne w procesie zarządzania ryzykiem.

Zarządzanie ryzykiem

Wymagania normy ISO 27001 promującej podejście oparte na ryzyku, koncentrują się na zapewnieniu odpowiedniego poziom zabezpieczeń organizacyjnych, związanych z zarządzaniem zasobami ludzkimi, a także technicznymi i fizycznymi. Zgodnie z ISO 27001 organizacja powinna przeprowadzać ocenę ryzyka związanego z bezpieczeństwem informacji w zaplanowanych odstępach czasu lub w przypadku zaproponowania, lub wystąpienia znaczących zmian.

Zarządzanie ryzykiem powinno odpowiadać na potrzeby organizacji przy użyciu zintegrowanego, ustrukturyzowanego i kompleksowego podejścia. Wskazówki dotyczące wdrożenia rozwiązań spełniających wymagania Normy ISO/IEC 27001, w zakresie ryzyka można znaleźć w normie ISO/IEC 27005:2022 Bezpieczeństwo informacji, cyberbezpieczeństwo i ochrona prywatności — Wytyczne dotyczące zarządzania ryzykiem związanym z bezpieczeństwem informacji. By doskonalić podejście do zarządzania ryzykiem w kontekście AI, pod uwagę można wziąć także wymagania dotyczące zarządzania ryzykiem dedykowane systemom sztucznej inteligencji zawarte w normie ISO/IEC 23894:2023 Technologia informacyjna Sztuczna inteligencja — Wytyczne dotyczące zarządzania ryzykiem. Ostatnia z tych norm charakteryzuje zarówno na poziomie strategicznym, jak i operacyjnym oraz projektowym proces zarządzania ryzykiem zawierającym rozwiązania służące identyfikacji, ocenie i zrozumieniu zagrożeń związanych ze sztuczną inteligencją takich jak np. zatruwanie danych, kradzież modeli, naruszenie poprawności wnioskowania, norma daje także podłoże do podjęcia odpowiednich środków bezpieczeństwa adekwatnych do zidentyfikowanych ryzyk.

Wykres w dokumencie z piórem

Do podstawowych czynników właściwych dla procesów szacowania ryzyka obok zidentyfikowania aktywów zalicza się identyfikowanie informacji o zagrożeniach, identyfikowanie informacji o posiadanych zabezpieczeniach, świadomość podatności aktywów, wiedzę o zabezpieczeniach. Zgodnie z nową odsłoną normy ISO 27001:2022 Informacje dotyczące zagrożeń dla bezpieczeństwa informacji powinny odpowiednio gromadzone i analizowane. Modelowanie zagrożeń pozwala na właściwą ocenę ryzyka i wdrożenie adekwatnych zabezpieczeń. W kontekście oceny przyszłych ryzyk metodologia modelowania zagrożeń powinna dotyczyć m.in. identyfikacji celów bezpieczeństwa, mapowania komponentów systemu, mapowaniu przepływu danych w systemie, typowaniu źródeł zagrożeń, identyfikowaniu zagrożeń, identyfikowaniu podatności.

Źródła ryzyka sztucznej inteligencji mogą być identyfikowane m.in. w obszarze:

organizacji,
procesów i procedur,
personelu,
środowiska fizycznego i wdrażania,
konfiguracji systemu,
sprzętu, oprogramowania, zasobów sieciowych i usług,
wzajemnych relacji z podmiotami zewnętrznymi.

Szczególnie istotne w procesie zarządzania bezpieczeństwem sztucznej inteligencji jest to, by uwzględniać odpowiednie mechanizmy zarządzania ryzykiem już na poziomie projektowym. Czynniki, które szczególnie powinny być brane pod uwagę przy szacowaniu ryzyka na tym etapie to m.in. nieprzewidywalność, złożoność i brak przejrzystości technologii opartych o rozwiązania związane ze sztuczną inteligencją. Osobne źródła ryzyka można identyfikować w związku z uczeniem maszynowym w tym głębokim uczeniem — dane bowiem mogą stać się niereprezentatywne czy np. nie posiadać odpowiedniej jakości.

Norma ISO 24028:2020, w ślad za ISO 310000:2018 oraz ISO 27005:2022 wskazuje katalog zasad dotyczących zarządzania ryzykiem sztucznej inteligencji, w tym:

Potrzebę zintegrowania zarządzania ryzykiem z działaniami organizacji
Uporządkowane i kompleksowe podejście do zarządzania ryzykiem
Dostosowanie do zewnętrznego i wewnętrznego kontekstu
Odpowiednie i terminowe zaangażowanie stron zainteresowanych szczególnie w zakresie uczenia maszynowego, zwiększenia przejrzystości i wytłumaczalności systemów sztucznej inteligencji, potrzeby nadzoru ze strony człowieka w procesach wykorzystywania sztucznej inteligencji do zautomatyzowanego podejmowania decyzji.
Reagowanie na pojawiające się zmiany, mając na uwadze dynamiczność systemów sztucznej inteligencji spowodowanej ciągłym uczeniem się.
Zapewnienie najlepszych dostępnych informacji, w tym śledzenie istotnych i dostępnych informacji dotyczących dalszych zastosowań AI.
Monitorowanie obrazu ludzkiego i kulturowego – ludzkie zachowanie kultura ma wpływ na wszystkie aspekty zarządzania ryzykiem,
Ciągłe doskonalenie — w tym identyfikację nieznanych wcześniej zagrożeń, związanych z AI, monitorowanie ekosystemu sztucznej inteligencji.

Zabezpieczenia

Aby osiągnąć swoje cele w zakresie bezpieczeństwa informacji, organizacja powinna wyraźnie zdefiniować, wdrożyć, monitorować, przeglądać i ulepszać zabezpieczenia (kontrole). Określenie kontroli zależy od decyzji organizacji podejmowanych po etapie oceny ryzyka. Norma EN ISO/IEC 27002:2022 Information security, cybersecurity and privacy protection – Information security controls, będąca rozwinięciem załącznika A do normy ISO 27001, zawiera zestaw referencyjny ogólnych kontroli bezpieczeństwa informacji, w tym wskazówki dotyczące ich wdrażania. Załącznik A zawiera listę możliwych środków kontroli bezpieczeństwa informacji, które zgodnie z wymaganiami ISO 27001 co do zasady nie powinny być pominięte. Jak wskazano w normie, środki kontroli bezpieczeństwa informacji wymienione w załączniku A nie są wyczerpujące i w razie potrzeby można uwzględnić dodatkowe. Organizacja wykorzystująca systemy sztucznej inteligencji będące integralną częścią funkcjonującego w organizacji systemu zarządzania bezpieczeństwem informacji może zaprojektować specyficzne dla AI kontrole zgodnie z wymaganiami lub zidentyfikować je z dowolnego źródła. ENISA w raporcie Securing machine learning algorithms December 2021 (https://www.enisa.europa.eu/publications/securing-machine-learning-algorithms) wskazuje przykłady zabezpieczeń specyficznych dla uczenia maszynowego, takie jak:

Modyfikacja danych wejściowych np. randomizacja danych, która polega na dodaniu losowego szumu do każdego fragmentu danych,
Definiowanie bardziej odpornych projektów modelu – np. destylacja obronna, która może pozwolić głębokim sieciom neuronowym lepiej radzić sobie z atakami.
Powiększenie zestawu danych treningowych – za pomocą zestawu technik rozszerzania danych treningowych (np. augmentacja danych).
Zapewnienie bezstronności modelu – zapewnienie, że zestaw danych treningowych jest wystarczająco reprezentatywny w odniesieniu do uzasadnienia biznesowego.
Zapewnienie, że proces uczenia się i dane są wystarczająco reprezentatywne dla rzeczywistych warunków, w których model będzie ewoluował.
Implementacja narzędzi, aby określić, czy dane wejściowe zostały zmodyfikowane przez atakującego, czy nie.
Zintegrowanie kontroli zatruć po fazie „oceny modelu” - przed przeniesieniem modelu do produkcji, a następnie regularnie, model powinien zostać oceniony, aby upewnić się, że nie został otruty.

Integracja systemów sztucznej inteligencji z innymi systemami zarządzania

Normy międzynarodowe dotyczące bezpieczeństwa informacji a w szczególności ISO/IEC 27001, ISO/IEC 27002 mogą ułatwić zarządzanie bezpieczeństwem sztucznej inteligencji w tym ograniczyć ryzyko odnoszące się do atrybutów takich jak poufność, integralność i dostępność systemów sztucznej inteligencji. Co do zasady sztuczna inteligencja jest oprogramowaniem, a co za tym idzie jest postrzegana z perspektywy zabezpieczeń jako oprogramowanie. Podejście to musi być jednak uzupełnione analizą specyficzną dla danego systemu. Dostarczając lub wykorzystując systemy sztucznej inteligencji, organizacja może definiować cele oraz określać obowiązki związane z aspektami, które są przedmiotem innych norm dotyczących systemów zarządzania. Mogą to być na przykład zagadnienia związane jednocześnie z bezpieczeństwem, prywatnością, jakością, zawarte odpowiednio w normach ISO/IEC 27001, ISO/IEC 27701 i ISO 9001. jak i specyficzne wymagania dla systemów zarządzania AI wskazane, chociażby w normie ISO/IEC 42001:2023.

W przypadku zarządzania organizacją w oparciu o wymagania wielu norm z rodziny ISO warto rozważyć wdrożenie zintegrowanego systemu zarządzania co może być najkorzystniejszym rozwiązaniem dla organizacji. Do korzyści związanych z integracją systemów zarządzania zaliczyć można m.in.: