Wstęp
Sztuczna inteligencja coraz częściej wspiera ludzi w podejmowaniu decyzji dotyczących bezpieczeństwa publicznego, ochrony infrastruktury krytycznej, zarządzania kryzysowego, transportu, medycyny oraz obronności. Systemy oparte na zaawansowanych algorytmach analizują miliony danych szybciej niż człowiek i często osiągają imponującą skuteczność. Paradoksalnie właśnie wysoka skuteczność technologii może prowadzić do nowych zagrożeń.
Badacze związani z Max Planck Institute for Human Development, a szczególnie zespołem Center for Humans and Machines, wskazują, że rozwój autonomicznych systemów decyzyjnych wymaga nie tylko postępu technologicznego, ale również głębokiego zrozumienia ludzkich procesów poznawczych. Coraz częściej problemem nie jest bowiem zawodność maszyny, lecz człowiek, który zaczyna bezkrytycznie ufać jej rekomendacjom.
Operator centrum bezpieczeństwa obserwujący wiele ekranów z analizami AI, cyberbezpieczeństwo, nowoczesne centrum dowodzenia.
Automation Bias. Gdy algorytm staje się nieomylny
Automation Bias, tłumaczony jako błąd automatyzacji lub błąd przyzwolenia, oznacza tendencję człowieka do uznawania decyzji systemu za bardziej wiarygodne niż własne obserwacje.
W praktyce operator może ignorować sygnały ostrzegawcze pochodzące z innych źródeł informacji tylko dlatego, że algorytm wskazuje odmienną ocenę sytuacji.
Mechanizm ten został wielokrotnie zaobserwowany w badaniach nad systemami wspomagania decyzji stosowanymi między innymi w lotnictwie, medycynie, wojskowości i bezpieczeństwie publicznym.
W rezultacie człowiek przestaje pełnić funkcję niezależnego kontrolera, a staje się jedynie osobą zatwierdzającą decyzje wygenerowane przez maszynę.
Automation Complacency. Gdy czujność zanika
Drugim zjawiskiem jest Automation Complacency, określane jako beztroska automatyzacyjna.
Jeżeli system przez bardzo długi czas działa poprawnie, człowiek stopniowo ogranicza swoją aktywność poznawczą. Zamiast aktywnie monitorować sytuację, zaczyna zakładać, że technologia samodzielnie wykryje każdy problem.
To właśnie dlatego operatorzy mogą nie zauważyć rozwijającego się incydentu bezpieczeństwa, awarii infrastruktury lub cyberataku, jeśli algorytm nie wygeneruje odpowiedniego alertu.
Badania pokazują, że wysoka niezawodność systemu paradoksalnie prowadzi do spadku zaangażowania człowieka.
Człowiek obserwujący ekran z komunikatem „ALL SYSTEMS NORMAL”, podczas gdy w tle pojawiają się niezauważone zagrożenia.
Problem Out-of-the-Loop
Jednym z najpoważniejszych skutków automatyzacji jest tak zwany problem Out-of-the-Loop (OOTL).
Osoba nadzorująca zautomatyzowany proces stopniowo traci świadomość sytuacyjną. Kiedy dochodzi do błędu systemu, operator nie posiada już pełnego obrazu zdarzeń.
Powrót do aktywnej kontroli sytuacji wymaga czasu. W środowiskach krytycznych, takich jak lotnictwo, energetyka czy systemy bezpieczeństwa narodowego, kilka sekund opóźnienia może mieć ogromne konsekwencje.
Paradoks wysokiej skuteczności AI
Jednym z najbardziej interesujących odkryć badaczy jest tzw. paradoks wysokiej niezawodności.
Intuicja podpowiada, że im lepiej działa system, tym bezpieczniej powinien funkcjonować cały proces.
W praktyce jednak wraz ze wzrostem skuteczności algorytmów spada liczba wykonywanych przez ludzi kontroli.
Operator przyzwyczaja się do poprawnych wyników i przestaje aktywnie weryfikować rekomendacje systemu.
Ostatecznie organizacja może stać się bardziej podatna na rzadkie, ale potencjalnie katastrofalne błędy.
Wizualizacja współpracy człowieka i sztucznej inteligencji przy analizie zagrożeń cybernetycznych.
Znaczenie dla bezpieczeństwa wewnętrznego
Zjawiska Automation Bias i Automation Complacency mają szczególne znaczenie dla specjalistów odpowiedzialnych za bezpieczeństwo państwa, ochronę ludności oraz zarządzanie sytuacjami kryzysowymi.
Współczesne centra monitoringu, systemy rozpoznawania zagrożeń, platformy cyberbezpieczeństwa czy systemy wspomagania dowodzenia coraz częściej wykorzystują elementy sztucznej inteligencji.
Dlatego przyszli specjaliści bezpieczeństwa muszą rozwijać nie tylko kompetencje technologiczne, lecz również umiejętności krytycznej oceny rekomendacji generowanych przez algorytmy.
Psychologia człowieka w erze sztucznej inteligencji
Badanie relacji człowiek-maszyna staje się także jednym z najważniejszych obszarów współczesnej psychologii.
Psychologowie analizują między innymi:
- zaufanie do technologii,
- podejmowanie decyzji pod presją,
- mechanizmy uwagi,
- błędy poznawcze,
- wpływ automatyzacji na procesy myślenia,
- odpowiedzialność za decyzje wspomagane przez AI.
Wraz z rozwojem sztucznej inteligencji znaczenie psychologii będzie stale rosło.
Ludzki mózg połączony siecią danych ze sztuczną inteligencją, symbol współpracy człowieka i technologii.
Dlaczego warto studiować w Akademii Apeiron?
Kierunek Bezpieczeństwo Wewnętrzne
Studia przygotowują do analizowania współczesnych zagrożeń, zarządzania kryzysowego, ochrony infrastruktury krytycznej, cyberbezpieczeństwa oraz tworzenia nowoczesnych systemów bezpieczeństwa.
Absolwenci zdobywają kompetencje niezwykle istotne w świecie, w którym technologie autonomiczne stają się integralnym elementem funkcjonowania państw, instytucji i przedsiębiorstw.
Kierunek Psychologia
Studia psychologiczne pozwalają zrozumieć procesy poznawcze, emocje, motywacje oraz mechanizmy podejmowania decyzji przez człowieka.
W erze sztucznej inteligencji wiedza psychologiczna staje się niezbędna do projektowania bezpiecznych interakcji pomiędzy ludźmi a technologią.
Podsumowanie
Rozwój sztucznej inteligencji nie eliminuje znaczenia człowieka. Wręcz przeciwnie.
Im bardziej zaawansowane stają się systemy autonomiczne, tym większego znaczenia nabierają kompetencje związane z krytycznym myśleniem, świadomością sytuacyjną oraz odpowiedzialnym podejmowaniem decyzji.
Przyszłość bezpieczeństwa nie polega na zastąpieniu człowieka przez algorytm.
Polega na stworzeniu takiego modelu współpracy, w którym człowiek pozostaje świadomym i aktywnym uczestnikiem procesu decyzyjnego.
Źródła naukowe
- Rahwan I., Cebrian M., Obradovich N. i in. (2019), Machine Behaviour, Nature, 568(7753), 477-486.
- Parasuraman R., Manzey D.H. (2010), Complacency and Bias in Human Use of Automation: An Attentional Account, Human Factors, 52(3), 381-410.
- Awad E., Dsouza S., Bonnefon J.F., Shariff A., Rahwan I. (2018), The Moral Machine Experiment, Nature, 567(7746), 59-64.
- Gigerenzer G. (2022), How to Stay Smart in a Smart World: Psychology of Artificial Intelligence, MIT Press.
- Center for Humans and Machines, Max Planck Institute for Human Development, publikacje dotyczące interakcji człowiek-AI, automatyzacji oraz odpowiedzialności decyzyjnej.
