Junija je vodenje Urada Vlade RS za informacijsko varnost (URSIV) prevzel dr. Niko Gamulin, doktor elektrotehnike in strokovnjak za strojno učenje. V pogovoru o kibernetski varnosti ne govori skozi plakate in pravilnike, temveč kot o merljivem procesu: koliko časa preteče od zaznane težave do odločitve, kdo razpolaga s podatki in ali zaščita zdrži običajen poskus prevare. Umetno inteligenco (UI) jasno ločuje od klepetalnikov, evropski akt o UI pa presoja po tem, ali zares ustavi napadalca – ali pa zgolj ovira tistega, ki pravila še spoštuje. Njegovo izhodišče je preprosto in ostro: »Česar ne izmerimo, to težko izboljšamo.«
Gospod Gamulin, junija ste prevzeli vodenje Urada Vlade RS za informacijsko varnost (URSIV). Kaj je bila prva stvar, ki ste jo morali izmeriti? Saj, kot pravite sami: »Česar ne izmerimo, to težko izboljšamo.«
Najprej sem želel razumeti, kako delo na uradu dejansko poteka. URSIV je nacionalni organ za informacijsko varnost; njegovo delo sega od usklajevanja odziva na kibernetske grožnje do nadzora, mednarodnega sodelovanja in razvoja znanja. Za vodenje takšne organizacije potrebujem več kot organigram. Zaposlenim sem poslal vprašalnike o njihovem delu, odgovornostih, podatkih, ki jih uporabljajo, in odločitvah, pri katerih se zatika. Zanimalo me je tudi, katero znanje moramo okrepiti in kje bi jim avtomatizacija prihranila čas. Namen je bil ugotoviti, kaj ljudem omogoča dobro delo in kaj jih pri njem ovira. Odgovori so pokazali ponavljajoče se vzorce, ki jih želim preveriti še v osebnih razgovorih. Te začenjam ta teden, kot sem zaposlenim obljubil. Moje prvo vprašanje je bilo torej, koliko časa potrebujemo od zaznane težave do odločitve in kdo ima na tej poti potrebne informacije. Tu lahko kot vodja veliko izboljšam.
Na omrežju X pogosto opozarjate, da umetna inteligenca (UI) niso le klepetalniki. Kje je največji razkorak med slovensko javno razpravo o UI in njeno dejansko uporabo v kibernetski obrambi?
Sam sem dolgo uporabljal izraz strojno učenje. Ukvarjal sem se z računalniškim vidom in konvolucijskimi nevronskimi mrežami. S kolegi smo se šalili, da tisti, ki ves čas govori o »AI«, verjetno nekaj prodaja. S ChatGPT je izraz prišel v vsakdanji jezik, pri tem pa smo
začeli celotno področje enačiti s pogovorom z računalnikom. Napovedovanje okvar, prepoznavanje vzorcev in zaznavanje anomalij so obstajali že precej prej. V doktoratu sem razvijal model za napovedovanje prekinitve naročniških razmerij. Veliko dela smo vložili v načrtovanje značilk: odločiti smo se morali, kateri podatki bi lahko napovedovali odhod naročnika. Na primer, kako opisati spremembo njegove uporabe storitev, da bo model iz nje lahko kaj razbral. Pri globokem učenju se model številnih takšnih predstavitev nauči iz podatkov sam. To velja za konvolucijske mreže in transformerje, na katerih temeljijo tudi veliki jezikovni modeli. Strokovno delo s podatki ostaja, manj pa je ročnega predpisovanja vsakega uporabnega vzorca. Pri varnosti je pomemben naslednji korak: model povežemo z orodji za pregled kode in preverjanje domnev. Agent lahko prebere dokumentacijo, predlaga preizkus, pregleda rezultat in nadaljuje. Več agentov si lahko delo razdeli. Človek težko ohranja takšen obseg preverjanja, čeprav mora rezultate še vedno ovrednotiti sam. Zato menim, da smo v kibernetski varnosti priča nekakšnemu trenutku AlphaZero. To je moja primerjava s prebojem pri učenju iger, ne trditev, da agent že zanesljivo premaga vsako obrambo. Sprememba je v hitrosti, s katero lahko iščemo in preverjamo možnosti.
Vi ste doktorirali iz strojnega učenja, vodite pa urad za informacijsko varnost. Kje se ti dve področji zares stikata in kje ju moramo v državni strategiji strogo ločiti, da ne reguliramo naprednih modelov, medtem ko napadalci še vedno prodirajo z navadnimi, ukradenimi gesli?
Pred približno desetimi leti sem na usmerjevalnikih implementiral zaznavanje anomalij. Poenostavljeno povedano: algoritem je spremljal pomnilnik, število povezav, promet in obremenitev procesorja ter iskal odstopanja od običajnega delovanja. Podobno načelo uporabljamo tudi pri zaznavanju napadov. Nenavadno dogajanje še ni dokaz vdora, je pa razlog za pregled. Danes lahko s strojnim učenjem hitreje opazimo sumljive vzorce in z jezikovnimi modeli pospešimo analizo. Pri iskanju ranljivosti je bistveno, da jih prej najde in odpravi tisti, ki sistem varuje. Če odkrito napako nato tri mesece usklajujemo med oddelki, nam hitrejše odkrivanje ne pomaga dovolj. V strategiji moramo ločiti uporabo UI za obrambo, varnost samih sistemov UI in osnovno zaščito informacijskih sistemov. Za zadnjo še vedno potrebujemo urejene dostope, posodobitve, večfaktorsko prijavo in preverjene varnostne kopije. Nakup naprednega modela teh nalog ne opravi namesto nas. Rad uporabljam novo tehnologijo, vendar me pri oceni varnosti zanima tudi, ali lahko nekdanji zaposleni še vedno dostopa do sistema.
Je evropski akt o UI res zaščita državljanov ali predvsem birokratska zavora, zaradi katere bodo slovenski in evropski razvijalci dokončno izgubili globalno tekmo z ZDA in Kitajsko?
Zaščita državljanov je legitimen cilj. Problem imam z načinom, kako v Evropi prepogosto presojamo tehnologijo. Odločevalski cikli trajajo dlje od razvojnih. Ko končamo razpravo o tehnologiji A, razvijalci že uporabljajo tehnologijo C. Podjetje mora medtem ugibati, katera razlaga pravil bo veljala za njegov izdelek in koliko ga bo dokazovanje skladnosti stalo.
Podpiram varovanje zasebnosti, delavske pravice in skrb za okolje. Za njihovo ohranjanje potrebujemo produktivno gospodarstvo. Zanimati nas mora cena proizvodnje kilovatne ure, dostop do kapitala in koliko znanja znamo pretvoriti v delujoče izdelke. Če podjetje zaradi nekonkurenčnosti zapre proizvodnjo, zaposleni izgubi tudi možnosti, ki mu jih je zagotavljala dobra delovna zakonodaja. Na nedavnem obisku v tujini sem opazoval skupino Kitajcev in njihov delovni tempo. Iz ene izkušnje ne delam sodbe o narodu, me je pa spomnila, da naši konkurenti ne bodo upočasnili razvoja, ker si mi želimo drugačnega ritma. Odgovor vidim v boljši organizaciji, avtomatizaciji in hitrejšem odločanju. Najbolj nasprotujem temu, da tehnološke ovire postavljajo ljudje brez zadostnega znanja in brez zdravega razuma pri presoji posledic. Od njih pričakujem pojasnilo, katero škodo preprečujejo in zakaj je izbrana omejitev potrebna. Tehnološka razvitost določa tudi politično samostojnost. Če bomo odvisni od tujih modelov, čipov in infrastrukture, bomo imeli manj vpliva, ne glede na obseg evropskih pravil.
Ko so raziskovalci pri kodnih modelih umaknili varnostne varovalke, so ti začeli množično generirati ranljivosti. Kaj to pomeni za evropski koncept »varnih« sistemov in ali Evropa s svojimi zapletenimi obveznostmi to prednost spet vrača le velikim korporacijam, male razvijalce pa uničuje?
Tu bi ločil generiranje nevarne kode od odkrivanja ranljivosti v obstoječem programu. Tudi odstranitev varovalk sama po sebi ne dokazuje, da model zmore izvesti uspešen napad. Pokaže pa omejitev pristopa, pri katerem varnost gradimo predvsem na tem, česa model
uporabniku ne želi odgovoriti. Pri modelih z javno dostopnimi utežmi lahko uporabnik spreminja njihovo vedenje; manjše lahko preizkuša tudi na osebnem računalniku. Prejšnji konec tedna sem takšno spreminjanje preizkušal sam. Iz poskusa ne bi delal dokaza, da lahko vsakdo vdre kamor koli. Orodja pa zmanjšujejo količino predznanja in dela, potrebnega za posamezne korake napada. To moramo pri obrambi upoštevati. V knjigi »The Sovereign Individual« mi je blizu misel, da digitalna tehnologija povečuje samostojnost posameznika in zmanjšuje odvisnost znanja od ozemlja. Razvijalec lahko svoje delo preseli precej laže kot tovarno. Država mora zato ponuditi okolje, v katerem želi ostati. Velika korporacija laže vzdržuje pravno službo kot ekipa nekaj razvijalcev. Če jim naložimo podobno administrativno breme, utrjujemo položaj velikih. Napadalec bo obveznosti ignoriral. Zato moramo poleg pravil razvijati obrambo, ki deluje tudi proti nekomu, ki pravil ne priznava. Našim strokovnjakom moramo omogočiti dostop do zmogljivih orodij in zakonito varnostno preizkušanje.
Če bi morali slovenski politiki in Bruslju dati en sam nasvet glede UI, kaj bi jim rekli: kaj obvezno prepovedati, kaj nujno izmeriti in česa se pod nobenim pogojem ne sme regulirati?
Več časa namenite odločitvam in preverjanju rezultatov, manj ponavljanju že znanih stališč na sestankih. Razvijalcem omogočite, da idejo preizkusijo v razumnem času in vnaprej vedo, za kaj odgovarjajo. Prepovedati in preganjati moramo konkretne zlorabe: goljufije, izsiljevanje, krajo identitete in nedovoljene vdore. Za večino takšnih dejanj prepovedi že imamo; vprašanje je, kako učinkovito jih uveljavljamo. Izmeriti moramo učinek vsake dodatne omejitve: koliko
škode prepreči, koliko stane in koliko časa vzame. Enako velja za državno pomoč podjetjem. Zanima me, kaj je zaradi nje nastalo in kdo to uporablja. Ne bi sprejel splošnega dovoljenja države kot pogoja za raziskovanje, pisanje algoritmov ali učenje modelov. Pri uporabi, ki posega v pravice ljudi, zahtevam jasne odgovornosti in preverjanje tveganj. Pri raziskovanju pa mora človek imeti prostor za poskus in napako. Uradniški položaj sam po sebi ne daje tehničnega znanja. Kdor predlaga omejitev, mora biti pripravljen svojo presojo soočiti z ljudmi, ki tehnologijo razvijajo in uporabljajo.
V zadnjem času so hekerji prevzeli več slovenskih računov na omrežju X – med njimi tudi moj profil in profil Mateja Lahovnika, z obeh pa so se širile lažne kriptoprevare. Tudi sami ste javno opozorili, da nevarnost še ni minila. Kaj ta val pove o splošnem stanju informacijske varnosti v Sloveniji?
Pri takšnem phishingu oziroma ribarjenju napadalec zlorabi zaupanje. Postopek poznamo že več kot dvajset let: sporočilo je videti, kot da prihaja od platforme ali znane osebe, nato pa prejemnika pripravi do prijave na lažno stran. Običajno doda občutek nujnosti, denimo grožnjo z ukinitvijo računa. Posameznik v naglici naredi nekaj, česar ob mirnem premisleku ne bi. Iz nekaj odmevnih primerov ne bi sklepal o varnosti celotne države. Pokažejo pa, da prevarantu ni treba razviti nove tehnologije, da povzroči škodo. Ko prevzame znan profil, si izposodi še njegov ugled in z njim nagovarja naslednje žrtve. Zato nevarnost traja tudi po prvem vdoru. Krivde ne bi preprosto pripisal nepazljivemu uporabniku. Tudi platforma mora omogočiti dobro zaščito in uporaben postopek vračanja računa. Od ljudi težko pričakujemo brezhibno presojo vsakega sporočila, če jim storitev ob težavi ponudi zgolj avtomatski odgovor.
Ti vdori niso bili visokotehnološki napad na državne sisteme, ampak kraja identitete in socialni inženiring. Ali evropski akt o UI sploh naslavlja ta realen problem ali pa Evropa spet regulira napačen, akademski sloj problema, medtem ko napadalci v praksi potrebujejo le eno ukradeno geslo?
Akt o UI ureja drugo področje in od njega ne moremo pričakovati, da bo rešil krajo računov. Lahko obravnava tveganja določenih uporab UI, ne more pa namesto platforme preklicati napadalčevega dostopa. Phishing uspeva tudi brez umetne inteligence, z njo pa lahko prevaranti hitreje pripravijo prepričljiva sporočila v jeziku žrtve. Pri razporejanju denarja in ljudi moramo izhajati iz dejanskih poti napada. Če nam račune kradejo prek lažnih prijavnih strani, potrebujemo prijavo, odporno proti phishingu, boljše zaznavanje prevzemov in hitro pomoč. Varnostni ključi oziroma ustrezno izvedene dostopne ključe je smiselno omogočiti čim širše. Tudi večfaktorska prijava ni ena sama tehnologija z enako stopnjo zaščite.
Zame je napaka, če o varnosti sodimo po obsegu dokumentacije, ne preverimo pa, ali zaščita zdrži običajen poskus prevare. Oboje je mogoče preveriti. Pri takšnih odločitvah bi morali imeti več besede ljudje, ki znajo preizkus tudi izvesti.
Kje se v praksi konča delo centra SI-CERT in kje začne delo URSIV-a? Ko pride do vdora, center svetuje, ne more pa ameriški korporaciji ukazati, naj vrne dostop. Kakšne vzvode sploh ima vaš urad, ko gre za zaščito posameznika?
V Sloveniji imamo dve osrednji civilni odzivni skupini. SIGOV-CERT deluje znotraj URSIV in obravnava incidente subjektov javne uprave na državni in lokalni ravni. SI-CERT deluje pri Arnesu in obravnava incidente drugih zavezancev, pomoč pa lahko pri njem poiščejo tudi
posamezniki in drugi poslovni subjekti. Zato ne gre za zaporedje, v katerem se delo SI-CERT konča in nato primer prevzame URSIV. Odzivni center opravlja tehnično analizo, svetuje pri zamejitvi škode in sodeluje z drugimi odzivnimi centri ter ponudniki. URSIV ima širšo nalogo usklajevanja nacionalnega sistema informacijske varnosti. Policija preiskuje sume kaznivih dejanj. Pri tuji platformi nimamo administratorskega dostopa in ji ne moremo preprosto odrediti vrnitve profila. Pomagamo lahko s strokovno obravnavo in sodelovanjem po razpoložljivih kanalih. Vzvode za hitrejši odziv platform moramo krepiti tudi mednarodno. Posamezniku moramo pošteno povedati, kaj lahko naredimo in kje smo odvisni od odziva ponudnika.
In ključno vprašanje za bralce: kakšna je konkretna pomoč države v takšnem primeru? Kam naj se obrne običajen državljan ali podjetnik, ko mu ukradejo digitalno identiteto, policija nima tehnologije, tuje platforme pa se odzivajo z avtomatskimi odgovori? Ali načrtujete kakšne sistemske rešitve, ki bi žrtvam prevar dejansko olajšale hitro reševanje svojih profilov?
Za tehnično pomoč naj piše na [email protected]. Navede naj naslov profila, čas dogodka in opis dogajanja ter shrani sporočila in posnetke zaslona. Gesel in prijavnih kod naj ne pošilja. Pri sumu kaznivega dejanja naj poda tudi prijavo policiji. Če je nakazal denar, naj takoj obvesti banko. Ne bi vnaprej trdil, da policija nima tehnologije; pri teh primerih sta težava tudi dostop do podatkov in sodelovanje tujih ponudnikov. Hkrati naj začne uradni postopek za obnovitev računa pri platformi. Zavaruje naj tudi povezano elektronsko pošto. Kjer še ima dostop, naj spremeni geslo, odjavi neznane seje in prekliče sumljive povezane aplikacije. Svoje stike naj po drugem kanalu opozori na prevaro. Ljudem, ki za plačilo obljubljajo čudežno vrnitev profila, naj ne zaupa. Sistemsko se mi zdi smiselna jasna pot pomoči: žrtev mora vedeti, kdo obravnava njen primer, katere podatke še potrebuje in kaj je naslednji korak. Potrebujemo tudi boljše dogovore s platformami za obravnavo potrjenih zlorab. To je smer izboljšav, za katero se zavzemam, ne zagotovilo, da takšna rešitev že deluje. Uspešnost bi meril s časom do zamejitve zlorabe in deležem rešenih primerov. Brez sodelovanja platform njihove hitrosti ne moremo obljubiti.
Vaše analize čakalnih dob v zdravstvu, prometa in javnih podatkov so pokazale, kako hitro se tehnični problem spremeni v problem odgovornosti. Ali lahko UI v javni upravi to netransparentnost razbije ali pa bo birokratski strah pred regulacijo povzročil, da se v državi raje ne bo merilo ničesar več?
Lahko pomaga, vendar moramo biti pripravljeni pogledati rezultate. Poleg strojnega učenja me zanima statistika. Pri teh analizah sem uporabljal Bayesove metode in simulacije Monte Carlo. Izhajamo iz začetnih predpostavk, jih s podatki posodobimo in dobimo porazdelitev možnih izidov. Tako lahko ocenimo pričakovani učinek in Bayesov interval verodostojnosti, namesto da ponudimo eno številko z navidezno gotovostjo. Pri ukrepu za skrajševanje čakalnih dob bi primerjal scenarij z ukrepom in scenarij brez njega. Kjer je izvedljivo, bi uporabil primerljivo kontrolno skupino ali postopno uvajanje. Sama statistična metoda še ne dokaže vzročnosti: preveriti moramo, ali so na rezultat vplivale druge spremembe. Z metodo Monte Carlo lahko pogledamo, kako se ocena spreminja ob različnih predpostavkah in negotovih vhodnih podatkih. Tak pristop omogoča tudi manj prijeten odgovor: ukrep morda ne bo prinesel dovolj koristi ali pa še nimamo dovolj podatkov. To mi je bližje kot prepričljiva zgodba brez preverljive napovedi. UI nam lahko skrajša pripravo in analizo podatkov, odgovornost za odločitev pa ostane na človeku. Javna uprava bi morala vnaprej povedati, kaj želi izboljšati, kako bo to izmerila in kdaj bo neuspešen ukrep spremenila. Tudi odločitev, da ne bomo ničesar preizkusili, ima strošek.
V prejšnjem odmevnem pogovoru za Demokracijo ste natančno predstavili svojo forenzično analizo prisluhov, ki so razgalili delovanje struktur v ozadju. Danes vodite državni urad, ki mora skrbeti za zaupanje v digitalno okolje. Kako gledate na to ločnico med legitimnim preverjanjem pristnosti vsebin in zahtevo po označevanju sintetičnih vsebin, ko pa javnost sploh ne loči več izvirnika od ponaredka?
Pri forenzični analizi moramo povedati, kaj smo lahko preverili. Če v posnetku ne najdemo znakov določene manipulacije, s tem še ne dokažemo celotne zgodbe o njegovem nastanku ali resničnosti izrečenega. Pomembni so izvor, celovitost gradiva in omejitve analize. Enako velja, ko sumimo, da je vsebino ustvarila UI. Pri fotografijah me zanima tudi ekonomika. Tehnično popolna podoba je postala poceni in dostopna, zato njena brezhibnost sama po sebi manj izstopa. Če bi bila zlata ura vsakomur dosegljiva kot ura iz pralnega praška, bi izgubila precej statusnega pomena. Material bi še imel vrednost, redkost pa ne bi več opravljala iste vloge. Podobno bomo pri slikah več pozornosti namenjali avtorju, okoliščinam in temu, zakaj
nam nekdo nekaj sploh kaže. Ne vidim smisla v splošni zahtevi, da mora vsaka ustvarjalna uporaba UI nositi opozorilo. Pri ilustraciji zmaja bralcu ni treba dokazovati, da ga fotograf ni srečal v gozdu. Pri lažnem posnetku resnične osebe, s katerim nekdo zahteva nakazilo ali ji pripisuje izjavo, je stvar drugačna. Tam je označevanje smiselno, vendar prevarant oznake najbrž ne bo dodal. Tudi evropska pravila razlikujejo med vrstami vsebin in upoštevajo umetniški kontekst. Bolj kot splošna nalepka me zanima možnost preverjanja izvora: kdo je gradivo objavil, ali imamo izvirnik in kaj lahko potrdimo z drugimi dokazi. Odsotnost oznake UI ne sme postati potrdilo o resničnosti. Zaupanje bomo morali graditi z več preverjanja, pri tem pa pustiti ljudem dovolj svobode za ustvarjanje.
Petra Janša, Demokracija