Regulatsioon
AP tõstatab USA AI-ohutuse keskuse sõltumatuse küsimuse; ametlik muudatuse aeg on ebaselge
AP 8. novembri uuriv lugu kirjeldab CAISSI mitteametlikku aruandlust Valgele Majale. Muudatuse täpset aega ei kinnitata; ohutushindamise väärtus sõltub ligipääsust ja avalikest tõenditest.
Toimetaja Kristjan Krimm · Avaldatud · 6 min lugemist
- Olulisus
- Sihtrühm
- Kõik
- Allikaid
- 4
- Esmaallikas
- NIST

Arengulugu
Regulatsioon
Viimase 60 päeva seismograaf: 139 signaali. Joone kõrgus näitab olulisust.
Mis juhtus
AP 8. novembri uuriv lugu kirjeldab CAISSI mitteametlikku aruandlust Valgele Majale. Muudatuse täpset aega ei kinnitata; ohutushindamise väärtus sõltub ligipääsust ja avalikest tõenditest.
Miks see loeb
Hindaja sõltumatust tuleb hinnata tegeliku ligipääsu, testide valiku ja avaldamisõiguse järgi. Ettevõttele on oluline teada, milline osa ohutusväitest on kontrollitav ja milline jääb hindaja või mudelitootja otsustuse taha.
Sisukord
Lühidalt
4 põhipunkti- Associated Press avaldas 8. novembril uuriva loo USA tehisaru hindava keskuse CAISSI sõltumatusest.
- Mitteametliku aruandluse väide tugineb kahele anonüümsele endisele ametnikule, mitte avalikule ümberkorraldusotsusele.
- Uudise kuupäev tähistab loo avaldamist; väidetava töökorralduse muutuse täpne aeg pole kinnitatud.
- Ohutushindamise väärtust tuleb hinnata ligipääsu, katsete valiku ja tulemuste avaldamise järgi.
AP kajastus toob tähelepanu keskmesse valitsuse rolli tehisarumudelite kontrollimisel. Lugu kirjeldab lisaks alalise juhi puudumist ja uurimistulemuste avaldamise katkemist. Need väited tuleb omistada väljaandele; nendest ei saa tuletada kõigi hindamiste peatamist ega tõendatud poliitilist sekkumist konkreetsesse testitulemusse.
CAISSI ametlik NISTi leht kirjeldab keskust ettevõtete kontaktpunktina testimise ja koostöise uurimistöö jaoks. Karjäärileht nimetab üksust otse NISTi direktorile alluvaks. Avalik asutuse kirjeldus ja AP uuriv lugu annavad seega eri liiki infot: esimene kirjeldab ametlikku rolli, teine väidetavat sisemist töökorraldust.
Avalik roll ja tegelik otsustusruum vajavad eraldi kontrolli
NISTi järgi töötab keskus juhiste, vabatahtlike standardite ja arendajatega sõlmitavate kokkulepetega. Ametlik kirjeldus nimetab ka riikliku julgeoleku seisukohalt oluliste võimete hindamist. Sellest saab aru, mille jaoks keskus on loodud, kuid mitte seda, kes otsustas mõne konkreetse katse avaldamise üle.
Sõltumatuse hindamisel ei piisa organisatsiooniskeemist. Oluline on ka tegelik võimalus valida uurimisküsimus, küsida vajalikku infot ja kirjeldada piiranguid. Neid võimalusi võib piirata mitu asja: ligipääs mudelile, lepingutingimused, ressursid või avaldamise korraldus. Iga piirang vajab oma tõendit.
Sama kehtib võimaliku poliitilise mõju kohta. Aruandlussuhe võib tekitada küsimusi, kuid üksnes selle olemasolust ei saa järeldada, et mõnd tulemust muudeti. Sellise väite kinnitamiseks oleks vaja konkreetset juhtumit või dokumenti. Käesolev lugu ei esita oletuslikku mõju toimunud faktina.
Uurimistulemuste avalikkus ei ole sama mis veebilehe aktiivsus
NISTi avalik leht sisaldab ka 16. oktoobri teadet intsidentideks valmisoleku ja reageerimise juhise kohta. Seetõttu ei tohiks uurimistulemuste avaldamisega seotud küsimust laiendada väiteks, et keskus ei avalda enam üldse midagi. Juhis, üldteade ja konkreetse mudeli katsetulemus on erinevad väljaanded.
Samas ei tõenda juhise olemasolu, et kõik mudelihindamiste tulemused on avalikud. Selle kontrollimiseks oleks vaja teada, millised hindamised toimusid ning millise osa kohta avaldamisotsus tehti. Avalike lehtede loetelu ei näita automaatselt töid, mille olemasolu või tulemused jäid mitteavalikuks.
See on laiem tõendite lugemise küsimus. Veebilehe vaikus ei kinnita alati töö puudumist ja aktiivne uudistevoog ei kinnita kogu olulise info avaldamist. Kontrollitav ülevaade peaks eristama tehtud tööd, avaldatud väljundit ning põhjuseid, miks midagi avaldamata jäi.
Testi valik määrab, millist riski üldse nähakse
Buildrya / AI-Radari praktiline küsimus on, kes määrab hindamise ulatuse. Kui test mõõdab ainult õiget lõppvastust, võib tegevusahel jääda kontrollimata. Agendi puhul võib aga oluline olla see, milliseid andmeid ta luges, milliseid õigusi kasutas ja kas ta tegi vahepeal soovimatu toimingu.
Näiteks võib proovikeskkonnas tehtud broneering lõppeda õige kuupäevaga, kuigi agent avas selleks vale kliendi andmed. See on siin kavandatud näide, mitte AP loos kirjeldatud konkreetne intsident. Näide selgitab, miks lõpptulemuse ja tegevuskäigu hindamine vastavad eri küsimustele.
Hindamisaruandes võiks seetõttu olla kirjas, millised tegevused vaatlusse kuulusid. Samuti peaks selguma, millised riskid jäid välja. Üldine väide „sõltumatult testitud” ei aita ettevõttel otsustada, kas hinnati just tema kavandatud kasutust.
Ligipääs mudelile peab olema kirjeldatud
Teine küsimus puudutab hindaja tegelikku ligipääsu. Kas ta sai mudelit ise käitada, vaatas tootja antud tulemusi või kasutas piiratud liidest? Kõik need võivad anda kasulikku infot, kuid ei võimalda teha samu kontrolle. Ligipääsu kirjeldus on osa tulemuse tähendusest.
Oluline on ka versioon. Varem hinnatud mudeli nime säilimine ei tõenda, et hilisem teenus käitub samamoodi. Kui muutuvad mudel, süsteemijuhised või tööriistaõigused, peaks olema teada, milline hinnang nende kohta kehtib. Muidu võib vana tulemus hakata toetama laiemat väidet, kui algne katse lubas.
Ettevõtte hankes võiks see tähendada lihtsat küsimust tarnijale: millise versiooni ja seadistuse kohta tõend käib? Vastus aitab otsustada, kas tulemust saab oma töövooga seostada või tuleb teha täiendav proov. See ei eelda, et iga tellija ehitaks terve hindamislabori.
Avaldamisõigus mõjutab kontrollitavust
Kolmas küsimus on, kes saab otsustada, milline osa tulemusest lugejani jõuab. Mõni detail võib vajada kaitset, kuid siis peab olema selge, mida hindaja siiski kinnitab ja millisele tõendile lugejal ligipääsu pole. Muidu jääb mulje täielikust kontrollitavusest olukorras, kus seda tegelikult pole.
Siin aitab eristada järeldust ja alusmaterjali. Hindaja võib olla saanud tundlikku infot ning jõudnud põhjendatud hinnanguni, kuid lugeja peab rohkem usaldama tema otsustusvõimet. See ei muuda hinnangut automaatselt vääraks. Küll aga muudab selle tugevuse hindamise keerulisemaks.
Avaldamise piiranguid võiks käsitleda koos võimalusega esitada kriitikat. Kui hindaja ei saa kirjeldada ka oma ligipääsu puudusi või olulisi teadmata asjaolusid, jääb kasutajale vähem infot. Sõltumatuse väärtus ei seisne üksnes hindaja nimes, vaid tema reaalses võimaluses tulemust ausalt piiritleda.
Ettevõtte kontrollpunkt: millist tõendit saab otsuses kasutada?
Ühe AI-teenuse ostu puhul võiks koguda kokku tootja väited, välised hinnangud ja enda töövoo katse. Iga tõendi juures märgitaks, kes selle koostas, mis versiooni hinnati ja millised piirangud jäid. Nii saab võrrelda tõendeid ilma neid üheks üldiseks usaldusmärgiks sulatamata.
Kõige kasulikum järgmine teave CAISSI kohta oleks kontrollitav selgitus vastutuse, ligipääsu ja avaldamise korralduse kohta. Võimaliku töökorralduse muutuse kuupäeva ei saa asendada AP loo ilmumispäevaga. Samuti tuleb hoida lahus uurivas loos tõstatatud küsimus ja ametlikult kinnitatud otsus.
Pilt: NIST, asutuse ametlik tunnus. Kasutamise alus: NISTi avaliku info tingimused; tunnuse kasutamine ei tähenda asutuse heakskiitu artiklile.
KKK
Korduma kippuvad küsimused
Kas 8. november on ümberkorralduse kuupäev?
See on uuriva loo avaldamise päev. Väidetava muudatuse täpset aega ei ole selle põhjal kinnitatud.
Kas ametlik asutuse leht tõendab kogu tegelikku töökorraldust?
Ei, see kirjeldab avalikult esitatud rolli. Konkreetseid otsustus- ja avaldamispraktikaid tuleb hinnata eraldi tõendite alusel.
Kas avalik juhis tähendab, et kõik katsetulemused on avalikud?
Ei, juhised ja mudelihindamiste tulemused on eri tüüpi materjalid. Ühe avaldamine ei kinnita teise täielikku kättesaadavust.
Mida küsida sõltumatu hindamise kohta?
Küsida tasub testide valikut, mudeliversiooni, tegelikku ligipääsu ja avaldamispiiranguid. Need määravad, millist järeldust hinnang toetab.
Kas hea lõppvastus tõendab agendi ohutut tegevust?
Ainult lõppvastus ei kirjelda kogu tegevusahelat. Kontrollida tuleb ka kasutatud andmeid, õigusi ja vahepealseid toiminguid.