Mudelid
METR hindab Anthropicu mudelite edenemist ligi kaks korda kiiremaks, kuid tõendid on osalt varjatud
5. novembri METRi raport seostab valitud ülesannetes kiirenenud mudeliarendust AI kasutamisega. Suur osa tõendeid kärbiti avalikust tekstist; hinnang ei kirjelda kogu teadus- ja arendustööd.
Toimetaja Kristjan Krimm · Avaldatud · 6 min lugemist
- Olulisus
- Sihtrühm
- Kõik
- Allikaid
- 2
- Esmaallikas
- METR

Arengulugu
Mudelid
Viimase 60 päeva seismograaf: 139 signaali. Joone kõrgus näitab olulisust.
Mis juhtus
5. novembri METRi raport seostab valitud ülesannetes kiirenenud mudeliarendust AI kasutamisega. Suur osa tõendeid kärbiti avalikust tekstist; hinnang ei kirjelda kogu teadus- ja arendustööd.
Miks see loeb
Võimekuse kiirem kasv võib lühendada sõltumatuks ohutushindamiseks jäävat aega. Ettevõtte enda AI-piloodis tuleb siiski mõõta kontrollitud lõpptulemuseni jõudmist, mitte kanda labori kasvutempo hinnang üle töötaja tootlikkusele.
Sisukord
Lühidalt
4 põhipunkti- METR avaldas 5. novembril hinnangu Anthropicu tehisaru arenduse kiirenemisele.
- Uurijate järgi kasvas mudelite võimekus selgelt määratletud ülesannetes oktoobriks ligikaudu kaks korda varasemast kiiremini.
- Hinnang toetub siseandmetele ja intervjuudele, kuid suur osa olulisest tõendusmaterjalist eemaldati avalikust tekstist.
- Tulemus ei tõenda kogu arendustöö kahekordset kiirust ega inimeste osaluseta mudelite enesetäiustamist.
Sõltumatu uurimisrühma METR raport küsib, kas tehisaru kasutamine aitab kiirendada järgmiste mudelite arendamist. Uurijate hinnang on jaatav, kuid märkimisväärse ebakindlusega. Vaadeldud kiirenemine puudutab mudelite edenemist hästi määratletud ülesannetes, mitte kõigi teadus- ja arendustegevuste ühesugust paranemist.
Associated Pressi kajastus toob samuti esile järelduse piirangud. Kiirema arengu võimalik tagajärg on see, et ohutushindamiste ja uute võimete kasutuselevõtu vahele jääb vähem aega. Ettevõtte igapäevase töö korraldamiseks vajab raport teistsugust tõlget: mõõta tuleb, kui kiiresti sünnib kontrollitud tulemus ning kui palju tööd nõuab selle usaldamine.
Ligikaudu kaks korda kiirem tempo ei ole kaks korda parem mudel
METR võrdleb 2026. aasta oktoobri edenemist perioodiga märtsist 2024 kuni oktoobrini 2025. Raporti üldhinnang ja mudelite võrdlusmõõdiku arvutus ei ole täpselt sama asi. AECI trendi hinnatud kiirenemine on 1,9 korda, 95-protsendise usaldusvahemikuga 1,5–2,8. Üldjäreldus sünteesib sellest laiemat tõendusmaterjali.
Selline kasvutempo suhe ei tähenda, et iga ülesande vastus oleks kaks korda täpsem või iga arendaja lõpetaks töö poole ajaga. Kasulik on hoida eraldi mudeli mõõdetud võimekus, ühe inimese töö kiirus ja kogu organisatsiooni tulemuse valmimise aeg. Nende vahel võivad olla seosed, kuid üks number ei kirjelda neid kõiki.
Sama eristus on vajalik mudelite hangetes. Kiirem edenemine valitud testides võib õigustada sagedasemat ümberhindamist. See ei anna alust muuta ettevõtte tööaja eelarvet automaatselt poole väiksemaks. Selleks on vaja vaadata just neid ülesandeid, mille eest ettevõte ise vastutab.
Siseandmed laiendasid vaadet, kärped piiravad kontrollitavust
Hindamine kestis augustist oktoobrini ning hõlmas Anthropicu siseandmeid, töötajate intervjuusid ja avaldamata mudelite tulemusi. METR rõhutab, et see ei olnud piiramatu ligipääs kõigile dokumentidele ega avaldamata mudelite iseseisev käitamine. Andmete saamine sõltus koostööst ettevõttega.
Anthropicul oli õigus mitteavalikku infot raportist eemaldada ning seda kasutati suure osa eriti informatiivse materjali puhul. METR sai järeldusi avaldada, kuid lugeja ei saa kogu nende alust ise üle vaadata. Uurijad tunnistavad ka olulist ebakindlust. Välist hindajat ei tasu seetõttu võrdsustada täielikult avatud ja korratava eksperimendiga.
Avaldamispiirang ei muuda järeldust automaatselt vääraks. See muudab selle hindamise viisi: tuleb vaadata, milline tõend on nähtav, mida hindaja ise peab nõrgaks ja kui palju sõltub usaldus tema otsustusest. Ka järgmine avalik selgitus võiks olla väärtuslik siis, kui see võimaldab mõnd seni varjatud väidet täpsemalt kontrollida.
AI panus on põhjendatud hinnang, mitte puhas põhjuskatse
Uurijad peavad AI kasutamist üheks peamiseks praeguse kiirenemise põhjuseks. Raport käsitleb ka alternatiivseid seletusi ja võrdlusmõõdikute piiranguid. Associated Press rõhutab, et tulemused võivad üle hinnata mõju ebamäärastele pärisülesannetele. Kõigi võimalike seletuste eristamine ei taandu ühe töötajaküsitluse vastusele.
Sellist tulemust ei saa kirjeldada katsena, kus kaks muus osas identset ettevõtet arendasid mudeleid tehisaruga ja ilma selleta. Vaatlus kasutab mitut tüüpi tõendeid. See on põhjus lugeda ka meetodit ning piiranguid, mitte ainult kõige lühemat arvulist kokkuvõtet.
Samuti ei tõenda AI kasutamine uurimistöös, et kogu töö on autonoomne. Inimene võib endiselt valida katse eesmärgi, hinnata väljundit ja otsustada järgmise sammu. Töö kiirenemine ning otsustusõiguse üleandmine on eri muutused, mida tuleks hinnata eraldi.
Ohutushindamise ajakava ei pea kopeerima väljalaskerütmi
Kui mudelite võimed muutuvad kiiremini, võib ka varasema kontrolli kehtivus lüheneda. Sama testitulemus ei pruugi kirjeldada uut mudelit, teistsugust agenti või laiemaid tööriistaõigusi. See on praktiline põhjus siduda hindamine konkreetse versiooni ja keskkonnaga.
Ettevõttes võiks enne mudeli vahetamist eristada tavalise kvaliteedikontrolli ning tegevusõiguste kontrolli. Uus mudel võib kirjutada parema teksti, aga kasutada tööriistu teistmoodi. Kasutuselevõtu otsus peaks hõlmama mõlemat, eriti kui agent saab muuta faile, suhelda klientidega või kinnitada väliseid toiminguid.
Kiirem väljalaskerütm ei tähenda, et iga uus mudel tuleb kohe kasutusse võtta. Üheks valikuks on hoida kontrollitud versiooni, kuni järgmise variandi kasu ja riskid on enda ülesannetes mõõdetud. Nii jääb ajakava ettevõtte vajaduste, mitte üksnes tootja teadete määrata.
Buildrya katse: võrdle kontrollitud lõpptulemust
AI-Radari praktiline võrdlus võiks valida väikese hulga sarnase raskusega arendusülesandeid. Ühes töövoos kasutatakse agenti, teises tavapäraseid töövõtteid. Ülesande lõpetamine määratletaks enne katset: muudatus peab läbima sisulise kontrolli, kordustestid ja inimese ülevaatuse.
Mõlemas töövoos tuleks säilitada ka ebaõnnestunud katsed. Kui agent pakub kiiresti mitu vigast lahendust, ei saa aega mõõta ainult viimase eduka vastuse juurest. Sama kehtib inimese töö puhul: ettevalmistus, abi küsimine ja parandused on osa tulemuseni jõudmisest.
Võrdlus vajab ka ausat ülesannete jaotust. Kui lihtsad tööd lähevad agendile ja keerulised inimesele, ei näita keskmine aeg kasutatud tööviisi mõju. Väikese valimi korral tulekski tulemust esitada piloodina, tuues välja ülesanded, mille kohta järeldus tegelikult kehtib.
Kordustest aitab eristada kiirust töö kvaliteedist
Tulemusele võiks järgneda sõltumatu korduskontroll. Teine arendaja proovib tehtud muudatust selle kirjelduse põhjal ning kontrollib, kas tõendatud tulemus säilib. See näitab, kas kiirelt valminud töö annab ka üleantava ja hooldatava tulemuse.
Lisaks ajale võiks vaadata ülevaatuses leitud vigu, parandusringe ja hilisemat taastamist. Nii võib selguda, et mõnes ülesandes säästab agent eeltööd, kuid suurendab kontrollimist; teises jõuab korrektne tulemus varem kohale. Need erinevused annavad ettevõttele rohkem teavet kui üks üldine kiirendusnumber.
METRi raport annab tugeva põhjuse arenduse kiirenemist tõsiselt uurida. Konkreetse töövoo otsus vajab siiski oma tõendeid. Avalik hindamine ja ettevõtte piloot vastavad eri küsimustele ning nende tulemusi ei tuleks üheks tootlikkuslubaduseks kokku liita.
Pilt: METRi ametlik raportigraafika. Tausta dekoratiivsed jooned ei ole uuringu mõõteandmed.
KKK
Korduma kippuvad küsimused
Kas kõik Anthropicu arendustööd on kaks korda kiiremad?
Raport seda ei tõenda. Põhihinnang puudutab mudelite võimekuse edenemist kindlat tüüpi ülesannetes.
Kas METR sai avaldamata mudeleid ise vabalt testida?
Raport ütleb, et selle hindamise käigus sellist ligipääsu ei taotletud ega saadud. Analüüs kasutas muu hulgas ettevõtte jagatud mudelitulemusi.
Kas kogu tõendusmaterjal on avalik?
Ei, Anthropic eemaldas avalikust tekstist olulise osa siseinfost. See piirab lugeja võimalust hinnangu alust iseseisvalt kontrollida.
Kas tulemus tõendab autonoomset enesetäiustamist?
Ei, AI abi ja inimeste osaluseta arendus on eri asjad. Raport ei anna alust neid võrdsustada.
Mida oma meeskonnas võrrelda?
Võrrelda tasub kontrollitud ja üleantava tulemuseni jõudmise koguaega. Arvestada tuleb ka ebaõnnestumisi, ülevaatust ning parandusi.