Tööriistad
Claude’i API sai vestluslõimed, mis vähendavad üleslaadimist, mitte tokenikulu
Anthropic avas Message Threadsi beeta: agent saadab edaspidi vaid uued sõnumid. Kiirem esimene token ei tähenda väiksemat konteksti ega automaatset säästu ning lõim vajab taasteteed.
Toimetaja Kristjan Krimm · Avaldatud · 5 min lugemist
- Olulisus
- Sihtrühm
- Kõik
- Allikaid
- 3
- Esmaallikas
- Anthropic

Arengulugu
Tööriistad
Viimase 60 päeva seismograaf: 139 signaali. Joone kõrgus näitab olulisust.
Mis juhtus
Anthropic avas Message Threadsi beeta: agent saadab edaspidi vaid uued sõnumid. Kiirem esimene token ei tähenda väiksemat konteksti ega automaatset säästu ning lõim vajab taasteteed.
Miks see loeb
Pikalt töötav agent võib kulutada vähem aega korduva ajaloo edastamisele. Arendustiim peab mõõtma tervikülesande aega ning säilitama vestluse enda poolel, et serverilõime kadumine tööd ei katkestaks.
Sisukord
Lühidalt
4 põhipunkti- Anthropic avas 2. novembril Claude’i API Message Threadsi avaliku beeta.
- Agent edastab algul kogu vestluse, edaspidi uued sõnumid ja eelmise vastuse identifikaatori.
- Ettevõtte mõõtmises vähenes väga pika kontekstiga päringute mediaanaeg esimese tokenini umbes 35 protsenti.
- Mudel töötleb endiselt kogu konteksti ning lõime aegumine nõuab vestluse uut edastamist.
Message Threads muudab pika agendiseansi andmeedastust. Kui sama vestlus kasvab iga tööriistavastusega, ei pea klient kogu eelnenud ajalugu igal pöördumisel uuesti üles laadima. Anthropic hoiab lõime ajutiselt serveris ja seob järgmise pöördumise varasema vastusega.
Buildrya hinnangul tuleb uue funktsiooni väärtust otsida töövoo ooteajast. Andmeedastuse vähenemine, esimese vastuse kiirenemine ja rahaline sääst on eri mõõdikud. Neid üheks kokkuhoiuprotsendiks liites võib arendustiim lubada tulemust, mida toote tegelik kasutus ei anna.
35 protsenti kirjeldab konkreetset mõõdikut
Anthropicu mõõtmine puudutab Claude Code’i päringuid, mille kontekst oli 500 000 kuni miljon tokenit. Tulemus on ettevõtte enda mediaannäitaja esimese tokenini kulunud aja kohta. See ei ole lubadus, et iga arendusülesanne või iga lühem vestlus valmib sama palju kiiremini.
The Next Web kajastab avalikku beetat ning eristab aja kokkuhoidu tokeniarvest. Teenuse teate järgi jäävad tokenikasutus, tavahinnad ja olemasolevad päringupiirangud samaks. Lühem päringukeha ei muuda iseenesest mudelile kättesaadava vestluse pikkust.
Ettevõtte piloodis tasub mõõta sama ülesannet nii funktsiooniga kui ka ilma. Mudel, tööriistad ja lähteandmed peavad jääma võrreldavaks. Vastasel juhul võib erinevus tulla muutunud ülesandest või tööriistade vastamisest, kuigi aruanne omistab kogu võidu lõimedele.
Serverilõim ei ole rakenduse püsiv mälu
Dokumentatsioon nimetab lõime parima võimaliku pingutuse alusel pakutavaks ajutiseks teenuseks. See aegub viis minutit pärast viimast päringut ning kustutatakse hiljemalt tunni jooksul viimasest kasutusest. Aegumine ja lõplik kustutamine ei tähenda sama tähtaega.
Rakendus peab jääma vestluse autoriteetseks säilitajaks. Kui lõime jätkamine ebaõnnestub, tuleb saata kogu ajalugu uuesti ja alustada uut lõime. Kui klient säilitas ainult viimase vastuse ID, ei ole tal kadunud serveriolekut millestki taastada.
Sellest tuleneb ka praktiline test: katkesta piloodis töö piisavalt kauaks ning lase kliendil jätkata. Edukriteerium võiks olla sama ülesande jätkumine ilma kasutaja käsitsi sekkumiseta ja ilma olulise konteksti kadumiseta. Taastumise lisakulu peab jääma mõõtmises nähtavaks.
Kiiruse võit peab jõudma valmis ülesandeni
Esimene token võib parandada kasutaja tunnetust, kuid kodeerimisagendi lõpptulemus sõltub ka tööriistadest ja parandustsüklitest. Mõõta võiks aega ülesande algusest kontrollitud tulemuseni. Kui agent alustab vastamist kiiremini, ent teeb sama arvu pikki tööriistakutseid, võib koguülesande võit jääda väiksemaks.
Tulemuses tasub eristada aktiivset seanssi ja katkestustega seanssi. Esimene näitab, kui hästi toimib väikeste jätkupäringute peamine kasutusjuht. Teine näitab, mida maksab töö jätkamine pärast lõime kadumist. Mõlemad on vajalikud, kui kasutaja tööpäev sisaldab pause.
Samuti võiks aruanne loendada ebaõnnestunud jätkamised. Kui rakendus saadab sageli kogu ajaloo uuesti, tuleb välja selgitada, kas põhjuseks on pausid, päringu sobimatus või kliendi olekuhaldus. Üks keskmine kiirusnäit ei aita neid põhjuseid eristada.
Tööriista kordamine ja vestluse kordamine on eri riskid
Taastetee kavandamisel tasub eristada mudelile ajaloo uuesti saatmist ja tööriista uuesti käivitamist. Vestluse taastamine peaks kirjeldama juba toimunut, mitte automaatselt kordama iga varasemat välist tegevust. See on eriti tähtis, kui tööriist võib saata kirju või muuta andmeid.
Turvalises piloodis saab kasutada testtööriista, mille iga käivitamine jätab nähtava kirje. Pärast katkestust võrreldakse, kas klient taastas vestluse või tekitas ka uue kõrvalmõju. Nii saab viga leida enne tootmiskeskkonda jõudmist.
Dokumentatsioon märgib ühtlasi, et Message Threads ei sobi ZDR-i ega HIPAA-valmidusega seadistustega. Funktsiooni ajutine serveriolek ei tähenda, et kõik organisatsiooni andmekäitlusnõuded on täidetud. Enne lubamist tuleb võrrelda konkreetset lepingut ja rakenduse säilitamispoliitikat teenuse toetatud võimalustega.
Arendustiimi otsus võiks põhineda kolmel eraldi tulemusel: kui palju vähenes üleslaadimine, kui palju lühenes kontrollitud töö valmimine ning kas taastamine toimis. Kui kiirus paraneb, aga katkestus jätab vestluse pooleli, vajab klient enne laiemat kasutuselevõttu parandamist. Tokeniarve hindamiseks tuleb endiselt kasutada tegelikke kasutusandmeid.
KKK
Korduma kippuvad küsimused
Kas Message Threads vähendab tokenikulu?
Funktsioon üksi seda ei tee. Mudel saab endiselt kogu vestluse ning väiksem võrgupäring ei tähenda automaatselt väiksemat arvet.
Kas 35 protsenti kehtib kõigile päringutele?
Ei. See on Anthropicu enda mõõdetud mediaan väga pika kontekstiga Claude Code’i päringutes, mitte universaalne teenustaseme lubadus.
Kas klient võib oma vestlusajaloo kustutada?
Ei, rakendus peab suutma serverilõime kadumisel vestluse taastada. Ainult eelmise vastuse identifikaatori säilitamisest selleks ei piisa.
Mis juhtub pikema pausi järel?
Ajutine lõim võib olla aegunud ja klient peab saatma ajaloo uuesti. Piloot peab kontrollima, et selle käigus ei korrataks juba tehtud väliseid toiminguid.
Mida tuleks enne funktsiooni lubamist mõõta?
Mõõta tasub tervikülesande valmimisaega ning edukat taastumist katkestusest. Eraldi tuleb üle vaadata andmekäitlusnõuded ja tegelik tokenikasutus.