Liigu põhisisu juurde
Buildrya

Tööriistad

Google avas Gemini Decisions API: kindlushinnang vajab kontrolli oma tugipiletitel

Gemini Decision 1 hindab etteantud valikuid hinnaga 0,10 dollarit miljoni sisendtokeni eest. Tugipiletite automatiseerimisel tuleb mõõta ka enesekindlaid vigu ja inimese töö hulka.

Toimetaja Kristjan Krimm · Avaldatud · 5 min lugemist

Olulisus
Sihtrühm
Kõik
Allikaid
2
Esmaallikas
Google
Valge kiri Gemini Decisions API sinisel valguslaikudega taustal.
Pilt: Google

Viimase 60 päeva seismograaf: 139 signaali. Joone kõrgus näitab olulisust.

Mis juhtus

Gemini Decision 1 hindab etteantud valikuid hinnaga 0,10 dollarit miljoni sisendtokeni eest. Tugipiletite automatiseerimisel tuleb mõõta ka enesekindlaid vigu ja inimese töö hulka.

Miks see loeb

Liigitusliides võib lihtsustada piiratud valikutega töövoogu. Automatiseerimise lävend tuleb siduda oma andmete tegeliku veataseme ning inimese ülevaatuse kuluga.

Lühidalt

4 põhipunkti
  1. Google avas 11. novembril Gemini Decision 1 mudelil põhineva Decisions API.
  2. Liides hindab etteantud valikuid ning tagastab tõenäosused ja kindlushinnangud.
  3. Ühe päringu juurde saab anda kuni 1000 küsimust; avaldatud sisendhind on 0,10 dollarit miljoni tokeni eest.
  4. Eestikeelse tugipileti automaatne suunamine vajab oma andmetel kontrollitud lävendit ja inimese ülevaatust.

Google’i 11. novembri väljalase tutvustab liidest piiratud valikute tegemiseks. Selle asemel et paluda mudelilt vabas vormis vastust, annab arendaja ette küsimused ja võimalikud tulemused. Väljundtokenite eest eraldi tasu ei küsita.

ArtificialWatchi kajastus kinnitab uue liidese ja mudeli avalikustamist. Google’i võrdlusväited kiiruse ning kindlushinnangute kvaliteedi kohta pärinevad tootja esitatud mõõtmistest. Nendest ei saa tuletada eestikeelse klienditoe valmis täpsusnäitajat.

Buildrya esimene katse võiks olla tugipiletite liigitamine näiteks arvelduse, tehnilise probleemi ja lepinguküsimuse vahel. Eesmärk oleks teada saada, kui palju tööd saab usaldusväärselt õigesse järjekorda suunata. Käesolevas loos kirjeldatud katset pole AI-Radar läbi viinud.

Piiratud valik vajab hästi määratud kategooriaid

Enne mudeli kasutamist tuleb otsustada, mida kategooriad tähendavad. Näiteks „arveldus” võib sisaldada nii makse ebaõnnestumist kui ka arve koopia küsimist. Kui nende eest vastutavad eri meeskonnad, võib liiga üldine kategooria jätta suunamise probleemi alles.

Katsekomplekti võiks koostada lubatud kasutusega või anonüümitud tugipiletitest ning lasta need esmalt inimestel märgendada. Kui kaks hindajat ei nõustu, tuleb uurida, kas pilet on mitmetähenduslik või kategooria halvasti kirjeldatud. Mudeli vastust ei saa usaldusväärselt hinnata ebastabiilse vastusevõtme järgi.

Vajalik oleks ka võimalus märgistada juhtum ebaselgeks või mitut teemat puudutavaks. Kui kõik sisendid peavad tingimata mahtuma kolme kitsasse valikusse, võib süsteem anda näiliselt täpse tulemuse ka piletile, millele ükski valik ei sobi. Selline sundvalik vajab eraldi kontrolli.

Kindlushinnang ei ole iseenesest õigsuse tõend

Google’i liides tagastab hinnanguid, mille alusel saab arendaja otsustada edasisuunamise üle. Oma katses tuleks siiski mõõta, kui sageli kõrge hinnangu saanud vastus tegelikult õige oli. Eriti oluline on vaadata enesekindlalt valesid vastuseid, sest just need võivad inimese filtrist läbi pääseda.

Üks praktiline lähenemine oleks jagada hinnangud vahemikeks ja arvutada iga vahemiku tegelik õigsus. Seejärel saab valida automaatse suunamise piiri koos lubatud veatasemega. Lävendit ei tasu määrata ainult selle järgi, milline number tundub piisavalt kõrge.

Hindamiseks kasutatud osa andmetest tuleks hoida lävendi valimise valimist lahus. Muidu võib reeglit sobitada just neile näidetele, mille tulemust juba teatakse. Lõpukontroll peaks näitama, kas valitud lävend töötab ka seni nägemata piletitega.

Eesti keel vajab eraldi keeruliste juhtumite valimit

Tugipilet võib sisaldada lühendeid, vigast kirjapilti ning eesti ja inglise keele segu. Katse võiks nende osakaalu nähtavaks teha. Üldine keskmine tulemus võib varjata, et süsteem suunab just ühe konkreetse kirjutusviisiga klientide päringuid halvemini.

Eraldi võiks kontrollida eitusi ja varasema vestluse parandusi. Näiteks „makse ei ebaõnnestunud, probleem on ligipääsus” ei tohiks sattuda arveldusse üksnes märksõna tõttu. Samuti tuleb eristada kliendi enda kirjeldust tema edasi saadetud teise inimese sõnumist.

Katse aruandes võiks olla iga valesti suunatud pileti juures vea põhjus. See aitaks otsustada, kas parandada kategooria kirjeldust, anda mudelile vajalik kontekst või suunata selline juhtum alati inimesele. Iga viga ei vaja automaatselt tugevamat mudelit.

Kogukulu sisaldab ka inimese leitud vigu

Avaldatud hinna põhjal maksaks kümme miljonit arveldatavat sisendtokenit ühe dollari. See on hinnakirjal põhinev arvutus, mitte hinnang kindla arvu tugipiletite maksumusele. Küsimuste juhised ja kriteeriumid võivad sisendimahtu suurendada ning kogu töövoos võib olla muid kulusid.

Võrdluseks sobiksid olemasolev käsitsi suunamine, senine mudelilahendus ja Decisionsi katse. Kõigis variantides tuleks mõõta sama lõpptulemust: õigesse järjekorda jõudnud juhtum koos parandustööga. Odav esmane liigitus võib kaotada eelise, kui valesse meeskonda sattunud pileti käsitlemine võtab palju aega.

Lisaks tuleks eraldi näidata, kui suur osa juhtumeid anti inimesele. Kõrge õigsuse võib saavutada ka peaaegu kõike käsitsi kontrollides. Automatiseerimise väärtuse hindamiseks on vaja korraga teada nii vea hulka kui ka reaalselt säästetud ülevaatustööd.

Suunamisotsus ei pea andma agendile muutmisõigust

Esimene piloot võiks lõppeda soovitatud kategooria ja põhjendatud kontrollistaatusega. Päris kliendikirjeid ega lepinguid ei peaks selle katse käigus automaatselt muutma. Nii saab hinnata liigituse sobivust enne tegevusõiguste laiendamist.

Kui hiljem lisatakse automaatne toiming, tuleb kontrollida ka tööriistakihti. Pileti sisu ei tohi muuta lubatud kategooriate loendit ega anda õigust teise kliendi andmeid lugeda. Mudeli valitud silt on töövoo sisend, millele rakendus peab oma piirangud peale panema.

Kasutusse võetud lahenduses võiks säilitada väikese inimese kontrollitud valimi ka kõrge kindlushinnanguga vastustest. Vastasel juhul muutuvad need vead nähtamatuks, mille üle süsteem ise kõige kindlam on. Uute tootekategooriate või keelekasutuse lisandumisel tuleks lävendit uuesti hinnata.

Enne piloodi laiendamist võiks meeskond kokku leppida peatamise tingimuse. Kui mõnes olulises kategoorias kasvab eksimuste hulk üle lubatud piiri, suunatakse see osa tagasi inimesele. Selline reegel aitab reageerida ka siis, kui üldine keskmine näib endiselt hea. Samuti tuleb talletada mudeli versioon ja juhiste muudatused, et vea põhjuse uurimine oleks hiljem korratav.

Juhtpilt: Google’i ametlik Gemini Decisions API nimega väljalaskegraafika. Krediit: Google; kujutis ei esita eestikeelse tugipiletikatse tulemusi.

KKK

Korduma kippuvad küsimused

5 küsimust
Mida Decisions API tagastab?

Google’i teate järgi hindab see etteantud valikuid ning annab tõenäosusi ja kindlushinnanguid. Selle keskne kasutus erineb vabas vormis teksti kirjutavast vestlusest.

Kas 1000 küsimust tähendab 1000 eraldi kliendipileti tasuta töötlemist?

Ei. Piir kirjeldab küsimuste arvu ühe päringu juures ning arveldamine sõltub sisendtokenitest, mitte sellisest lihtsast piletite arvust.

Kas väljundtokenite eest tuleb tasuda?

Väljalasketeade ütleb, et eraldi väljundtokenite tasu ei lisandu. See ei kaota sisendkulu ega teiste töövoo osade võimalikku kulu.

Kas kõrge kindlushinnanguga otsuse võib kohe automatiseerida?

Enne tuleks kontrollida hinnangu seost tegeliku õigsusega oma andmetel. Ka kõrge hinnanguga vastuste hulgas võib olla vigu.

Kas AI-Radar on eestikeelseid tugipileteid mõõtnud?

Selles loos esitatud lahendus on katseplaan. Eestikeelset täpsust ega kindlat kokkuhoidu siin mõõtmistulemusena ei esitata.

Parandused

Avaldamise järel sisulisi parandusi ei ole.

Teata veast →

Artikli autor

Kristjan Krimm

Nädala viis

Viis olulist signaali sinu postkasti.

Üks kord nädalas: praktilised AI-signaalid, tööriistauudised ja olulised muutused. Ilma mürata.