Tööriistad
Hume avas Audio Decision API tutvustuse: helist saab struktureeritud hinnanguid
Hume tagastab helisalvestise kohta etteantud vastuste tõenäosusi. API ligipääs on ootenimekirjaga ning tajutud emotsiooni ei tohi käsitleda inimese seisundi objektiivse mõõduna.
Toimetaja Kristjan Krimm · Avaldatud · 5 min lugemist
- Olulisus
- Sihtrühm
- Kõik
- Allikaid
- 3
- Esmaallikas
- Hume

Arengulugu
Tööriistad
Viimase 60 päeva seismograaf: 139 signaali. Joone kõrgus näitab olulisust.
Mis juhtus
Hume tagastab helisalvestise kohta etteantud vastuste tõenäosusi. API ligipääs on ootenimekirjaga ning tajutud emotsiooni ei tohi käsitleda inimese seisundi objektiivse mõõduna.
Miks see loeb
Heli võib täiendada transkriptsioonipõhist kvaliteedikontrolli. Objektiivsemad helisündmused ja subjektiivsed tajuhinnangud vajavad erinevaid kontrollikriteeriume ning inimese järelevalvet.
Sisukord
Lühidalt
4 põhipunkti- Hume tutvustas 2. novembril Audio Decision API-t, mis tagastab helisalvestise kohta etteantud vastuste tõenäosusi.
- Katsekeskkonda saab proovida, kuid API ligipääsu tuleb ametliku teate järgi taotleda ootenimekirja kaudu.
- Tööriist võib aidata leida kõnedest katkestusi, taustahelisid ja inimese ülevaatust vajavaid kohti.
- Tajutud hääletoon ei ole inimese tegeliku emotsiooni objektiivne mõõt ega sobi üksi tema kohta otsuse tegemiseks.
Hume’i uus toode võtab sisendiks heli, küsimuse ja võimalike vastuste komplekti. Eesmärk on anda tarkvarale struktureeritud hinnang olukordades, kus pelk transkriptsioon jätab osa infost välja. Paus, kattuv kõne ja taustamüra võivad muuta seda, kuidas vestlust tõlgendatakse.
The Deep View’ reporter kirjeldab enne avaldamist nähtud demonstratsiooni. See toetab väidet, et toodet on näidatud toimimas, kuid pole sõltumatu tõend kõigi tootja täpsus- ja kiiruslubaduste kohta. Eestikeelsete kliendikõnede kvaliteeti kasutatud kajastus ei kinnita.
Tõenäosuse tähendus tuleb enne kasutamist selgeks teha
Hume’i dokumentatsioon täpsustab, et vastuste tõenäosused hindavad inimhindajate võimalikku vastuste jaotust. Väärtus ligikaudu 0,5 võib tähendada, et kuulajate arvamused jaguneksid, mitte lihtsalt seda, et mudel on ebakindel. See erinevus muudab oluliselt automaatsete reeglite koostamist.
Kui küsimus puudutab kõne tajutavat loomulikkust, võib inimeste eriarvamus olla loomulik osa mõõdetavast nähtusest. Seda ei tohiks peita ühe näiliselt täpse sildi taha. Rakendus peaks säilitama küsimuse tähenduse ja näitama, mida arv tegelikult kirjeldab.
Praktiline oht tekib siis, kui arendaja tõlgendab igat suurt numbrit sündmuse kindla tõenäosusena. Näiteks hinnang sellele, kas hääl kõlab kannatamatult, ei tõenda kannatamatuse põhjust ega inimese kavatsust. Selline järeldus vajaks muud konteksti ja inimese hinnangut.
Kontrollitav helisündmus ja tajutud toon vajavad eri mõõdikut
Kõnelejate kattumist või taustal kõlavat helinat saab hinnata teistsuguse kontrolliga kui empaatiat. Esimeste puhul saab kuulaja märkida sündmuse esinemise ja aja. Teiste puhul tuleb arvestada kuulajate tõlgenduste erinevust ning olukorra konteksti.
Seetõttu võiks kõnede kvaliteedikontroll jaguneda konkreetseteks küsimusteks. Üldine küsimus, kas kõne oli hea, ühendab liiga palju eri asju. Kas teenindaja katkestas klienti, kas vastus puudutas kliendi küsimust ja kuidas hääl kõlas, on erinevad hinnangud.
Automatiseerimise esimeses etapis võiks süsteem suunata salvestise inimese ülevaatusse. Ülevaataja saab kuulata vastavat lõiku ning otsustada, kas seal on probleem. See annab ühtlasi andmeid selle kohta, millised automaatsed märguanded olid põhjendatud.
Eesti kõned vajavad esinduslikku katsekomplekti
Piloodi salvestised peaksid peegeldama tegelikku tööd: erinevaid kõnelejaid, ühenduse kvaliteeti, taustamüra ja keelevahetust. Hinnata tuleks ka nimesid, numbreid ja olukordi, kus inimene mõtleb pikemalt enne vastamist. Need tingimused võivad muuta nii sisu mõistmist kui ka tajutud tooni.
Katse jaoks tuleks enne mudeli vastuste vaatamist määrata hindamisjuhend. Inimhindajad peaksid teadma, mida tähendab näiteks katkestus ja millal paus kuulub loomuliku vestluse juurde. Kui juhend on ebamäärane, on raske öelda, kas erinevus tuleneb mudelist või hindajatest.
Tulemusi võiks vaadata küsimuste kaupa. Hea tulemus taustamüra avastamisel ei kinnita sama head tulemust kõne kavatsuse mõistmisel. Samuti ei peaks ühe lihtsa kõne õnnestumist laiendama kõigile murretele või kliendigruppidele.
Küsimuste sõnastus ja mudeli uuendused mõjutavad võrdlust
Ametlik dokumentatsioon soovitab võrreldavate salvestiste puhul kasutada samu küsimusi samas järjekorras, sest ka teiste küsimuste muutmine võib vastust mõjutada. Samuti võib mudel uueneda ilma API versiooni muutuseta. Seetõttu vajab kvaliteedivõrdlus rohkem infot kui üks lõpphinne.
Katse juurde võiks salvestada küsimused, vastuste valikud, tulemused ja teenuse antud käivituse identifikaatori. Nii saab hiljem selgitada, milliste tingimuste juures vastus saadi. Kui mudel või hindamisjuhend muutub, tuleks varasem esinduslik valim uuesti läbi vaadata.
Lävend, mille järel kõne ülevaatusse saadetakse, tuleks valida tegeliku töökoormuse järgi. Väga tundlik seadistus võib leida rohkem võimalikke juhtumeid, kuid kasvatada ka asjatut kontrolli. Mõõta tuleb nii märkamata probleeme kui ka põhjendamatuid märguandeid.
Piiratud ligipääs ei ole tootmisvalmiduse lubadus
Avalik teade kutsub proovima katsekeskkonda ja taotlema API ligipääsu. Sellest ei järeldu konkreetse kliendi tootmisleping, garanteeritud töötlusaeg ega kinnitatud hinnastus kogu kavandatud mahule. Reaalajas rakenduse sobivust tuleb eraldi kontrollida.
Kõnesalvestiste kasutamisel peab meeskond teadma, milliseid andmeid teenusesse saadetakse ning kes tulemusi näeb. Katseandmete ulatus ja säilitamine tuleb enne pilooti kokku leppida. Eriti tähtis on vältida seda, et tajutud tooni hinnang muutub märkamatult töötaja või kliendi automaatseks iseloomustuseks.
AI-Radari soovitatud alguspunkt on kvaliteedispetsialisti abistav otsing: leia salvestistest kontrollitavad helisündmused ja märgi võimalikud ülevaatuskohad. Mõju mõõdik oleks ajavõit koos kinnitatud leidude ning ekslike märguannete arvuga. Emotsiooni oletus peaks jääma arutelu sisendiks, mitte iseseisvaks otsustajaks.
KKK
Korduma kippuvad küsimused
Kas Audio Decision API transkribeerib kõne?
Dokumentatsiooni järgi annab see vastuste tõenäosusi, mitte transkriptsiooni ega selgitavat teksti. Vajaduse korral tuleb transkriptsioon lisada eraldi töövooga.
Kas suur tõenäosus tähendab mudeli suurt kindlust?
Seda ei tohi automaatselt nii tõlgendada. Hume seob arvu inimhindajate võimaliku vastuste jaotusega, mille tähendus sõltub küsimusest.
Kas mudel mõõdab inimese tegelikku emotsiooni?
Ei. Tajutud hääletoon ja inimese sisemine seisund on erinevad asjad. Hinnang vajab konteksti ega tõenda kavatsust või põhjust.
Kas eestikeelne kvaliteet on kinnitatud?
Selles kajastuses seda ei testitud. Vajalik on oma kõnesid ja tingimusi esindav valim koos selge inimhindamise juhendiga.
Milliseks tööks sobib esimene piloot?
Piiritletud kvaliteedikontrolli abivahendiks, kus märgitud lõigu vaatab üle inimene. Nii saab mõõta kasulikku ajavõitu ja valede märguannete koormust.