Liigu põhisisu juurde
Buildrya

Tööriistad

Plurai avas agentide simulatsiooniplatvormi: proovile tuleb panna ka peatumise oskus

Plurai teatas üldisest saadavusest ja 13 miljoni dollari seemnerahastusest. Simulatsiooni väärtus sõltub sellest, kas see katab päris töövoo puuduvad andmed, õigused ja katkestused.

Toimetaja Kristjan Krimm · Avaldatud · 6 min lugemist

Olulisus
Sihtrühm
Kõik
Allikaid
2
Esmaallikas
Plurai / PR Newswire
Plurai kaasasutajad Elad Levi vasakul ja Ilan Kadar paremal seisavad õues ettevõtte nimega mustades särkides.
Pilt: Plurai / PR Newswire

Viimase 60 päeva seismograaf: 139 signaali. Joone kõrgus näitab olulisust.

Mis juhtus

Plurai teatas üldisest saadavusest ja 13 miljoni dollari seemnerahastusest. Simulatsiooni väärtus sõltub sellest, kas see katab päris töövoo puuduvad andmed, õigused ja katkestused.

Miks see loeb

Simulatsioon võimaldab uurida puudulikke andmeid, õigusi ja katkestusi enne päris toiminguid. Testi läbimine ei tõenda kõigi tootmisjuhtumite katmist.

Lühidalt

4 põhipunkti
  1. Plurai teatas 11. novembril simulatsiooniplatvormi üldisest saadavusest.
  2. Ettevõte avalikustas samal päeval 13 miljoni dollari suuruse seemnerahastuse.
  3. Platvorm jäljendab agendi töökeskkonda ettevõtte teadmiste, tööriistade ja reeglite põhjal.
  4. Simulatsiooni väärtus sõltub sellest, kas test esindab päris töövoo keerulisi olukordi ja lubatud tegevuspiire.

Plurai ettevõtte levitatud pressiteade ühendab kaks uudist: platvormi laiema avamise ja 13 miljoni dollari seemnerahastuse avalikustamise. Varem oli ligipääs piiratud valitud partnerite ja klientidega. Täpset rahastuse sulgemispäeva teade ei nimeta.

TechCrunch kajastas samuti Plurai rahastust ja simulatsioonipõhist lähenemist. Pressiteate jõudlus- ja säästuväiteid ei käsitleta selles loos sõltumatu kontrollina. Uue platvormi saadavus annab võimaluse katsetada, kuid ei tõenda konkreetse ettevõtte agendi töökindlust.

Buildrya võiks võtta ühe klienditeenindusagendi ja testida kolme otsust: millal ta peatub, millal küsib täpsustust ning millal annab juhtumi inimesele. Allpool kirjeldatud katse on ettepanek, mitte AI-Radari tehtud tootetest. Selle keskne mõõdik oleks lubatud piirides saavutatud tulemus.

Keskkonna koopia peab sisaldama ka piiranguid

Plurai kirjeldab oma lähenemist agendi ja selle maailma digitaalse kaksikuna, mis tugineb kliendi teadmistele, tööriistadele ja reeglitele. Katse kavandamisel tuleks küsida, millised päris keskkonna osad on koopias olemas. Eriti tähtsad on teenusekonto õigused ja olukorrad, kus tööriist vastust ei anna.

Kui simulatsiooni kasutaja saab alati kõik andmed ja tööriistad töötavad alati ideaalselt, võib agent näida valmis ka puuduliku tõrkekäsitlusega. Seetõttu võiks iga olulise sammu juurde lisada vähemalt ühe piirangu. Näiteks tellimus on leitav, kuid makseandmete lugemiseks puudub õigus.

Keskkonna kirjeldus peaks olema versioonitud koos testiga. Kui ettevõte muudab tagastusreeglit või tööriista vastuse kuju, tuleb simulatsioon samuti üle vaadata. Vastasel juhul võib test jääda edukaks maailmas, mida päris töö enam ei järgi.

Puuduv andmeväli peaks muutma agendi järgmist sammu

Klienditeeninduse katse võiks alata tavalisest tagastuspäringust. Agent leiab tellimuse ning kontrollib vajalikku teavet. Järgmiseks antakse talle sama juhtum, kuid eemaldatakse üks otsuse jaoks vajalik väli, näiteks kohaletoimetamise kuupäev.

Edu ei tähenda siin tingimata tagastuse lõpetamist. Kui otsuseks pole piisavalt infot, võiks oodatav tulemus olla täpsustusküsimus või juhtumi suunamine inimesele. Agent ei tohiks täita puuduvat kuupäeva usutava oletusega lihtsalt selleks, et ülesanne lõpuni viia.

Testiraport peaks eristama põhjendatud peatumist ja võimetust lihtsat tööd teha. Need on erinevad tulemused. Kui hinnatakse ainult lõpetatud toimingute arvu, võib reeglit järgiv agent saada halvema hinde kui piiranguid eirav agent.

Õiguse puudumine peab olema tehniliselt jõustatav

Teises juhtumis võiks vajalik teave olemas olla, kuid konto ei tohi seda lugeda. Rakendus peab tööriistakutse tegelikult tagasi lükkama. Vestluses antud juhis „ära vaata neid andmeid” ei asenda ligipääsukontrolli.

Katse võiks vaadata, kas agent üritab keeldu ületada teise tööriista või teise sihtobjekti kaudu. Samuti tuleks kontrollida, kas ta teavitab inimest täpsest takistusest. Ebamäärane vastus võib jätta kliendi arvama, et toiming lõpetati, kuigi selleks puudus õigus.

Tulemuse juurde tuleb salvestada nii agendi sõnum kui ka tööriistakihi tegelik tegevus. Viisakas kinnitus ei tõenda, et keelatud päringut ei tehtud. Simulatsiooni väärtus suureneb siis, kui hindaja saab kontrollida mõlemat jälge.

Teenuse katkestus ei tohiks tekitada topelttoimingut

Kolmas juhtum võiks katkestada ühenduse pärast seda, kui väline süsteem võis toimingu juba teha. Agendile jääb teadmata, kas tagasimakse või muudatus jõustus. Oodatav järgnev samm tuleb enne katset määrata, arvestades toimingu tagajärgi.

Turvaline taastumine võib vajada lõppseisu kontrollimist, mitte lihtsalt sama käsu uuesti saatmist. Simulatsioonis tuleks näidata ka olukorda, kus esimene toiming tegelikult õnnestus. Nii selgub, kas kordus loob duplikaadi või tuvastab juba tehtud töö.

Raportis võiksid olla eraldi õige lõppseis, korduskatsete arv ja inimese sekkumine. Üksainus koondhinne ei pruugi näidata, kas agent saavutas tulemuse liigsete toimingutega. Klienditoe puhul võib just see erinevus otsustada, kas töövoogu saab laiendada.

Haruldasi juhtumeid ei tohi valida ainult mugavuse järgi

Sünteetiliste testide koostamisel võiks alustada päriselt esinenud probleemide tüüpidest. Tundlikku algmaterjali ei pea selleks automaatselt kopeerima; sageli saab kirjeldada sama struktuuri väljamõeldud andmetega. Oluline on säilitada otsuse jaoks vajalik vastuolu või puudujääk.

Katsekomplekt peaks sisaldama ka täiesti tavapäraseid juhtumeid. Kui kõik näited on keerulised ründed, ei saa hinnata, kas agent suudab igapäevast tööd mõistliku ülevaatusmahuga teha. Samuti võiks osa juhtumeid jätta parandamise ajal varjatuks ja kasutada alles lõpphindamisel.

Hindamiskriteeriumid tuleks kirjutada enne tulemuste nägemist. Inimene võib seejärel läbi vaadata nii läbikukkunud kui ka osa edukaks märgitud katseid. See aitab leida olukordi, kus automaatne hindaja kiidab heaks näiliselt õige, kuid reeglitega vastuolus oleva lahenduse.

Simulatsioonilt tootmisse tuleb liikuda piiratud sammuga

Pärast head katsetulemust võiks esimene päris töövoog anda agendile ettepanekute tegemise võimaluse, jättes välised muudatused inimese kinnitada. Nii saab võrrelda simulatsioonis nähtut tegeliku sisendi ja tööriistadega. Lahknevused peaksid jõudma tagasi testikomplekti.

Meeskond võiks määrata ka tingimuse, mille korral agendi tegevus peatatakse. Näiteks uus vealiik või selgitamata õigusekatse vajab uurimist enne mahu kasvatamist. Selline piir aitab vältida olukorda, kus üks hea simulatsiooniring muutub põhjendamatuks üldiseks töökindluslubaduseks.

Sisemises aruandes tuleb eristada platvormi leitud vigu, arendaja tehtud parandusi ning hiljem uuesti kontrollitud tulemusi. Alles parandusejärgne test näitab, kas probleem kadus ja kas mõni varem töötanud juhtum ei halvenenud. See tööahel on sisukam otsuse alus kui üks turunduses avaldatud kokkuhoiuprotsent.

Juhtpilt: Plurai kaasasutajad Elad Levi vasakul ja Ilan Kadar paremal. Foto: Guy Hamoy / Plurai, ettevõtte levitatud pressimaterjal; veebivaates kärbitud.

KKK

Korduma kippuvad küsimused

5 küsimust
Mis 11. novembril avanes?

Plurai teatas platvormi üldisest saadavusest. Varasem piiratud partnerikasutus ja uus laiem avamine on eri etapid.

Kas rahastus suleti samal päeval?

Täpset sulgemiskuupäeva pressiteade ei kinnita. 11. november on siin avalikustamise päev.

Kas simulatsiooni läbimine tõendab täielikku töökindlust?

Ei, tulemus sõltub keskkonna ja juhtumite esinduslikkusest. Päris töö võib tuua uusi sisendeid ja piiranguid.

Millal peaks agent peatuma?

Katseplaanis siis, kui vajalik info või õigus puudub ja lubatud jätkusamm pole selge. Konkreetne reegel tuleb enne testimist kirja panna.

Kas AI-Radar kinnitab Plurai säästuprotsente?

Selles loos neid sõltumatu mõõtmisena ei esitata. Fookus on kontrollitaval katseplaanil ja tulemuse piiridel.

Parandused

Avaldamise järel sisulisi parandusi ei ole.

Teata veast →

Artikli autor

Kristjan Krimm

Nädala viis

Viis olulist signaali sinu postkasti.

Üks kord nädalas: praktilised AI-signaalid, tööriistauudised ja olulised muutused. Ilma mürata.