Tõrge, mida keegi ette ei näe
Küsi üldotstarbeliselt assistendilt, milline on su ettevõtte etteteatamistähtaeg, ja ta ütleb sulle. Soravalt. Õige tooniga, õige ülesehitusega ja arvuga, mis kõlab täpselt nagu etteteatamistähtaeg. Võib isegi juhtuda, et see on õige — statistiliselt on midagi selle lähedast tavaline.
Just see ongi probleem. Vale vastus, mis näeb vale välja, jääb sekundiga vahele. Vale vastus, mis näeb õige välja, saadetakse edasi, kleebitakse lepingusse, tsiteeritakse kliendile. AI hind ettevõtte sees ei ole peaaegu kunagi kuutasu. See on üks enesekindel vastus kuus, mida kellelgi ei tulnud pähe kontrollida, sest selles polnud midagi kontrollimist vajavat.
Seega küsimus, mille pead esitama igale assistendile, mille oma meeskonna ette paned, ei ole „kui head on tema vastused“. See on: mida ta teeb siis, kui tal pole vastuseks mingit alust?
Allikapõhisus: vasta sellest, mis sul tegelikult on
Üldmudel vastab kõige põhjal, mida ta kunagi lugenud on. Allikapõhine assistent vastab kindlaksmääratud hulga sinu enda materjali põhjal — käsiraamat, lepingud, protseduurid, hinnakirjad — ja mitte millegi muu põhjal.
See piirang kõlab nagu puudus. Tegelikult on see kogu toode.
Erinevus ilmneb kohe. Küsi mõlemalt sama küsimus oma tagastustingimuste kohta. Üldmudel annab sulle mõistliku valdkonnastandardi vastuse. Allikapõhine annab sinu tingimused või ütleb, et sinu tingimused seda juhtumit ei kata. Kasulik on neist ainult üks ja see on see, mis vahel vähem ütleb.
Allikapõhisus muudab ka seda, mida vale vastus tähendab. Allikateta mudel eksib nähtamatult — arutluskäik on mudeli sees. Allikapõhine mudel osutab eksides dokumendile ja sina saad selle dokumendi avada ning näha, et see on aegunud. Viga muutub leitavaks. See on teistsugune süsteemiklass.
Süsteem, mis saab eksida nii, et viga on jälgitav, on turvalisem kui süsteem, millel on enamasti õigus põhjustel, mida sa kontrollida ei saa.
Viited ei ole joonealune märkus, vaid liides
Paljud tööriistad lisavad nüüd vastuse alla väikese „allika“ lingi. Kui kohelda seda kaunistusena, jääb märkamata, mida see tegelikult teeb.
Viide muudab kasutaja käitumist. Kui allikas on nähtav, klikivad inimesed sellele nende vastuste puhul, mis loevad, ja jätavad vahele need, mis ei loe — just nii, nagu inimtähelepanu jagunema peakski. Kui allikat pole, siis inimesed kas ei kontrolli midagi või kontrollivad kõike, ja mõlemad on halvad tulemused.
Viide muudab ka ehitaja käitumist. Kui iga vastus peab osutama dokumendile, ei saa enam õhukest teadmusbaasi soravat mudelit kasutades kinni mätsida. Sisulüngad muutuvad nähtavaks vastuste lünkadena. Assistendist saab sinu enda dokumentatsiooni audit — tavaliselt ebamugav ja alati kasulik.
Tee allikas täpseks. „Töötaja käsiraamatust“ ei ole viide; viide on osa, versioon ja kuupäev. Kui vastus tuli dokumendist, mida viimati uuendati kolm aastat tagasi, väärib lugeja seda teada enne, kui tegutsema asub.
Õigused on osa vastusest, mitte seadistus
Assistent, mis saab lugeda kõike, ütleb varem või hiljem kellelegi midagi, mida ta teadma ei peaks. Mitte pahatahtlikult — vaid seetõttu, et küsimus oli sõnastatud nii, et tõi välja palgaandmed, lepingu mustandi või dokumendi osakonnast, millega sellel inimesel pole mingit pistmist.
Lahendus ei ole tagantjärele külge poldetud filter. Lahendus on teha ligipääsust pinnas, millel vastus seisab: assistent otsib ainult sealt, mida küsijal on niigi lubatud avada, nii et kaks kolleegi võivad esitada identse küsimuse ja saada õigustatult erinevad vastused. Kui su ettevõttel on juba organisatsiooniskeem ja dokumendiõigused, peaks see struktuur assistenti juhtima. Kui assistent vajab oma eraldi õigusmudelit, on sul nüüd kaks süsteemi, mida sünkroonis hoida, ja nad hakkavad lahknema.
Tee keeldumismäärast number, mida jälgid
Siin on näitaja, mida peaaegu keegi ei mõõda: kui sageli assistent vastamisest keeldub?
Kui see on nullilähedane, ei ole süsteem aus — ükski dokumendikogum ei kata kõike, mida inimesed küsivad. Kui see on väga kõrge, on teadmusbaas liiga õhuke või otsing ei tööta. Kuskil nende vahel on süsteem, mis räägib sulle tõtt selle kohta, mida ta sisaldab.
Veel parem: kohtle iga keeldumist signaalina, mitte ummikteena. Küsimus, millele assistent vastata ei osanud, on küsimus, mida su dokumentatsioon ei kata. Logi need, rühmita need, ja sul on pingerida sellest, mida järgmisena kirjutada — loodud tööd tegevate inimeste tegelikest vajadustest, mitte sellest, kellel juhtus olema aega poliitikat kirjutada.
Seitse küsimust igale pakkujale
Enne kui midagi allkirjastad, lase demol neile vastata:
- Küsi midagi, mida su dokumendid tegelikult ei kata. Kas ta ütleb seda või toodab midagi usutavat?
- Küsi midagi, milles su dokumendid üksteisele vastu räägivad. Kas ta toob vastuolu välja või valib vaikselt ühe?
- Klõpsa kolme vastuse allikal. Kas jõuad täpse lõiguni või ainult failini?
- Esita sama küsimus kahe eri õigustega inimesena. Kas vastused erinevad õigesti?
- Küsi ühes keeles dokumendi kohta, mis on kirjutatud teises. Päris ettevõtted toimivad segakeelsetel dokumentidel.
- Küsi millegi kohta, mis hiljuti muutus. Kas kasutatakse praegust versiooni või seda, mille ta esimesena indekseeris?
- Küsi, kus andmeid töödeldakse ja hoitakse. Vastus peaks olema lause, mitte koosolek.
Pakkuja, kes oma süsteemis kindel on, naudib esimest ja teist küsimust. Jälgi neid, kes demo neist eemale juhivad.
Miks me seda nii ehitame
Panime selle põhimõtte sisemise tööruumi keskmesse, mida ehitame: töötaja küsib tavakeeles, vastus tuleb ainult ettevõtte enda dokumentidest, allikas näidatakse, ja kui allikat pole, ütleb assistent, et ei tea, selle asemel et lünka täita.
Viimast käitumist on kõige raskem välja lasta, sest see paneb demo halvemini välja nägema. Assistent, mis vastab kõigele, tundub kümme minutit muljetavaldav. Assistent, mis vahel ütleb „ma ei tea, ja vaata, mida ma otsisin“, teenib midagi, mida muljetavaldav demo kunagi ei teeni: inimesed hakkavad teda uskuma siis, kui ta tõesti vastab.
See usaldus ongi kogu vara. Kõik ülejäänu on otsing.