Kimsenin gelişini görmediği arıza
Genel amaçlı bir asistana şirketinizdeki ihbar süresini sorun, size söyleyecektir. Akıcı biçimde. Doğru tonda, doğru yapıda ve tam olarak bir ihbar süresi gibi duran bir sayıyla. Hatta doğru bile olabilir — istatistiksel olarak o civarda bir sayı yaygındır.
Sorun tam da bu. Yanlış göründüğü belli olan yanlış cevap bir saniyede yakalanır. Doğru görünen yanlış cevap ise iletilir, bir sözleşmeye yapıştırılır, müşteriye aktarılır. Şirket içinde AI’ın maliyeti neredeyse hiçbir zaman abonelik değildir. Ayda bir çıkan, kimsenin doğrulamayı akıl etmediği o kendinden emin cevaptır — çünkü üzerinde doğrulanacak bir şey yok gibi durmaktadır.
Dolayısıyla ekibinizin önüne koyacağınız her asistana sorulacak soru "cevapları ne kadar iyi" değildir. Şudur: elinde hiçbir dayanak yokken ne yapıyor?
Dayanak: gerçekten elinizde olandan cevap vermek
Genel bir model, okuduğu her şeyden cevap verir. Dayanaklı bir asistan ise sizin kendi materyalinizin tanımlı bir kümesinden cevap verir — el kitabınız, sözleşmeleriniz, prosedürleriniz, fiyat listeleriniz — ve başka hiçbir şeyden.
Bu kısıt bir eksiklik gibi duruyor. Oysa ürünün ta kendisi.
Fark hemen görünür. İade politikanıza dair aynı soruyu ikisine de sorun. Genel model size makul bir sektör cevabı verir. Dayanaklı olan sizin politikanızı verir ya da politikanızın bu durumu kapsamadığını söyler. Bunlardan yalnızca biri işe yarar ve o da bazen daha az söyleyendir.
Dayanak, yanlış cevabın anlamını da değiştirir. Dayanaksız bir model görünmez biçimde yanılır; akıl yürütme modelin içindedir. Dayanaklı bir model yanıldığında bir belgeyi işaret eder; siz o belgeyi açıp güncelliğini yitirdiğini görebilirsiniz. Hata bulunabilir hale gelir. Bu, bambaşka bir sistem sınıfıdır.
İzini sürebileceğiniz bir biçimde yanılabilen bir sistem, çoğunlukla haklı olup gerekçelerini inceleyemediğiniz bir sistemden daha güvenlidir.
Kaynak bir dipnot değil, arayüzün kendisidir
Pek çok araç artık cevabın altına küçük bir "kaynak" bağlantısı koyuyor. Bunu süs saymak, onun ne işe yaradığını gözden kaçırmaktır.
Kaynak, kullanıcının davranışını değiştirir. Kaynak görünür olduğunda insanlar önemli cevaplarda ona tıklar, önemsizlerde atlar — ki bu, insan dikkatinin tam da doğru dağılımıdır. Kaynak yoksa insanlar ya hiçbir şeyi doğrulamaz ya da her şeyi doğrulamaya kalkar; ikisi de kötü sonuçtur.
Kaynak, geliştiricinin davranışını da değiştirir. Her cevabın bir belgeyi göstermesi gerektiği anda, zayıf bir bilgi tabanını akıcı bir modelle örtbas edemezsiniz. İçerikteki boşluklar, cevaplardaki boşluklar olarak görünür hale gelir. Asistan, kendi dokümantasyonunuzun denetimine dönüşür — genellikle can sıkıcı, her zaman faydalı.
Kaynağı belirgin yapın. "Çalışan el kitabından" bir kaynak değildir; bölüm, sürüm ve tarih kaynaktır. Cevap en son üç yıl önce güncellenmiş bir belgeden geldiyse, okuyan kişi harekete geçmeden önce bunu bilmeyi hak eder.
Yetkiler cevabın parçasıdır, bir ayar değil
Her şeyi okuyabilen bir asistan er ya da geç birine söylememesi gereken bir şeyi söyler. Kötü niyetle değil — bir soru, maaş verilerini, bir sözleşme taslağını ya da o kişinin hiç ilgisi olmayan bir departmanın belgesini çekecek şekilde formüle edildiği için.
Çözüm, sonradan takılan bir filtre değildir. Çözüm, erişimi cevabın üzerinde durduğu zemin haline getirmektir: asistan yalnızca soruyu soranın zaten açmaya yetkili olduğu yerden getirir; böylece iki çalışan aynı soruyu sorup haklı olarak farklı cevaplar alabilir. Şirketinizde zaten bir organizasyon şeması ve belge yetkileri varsa, asistanı o yapı yönetmelidir. Asistanın kendi ayrı yetki modeline ihtiyacı varsa, artık senkronize tutmanız gereken iki sisteminiz var — ve zamanla ayrışırlar.
Reddetme oranını izlediğiniz bir sayıya çevirin
Neredeyse kimsenin takip etmediği ölçüt şu: asistan ne sıklıkla cevap vermeyi reddediyor?
Sıfıra yakınsa sistem dürüst davranmıyordur — hiçbir belge kümesi insanların sorduğu her şeyi kapsamaz. Çok yüksekse bilgi tabanı fazla zayıftır ya da getirme çalışmıyordur. İkisinin arasında bir yerde, elindekine dair size doğruyu söyleyen bir sistem vardır.
Daha iyisi: her reddi bir çıkmaz değil, bir sinyal olarak görün. Asistanın cevaplayamadığı soru, dokümantasyonunuzun kapsamadığı sorudur. Bunları kaydedin, gruplayın; elinizde sıradaki yazılacakların öncelikli bir listesi olur — işi yapan insanların gerçek ihtiyaçlarından doğmuş, kimin politika yazmaya vakti olduğundan değil.
Her tedarikçiye sorulacak yedi soru
Bir şey imzalamadan önce demonun bunlara cevap vermesini sağlayın:
- Belgelerinizin gerçekten kapsamadığı bir şeyi sorun. Bunu söylüyor mu, yoksa makul görünen bir şey mi üretiyor?
- Belgelerinizin birbiriyle çeliştiği bir şeyi sorun. Çelişkiyi ortaya koyuyor mu, yoksa sessizce birini mi seçiyor?
- Üç cevapta kaynağa tıklayın. Tam o pasaja mı iniyor, yoksa sadece dosyaya mı?
- Aynı soruyu farklı yetkilere sahip iki kişi olarak sorun. Cevaplar olması gerektiği gibi farklılaşıyor mu?
- Bir dilde, başka bir dilde yazılmış belge hakkında sorun. Gerçek şirketler karma dilli belgelerle çalışır.
- Yakın zamanda değişmiş bir şeyi sorun. Güncel sürümü mü kullanıyor, ilk indekslediğini mi?
- Verinin nerede işlendiğini ve saklandığını sorun. Cevap bir cümle olmalı, bir toplantı değil.
Sistemine güvenen bir tedarikçi birinci ve ikinci sorudan keyif alır. Demoyu bunlardan uzaklaştıranlara dikkat edin.
Biz neden böyle kuruyoruz
Bu ilkeyi, kurduğumuz iç çalışma alanının merkezine koyduk: çalışan günlük dille soruyor, cevap yalnızca şirketin kendi belgelerinden geliyor, kaynak gösteriliyor ve kaynak yoksa asistan boşluğu doldurmak yerine bilmediğini söylüyor.
Bu son davranışı yayına almak en zorudur, çünkü demoyu daha kötü gösterir. Her şeye cevap veren bir asistan on dakika boyunca etkileyici gelir. Arada bir "bilmiyorum, baktığım yerler şunlar" diyen bir asistan ise etkileyici bir demonun asla kazandıramayacağı şeyi kazanır: insanlar, o gerçekten cevap verdiğinde ona inanmaya başlar.
Bu güven, varlığın tamamıdır. Geri kalan her şey getirmedir.