没人预料到的那种失败
去问一个通用助手：你们公司的离职通知期是多久？它会告诉你。流畅、语气得体、结构工整，数字听起来也完全像一个通知期。它甚至可能是对的——从统计上看，差不多的数字本来就很常见。
问题恰恰在这里。看起来就不对的错误答案，一秒钟就会被抓出来；看起来很对的错误答案，会被转发、被粘进合同、被引用给客户。AI 在公司内部的成本几乎从来不是订阅费，而是每月那一条自信的答案——没人想到要去核对，因为它身上根本没有值得核对的地方。
所以，对任何一个你要摆到团队面前的助手，该问的不是“它答得好不好”，而是：当它没有依据时，它会怎么做？
基于自有文档：只从你真正拥有的东西里作答
通用模型从它读过的一切里作答。而一个有依据的助手，只从一组被明确界定的、属于你自己的材料里作答——员工手册、合同、流程、价目表——除此之外什么都不用。
这个限制听起来像短板，其实它就是产品本身。
差别立刻就能看出来。拿同一个关于退货政策的问题分别去问两者：通用模型会给你一个像模像样的行业答案；有依据的那个会给你*你们的*政策，或者告诉你你们的政策没覆盖这种情况。只有一个是有用的，而且恰恰是有时说得更少的那个。
有依据还改变了“答错”的含义。无依据的模型出错是隐形的——推理过程藏在模型里。有依据的模型出错时会指向一份文档，你可以打开它，发现它已经过期了。错误变得可查。这是另一类系统。
一个会以可追溯方式出错的系统，比一个大多数时候正确、但正确的理由你无法检查的系统更安全。
出处不是脚注，而是界面
现在不少工具都会在答案下面加一个小小的“来源”链接。把它当成装饰，就看不到它真正起的作用。
出处改变使用者的行为。来源可见时，人们会在重要的答案上点开它，在不重要的答案上跳过——这正是人类注意力应有的分配方式。没有来源时，人们要么什么都不核对，要么什么都核对，两种结果都不好。
出处也改变建造者的行为。一旦每条答案都必须指向一份文档，你就无法再用一个口才很好的模型去掩盖一个单薄的知识库。内容上的空白，会以答案里的空白显现出来。助手于是变成了对你自家文档的一次审计——通常让人不太舒服，但始终有用。
出处要具体。“出自员工手册”不算出处；章节、版本和日期才算。如果答案来自一份三年前最后更新的文档，读到它的人在采取行动之前有权知道这一点。
权限是答案的一部分，不是一个开关
一个能读取全部内容的助手，迟早会把不该说的内容告诉某个人。不是出于恶意，而是因为某个问题的措辞刚好把薪资数据、一份合同草稿，或者某个与提问者毫无关系的部门文档给拉了出来。
解决办法不是事后拧上去的过滤器，而是让权限成为答案所站立的地面：助手只从提问者本来就有权打开的范围内检索，于是两位同事问出完全相同的问题，却能正确地得到不同答案。如果公司已经有组织架构和文档权限，那么这套结构就应当驱动助手。如果助手需要自己另建一套权限模型，你就有了两套需要保持同步的系统——而它们一定会走偏。
把拒答率变成一个你会盯着看的数字
这是几乎没人追踪的指标：助手多久会拒绝回答一次？
如果接近于零，系统并不诚实——没有任何一套文档能覆盖人们问的全部问题。如果非常高，说明知识库太单薄，或者检索出了问题。介于两者之间的，才是一个在如实告诉你它掌握了什么的系统。
更好的做法是：把每一次拒答当作信号，而不是死路。助手答不上来的问题，就是你的文档没有覆盖的问题。把它们记录下来、归类，你就得到了一份“接下来该写什么”的优先级清单——由真正在做事的人的实际需要生成，而不是由谁刚好有空写一份制度来决定。
向任何供应商提的七个问题
在签字之前，让演示回答这些：
- 问一个你们文档确实没有覆盖的问题。 它会直说，还是编出一个听起来合理的答案？
- 问一个你们文档自相矛盾的问题。 它会把冲突摆出来，还是悄悄挑一个？
- 在三条答案上点开出处。 它落到的是具体那一段，还是只有文件？
- 以两个权限不同的人的身份问同一个问题。 两个答案的差异正确吗？
- 用一种语言去问另一种语言写的文档。 真实的公司都跑在多语种文档上。
- 问一件最近刚变动过的事。 它用的是当前版本，还是最初索引的那一版？
- 问数据在哪里处理和存储。 答案应该是一句话，而不是一场会议。
对自己系统有信心的供应商，会乐意接第一题和第二题。要留意那些把演示引开的。
我们为什么这样做
我们把这个原则放在正在构建的内部工作空间的核心：员工用日常语言提问，答案只来自公司自己的文档，出处会被展示出来；当没有出处时，助手会说它不知道，而不是去把空白填上。
最后这条行为最难上线，因为它会让演示看起来逊色。一个什么都能答的助手，能让人惊艳十分钟。而一个偶尔会说“我不知道，这是我检索过的范围”的助手，赢得的是一样再惊艳的演示也换不来的东西：当它*真的*给出答案时，人们开始相信它。
这份信任就是全部资产。其余的，不过是检索。