坐下 1 / 5
先问事实在哪,再决定走哪条后端。
团队两天做出 Demo:全部制度进向量库。第三天财务问实时余额,法务问尚未生效的条款,普通员工看到了主管附件。三句回答都很流畅。三句都不该这么答。接库之前先把这三类问句写在纸上,各标一个去向。
四种去向
查库:实时、结构化、要精确值。订单 731 此刻在哪,在物流表里,不在上周的说明文档里。
检索:答案写在可枚举、可授权、可更新的段落里。境外住宿上限在差旅制度第几条,需要带回那一段。
直接生成:文风、格式、翻译。写一封请假邮件不需要先检索请假制度;你要的是句子,不是条款。
拒答:没有可引用的来源,或来源无权给出这种决定。医疗剂量是典型。模型能编出一个毫克数,听起来像说明书。没有你们自己的药品说明和医生流程,这句话死了没人能负责。
长上下文适合「就这一份 20 页报告,马上摘要」。语料会变、会删、要权限时,把文件一次性塞进窗口会在过期和越权上失手。微调适合稳定行为,不适合天天改的事实。合同总金额相加看起来像语言题,加法必须可复核:检索可以找到三份合同的位置,求和交给字段或计算器。模型把 120 万和 80 万加成 150 万,对账时才发现。
失败先按类记账
| 错法 | 例子 | 先修哪里 |
|---|---|---|
| 来源错 | 个人笔记盖过正式制度 | 谁有权进索引 |
| 漏了 | 只召回额度,漏审批条件 | 检索与切块 |
| 越权 | 普通员工命中主管附件 | 检索前过滤 |
| 过期 | 引用已撤销的 v2 | 版本与删除 |
| 说歪 | 「可申请」写成「自动批准」 | 生成与核对 |
前四类换更大的生成模型通常修不好。余额问错和剂量问错,代价也不一样。低风险导航可以给链接;剂量、钱、法律,缺来源就停。写任务时顺便写拒答条件:缺地区就追问,两份同级制度打架就展示冲突,没有当前有效来源就停。这些条件后来都能变成测试题。
五句问句
每句选一个去向。关掉脚本也能读题;点选后的说明需要浏览器。
用户 · 已登录
「订单 731 现在到哪了?」
用户 · 中国区员工
「报销制度里境外住宿怎么写的?」
用户 · 同事
「帮我写一封请假邮件,语气正式一点。」
用户 · 外部访客 · 无药品说明书
「三岁小孩发烧 38.5,阿莫西林一次吃多少毫克?」
用户 · 财务
「把这三份已入库合同的总金额加起来。」
自己对过
731 查库。境外住宿检索。请假邮件直接写。阿莫西林拒答。合同金额查库求和。剂量那句即使检索到论坛帖子也不要答。