语义层 · 2025 年 8 月 24 日 · 15 分钟
外部知识:同义词、领域公式、值怎么表示
BIRD 的外部知识:数值推理、领域知识、同义词、值说明。带知识比不带知识,各基线 EX 都明显升一截(GPT-4 测试集约 +20 个百分点量级)。说明问数软件必须有知识库,不能只靠表名。
落到产品:同义词表(GMV=成交额)、公式卡(利润率=利润/销售额,且定义利润)、值映射(中锋 → pos='C')、领域规则(只有 OWNER 账户可贷款——论文中的例子)。知识要版本化,和指标字典一起发。
知识写错,比没有更危险。ChatGPT 在 BIRD 错误里约 17.6% 是误解知识证据,甚至把 DIVIDE(SUM(spent), COUNT(spent)) 直接抄进 SQL。编译层必须把公式收成合法 SQL,禁止原文粘贴。
出处
- BIRD §3.3 四类知识;表 2 有无知识对比;错误分析 17.6% 误解知识