评测：Spider 看结构，BIRD 看脏值，2.0 看企业工作流

Spider（Yu et al., 2018）：10,181 问、200 库、跨域。指标早期重 Exact Match，后来普遍报 Execution Accuracy。它主要考结构组合，库值较干净、行数少。

BIRD（Li et al., 2023）：12,751 对、95 库、33.4 GB、37 个专业域。强调脏值、外部知识、效率（VES）。人类带知识约 92.96% EX，论文中 GPT-4 带知识测试集约 54.89%。约 70% 问题需要值说明。错误以结构链接和误解库内容为主。

Spider 2.0（2024）：632 个企业工作流题，库来自真实应用，平均约 812 列，含 BigQuery / Snowflake 等。Spider 1.0 上 91.2% EX 的方法，在 2.0-lite 上可掉到约 5.7%。障碍：超大结构链接、方言、嵌套转换、外部文档。

自建金标准要对齐你的语义层，不要直接拿 Spider 分数当生产分数。至少二十道自己的高频题，标准数从对账报表来，分类记录：找错表、时间窗、状态、一对多。NL2SQL Handbook / Awesome-Text2SQL 把排行榜和论文索引维持得比较全，做方案调研从这两处进。

出处

• Yu et al., Spider, EMNLP 2018
• Li et al., BIRD, arXiv:2305.03111，https://bird-bench.github.io/
• Lei et al., Spider 2.0, arXiv:2411.07763
• HKUSTDial/NL2SQL_Handbook；eosphoros-ai/Awesome-Text2SQL