近期，计算机系X-LANCE实验室对话交互研究组联合思必驰研发团队在交叉领域零样本Text-to-SQL任务中提出的LGESQL模型，超越了微软研究院、Salesforce、Facebook、AWS AI Lab、Allen Institute、耶鲁大学、华盛顿大学、俄亥俄大学等国际著名研究机构及高校提出的模型，获得了国际著名Text-to-SQL挑战赛Spider权威榜单的第一名，刷新了该任务的业界记录。相关工作以Long Oral被自然语言处理顶级会议ACL2021接收。
榜单: https://yale-lily.github.io/spider
图1. Spider Leaderboard 部分截图
任务定义 和 数据集
互联网中海量信息存储于关系型数据库中，如何高效利用这些结构化数据成为近年来研究热点。尽管SQL语言在访问数据库时高效方便，但是非计算机专业的从业人员需要耗费大量时间学习其语法，即便是SQL专家，反复编写也是单调低效的工作。因此，构建自然语言问句到SQL的自动化接口能极大地提高人机交互的效率（图2）。
图2. Text-to-SQL语义解析器
为了构建具有鲁棒性和扩展性的深度语义解析模型，高质量的标注数据是重中之重。Spider数据集由耶鲁大学构建，包含200个不同领域的数据库、超过10000个问题、6000个独立复杂的SQL语句，涉及多表JOIN连接、GROUP BY/HAVING/ORDER BY子句、嵌套SQL利用等极其复杂的操作（图3）。相比于其他单轮多表数据集，它是数据量最大、任务最复杂的跨领域权威数据集。
图3. Spider数据集样例 (问句，SQL) 对
核心挑战 和 解决方案
该任务核心挑战之一在于如何提高问句和数据库模式（表与列）的联合异构图编码。过去的RATSQL方法（图4）将重点放在了节点特征上，对于不同类型的边使用固定的参数向量进行拟合，没有结合具体上下文更新边的特征。此外，全连接图的使用忽略了异构图中1阶邻域和高阶邻域的差异，容易导致过度平滑（over-smoothing）的问题。
图4. RATSQL：全连接关系图注意力神经网络
为此，我们提出LGESQL模型（Line Graph Enhanced Text-to-SQL Model），将原始的异构图根据其1阶连接关系，拆分成节点图和线图两个部分（图5），对两个互为对偶的输入各自应用关系图注意力网络（RGAT）。每个图中的边特征由其对偶图中的节点特征提供，例如：下图中节点图Gn使用的边特征 z （边1-4和2-4）来源于线图中对应的“节点”特征。
图5. 原图拆分成节点图和线图并分别应用RGAT
由于线图的构建只利用了1阶连接关系，对于节点图中的高阶邻域，我们采取静态动态混合特征或多头多视图拼接的方法，将更远的节点及其边类型作为“short cut”，引入到节点图中对节点特征的更新中，这些包含远距离信息的边特征不会迭代更新，仅仅使用静态参数初始化。
图6. LGESQL编码网络示意图
实验结果和分析
表1. 不同word embedding下的实验结果
首先，在基于不同预训练词向量的设定下，LGESQL模型都取得了目前SOTA的结果，仅使用GLOVE词向量就在测试集上取得了62.8%的精度（提升5.6个点），甚至超越了部分BERT模型。
其次，不同预训练模型的使用都带来了性能提升，说明词向量语义编码的加强和异构图结构编码的改进两个方面是互补的。并且将表格数据自适应（GraPPa）和SQL任务自适应（ELECTRA）的自监督学习引入预训练能够取得超越基线BERT模型的性能（表2）。
表2. 不同预训练模型下LGESQL性能
而通过样例分析，LGESQL在涉及多表JOIN连接的SQL预测上比基线系统更加准确。因为在图编码过程中利用线图更多地关注了1阶邻域，这部分信息对于推理数据库的SQL局部子图更加有效。
图7. Spider数据集样例分析
任务延伸
上述LGESQL模型已作为 Long Oral 正式发表于ACL 2021主会上：
论文：https://arxiv.org/pdf/2106.01093.pdf
代码：https://github.com/rhythmcao/text2sql-lgesql
除了上述工作，X-LANCE实验室：
1. 针对单轮问答式Text-to-SQL任务不同领域之间，由词表差异引发的领域迁移和泛化问题，提出了ShadowGNN模型，将结构和语义信息解耦，相关成果已发表于NAACL 2021主会
论文：https://aclanthology.org/2021.naacl-main.441.pdf
代码：https://github. com/WowCZ/shadowgnn
2. 针对多轮对话式Text-to-SQL任务的上下文建模问题，提出DELTA框架，对多轮对话进行语义补全和句子改写，转化为单轮的场景，相关成果已发表于ACL 2021 Findings
论文：https://arxiv.org/pdf/2106.02282.pdf