浪潮KaiwuDB论文被数据库国际顶会ICDE2024录用

近日，浪潮KaiwuDB与中国人民大学合作的论文FOSS: A Self-Learned Doctor for Query Optimizer（《FOSS：一款自学习的数据库查询优化器》）被数据库领域顶会The 40th IEEE International Conference on Data Engineering(第40届国际数据工程大会，简称ICDE2024)录用。论文提出了具备自学习、自诊断能力的查询优化器FOSS，推动了基于AI算法的学习型查询优化技术革新，其技术创新性获得国际顶会权威认可。浪潮KaiwuDB高级研发工程师、人大信息学院博士孙路明为共同作者。

ICDE是电气与电子工程师协会（IEEE）举办的旗舰会议，与SIGMOD、VLDB并称数据库三大顶会，也是中国计算机学会(CCF)推荐的A类国际会议，主要聚焦设计、构建、管理和评估高级数据密集型系统和应用等研究问题，在国际上享有盛誉并具有广泛的学术影响力。此次在荷兰召开的ICDE2024大会，吸引到北京大学、清华大学、中国人民大学、浙江大学、MIT、斯坦福等高校及全球知名科技企业参会，共同探讨数据库、数据处理领域的先进技术问题。

近年来，数据库研究人员提出了多个基于AI算法的学习型查询优化器，它们或者通过自下而上的方式从头学习构建查询计划，或者通过提示（Hint）引导或者限制传统优化器的执行计划生成过程。虽然这些方法取得了一些成功，但它们却面临训练效率低下、计划搜索空间有限等方面的挑战。

本篇论文提出了一种基于深度强化学习的查询优化新框架——FOSS。FOSS的行为类似一个诊疗查询计划的医生，它从传统优化器生成的原始计划开始优化，发现其中的性能问题，并通过一系列优化动作逐步改进计划中的次优节点。与引导传统优化器行为的黑盒方法不同，FOSS是一个白盒方法，通过优化传统查询优化器生成的计划，更好地利用专家优化知识。此外，FOSS中还采用了不对称的收益模型来评估两个计划之间的性能差异。为了提高FOSS的训练效率，本文将FOSS与传统优化器集成以形成一个模拟环境。利用这个模拟环境，FOSS可以自动快速生成大量高质量的模拟经验，然后从这些经验中学习以提高其优化能力。论文在Join Order Benchmark, TPC-DS和Stack Overflow等多组数据集和负载上评估了FOSS的性能，实验结果表明，FOSS在模型收敛速度、查询优化效果上优于现有学习型查询优化器，与PostgreSQL默认查询优化器相比，更是获得了最高8.33倍的加速效果。通过引入该技术，数据库查询性能、响应时间及用户体验或将有效提升，适用于OLAP、HTAP等数据密集型场景的查询需求。

作为业内首款分布式、多模融合、支持原生AI的数据库产品，KaiwuDB长期致力于为AIoT等重点场景提供更丰富的数据运管能力和更卓越的数据库性能，力求不断在SQL优化、数据库自治等重点技术上实现突破。未来也将始终坚持以先进技术打磨产品，加速学术研究与产业应用融合，为中国数据库技术创新发展、数据处理效能提升等方面贡献新思路，为政企客户伙伴提供高性能、高可用、易运维的数据服务，助力产业数字化升级与应用创新。