我很高兴地宣布，我将加入 ClickHouse，建立并领导一个名为 ClickHouse Labs 的新研究团队。我想分享一下这一切是如何发生的，以及我们的计划。我于2013年作为教授开始在卡内基梅隆大学计算机科学系工作。我一生的职业都在努力理解现代数据库管理系统（DBMS）内部的科学。我优先关注跟踪每一个新系统，无论是在行业还是学术界，以了解它们的实现。我自2016年6月 ClickHouse DBMS 首次作为开源软件发布以来就对它有所了解。对此消息我的初步反应是，这一定是空气软件，因为它看起来太美好了。ClickHouse 拥有当时只存在于少数闭源商业分析型 DBMS 中的特性。例如，ClickHouse 是用 C++ 编写的，并在2016年支持使用 SIMD 的向量化查询执行。2016年，最著名的开源分析型 DBMS 是基于 JVM 的，直到几年后才支持 SIMD 优化。从那时起，我一直密切关注 ClickHouse 的发展。它一直是一个领先的系统，与我们的学术研究项目高度相关。2020年，当大流行迫使我们将数据库课程在线上进行时，你甚至可以看到我在第一次远程讲座中穿着我原始的 ClickHouse T恤。鉴于这些历史，我感到荣幸，当 ClickHouse 的联合创始人邀请我在 ClickHouse 成立这个新的研究小组。有机会与一支强大的工程团队一起工作，推动下一代数据库技术，这是我不得不抓住的机会。这将是一次更高层次的合作，就像 Killer Mike 和 El-P 联手创建嘻哈超级团队一样。ClickHouse Labs 的目标是建立一个专注于数据库的最佳行业研究组织。它不会作为一个孤立的研究组织，简单地把想法抛给工程团队。相反，我们将与 ClickHouse 工程师、客户、合作者和行业合作伙伴紧密合作，开发并传播新的想法，使 ClickHouse 始终处于前沿。我们还将与 ClickHouse 的 PostgreSQL 团队合作，帮助其蓬勃发展的托管服务在性能和可靠性上成为市场领导者。PostgreSQL 和 ClickHouse 服务于不同的工作负载需求，但二者的组合为我们探讨事务性和分析性数据库问题提供了广泛的基础。我们的目标简单却雄心勃勃：开展具有科学价值的研究，然后将最佳想法转化为对用户重要的技术。我希望获得与先锋行业研究组织（如 IBM Research 和 Microsoft Research）相关的同等影响力。这些团队证明，行业实验室可以同时推动基础计算机科学的发展，影响商业产品，并培养几代数据库研究人员。这是我们希望继续的传统。ClickHouse 团队在发布其工作的深度技术材料方面已经有了卓越的记录。自2021年公司成立以来，其工程师们制作了详细的文章，解释 DBMS 的实现。此外，还有2024年 VLDB 论文描述了 ClickHouse 的核心架构。这些作品如此详尽，以至于我将其分配给卡内基梅隆的学生作为阅读材料。同时，还有一堆有趣的想法和优化，ClickHouse 工程团队已经探索完但还没有时间完全验证并推向生产。我其中一个紧急优先事项是帮助加速这个过程。然后我们将以此为跳板，探索推进 ClickHouse 更进一步的新想法。我们将调查的一个更大问题是，像 ClickHouse 和 PostgreSQL 这样的 DBMS 如何适应新兴的 AI 和自主技术。这个问题有两个方面。第一个是确定 DBMS 应该是什么样子，以更好地支持代理。第二个是确定代理如何改善和自动化 DBMS 本身的开发。所有的东西都可以考虑：新硬件、新算法、新数据结构、新执行策略，以及构建和运营 DBMS 软件的新方法。虽然我还没有这些问题的答案（这就是为什么它是研究的原因），但我可以确定的一点是，ClickHouse 的扎实关系模型基础使其在随着这些数据密集型工作负载的发展而进化时具有良好的位置。我一生的职业都是在研究数据库系统是如何构建的，并帮助培训构建这些系统的人。有了 ClickHouse Labs，我们现在有机会创建一个致力于推动这两者发展的组织。