一家2751亿元的数据巨头 要掀起企业“AI化”革命

作者 | 宛辰、Li Yuan

当地时间 6 月 28 日，美国知名数据平台 Databricks 举办了自己的年度大会——数据与人工智能峰会。会上，Databricks 公布了 LakehouseIQ、Lakehouse AI、Databricks Marketplace 、 Lakehouse Apps 等一系列重要新品。

无论是从峰会的名称，还是新产品的命名，都能看出这家知名数据平台，正在趁着大语言模型的东风，加速向 AI 转变的脚步。

Databricks 公司 CEO Ali Ghodsi 所说的数据和 AI 普惠化 图源：Databricks

「Databricks 要实现的是『数据普惠』和 AI 普惠，前者让数据通向每一个雇员，后者让 AI 进入每一个产品。」Databricks 公司 CEO Ali Ghodsi 在台上说出了团队的使命。

就在大会开始之前，Databricks 刚刚宣布以 13 亿美元收购 AI 领域的新生力量 MosaicML，创下了当前 AI 领域收购纪录，可见公司在 AI 转型上的力度和决心。

正在前方参会的 PingCAP 创始人兼 CEO 刘奇告诉极客公园，Databricks 平台刚刚上线 AI 的企业级应用，就已经有超过 1500 家公司在上面进行模型训练，「数字超出预期」。同时，他认为 Databricks 由于之前在数据+ AI 方面的积累，让公司能在 AI 大火之际，迅速在之前平台基础上加入新产品，就能快速给出和大模型相关的服务。

「最关键的就是速度。」刘奇说道，在大模型时代，如何用更快的速度让大模型和现有产品整合，解决用户的痛点，可能是当下所有数据公司最大的挑战，同时也是最大的机会。

Talking points

通过交互界面的升级，不是数据分析师的普通人，也可以直接使用自然语言查询和分析数据。

企业将大模型部署到云端数据库将越来越容易，直接使用成品大模型工具分析数据，也将变得更加简单。

随着AI的进展，数据的价值还将越来越高，数据潜力将被进一步释放。

01.数据库迎来自然语言交互

在会上，Databricks 推出了全新的「神器」LakehouseIQ。LakehouseIQ 承载着 Databricks 近期最大的发力方向之一——数据分析普惠化，即不掌握 Python 和 SQL 的普通人也能轻轻松松接入公司数据，用自然语言就能进行数据分析。

为达到这个目的，LakehouseIQ 被设计为一个功能合集，既可以被普通终端用户使用，也可以被开发者使用，针对不同的用户设计了不同的功能。

LakehouseIQ 产品图 图源：Databricks

对于开发者方面，发布了 LakehouseIQ in Notebooks，这项功能中，LakehouseIQ 可以利用大语言模型帮助开发人员完成、生成和解释代码，以及进行代码修复、调试和报告生成。

而对于普通的非程序员群体，Databricks 则提供了可以直接用自然语言交互的界面，背后由大语言模型驱动，可以直接用自然语言来搜索和查询数据。同时，该功能与 Unity Catalog 集成，让公司可以对数据的搜索和查询进行访问权限控制，只返回提问者被授权查看的数据。

自大模型推出以来，用自然语言对数据进行查询和分析，其实一直是一个数据分析方向的热点，许多公司在此方向都有所布局。包括 Databricks 的老对手 Snowflake，刚刚宣布的 Document AI 功能也是主打这个方向。

LakehouseIQ 自然语言查询界面 图源：Databricks

不过 Databricks 宣称，LakehouseIQ 做到了更好的功能。它提到，通用大语言模型在理解特定客户数据、内部术语和使用模式方面拥有局限性。而 Databricks 的技术，能够利用客户自己的模式（schema）、文档、查询、受欢迎程度、线程、笔记本和商业智能仪表盘来获取智能，回答更多查询。

Databricks 的功能与 Snowflake 的功能还有一个差别，Snowflake 平台的 Document AI 功能，仅限于对文档中的非结构化数据进行查询，而 LakehouseIQ 适用于结构化的 Lakehouse 数据和代码。

02.从机器学习到 AI

Databricks 与 Snowflake 在发布会上的相似之处还不局限于此。

此次发布会中，Databricks 发布了 Databricks Marketplace 和 Lakehouse AI，这与 Snowflake 这两天大会的重点也完全吻合，二者都主打将大语言模型部署到数据库环境中。

在 Databricks 的设想中，Databricks 未来既可以协助客户部署大模型，也提供成品的大模型工具。

Databricks 过去就有 Databricks Machine Learning 的品牌，在此次发布会上，Databricks 对其进行品牌全面的重新定位，升级为 Lakehouse AI，主打协助客户部署大模型。

Databricks 上线了 Databricks Marketplace。在 Databricks Marketplace 中，用户可以接入经过筛选的开源大语言模型集合，包括 MPT-7B、Falcon-7B 和 Stable Diffusion，还可以发现和获取数据集、数据资产。Lakehouse AI 还包括一些大语言模型操作能力（LLMOps）。

Lakehouse AI 架构图 图源：Databricks

Snowflake 也在对此进行积极部署，其相似功能由 Nvidia NeMo、Nvidia AI Enterprise、Dataiku 和 John Snow Labs 提供（与英伟达的合作正是 Snowflake 大会的重点之一，见极客公园的报道）。

在协助客户部署大模型方向，Snowflake 与 Databricks 显现出了分歧。Snowflake 选择积极地与合作伙伴进行合作，而 Databricks 则试图将该功能作为其核心平台的本地特性添加进去。

而在提供成品工具方面，Databricks 宣布 Databricks Marketplace 未来还将可以提供 Lakehouse Apps。Lakehouse Apps 将直接在客户的 Databricks 实例上运行，它们可以与客户的数据集成，使用和扩展 Databricks 服务，并使用户能够通过单点登录体验进行互动。数据永远不需要离开客户的实例，没有数据移动和安全/访问问题。

这点则与 Snowflake 公司的产品从命名到功能上都直接撞车。Snowflake 公司与之相似的 Snowflake Marketplace 和 Snowflake Native App 已经上线，是其发布会的重点之一。彭博社就在 Snowflake 的大会上宣布了一个由彭博社提供的 Data License Plus (DL+) APP，允许客户在云端用几分钟时间就能配置一个随时可用的环境，内部设有完全建模的彭博订阅数据和来自多供应商的 ESG 内容。

03.数据平台迎来新变革

开幕式主旨演讲上，Databricks 公布了一个数字：过去 30 天，已经在 Databricks 平台上训练 Transformer 模型的客户超过 1500 家。

在谈及这个令人印象深刻的数字时，PingCAP 刘奇认为，这说明企业应用 AI 的速度比预期的要快得多，「应用模型不一定要去训练模型，所以如果训练的都有 1500 家，那应用的肯定要比这个（数字）大的多得多。」

另一方面，这也表明 Databricks 在 AI 这个领域的布局相对完整。「它现在不仅仅是一个 Data Warehouse（数据仓库），一个 Datalake（数据湖）。现在它还提供：AI 的 training（训练）、AI 的 serving（服务），模型的管理等一整套。」

Ali Ghodsi 以计算和互联网的革命，类比大模型之于机器学习的变革 图源：Databricks

也就是说，底层模型可以通过 Databricks 的平台去训练，「最底层的模型改改参数就能训练」。在这个模型之上所需要的 AI 服务，Databricks 也布局了相应的基础设施——今天发布了 vector search（向量搜索）和 feature store（特征库）。

Databricks 全面向大模型升级。

过去，Databricks 在 AI 方面有很多积累，比如在建索引、查数据、预测工作负载等方面，用小模型来提高效率、降低时延。但是，以如此快的速度补上大模型的能力，还是让不少人意外。

在今天峰会全面展示的 AI 布局之前，Databricks 收购了 Okera（AI 数据治理），推出了自家的开源大模型 Dolly 2.0，又以 13 亿美元并购了 MosaicML，一连串的动作一气呵成。

对此，硅谷徐老师 Howie 认为，Databricks 和 Snowflake 这两个大会都可以比较明确地看出：两家公司的创始人认为，基于数据库、数据湖他们所做的行动、接下来会面临根本性的改变。按照一年前他们在做的思路，在未来几年行不通。

相应地，快速补齐大模型的能力，也意味着可以获得由于大模型带来的增量市场。

刘奇认为，没有大模型之前，很多的需求可能都不存在，但有了大模型之后，有了很多新增需求。「因为只有模型没有数据，干不了什么事情，特别是没有办法做出差异化。如果大家都是一个大模型，那你跟别人可能也没有差别。」

但比起大模型，峰会现场的观众似乎更关注小模型，因为小模型的几个优势：速度、成本、安全性。刘奇表示，基于自己独有的数据，做出差异化的模型，模型要足够小才能满足这三条：足够便宜、足够快、足够安全。

值得注意的是，Databricks 和 Snowflake 在日前都公布了它的营收数据，平台年营收增长在 60% 以上。相比整个市场软件支出放缓的大背景，这样的增长速度反映了数据越来越被关注。这次 Databricks 峰会的主题也是数据加 AI，但有了大模型，数据的价值还将越来越高。

大模型的到来，让数据自动生成成为可能，可以预见，数据量将指数级增长。怎么轻松地访问数据、怎么支持不同的数据格式、挖掘数据背后的价值，会成为越来越频繁的需求。

另一方面，今天很多企业还在还在探索观望将大模型接入企业软件，但考虑到安全、隐私、成本，敢直接用的，还很少。一旦通过将大模型直接部署到企业数据上，无需移动数据，部署大模型的门槛将被进一步降低，数据被消费的数量和速度都将被进一步释放。