• 我的订阅
  • 科技

双向赋能:AI与数据库的修行之道

类别:科技 发布时间:2024-06-28 23:46:00 来源:爱云资讯

在这个数据为王的时代,数据是人工智能的三大支柱之一,其重要性不言而喻。最近,OpenAI收购了数据库初创公司Rockset,迅速引起了业内外的广泛关注。OpenAI早已在算法和计算能力方面遥遥领先,通过这次战略性的收购,OpenAI将在其产品中融合Rockset的先进数据索引和查询技术,帮助OpenAI将数据转化为“可操作智能”。

现代数据库与人工智能(AI)的融合,正如同一场席卷全球的技术革命,深刻地重塑着技术与产业的格局。

一方面,数据库技术的技术迭代需要更好地支持人工智能应用工作负责,比如向量数据库,也就是DBforAI;另一方面人工智能技术也更好地让数据库运维更方便,实现自动化和智能化,也就是AIforDB。

在这一个变革过程中,数据库产业正面临诸多挑战,比如海量数据高性能和大并发、大量数据库实例智能优化、保障数据安全防篡改的防护等。面对这种情况,企业如何通过技术创新和生态协同应对挑战并抓住其中的机遇呢?

作为数据库领域的领头羊,东方国信、PingCAP、云和恩墨通过自身的技术与产品实践给出了他们的答案,同时他们与英特尔的协同创新,也让我们看到了数据库生态的蓬勃生机。

新需求催生新挑战

在AI大模型时代,由于数据库的使用人数和数据量的爆炸性增长,数据库系统的并发度会极大提升。云和恩墨联合创始人兼CTO杨廷琨强调,数据量爆发性增长带来压力的同时,硬件技术的快速发展也促进了算力提升,为提升处理能力和性能提供了可能性。这时候,数据库厂商需从两方面着手应对:一方面增强单机性能,另一方面通过架构设计实现平滑扩展,以满足海量数据的处理需求。

同时,数据量的爆炸性增长也会带来极大的数据冗余。在此挑战下,用户从需求侧又提出了很多新的要求,东方国信副总裁兼CTO查礼表示:用户往往会希望数仓既能做数据加工,又能做分析和查询,这要求数据库系统具有高度灵活性和多功能性。

数据来源多样化和用户需求复杂化催生了对硬件越来越高的需求,数据库要保持高性能、高稳定性,开发和运维人员又需要简化数据库的使用,这构成了一种“悖论”。

为解决数据库行业“既要、又要”的问题,越来越多的数据技术公司让AI“入局”,让数据库越跑越“聪明”。PingCAP服务总经理林景旭表示,他们正探索利用AI技术增强数据库功能,同时简化用户操作。作为一家分布式数据库厂商,PingCAP提供的开源分布式数据产品与解决方案,通过分布式数据库架构,实现计算和存储分离,以动态扩展满足不同用户需求,这其中便可以通过AI算法来优化资源使用和性能评判。

数据库产业需要不断创新,开发更加高效、可靠、智能的数据库技术,才能满足新需求的挑战。同时,数据库产业链也需要紧密合作,共同推动数据库技术的发展,为数字经济的发展提供更加坚实的基础。

生态协同推动产业变革

数据库产业面临的挑战是多方面的,这些挑战并非单个企业能够独自解决,需要整个产业的协同合作,才能共同应对挑战,并抓住其中的机遇。

凭借先进的处理器技术、开源合作策略以及对客户需求的深刻理解,英特尔与数据库领域的合作伙伴一起构建了一个开源开放、合作共赢的生态环境,助力数据库技术的持续创新和应用落地。

英特尔中国云创中心技术总经理张晓军介绍说,第四代和第五代英特尔®️至强®可扩展处理器内置了多项面向数据库优化的技术,例如英特尔®QAT(英特尔®数据保护与压缩技术)用于数据压缩解压缩,以及英特尔®IAA(英特尔®存内分析加速器)加速数据分析。在数据安全方面,英特尔也能通过英特尔®TDX(英特尔®信任域扩展)和SGX(英特尔®软件防护扩展)为使用中的数据提供端到端硬件级防护能力。

此外英特尔至强6处理器已于近期发布,提供了两种不同的CPU微架构版本,分别为性能核(P-core)和能效核(E-core),让多种工作负载的性能和能效表现再创新高。其全新功能和内置加速器为目标工作负载带来进一步助力,实现了更高的性能和能效。

双向赋能:AI与数据库的修行之道

基于英特尔®架构的加速器与软件工具

众多的合作伙伴正在借助至强处理器和加速器及软件工具增强自身的产品竞争力。

比如PingCAP推出的TiDB开源分布式数据库就得益于第四代英特尔®至强®可扩展处理器卓越的代际性能,其数据库的只读性能与读写性能分别达到基准配置的1.62倍与1.43倍。

双向赋能:AI与数据库的修行之道

此外TiDB利用至强®️可扩展处理器搭载的英特尔®️IAA提供的出色吞吐量压缩和解压缩功能,在不影响性能的前提下,提升了数据压缩率,节约了存储空间。PingCAP采用英特尔®️IAA代替LZ4之后,TiDB压缩率为LZ4无损压缩算法的1.4倍。

双向赋能:AI与数据库的修行之道

并结合CPU的迭代,性能提升可达到原配置的1.56倍,有助于客户化解数据压缩所带来的性能困扰。

双向赋能:AI与数据库的修行之道

虽然硬件性能的提升为数据库处理海量数据提供了基础,但要真正发挥这些算力,需要对数据库内核进行深度优化。云和恩墨通过改进数据库内核,使之更好地适应现代硬件,如多核CPU、大内存和高速IO子系统,从而实现单机性能的显著提升。

根据其透露的测试结果,在一颗至强®️双路服务器架构上,以50G内存配置,再加上一个NVMe的SSD闪存,云和恩墨达到了700万TPCC的指标,可以说是极大提高了单机能力。

东方国信适用于超大规模数据存储和在线分析的大数据BEH平台企业版通过集成Gluten与VeloxBackend向量化执行引擎,为Spark注入了原生矢量化执行的能力,同时结合第四代英特尔®至强®可扩展处理器,以及处理器集成的英特尔®QAT加速器,显著优化了Spark批处理计算、SparkSQL计算、SQL查询服务的执行效率。经测试,在相同硬件环境下,配合英特尔®QAT的加成,Spark计算性能可提升高达2.9倍。

双向赋能:AI与数据库的修行之道

除了硬件之外,英特尔还强化了在软件及数据库生态方面的投入。张晓军还强调了英特尔在开源领域的贡献,如Apache社区的Gluten项目,已经在很多客户系统里得到了广泛应用,相比传统的Spark,性能可以提高2-3倍,如果其运行在英特尔的硬件上预计取得更优性能,显著提升大数据处理效率。·

数据库与AI深度融合

随着大数据时代的到来,数据量及系统数量都呈指数级增长,数据类型也由结构化数据逐渐演变成了非结构化数据和半结构化数据,这就对数据库系统的稳定性和能力提出了更高的要求,数据库技术和人工智能技术相结合成为当前热门的研究主题之一。

在AI时代,数据已成为驱动企业发展的核心要素,而数据库作为存储、管理和分析数据的重要基础设施,与AI技术的深度融合将是大势所趋。这种融合不仅能够提升数据库的性能和智能化水平,还能够推动AI技术的应用落地。

数据库厂商在不同维度上探索和应用AI,东方国信正在利用AI技术,尤其是在智能取数方面,通过自然语言处理生成SQL语句,提高数据提取的灵活性和效率。同时,他们也在探索智能建仓,尝试通过AI技术自动化数据仓库的构建和维护流程,旨在实现数据仓库的自动化和智能化。

查礼表示,公司正积极研发解决方案,旨在通过AI辅助减少人工介入,提高效率,预计通过AI技术的引入,数仓维护成本能降低60%。

PingCAP利用AI算法进行资源管理,让数据库更适应复杂多变的业务场景。林景旭强调,通过集成AI技术,比如利用AI优化数据库内部管理,提升数据库本身的智能水平,使其在满足复杂业务场景的同时,降低使用门槛。这意味着数据库不仅要有强大的数据处理能力,还需具备自我管理和优化的能力,确保在面对日益复杂的业务需求时,能更加自主、高效地运行。

云和恩墨则推动自身“AIforDB”和“DBforAI”的双向促进,杨廷琨指出,云和恩墨利用AI提升数据库性能,尤其是在数据库智能资源管理、智能监控、智能根因追踪、智能参数调优、SQL智能优化以及自动驾驶等方面的应用潜能。

结语

现代数据库与人工智能的结合不仅对处理能力、架构灵活性和用户体验提出了更高要求,也为数据库产业带来了前所未有的发展机遇。随着技术的不断进步和生态合作的深化,未来数据库将更加智能、灵活和强大,为数字经济的发展提供坚实的基础。英特尔与数据库领域的合作伙伴将一起共同推动数据库产业向智能化、高效化转型,满足客户的业务创新需求。

以上内容为资讯信息快照,由td.fyun.cc爬虫进行采集并收录,本站未对信息做任何修改,信息内容不代表本站立场。

快照生成时间:2024-06-29 06:45:01

本站信息快照查询为非营利公共服务,如有侵权请联系我们进行删除。

信息原文地址:

...集型工作负载数据移动和转换性能提升至1.7倍;面向内存数据库和大数据分析工作负载的英特尔®存内分析加速器(英特尔®IAA),能显著优化数据分析工作负载内存占用和查询吞吐量,性
2023-02-22 17:40:00
英特尔至强w9-3595x现身基准测试数据库
...作站处理器旗舰型号至强W9-3595X近日现身Geekbench基准测试数据库,测试信息显示其仍隶属SapphireRapids家族
2024-02-02 16:19:00
...现更优性能。存内分析加速器(英特尔IAA),适用于内存数据库、开源数据库以及RocksDB和ClickHouse等数据存储工作
2023-01-11 22:21:00
...MD指令集的说法,英特尔处理器可以实现对于16位以及64位数据库的快速排序,比如说在英特尔11代酷睿移动处理器也就是Tiger Lake上
2023-02-23 07:00:00
全新英特尔 至强 可扩展处理器,打破数智化变革瓶颈的一板利斧
...体及其他数字化服务带来更低的成本和更优的性能;而在数据库和数据分析方面,五代至强® 可扩展处理器通过更大的三级缓存、更快的内存和英特尔® 数据分析引擎,可以高速运行 CRM、
2023-12-20 19:21:00
...体分析。这具体取决于应用方向是人工智能、搜索引擎、数据库还是一些电信网络的服务。陈葆立表示:“英特尔得益于多年的积累,对于众多应用有着不同的加速器,这带给用户的性能将会比纯粹
2023-01-22 08:00:00
最强服务器CPU来了!AI性能直接翻倍
...在得到如此丰沛的内核资源支持后,也依然是科学计算、数据库和AI任务中的矢量计算担当。 这些加速器的升级与焕新带来的成果就是下图这种多负载性能表现普遍倍增的现象,在AI领域,
2024-09-27 20:45:00
...里云采用第五代至强实现八代实例g8i算力再升级,推理和数据库性能双双提升25%;火山引擎第三代弹性计算实例,基于第五代至强进行全系升级,相较于升级前整机算力提升39%,应用性
2023-12-19 15:43:00
“技术故障”背刺巴菲特,金融大模型到底靠不靠谱?
...数据一致性问题;也有人提出最大的问题应该是出现在了数据库。但总而言之,这并非是纽交所今年来第一次出现的故障,而是众多里的一个: 甚至某开源数据库联合创始人Jason直言不讳地
2024-06-28 23:00:00
更多关于科技的资讯:
职场福尔摩斯速成手册:5个细节看穿谁是“真领导”
茶水间摸鱼时偷听到两个实习生争论:“新来的总监开会总爱说‘我觉得’,一看就没领导力!”“你懂啥,人家之前带团队拿过行业大奖
2025-04-02 09:00:00
Mistral AI 米斯特拉尔 的AI+金融,打造全球最精准的智能投顾系统
AI在金融领域的应用正迎来革命性突破,而MistralAI米斯特拉尔站在这一浪潮的最前沿。公司最新推出的AI+金融解决方案
2025-04-02 09:16:00
嘉兴卓威科技:以创新智造赋能健康未来,远红外治疗仪获双证认证
近日,嘉兴卓威科技有限公司(以下简称“卓威科技”)自主研发的“接触式远红外治疗仪”正式通过浙江省药品监督管理局医疗注册证及生产许可证双认证
2025-04-02 09:16:00
在国家大力推进新型城镇化建设和建筑业转型升级的大背景下,建筑工程领域正迎来前所未有的发展机遇。随着城市基础设施建设的不断推进和建筑技术的日新月异
2025-04-02 09:16:00
爱凯奇品牌郑朝君匠心铸就中国轻工业新标杆‌
导语‌2025年3月,中国轻工业领域迎来高光时刻——爱凯奇品牌携其创始人郑朝君先生的创业故事与品牌理念,强势登陆央视综合频道(CCTV-1)爱凯奇央视广告播出ID号(2510595470050021)
2025-04-02 09:17:00
链动济宁①|以链式突围制胜,济宁工程机械千亿舰队加速驶向全球
齐鲁晚报·齐鲁壹点 孔茜中国工程机械行业春潮涌动。中国工程机械工业协会最新数据显示,2025年2月国内挖掘机销量达19270台
2025-04-02 09:25:00
本文转自:人民网-青海频道况玉人民网记者:南京智算中心在全国处于怎样的地位?青海移动算力分公司市场拓展部经理江恺瑞:南京智能计算中心是全国首批9家建设的国家新一代人工智能公共算力开放创新平台之一
2025-04-02 09:39:00
创想三维11周年店庆,3D打印机享国补+百亿补贴,惊喜上线
今年4月9日,创想三维即将迎来成立11周年的里程碑。作为全球消费级3D打印生态领创者,创想三维以先进技术与卓越品质,赢得全球500万创客用户青睐
2025-04-02 09:45:00
DeepSeek预测中大型企业招聘优先挑选AI招聘系统!
在数字化转型浪潮席卷全球的当下,人工智能(AI)正以前所未有的速度重塑企业运营的每一个环节。近日,知名行业研究机构DeepSeek发布《2024企业招聘技术趋势报告》
2025-04-02 09:45:00
2025中关村论坛年会:人工智能引领科技变革与产业升级
3月27日至31日,由科技部、国家发展改革委、国务院国资委、中国科学院、中国工程院、中国科协和北京市政府共同主办的2025中关村论坛年会在京举行
2025-04-02 09:45:00
中微公司等离子体刻蚀技术再获重大突破,引领行业迈向新高度
近日,中微半导体设备(上海)股份有限公司(股票代码:688012.SH,以下简称“中微公司”)传出振奋人心的消息。通过持续提升反应台之间气体控制精度
2025-04-02 09:51:00
蚂蚁消金被罚140万,合规警钟为谁而鸣?
文|罗曾日前,国家金融监督管理总局重庆监管局的一纸罚单,将重庆蚂蚁消费金融有限公司(下称“蚂蚁消金”)推至风口浪尖。这家成立不足四年的消费金融巨头
2025-04-02 09:52:00
首届中国手机摄影大展正式启动
本文转自:人民网首届中国手机摄影大展系列活动在四川省巴中市正式启动。作为首个国家级手机摄影品牌活动,本届手机摄影大展以“人人都是创作者”为主题
2025-04-02 10:11:00
数智赋能开启中小微商户运营新篇章
鲁网4月1日讯(记者 郑泽之 通讯员 张沙沙)在数字经济浪潮下,中小微商户的生存与发展正经历深刻变革。随着5G、云计算
2025-04-02 10:11:00
古贝春百年老窖金装酒荣膺2024年度“青酌奖”酒类新品
鲁网4月1日讯(记者 吴美琳)3月28日,在四川泸州举办的第二十二届中国国际酒业博览会上,中国酒业协会正式揭晓2024年度“青酌奖”酒类新品评选结果
2025-04-02 10:12:00