• 我的订阅
  • 科技

在线、离线业务融合场景,天均CPU利用率提升至55%

类别:科技 发布时间:2024-09-11 09:56:00 来源:钛媒体APP

在线、离线业务融合场景,天均CPU利用率提升至55%

图片系AI生成

在线服务资源使用量随着终端用户的使用习惯呈现出稳定的潮汐现象,夜间CPU利用率极低,导致集群均值CPU利用率较低;业务保有大量的独占资源池,资源池割裂产生大量的资源碎片,拉低CPU利用率;业务为了稳定性考虑,会过量囤积资源,进一步拉低CPU利用率。

解决方案

在线、离线业务融合场景,天均CPU利用率提升至55%

点击报名参与创新场景50的评选

在阿里云的协助下,小红书混部技术经历了四个阶段演进:闲置资源再利用、整机腾挪分时复用、常态混部、统一调度。

一,通过技术手段将集群中的闲置资源收集起来,分配给转码类业务场景使用;

二,通过弹性能力(HPA),在凌晨业务低峰期按比例对在线业务缩容,腾挪空出整机,并将转码、训练等离线pod在该时段运行起来,起到利用率“填谷”的效果;

三,平台持续推进业务大规模合池,将业务由独占池迁至平台托管的公共混部池,通过合池、资源超卖等技术手段,CPU分配率得到有效提升,同时通过建设更为细粒度的资源管理与调度能力来实现均值利用率提升的目标;

四,混合云架构的统一调度来管理异构计算资源,并支持各类业务形态的工作负载调度能力。

成效

通过大规模容器混部的持续推进,小红书在资源成本效能上有显著改善。

在CPU利用率方面,在线混部集群天均CPU利用率提升至45%以上,部分集群天均CPU利用率可稳定提升至55%。在线集群CPU利用率提升8%-15%不等,部分存储集群利用率提升可达20%以上。在资源成本方面,为小红书各类离线场景提供数百万核时的低成本算力。混部集群CPU分配率提升至125%以上,相较于独占资源池,资源碎片率明显下降。

「关于创新场景50」 场景不是案例,它更加精准、也更加抽象。数字化就是创新场景的不断叠加和迭代。 在此背景下,钛媒体重磅推出「创新场景50」评选,每年遴选并解读50个全行业与业务深度融合的创新性场景及其解决方案,并在钛媒体年度ITValue Summit 数字价值年会上隆重颁奖、深度交流。 目前场景正在征集中,更精准的解读、更广泛的曝光、更强大的品牌势能,欢迎你提出问题,更欢迎你留下解决的方法和工具。点击这里投递更多场景信息

在线、离线业务融合场景,天均CPU利用率提升至55%

点击进入2024 ITValue Summit数字价值年会,了解更多信息。

以上内容为资讯信息快照,由td.fyun.cc爬虫进行采集并收录,本站未对信息做任何修改,信息内容不代表本站立场。

快照生成时间:2024-09-11 11:45:09

本站信息快照查询为非营利公共服务,如有侵权请联系我们进行删除。

信息原文地址:

先进计算走向春晚,极致降本进入新高度
...成“综合成本降低50%”的目标,京东云团队围绕提升资源利用率死磕,将自主研发的混合多云操作系统云舰、分布式高性能存储平台云海、软硬一体虚拟化引擎京刚等一系列先进计算产品持续升
2024-02-07 16:47:00
技术规模化、复杂化?看作业帮如何利用OpenCloudOS解决技术难题!
...用对比在线服务的服务时延敏感,对服务 SLA 要求极高,利用率约 20%;而离线作业的服务时延不敏感,容错率高,利用率高达 60%
2023-06-30 11:01:00
三年节省4419万元,一场IT降本增效的沙盘演练
...发展的红利使得很多IT建设粗放式发展,很少人在意资源利用率的提升。但现在,野蛮生长的阶段已经结束,开始进入存量竞争时代,IT的降本增效将是未来很长一段时间的主线。 01一场
2024-06-12 09:30:00
...建筑垃圾处置效率提高60%,运输成本降低25%;整体资源化利用率达95%。通过资源化利用助力循环经济发展,实现“一键链资源”。研究中心介绍,秀洲区创新开设建筑材料再生利用中心
2023-01-09 17:40:00
春风快马,京东云猛追阿里云
...计算打出生起就带有解决资源闲置、优化成本、提高资源利用率的基因。而电商平台潮汐式的计算资源需求催生了云。中国的云计算很快登上了历史舞台。2009年,阿里云诞生;2012年,京
2024-03-29 10:00:00
浪潮信息元脑生态:合力致新,打通金融场景AI落地最后一公里
...力的自动弹性收缩,在保障业务不受影响的前提下,将资源利用率提升约40%;基于银行多业务场景常规并发需求,可通过算力资源的细粒度切分,实现一卡多用,最大化提高算力利用率,在几乎
2023-06-30 17:01:00
集成数字基础设施 高效利用矿产资源
...伴生复杂矿为主”转变。这导致了选矿流程长、资源综合利用率低、生产成本高等问题,也成为阻碍相关企业结构转型升级和高质量发展的瓶颈。为解决矿山企业资源高效利用问题,金川集团选矿厂
2024-03-20 02:45:00
当大模型Scaling Law继续,万卡集群算力释放在百舸找到一条通途
...效率、多卡并行计算、设施稳定性等。加之当前集群算力利用率不高且成本高昂,这些都要求厂商在集群系统、框架和算法层面进行技术突破。 国内一些厂商已经在面向万卡集群的 AI 基础
2024-09-26 13:37:00
如何安全回收一部旧手机?(美丽中国)
...大量原生资源的开采与加工能耗,还将显著提升资源循环利用率。 “将在全国复制推广手机安全回收处置模式,并将这一模式逐步拓展到电脑、硬盘等电子电器全领域”去年2月,国务院办公厅
2025-02-18 06:02:00
更多关于科技的资讯: