• 我的订阅
  • 科技

技术规模化、复杂化?看作业帮如何利用OpenCloudOS解决技术难题!

类别:科技 发布时间:2023-06-30 11:01:00 来源:CSDN

近年来,大数据、5G、AI 技术应用快速发展,助力我国教育信息化水平不断提升,并催生大量在线教育新场景、新模式、新业态,有效满足人们多样化学习需求。作为国内用户规模领先的在线教育平台,作业帮致力于用科技手段助力教育普惠,运用前沿技术为全国中小学生提供更高效的学习方案。但与此同时,规模化、复杂化所带来的技术难题也在束缚着作业帮的发展。

2023 年 6 月 20 日,CSDN 联合腾讯云、OpenCloudOS 社区开展“OpenCloudOS 社区操作系统英雄汇”系列第三期专题讲座。作业帮基础架构研发团队负责人吕亚霖以《作业帮如何利用 OpenCloudOS 解决技术难题》为题开展线上主题讲座,分享作业帮在 OpenCloudOS 开源社区上的应用实践。

技术现状:规模化、复杂化

纵览整个教育行业版图,中小学线上教育是一个亿级别的用户市场,这无疑需要产品矩阵完善的大平台进行系统承接。作业帮成立于 2015 年,一直致力于运用人工智能(AI)、大数据等前沿技术,为 B、C 端用户提供高效、智能的学习和教育产品及解决方案。用户增长与产品丰富的相互叠加,催生了整个品牌生态的日益繁茂,作业帮逐步成为该领域用户数量领先的平台。

技术规模化、复杂化?看作业帮如何利用OpenCloudOS解决技术难题!

作业帮规模化、复杂化的技术现状

随着数据不断增加,作业帮拥有数千项业务应用、数万项业务实例以及数十万的计算核数,还使用了 C++、Java、Python 等多语言栈、多云架构,总体上呈现规模化和复杂化的特点。这在一定程度上保证了作业帮业务的正常运营,但也增加了作业帮的运营成本,运维产出比并不理想。此外,作业帮在 kubernetes 方向上也遇到了一系列的内核性能优化和问题。例如 IPVS 模式高并发场景下,连接复用引发连接异常的问题;IPVS 模式在高配节点(核数多)下 IPVS 规则过多引发网络毛刺的问题等。

对于统一内核版本、适配交付场景硬件、优化性能等方面的需要使作业帮逐渐明确了对于操作系统的核心需求:经过海量业务验证的企业级的安全、稳定、高性能的操作系统。国产操作系统开源社区 OpenCloudOS 为作业帮提供了有效的解决方案。

OC8、OC9 解决方案

2021 年,OpenCloudOS 操作系统开源社区正式诞生,致力于研发国产化、自主可控的下一代云原生操作系统。为使观众能够更直观地了解 OpenCloudOS 自研产品,吕亚霖以 OC8、OC9 两个版本为例,为观众介绍了 OpenCloudOS 自研产品技术新特性。

技术规模化、复杂化?看作业帮如何利用OpenCloudOS解决技术难题!

OC8 产品技术特性及应用生态

OC8 发行版的内核基于社区 LTS 5.4 独立演进,用户态与 CentOS 兼容,在保持 CentOS 兼容性的同时,通过内核的全面优化和打磨,提供更强的服务能力和稳定性,是 CentOS 的更佳替代方案。通过业务实践与验证,OC8 具有稳定可靠、深度定制、全面优化、高性能、开源开放、生态共享等诸多优点。

技术规模化、复杂化?看作业帮如何利用OpenCloudOS解决技术难题!

OC9 产品技术特性

OC9 是 OpenCloudOS 社区成员联合研发基于 OpenCloudOS Stream23 的首个 L3 全自研版本,更加高效经济、独立开放。OC9 使用上游社区最新内核 Kernel 6.1,提供多体系架构和新硬件支持,多核性能优化,混部隔离特性增强。除了高性能、安全稳定、支持多硬件平台的特性外,OC9.0 还将为云原生、大数据、人工智能等领域的开发者和用户提供更好的基础环境和服务能力。

截至目前,OpenCloudOS 社区及衍生版本装机量累计超过 1000 万节点,覆盖了银行、保险、证券等 12 大行业,并经历了海量场景长时间的考验,很好地符合了作业帮对于操作系统的需求与期待,因此,作业帮在 OC 上开展一系列实践,使其不再受技术难题的掣肘。

在 OC 上的技术实践

一、统一运维:在多样化边缘场景下使用 OpenCloudOS

技术规模化、复杂化?看作业帮如何利用OpenCloudOS解决技术难题!

作业帮在中心 IDC 机房的演化历程

从 2019 年至今,作业帮经历了虚拟机到容器技术爆发的时代,并逐渐使用 TencentOS Server 和 OpenCloudOS 的不同版本来向上支持 kubernetes。到 2022 年,作业帮开始使用 OC8 向上支持 ebpf,解决服务治理的诉求。在多年的实践积累下,作业帮在多样化边缘场景下使用 OpenCloudOS 取得了不错的成效,例如多样化的硬件驱动适配、优化设备性能、集合和支持边缘 kubernetes 特性等。

二、成本收益:基于 OpenCloudOS 的在离线混部方案

技术规模化、复杂化?看作业帮如何利用OpenCloudOS解决技术难题!

在线服务与离线作业的资源利用对比

在线服务的服务时延敏感,对服务 SLA 要求极高,利用率约 20%;而离线作业的服务时延不敏感,容错率高,利用率高达 60%。因此,通过在离线混部能够有效提升资源利用率,实现降本增效。OpenCloudOS 提供了绝对抢占的离线调度器——BT调度,通过对内存动态调整和网络带宽限制,一方面实现了绝对抢占,达到完美隔离效果,另一方面能够深度定制,完成极致的调度指标。

三、效率提升:基于 OpenCloudOS 的问题定位和分析能力

技术规模化、复杂化?看作业帮如何利用OpenCloudOS解决技术难题!

EBPF 问题定位和分析

基础架构经常遇到这样的问题:某服务 QPS 百万级别,平均时延 10ms,偶发万分之一的长尾时延 100ms 导致服务异常,希望定位长尾时延的原因以及解决问题。但是该如何定位?几千个服务模块,每周反馈几十例,又该如何提升效率?吕亚霖指出,需要一个定位和分析问题的通用方法和工具。OpenCloudOS 提供了社区 netrace、社区 BCC、自研协议流转分析等工具,通过将工具集打包到一个 ds 服务里,使操作平台化自主化、结果报告化,从而实现 kubernetes 故障分析,提供完美的解决方案。

结语

在此次讲座结尾,吕亚霖表示对 OpenCloudOS 开源社区的未来发展满怀期待,并希望进一步丰富 OpenCloudOS 周边生态、加大企业级产品服务集成。作业帮依托“科技+教育”双引擎优势,未来将会继续在学习工具产品、智能硬件等领域深入布局,与 OpenCloudOS 展开深度合作,让技术于在线教育场景中真正落地。CSDN 也将持续关注操作系统领域发展状况及相关热点话题,为大家分享最新的行业洞察与知识干货!返回搜狐,查看更多

责任编辑:

以上内容为资讯信息快照,由td.fyun.cc爬虫进行采集并收录,本站未对信息做任何修改,信息内容不代表本站立场。

快照生成时间:2023-06-30 11:45:22

本站信息快照查询为非营利公共服务,如有侵权请联系我们进行删除。

信息原文地址:

宫艳红:绽放在石油开采一线的“铿锵玫瑰”
...艳红十分注重创新。她牵头攻关的“油水井提质增效关键技术及规模化应用”等项目创造经济效益2200余万元。2011年,以宫艳红名字命名的工作室成立后,她带领团队成员把脉生产难题,
2023-10-19 20:04:00
中国海上首个规模化钻井开发 亿吨级油田垦利6-1完成全部钻井作业
...井作业,工程质量合格率100%,提速超20%,完成十三项新技术应用,打破8项中国海油钻井纪录,大大缩短了产能建设周期,目前油田已达到日产原油近万方的规模。中国海上首个规模化钻
2023-09-24 16:32:00
我国探获全球首个超深水超浅层千亿方大气田
...钻探难等难题。“我们对浅层气成藏机理和工程作业关键技术展开攻关,选定位于海南岛东南盆地中央坳陷南部、平均作业水深达1500米的陵水36-1区块作为勘探目标。”中国海油总地质师
2024-08-07 21:06:00
...过合格的检测试验以及输电模拟线路试用有效后,这项新技术已在多达50多次的现场作业中得到实际应用,让困扰电力工人登塔作业的难题得到解决,提高了输电高空作业的工作效率和安全性。(
2024-08-12 11:18:00
榆阳:机械强农 稳粮增收促振兴
...农情会商,及早发布农机作业供需信息,强化机具调度、技术培训和维修服务准备;聚焦粮食稳产增产,大力推进保护性耕作,促进粮食生产机械化与耕地保护相得益彰;突出抓好玉米密植高产“5
2022-12-30 07:19:00
石头缝里“榨”出石油 我国岩油开采规模与产能不断扩大
...的35%。我国页岩油资源丰富,可采储量居世界第三。持续技术攻关 我国页岩油产能不断提升近年来,通过持续的技术攻关和迭代升级,我国岩油开采规模和产能都在不断扩大。新疆油田吉庆油
2024-05-04 12:11:00
...典型的例子,美国通过页岩油革命,攻破海相页岩油开采技术难题,页岩油产量占全球总产量的35%,实现了从石油进口国到石油输出国的转变。受全球石油需求增长和传统石油资源减少影响,近
2024-05-25 09:15:00
飞步科技落地IGV全无人运输车队与甬舟码头签订五年付费运营合同
...造多车型全自动化集装箱码头。为上述码头提供无人驾驶技术服务的,都是飞步科技。成立六年多来,公司成功研发了面向港口行业的一整套软硬件产品,可同时提供无人驾驶+远程控制,以及全局
2024-01-09 11:00:00
是什么“挡”住了无人车驶入农田?
...累及全行业的利润和科技进步;三是受限于材料等问题,技术难以攻克。目前,我国农业机械行业内企业数量较多,以中小型企业居多,整体实力偏弱,同质化严重,行业竞争格局呈现小而散的特点
2023-05-20 02:00:00
更多关于科技的资讯:
科拓生物亮相首届精准营养大会,引领益生菌产业精准化变革
8月17-19日,中国营养学会精准营养产业分会主办的第一届精准营养产业大会在上海盛大启幕。本届大会以“创新新生态,转化新标准”为主题
2025-08-21 10:53:00
英特尔成立UQD互插互换联盟:携手五大伙伴,共筑液冷生态新未来
今日,英特尔®通用快接头(下称UQD)互插互换联盟正式成立。成立仪式上,英特尔与首批认证合作伙伴——英维克、丹佛斯、立敏达科技
2025-08-21 10:55:00
安全护航真诚相遇 珍爱网筑起坚固反诈防线为爱保驾护航
从清晨醒来手机收到的一条天气提醒,到开启旅途的一份行程规划,到工作中依赖网络开展的业务往来,再到闲暇时畅游网络世界的娱乐放松……网络已深度融入我们的日常生活与工作
2025-08-21 09:10:00
萍乡构建“返乡即就业”服务体系 已帮扶2万余人达成就业意向
本报讯 信息日报全媒体记者谢梦丽报道:8月19日,记者从萍乡市人社部门了解到,今年以来,针对返乡人员就业工作,萍乡多举措构建“返乡即就业”全周期服务体系
2025-08-21 06:19:00
8月18日,“中国醋都·清徐”陈醋系列产品包装设计大赛启动。本次大赛以“清徐陈醋 健康好醋”为主题,由清徐县醋产业发展和研究中心
2025-08-21 07:20:00
四院士“智”见AI
8月20日,第九届未来网络发展大会在南京上秦淮国际文化交流中心开幕。邬贺铨、李国杰、刘韵洁、郑庆华等专家,在会上开展深度对话
2025-08-21 07:40:00
算力可像“水电”一样便捷取用
未来网络试验设施(CENI)创新试验展台的灵犀导览机器人。紫金山实验室展台。南报网讯(记者张安琪实习生饶嘉萱)8月20日在第九届未来网络发展大会开幕式上
2025-08-21 07:42:00
全球首个!西电“玄知”密码大模型问世!
近日,西安电子科技大学计算机科学与技术学院沈玉龙教授团队在密码大模型方面取得突破性进展,研究成果以“玄知大模型”命名在西部网络安全大会上正式发布
2025-08-20 09:45:00
东方甄选股价跳水,新东方紧急声明
8月19日,东方甄选股价上演“天地板”,早盘一度暴涨逾23%,午后高台跳水,盘后跌20.89%。若以日内高点计算,追高资金在不足两小时内浮亏逾30%
2025-08-20 09:55:00
产业链上的山东好品牌|历时19年,平耐集团为全球建筑与工业装备披上“中国智造”外衣
大众网记者 刘爽 张宁 菏泽报道“作为国家级高新技术企业,平耐集团正以毫米级的品质追求和绿色智能的产业实践,为全球建筑与工业装备披上‘中国智造’的防护外衣……”平耐新材料科技(山东)有限公司(以下简称
2025-08-20 10:39:00
宇树科技发布新款人形机器人预告海报,身高180cm,拥有31个全身自由度,动作灵活且优雅
8月19日晚间,宇树科技发布新款人形机器人预告海报,配文“敬请期待”。根据官方海报显示,新款机器人有1米8大高个,拥有31个关节自由度(6*2+3+7*2+2)
2025-08-20 11:39:00
AI赋能智慧生产 固达电缆销售额上半年增长58%
固达电缆集团厂区展现出一片繁忙景象,叉车穿梭、货车满载,大型行车正将成卷电缆装车发往全国各地。据悉,今年1-6月,固达电缆销售额同比增长58%
2025-08-20 12:05:00
京东宠物上线超百款差异化爆品 确保投资回报 破局同质化内卷
当前,宠物经济持续升温,随着养宠人群年轻化、喂养理念的转变,宠物行业正从基础刚需向多元化、精细化、专业化蜕变。8月19日
2025-08-20 13:47:00
2025全球智慧教育大会|腾讯青少年AIGC创作工坊发布并启动AIGC智创少年计划
2025年8月18-20日,2025全球智慧教育大会在京举行。本次大会聚焦“人机协同催生教育新生态”,探讨新技术与教育深度融合的创新路径
2025-08-20 14:24:00
美橙回收国补遇上开学季,双重补贴引爆年轻消费市场!
——千名潮流数码玩家强势推荐伴随2025年国家第三批消费补贴全面落地,由武汉青云美橙科技服务有限公司运营的美橙回收于八月下旬推出开学季活动“国补遇上开学季
2025-08-20 14:24:00