• 我的订阅
  • 头条热搜
刚刚,Llama 3.2 来了!支持图像推理,还有可在手机上运行的版本
... Meta 对 Llama 模型来了一波大更新:不仅推出了支持图像推理任务的新一代 Llama 11B 和 90B 模型,还发布了可在边缘和移动设备上的运行的轻量级模型 Llama 3.2 1B 和 3B。不仅如此,Meta 还正式发布了 Llama Stack Distribution,其可……更多
算子开发到推理加速,一位00后开发者的“升级打怪”之旅
...框架降低了大模型训练的门槛,目前正在做大模型分布式推理加速,希望可以帮助其他开发者在生产环境中高效部署在线推理服务。在昇腾AI的生态里,像郑辉这样为大模型浪潮默默贡献自己力量的开发者不胜枚举。他们还不是...……更多
用硅模拟人脑,进度条走到了1/80
...物神经元。这种芯片效果如何?一系列数据说话:执行AI推理负载和处理优化问题时,速度比常规CPU和GPU架构快50倍,同时能耗降低了100倍。 运行传统深度神经网络时,INT8精度运算的能效比达到了15 TOPS/W。 (英伟达尚未发货的...……更多
...今年正式投产。据了解,新的芯片将被应用于数据中心的推理任务,与英伟达等供应商的GPU一起协同工作。Meta发言人之前表示:我们相信,我们自主开发的加速器将与市面上的GPU相得益彰,为Meta的任务提供最佳的性能与效率平...……更多
比GPU性价比高百倍!Cerebras推出新AI推理服务,号称“全球最快”
...28日消息,AI芯片独角兽Cerebras Systems于8月27日宣布推出AI推理服务Cerebras Inference,号称“全球最快”。该服务已经在云端上线。据官网介绍,该推理服务在保证精度的同时,速度比英伟达的服务快20倍;其处理器内存带宽是英伟达...……更多
阿里云佘俊泉:创新涌现,边缘云场景的探索与机遇|GDCC智算
...成本优化,后者则注重实时互动体验。此外,虽然边缘AI推理当前的规模不大,但随着AIGC以及LLM技术全面应用到千行百业,边缘云在这个方向上有巨大潜力,在未来5-10年内将产生更多创新业务场景。针对上述场景化需求,阿里...……更多
腾讯大模型混元Turbo:御气升昺云,梓桐金鼎开
...模型,腾讯混元Turbo性能有显著提升,训练效率提升108%,推理效率提升 100%,推理成本降低 50%,解码速度提升 20%,效果在多个基准测试上对标GPT-4o。最新第三方测评在国内位居第一。腾讯混云大模型已经落地腾讯700+个业务场景...……更多
文心大模型4.0 Turbo来了!百度推出文心快码2.5,已覆盖内部80%程序员
...考虑到大模型和异构多芯发展趋势,为了保障大模型训练推理性能、简化大模型开发调优过程以及更好地适配各种芯片,飞桨与文心联合,在训练、推理两个方面定向优化。▲飞桨框架设计理念具体来说,动静统一的自动并行能...……更多
o1金牌团队揭秘AI超越人类惊人时刻!22分完整版视频全公开
...共有8点:1 强化学习加持的o1,比人类更善于发现新的CoT推理步骤2 自我批评的涌现,是o1最强有力的时刻3 让o1「超时」前完成回答,然后突然有了「啊哈」时刻 4 scaling参数规模的挑战,以及继续沿着强化学习算法进步之路5 许...……更多
中兴通讯:全栈全场景智算解决方案,助力行业智能化转型升级
...整合现有的算力资源,实现多种算力统一管理和混合训练推理。基地可以根据不同的业务需求和数据规模,灵活调整算力配置和训练策略,提高资源使用效率,减少对单一供应商的依赖。此外,中兴通讯还通过量化压缩技术优化...……更多
AI算力大战开启:英特尔AI芯片性能超越H100,谷歌云推出最强ARM芯片|钛媒体AGI
...中,相比于英伟达H100 GPU,Gaudi3 AI芯片的模型训练速度、推理速度分别提升40%和50%,平均性能提高 50%,能效平均提高40%,而成本仅为H100的一小部分。英特尔预计,Gaudi 3将于2024年第二季度起出货,戴尔、惠普、联想、超微电脑等...……更多
马斯克突然发布Grok-2!数学推理能力突出,攻克“9.9与9.11比大小”经典难题
...上一代模型,Grok-2和Grok-2 mini在阅读理解、数学、编码、推理等方面表现都有显著改进。值得一提的是,Grok-2在数学推理(MathVista)方面表现登顶测试榜首。但细心网友不难发现,即便是Grok-2,在其他方面与前沿模型GPT-4o或Claude ...……更多
AI PC YES!AMD举办AI PC创新峰会
...的架构产品去解决AI的不同需求,包括面向通用处理和AI推理的Zen架构CPU;面向HPC、AI训练和密集推理的CDNA架构GPU;面向游戏和基于AI的内容开发的RDNA架构GPU;以及面向低功耗和一直在线的AI推理的XDNA架构,即NPU。 最先的锐龙804...……更多
掰开安卓手机 满屏都是三个字:大模型
...的内存单元,是大模型进手机面临的第二道难关:大模型推理需要大量计算资源做支撑,与此同时,内存大小决定了数据处理速度的上限以及推理的稳定性。另外,在手机上跑大模型,也给电池带来了更大的压力。因此芯片能耗...……更多
OpenAI发布最新技术研究,AI“黑盒”不再是难题!
...出了正确回答。大部分大模型都在给出答案的同时呈现了推理过程。智谱清言给出的推理过程显示,在比较13.11%和13.8%时,13.11%是更大的数值。这是因为当比较两个百分数时,我们首先比较整数部分,如果它们相同,则比较小数...……更多
架构优先、先易后难,华为的制造业生成式AI方法论
...业需要构建强有力的ICT基础设施,尤其是大模型的训练和推理,都对基础设施提出了更高的要求,要实现“存算云网能”的全方位协同。 在算力方面,华为的智能计算芯片和通用计算芯片,正在成为世界算力的第二选择。前者...……更多
AI新时代揭幕!会“思考解题逻辑”的OpenAI推理大模型登场
...凌晨1时许,AI时代迎来崭新的起点——能够进行通用复杂推理的大模型终于走到台前。OpenAI在官网发布公告称,开始向全体订阅用户开始推送OpenAI o1预览模型——也就是此前被广泛期待的“草莓”大模型。OpenAI表示,对于复杂推...……更多
又是一部推理佳作,刚开播就飙上9.3分!
...。第一季就口碑和收视双丰收,到了2021年12月底,《女高推理班》就又推出了第二季,共计8集,同样收获了出色的口碑。2024年4月,终于迎来了《女高推理班》第三季,朴智允、张度练、JaeJae、BIBI、崔叡娜都回归。一上线,《...……更多
百倍提升7B模型推理能力!颜水成团队携手新加坡南洋理工大学发布Q*算法
...-7b等小模型达到参数量比其大数十倍、甚至上百倍模型的推理能力,使模型性能迎来惊人提升。自OpenAI的Q*项目曝光后,业内相关讨论始终层出不穷。据现有信息汇总,Q*项目被视作OpenAI在探索人工通用智能(Artificial General Intelli...……更多
谷歌在AI赛道加速
...以应用于图像-文本预训练、视觉问答、图像描述、视觉推理、多模态检索等多个领域。它有望推动多模态学习技术的进一步发展,并为人工智能领域带来新的突破。当然,该系统完全依赖于其训练数据的质量,如果没有人工整...……更多
商汤升级“日日新5.0”大模型,对标GPT-4Turbo
...用混合专家架构,超10TB tokens训练,覆盖大量合成数据,推理时上下文窗口达200K左右。云、端、边全栈大模型产品矩阵中,用于终端设备的“商汤端侧大模型”可满足各类终端用户对大模型技术的应用需求。“日日新5.0”和GPT-4...……更多
人工智能已经可以解决复杂的数学问题了,还有哪些工作无法被取代
...决数学问题的系统,它是一个组合了自然语言处理和数学推理的系统。这个系统的作用是帮助计算机理解自然语言中的数学问题,从而能够通过推理和计算得出问题的答案。具体来说,这个系统包括多个子系统,包括自然语言处...……更多
进迭时空宣布开源RISC-V芯片的AI核心技术
...为ARM的20%左右,AI性能得到极大提升。目前,世界主流AI推理生态主要包括英伟达的GPU推理生态和X86的CPU推理生态。K1芯片通过复用X86成熟的AI推理软件栈,把底层核心算子改用RISC-VVector和AI指令,其余部分复用CPU推理软件栈,从...……更多
中国银河证券:Sora将推动推理端算力占比将大幅提升
...。目前OpenAI已加入算力芯片军备竞赛中,根据OpenAI论文,推理阶段算力需求是模型参数数量与训练数据集规模乘积的2倍,Sora将推动推理端算力占比将大幅提升。此外,通信端等配套实施需要全方位升级,网络上行下载速度需大...……更多
《周四推理俱乐部》电影即将开拍,皮尔斯·布鲁斯南加盟主演
《周四推理俱乐部》系列小说书影“周四推理俱乐部”系列故事发生在英国乡间高档养老社区,住户伊丽莎白曾是英国情报组织的王牌特工,她不愿穿着纸尿裤坐在轮椅上慢慢变老,和同住在这里的前工人领袖罗恩、前护士乔...……更多
清华大学获芯片领域重要突破!
...可为百亿像素大场景光速智能分析、百亿参数大模型训练推理、毫瓦级低功耗自主智能无人系统提供算力支撑。文中图片均由受访者提供 ……更多
摆脱Transformer依赖?这家AI初创公司推出国内首个非Attention机制大模型
...能效果——记忆能力提升3倍、速度提升7倍的同时,实现推理吞吐量的5倍提升。 至于为何另辟蹊径,寻求非Transformer的大模型路径,岩芯数智CEO刘凡平指出,以大规模著称的Transformer,在实际应用中的高算力和高成本,让不少中...……更多
...阶段:训练和日常使用,后者用信息技术语言来说就是“推理”。萨莎·卢乔尼说道:“推理可能比训练带来的影响更大。一次使用可能并不需要很多计算,但时常更新就不一样了,例如人们熟知的谷歌翻译每天要更新数十亿次...……更多
围绕算力+数据,矩阵起源建设开源 AI 原生软件平台
...供开箱即用的分布式算力池,为数据处理、训练、微调、推理提供快捷、稳定、高效、弹性的分布式支撑环境;面向开发者,提供完备的开发API/SDK,助力企业快速接入MatrixDC平台,实现预期的业务目标。同时,MatrixDC支持与NVIDIAA...……更多
Anthropic再反击!发布Claude 3.5吊打GPT-4o,视觉、逻辑推理等方面表现更强
...本Claude 3.5 Sonnet。从官方披露的测试数据来看,其在逻辑推理、编程、数学等方面中的表现性能均超越GPT-4o。网友直言,“太卷了,现在AI竞争是要以周为单位了吗?” 从官方介绍来看,Claude 3.5全家桶仍会有3款系列模型,分别...……更多
更多关于科技的资讯:
iphone16promax与三星s24ultra对比
当今年初登场的“安卓机皇”三星S24Ultra,与苹果最新旗舰iPhone16ProMax同台竞技时,你觉得谁会从这场“战争”中胜出
2024-10-01 19:32:00
【视频】来金溪过个不一样的国庆
本文转自:人民网-江西频道【视频】来金溪过个不一样的国庆
2024-10-01 21:16:00
10月1日消息,科技媒体gizmochina昨日(9月30日)发布博文,表示在挖掘GSMAIMEI数据库之后,发现了vivoXFold4智能手机的踪迹
2024-10-01 21:26:00
索尼psn遭遇大规模宕机,所有平台受影响
10月1日消息,索尼的PlayStationNetwork(PSN)遭遇大规模宕机,导致PlayStation5和PlayStation4的玩家无法在线玩游戏
2024-10-01 21:26:00
三星Galaxy Z Fold6可以实现分屏或者浮动窗口操作
10月1日消息,科技记者MishaalRahman昨日(9月30日)发布博文,报道称在三星GalaxyZFold6折叠屏手机上
2024-10-01 21:31:00
苹果收购beddit之后的逐步淘汰情况
10月1日消息,科技媒体MacRumors昨日(9月30日)发布博文,报道称苹果公司于2017年收购Beddit睡眠监测配件之后
2024-10-01 21:32:00
火狐firefox131稳定版更新引入临时站点权限
10月1日消息,Mozilla昨日(9月30日)推出了火狐Firefox131稳定版,本次更新重点引入了临时站点权限功能
2024-10-01 21:34:00
运营商verizon出现重大网络故障,影响大量用户
10月1日消息,运营商Verizon出现重大网络故障,影响了美国各地的大量用户,其中包括使用iPhone的用户。受影响的用户可能无法发送或接收电话
2024-10-01 21:34:00
国庆假期高速公路免费通行时段10月1日0时至10月7日24时
9月30日消息,今年国庆假期,七座以下(含七座)小型客车通行收费公路继续执行免收通行费政策,免费通行时段起止时间为10月1日0时至10月7日24时
2024-10-01 21:36:00
海思官方宣布将以“创新使能,让每一次改变都是质变”为主题参展
9月30日消息,第12届中国移动全球合作伙伴大会将于10月11日至13日在广州举行,共同创造AI+时代新愿景。海思官方宣布本次将以“创新使能
2024-10-01 21:39:00
本文转自:人民网-广西频道近日,南方电网广西电网公司创新开发推出首个3D数字藏品“小赫兹‘壮壮’‘美美’零碳游山水”,向社会传递广西电网“零碳绿电”举措助力桂林世界级旅游城市建设的美好寓意
2024-10-01 12:46:00
澎湃OS体验增强版Beta发力:多款机型获推新版本
在操作系统方面,小米手机一直都极具争议声,虽然这几年的市场发展速度非常迅速,但在操作系统方面的压力还是很大的。一方面,如今各大手机厂商都在系统方面进行了很大幅度的发力
2024-10-01 12:50:00
红米K80系列:续航、影像、性能均清晰,有望重现“焊门员”
如今的中端手机市场竞争很激烈,对于预算不足,又或者是喜欢高性价比的消费者来说,确实很容易产生选择的欲望。而说到性价比方向
2024-10-01 12:51:00
魅族Lucky 08已正式发布
期待许久的魅族Lucky08终于正式发布了,而红米Note14系列也是进入了发布倒计时阶段,产品本身的配置参数也是没有什么悬念
2024-10-01 12:51:00
澎湃OS体验增强版Beta已推送:动效升级,游戏功耗大降!
每次提及操作系统优化的时候,小米手机总是被吐槽的一位,甚至直到现在,也是有很多消费者对澎湃OS系统进行疯狂吐槽。不过自从8月份大更新之后
2024-10-01 13:53:00