• 我的订阅
  • 头条热搜
NVIDIA RTX显卡AI推理提速5倍!
...理性能可以跑到每秒319tokens,相比其他后端的每秒61tokens提速足足4.2倍。RTX4090则可以从每秒tokens加速到每秒829tokens,提升幅度达2.8倍。基于强大的硬件性能、丰富的开发生态、广阔的应用场景,NVIDIARTX正成为本地端侧AI不可或缺...……更多
手机跑大模型提速4-5倍!微软亚研院开源新技术,有CPU就行
有CPU就能跑大模型,性能甚至超过NPU/GPU!没错,为了优化模型端侧部署,微软亚洲研究院提出了一种新技术——T-MAC。这项技术主打性价比,不仅能让端侧模型跑得更快,而且资源消耗量更少。咋做到的??在CPU上高效部署低...……更多
面壁智能的端侧大模型面壁MiniCPM正式亮相
...大的底层支撑,先是算力方面,凭借全流程高效infra10倍推理加速,能够将成本降低90%;其次在算法方面,面壁模型通过高效模型训练配置实现模型能力快速形成;数据处理方面,凭借现代化数据工厂形成从数据治理到多维评测...……更多
微软连发3款Phi-3.5模型:128K上下文,首用MoE架构,部分性能超GPT-4o mini
...支持128k上下文长度。Phi-3.5-mini-instruct主要面向基础快速推理任务,Phi-3.5-MoE-instruct可胜任复杂推理任务,Phi-3.5-vision-instruct则兼具文本与视觉能力。性能最强大的Phi-3.5-MoE-instruct模型有419亿个参数,……更多
英伟达推出史上最强AI芯片H200:推理性能提升90%,无缘中国市场
...的H100的带宽和容量分别为3.35TB和80GB。这将提升大模型在推理方面的表现,并有助于提升高性能计算应用的计算能力。英伟达预计,H200将在明年二季度开始发货,谷歌、微软、甲骨文等科技巨头将会率先实现首批部署。但毫无疑...……更多
微软研究院推出orca2llm
...然后生成、回忆-原因-生成、提取-生成和直接回答等各种推理技术,同时还能为不同的任务选择不同的解决方案策略。Orca2模型相比较Llama2和WizardLM等大型语言模型,在痛苦理解、常识推理、多步推理、数学问题解决、阅读理解...……更多
微软开源爆火1bit大模型推理框架!千亿参数模型量化后单CPU可跑
微软开源1bit大模型推理框架!现在1000亿参数大模型量化后单CPU可跑,速度可达每秒5-7个token。就是今年爆火论文The Era of 1-bit LLMs的官方代码实现,开源不到一周GitHub已揽获7.9k Star。传统大模型参数以16位浮点数(如FP16或BF16)形...……更多
专家模型不要专家并行!微软开源MoE新路径
...好,所以要在左上角: GRIN作为MoE架构,总参数量约42B,推理时激活的参数为6.6B,打同级别(7B)的非MoE模型是手拿把攥,甚至比14B的Phi-3还要略胜一筹。在上面的这份成绩单中,GRIN MoE表现优异,尤其是在编码和数学测试中。...……更多
系统级玩家微软、苹果先后出牌,端侧大模型路径清晰了?
...MGSM(跨语言数学能力)提升 2.3%,而DROP(文本段落分析推理)则下降了 3%。但与此同时,杀手级应用仍未出现。根据第三方网站SimilarWeb的监测数据,早在去年6月,ChatGPT流量即已见顶,当月其网站与移动客户端的全球流量(PV)...……更多
AI芯片下半场:英伟达不再一家独大
...)”的新AI芯片组,目的是为ChatGPT等大语言模型的训练及推理提供英伟达芯片之外的替代方案。另据Tom’s Hardware消息,Athena使用的是台积电5nm工艺,专为大语言模型训练设计。 曾有知情人士透露,在开发Athena期间,微软为了满...……更多
intelarca770升级改进ai大模型
IntelArc锐炫虽然初入独立显卡市场,但表现可圈可点,尤其是随着驱动的不断优化,各方面性能都在持续突飞猛进,包括游戏,包括AI。比如最高端的ArcA770,不但集成XMXAI加速功能,还拥有16GBGDDR6大容量显存,非常适合做生成式A...……更多
Intel三条线优化阿里云通义千问2模型:720亿参数轻松拿捏
...。Intel还采用KV Caching、PagedAttention机制和张量并行,提高推理效率。Intel的硬件也可利用软件框架和工具包进行加速,并获得出色的大模型推理性能,包括PyTorch以及Intel PyTorch扩展包、OpenVINO工具包、DeepSpeed、Hugging F……更多
推理性能飙升1.5倍!微软疯狂下单GB200芯片提升其AI算力
...,新一代GB200服务器系统在Llama 3.1 700亿参数大模型上的AI推理性能对比H200提高了足足1.5倍。此外,微软还计划在低温数据中心部署GB200服务器,以缓解冷却系统的潜在压力。其他云服务提供商订单量则显著低于微软,如亚马逊在2...……更多
3天把Llama训成Mamba,性能不降,推理更快!
...Mamba模型,并且设计了新的推测解码算法,加速了模型的推理。先来看一张其乐融融的图片(一眼AI):右边的小羊驼代表Llama,而左边的蛇(Mamba)也是我们的老熟人了。至于到底能不能其乐融融,咱就不管了,之所以有此场景...……更多
微软紧随英伟达发布芯片,老黄还不慌吗?
...可以加快数据处理速度,尤其是在语音和图像识别方面。提速的关键,自然是算力。为了提升算力,微软也是下了血本:采用台积电的5nm制程工艺,晶体管数量达到1050亿个。和今年4月被曝光的信息相比,Maia的制程工艺、设计架...……更多
收入占比40%、电话会议点名16次,英伟达:推理端的需求被低估了
...让人印象深刻的是,英伟达在财报电话会议的一个观点:推理端的爆发,可能很多人还是低估了。据英伟达电话会议披露,公司全年数据中心里已经有40%的收入来自推理业务,超出了绝大部分人预期。而在这次财报电话会议里,...……更多
微软宣布Team Copilot发布,年内将推出初步预览版
...电脑,二是在信息日益增加的世界,电脑能不能帮助人类推理、规划以及更有效地运用所有的信息。纳德拉认为,现在这波AI浪潮能为微软找到实现这两大梦想的答案。随后,Nadella聚焦Copilot。纳德拉提到了包含随时可用本地API...……更多
英伟达宣布rtx系列显卡支持微软copilot+计划
...划,宣告了其拥抱人工智能的决心。英伟达宣布其RTX系列显卡将大力支持微软的全新Copilot+计划,该计划旨在为Windows11系统带来一系列强大的本地化功能。IT之家注意到,首批适配的设备包括来自华硕的五款笔记本电脑以及来自...……更多
PC迎来AI时刻,英特尔、微软、联想等纷纷布局,产品价格将迎上涨
...算力是上一代的8倍,可在PC上实现高能效的AI加速和本地推理,并适配超过10款国产大模型。英特尔的老对手AMD则抢先一步,上周发布Ryzen 8040系列处理器。该处理器集成了升级的专用AI引擎NPU,算力为16TOPS,AI性能相比上一代提升...……更多
RTX 40系GPU AI性能首测
...RTX40系列多款型号的显卡、笔记本电脑GPU在StableDiffusion的推理性能表现,其中在ULBenchmarkSD1.5TRTvs.OpenVINO的对比测试中RTX4090笔记本电脑GPU相对于Arc核显有超过27倍的性能提升。使用吐司基准测试完整LoRA模型在StableDif……更多
AMD MI300绝杀英伟达H100?跑GPT-4性能超25%,AI芯片大决战一触即发
...,因此它们一直被诟病生成的回答是基于概率,而非基于推理。这也就意味着,在当前的AI热潮中,这些模型架构可能无法幸存下来。毕竟,由于发展速度太快,如今的LLM寿命相对较短。昨天还炙手可热的模型,一两周后可能就...……更多
...比上一代虚拟机性能更强大,可显著提升AI模型的训练和推理速度。同时,微软选择了第四代英特尔XeonScalable处理器作为新一代计算机处理单元。此外,NDH100v5VM还采用了英伟达Quantum-2ConnectX-7InfiniBand技术,每个GPU可提供400Gb/s的带...……更多
谷歌和微软两位“印度老乡”CEO,正面硬刚
...布的大模型Bard将使用Gemini Pro的微调版本来进行更高级的推理、规划和理解等。谷歌官方称“这是Bard自推出以来最大的升级”。Gemini Nano被称为“端侧任务最高效的模型”,Android开发者可以通过AICore来使用。据悉AICore是Android 14 ...……更多
传统与AI性能两开花:AMD Zen 5架构处理器全解析
...,除了面向AI训练的服务器级别的硬件之外,主要用于AI推理的消费级处理器同样也需要强大的算力,让AI应用更加高效。在台北Computex2024中,AMD发布了Zen5架构处理器,包括锐龙AI300系以及锐龙9000系处理器,就在上周,AMD于洛杉...……更多
发布一揽子新品,AMD再次挑战英伟达!但败局早已注定?
...在加快追赶英伟达的步伐,以最新的Instinct MI325X为例,其推理性能甚至比英伟达刚发货的H200还高20%以上。不过强大的推理性能是靠远大于H200的显存所换来的,MI325X拥有多达256GB的HBM3E内存,这是目前全球性能最强的内存,连带着...……更多
微软、英伟达纷纷押注小模型,大模型不香了?
...LLM之间的性能差距正在迅速缩小,特别是在多项选择题、推理和数学问题等特定任务中,顶级模型之间的差异极小。例如,在多项选择题中,Claude 3 Opus、GPT- 4 和Gemini Ultra的准确率均超过83%,而在推理任务中,Claude3 Opus、GPT-4和Ge...……更多
大模型新趋势之MoE:现状、挑战及研究方向
...,MoE在训练过程通过门控模型实现“因材施教”,进而在推理过程实现专家模型之间的“博采众长”。 图1MoE架构原理示意图1MoE的特征优势是专家化、动态化、稀疏化,在模型研发成本、训练/推理效率和整体性能之间实现最佳...……更多
清华提出CharacterGLM;DeepMind联创发全新一代大模型;大模型版“5年高考3年模拟”来了丨AI新零售早报
...|微软&UCLA&UW联合出品》MathVista是一个多模态数学推理基准数据集,由微软、UCLA和UW联合开发,包含6141个数学问题,涵盖丰富的任务类型、推理能力和图像类型。特点:旨在提供一个全面、多样、复杂的视觉数学推理挑战...……更多
国产低价显卡坞评测:能让轻薄本用上本地大模型
...消息是,尽管CUDA是N卡专属,但这并不意味着A卡不可以AI推理加速,通过DirectML、GGML或者OpenCL,A卡可以绕开这个限制,使用GPU进行AI推理。在这里,我直接选用农企推荐的第三方解决方案LM Studio,这是一个闭源、跨平台和跨供应...……更多
微软:从“软件老大”到“AI帝国”
...Bing、GitHub Copilot 和 ChatGPT 等 AI 工作负载运行云端训练和推理。这款芯片采用了 5 纳米工艺制造,拥有 1050 亿个晶体管。 Azure Maia 100 美颜照|Microsoft微软自己的DPU——Azure Boost也已全面上市。微软在今年早些时候……更多
更多关于科技的资讯:
云朵的拍摄与调色技巧
在这个手机摄影盛行的时代,云朵成为了许多摄影爱好者的创作对象。最近,我在一次旅行中,发现了云朵拍摄的无限可能,尤其是在调色方面
2024-12-08 14:25:00
苹果计划于2026年采用分离式封装LPDDR DRAM
为了进一步提升iPhone的端侧AI性能,苹果公司近日与三星电子展开合作,共同研发新的低功耗双倍数据速率(LPDDR)DRAM封装方式
2024-12-08 14:41:00
小米首款增程车型来了!预计2026年上市 定位15万级市场
快科技12月8日消息,据媒体报道,小米汽车正在准备推出其第三款车型“昆仑”。这将是品牌的首款增程式SUV车型。与之前发布的SU7相比
2024-12-08 14:42:00
明星半导体项目卖身!汇顶科技拟100%收购85亿独角兽云英谷
快科技12月8日消息,据媒体报道,半导体行业再现重大并购案,汇顶科技宣布计划通过发行股份及支付现金的方式,购买云英谷科技100%的股份
2024-12-08 14:42:00
小米SU7高速上被磕爆胎 博主亲身叙述找路政索赔有多难
快科技12月8日消息,汽车博主“堂主撩车”近日发布视频称,他的小米SU7在高速匝道上,被一个大坑磕破两条轮胎,借此机会
2024-12-08 14:42:00
学习、旅行、通勤必备!为什么降噪耳机我一刻都离不开?
在当今快节奏的生活中,噪音似乎无处不在,给我们的学习、工作和休闲带来了种种困扰。无论是在繁忙的办公环境、喧嚣的城市街道
2024-12-08 14:59:00
新突破!航天工程发布2000标方碱性电解制氢装备
快科技12月8日消息,中国运载火箭技术研究院发文,火箭院航天长征化学工程股份有限公司在氢能领域取得了重大突破,正式发布了HTJS-ALK-2000/1
2024-12-08 15:12:00
英伟达黄仁勋大手笔!越南首富AI医疗公司被纳入麾下
快科技12月8日讯,近日,据媒体报道,英伟达与越南政府携手,宣布了一项重要合作:在越南建立AI研究中心。通过建设AI基础设施和扶持相关创新企业
2024-12-08 15:12:00
哪吒汽车:网传改名“方舟汽车”一事纯属谣言!
快科技12月8日消息,就网传“哪吒汽车”将更名为“方舟汽车”一事,哪吒汽车法务部发文澄清:网传更名一事,纯系谣言,其文稿中的内部邮件截图为虚构
2024-12-08 15:12:00
特斯拉官网上线Model 3/Y头枕+靠背:组合售价459元
快科技12月8日消息,特斯拉中国官网最新上架了Model 3和Model Y的头枕和腰靠,头枕售价为219元,腰靠售价为269元
2024-12-08 16:12:00
身长近1米!男子等红绿灯时发现剧毒眼镜王蛇
快科技12月8日消息,据报道,广东佛山南海西樵,一男子在西樵某路口等红绿灯时,发现路边绿化带内有剧毒的眼镜王蛇,俗称“过山峰”
2024-12-08 16:12:00
黑红双色车身设计亮眼!阿维塔E16最新预告图发布
快科技12月8日消息,阿维塔E16,与阿维塔07同级的轿车,提供增程和纯电两种动力版本。从预告图中可见,E16拥有流畅的侧面线条和溜背式设计
2024-12-08 16:12:00
iPhone信号烂有救了!苹果自研5G基带曝光 全面替代高通
据彭博社记者马克·古尔曼(Mark Gurman)的爆料报道称,苹果公司计划从2025年开始推出自研的5G调制解调器(基带芯片)
2024-12-08 16:42:00
本文转自:人民网-浙江频道最新高速公路技研产品亮相浙高运公司:绘就高速公路数智化转型蓝图“我们今年继续迭代升级了‘高瞳’
2024-12-08 17:01:00
李书福:教育必须是非盈利的 否则学校走不远
快科技12月8日消息,据报道,搜狐创始人兼CEO张朝阳与吉利控股集团董事长李书福相聚三亚学院,围绕“企业家的社会责任”展开对话
2024-12-08 17:12:00