• 我的订阅
  • 头条热搜
NVIDIA RTX显卡AI推理提速5倍!
...理性能可以跑到每秒319tokens,相比其他后端的每秒61tokens提速足足4.2倍。RTX4090则可以从每秒tokens加速到每秒829tokens,提升幅度达2.8倍。基于强大的硬件性能、丰富的开发生态、广阔的应用场景,NVIDIARTX正成为本地端侧AI不可或缺...……更多
面壁智能的端侧大模型面壁MiniCPM正式亮相
...大的底层支撑,先是算力方面,凭借全流程高效infra10倍推理加速,能够将成本降低90%;其次在算法方面,面壁模型通过高效模型训练配置实现模型能力快速形成;数据处理方面,凭借现代化数据工厂形成从数据治理到多维评测...……更多
英伟达推出史上最强AI芯片H200:推理性能提升90%,无缘中国市场
...的H100的带宽和容量分别为3.35TB和80GB。这将提升大模型在推理方面的表现,并有助于提升高性能计算应用的计算能力。英伟达预计,H200将在明年二季度开始发货,谷歌、微软、甲骨文等科技巨头将会率先实现首批部署。但毫无疑...……更多
微软研究院推出orca2llm
...然后生成、回忆-原因-生成、提取-生成和直接回答等各种推理技术,同时还能为不同的任务选择不同的解决方案策略。Orca2模型相比较Llama2和WizardLM等大型语言模型,在痛苦理解、常识推理、多步推理、数学问题解决、阅读理解...……更多
微软华人团队发布全新基准AGIEval,专为人类考试而生
...2.5%,表明了目前基础模型的非凡表现。但GPT-4在需要复杂推理或特定领域知识的任务中不太熟练,文中对模型能力(理解、知识、推理和计算)的全面分析揭示了这些模型的优势和局限性。AGIEval数据集近年来,大型基础模型如GPT-4...……更多
AI芯片下半场:英伟达不再一家独大
...)”的新AI芯片组,目的是为ChatGPT等大语言模型的训练及推理提供英伟达芯片之外的替代方案。另据Tom’s Hardware消息,Athena使用的是台积电5nm工艺,专为大语言模型训练设计。 曾有知情人士透露,在开发Athena期间,微软为了满...……更多
intelarca770升级改进ai大模型
IntelArc锐炫虽然初入独立显卡市场,但表现可圈可点,尤其是随着驱动的不断优化,各方面性能都在持续突飞猛进,包括游戏,包括AI。比如最高端的ArcA770,不但集成XMXAI加速功能,还拥有16GBGDDR6大容量显存,非常适合做生成式A...……更多
微软紧随英伟达发布芯片,老黄还不慌吗?
...可以加快数据处理速度,尤其是在语音和图像识别方面。提速的关键,自然是算力。为了提升算力,微软也是下了血本:采用台积电的5nm制程工艺,晶体管数量达到1050亿个。和今年4月被曝光的信息相比,Maia的制程工艺、设计架...……更多
收入占比40%、电话会议点名16次,英伟达:推理端的需求被低估了
...让人印象深刻的是,英伟达在财报电话会议的一个观点:推理端的爆发,可能很多人还是低估了。据英伟达电话会议披露,公司全年数据中心里已经有40%的收入来自推理业务,超出了绝大部分人预期。而在这次财报电话会议里,...……更多
微软宣布Team Copilot发布,年内将推出初步预览版
...电脑,二是在信息日益增加的世界,电脑能不能帮助人类推理、规划以及更有效地运用所有的信息。纳德拉认为,现在这波AI浪潮能为微软找到实现这两大梦想的答案。随后,Nadella聚焦Copilot。纳德拉提到了包含随时可用本地API...……更多
PC迎来AI时刻,英特尔、微软、联想等纷纷布局,产品价格将迎上涨
...算力是上一代的8倍,可在PC上实现高能效的AI加速和本地推理,并适配超过10款国产大模型。英特尔的老对手AMD则抢先一步,上周发布Ryzen 8040系列处理器。该处理器集成了升级的专用AI引擎NPU,算力为16TOPS,AI性能相比上一代提升...……更多
英伟达宣布rtx系列显卡支持微软copilot+计划
...划,宣告了其拥抱人工智能的决心。英伟达宣布其RTX系列显卡将大力支持微软的全新Copilot+计划,该计划旨在为Windows11系统带来一系列强大的本地化功能。IT之家注意到,首批适配的设备包括来自华硕的五款笔记本电脑以及来自...……更多
RTX 40系GPU AI性能首测
...RTX40系列多款型号的显卡、笔记本电脑GPU在StableDiffusion的推理性能表现,其中在ULBenchmarkSD1.5TRTvs.OpenVINO的对比测试中RTX4090笔记本电脑GPU相对于Arc核显有超过27倍的性能提升。使用吐司基准测试完整LoRA模型在StableDif……更多
AMD MI300绝杀英伟达H100?跑GPT-4性能超25%,AI芯片大决战一触即发
...,因此它们一直被诟病生成的回答是基于概率,而非基于推理。这也就意味着,在当前的AI热潮中,这些模型架构可能无法幸存下来。毕竟,由于发展速度太快,如今的LLM寿命相对较短。昨天还炙手可热的模型,一两周后可能就...……更多
...比上一代虚拟机性能更强大,可显著提升AI模型的训练和推理速度。同时,微软选择了第四代英特尔XeonScalable处理器作为新一代计算机处理单元。此外,NDH100v5VM还采用了英伟达Quantum-2ConnectX-7InfiniBand技术,每个GPU可提供400Gb/s的带...……更多
谷歌和微软两位“印度老乡”CEO,正面硬刚
...布的大模型Bard将使用Gemini Pro的微调版本来进行更高级的推理、规划和理解等。谷歌官方称“这是Bard自推出以来最大的升级”。Gemini Nano被称为“端侧任务最高效的模型”,Android开发者可以通过AICore来使用。据悉AICore是Android 14 ...……更多
清华提出CharacterGLM;DeepMind联创发全新一代大模型;大模型版“5年高考3年模拟”来了丨AI新零售早报
...|微软&UCLA&UW联合出品》MathVista是一个多模态数学推理基准数据集,由微软、UCLA和UW联合开发,包含6141个数学问题,涵盖丰富的任务类型、推理能力和图像类型。特点:旨在提供一个全面、多样、复杂的视觉数学推理挑战...……更多
微软:从“软件老大”到“AI帝国”
...Bing、GitHub Copilot 和 ChatGPT 等 AI 工作负载运行云端训练和推理。这款芯片采用了 5 纳米工艺制造,拥有 1050 亿个晶体管。 Azure Maia 100 美颜照|Microsoft微软自己的DPU——Azure Boost也已全面上市。微软在今年早些时候……更多
国产低价显卡坞评测:能让轻薄本用上本地大模型
...消息是,尽管CUDA是N卡专属,但这并不意味着A卡不可以AI推理加速,通过DirectML、GGML或者OpenCL,A卡可以绕开这个限制,使用GPU进行AI推理。在这里,我直接选用农企推荐的第三方解决方案LM Studio,这是一个闭源、跨平台和跨供应...……更多
从0到1:国产化千卡集群的一小步,AI算力主动权的一大步
...出世,到后来的百模大战如火如荼,再到如今AI落地换挡提速,围绕算力的“全民焦虑”始终贯穿其间。供求关系紧张是产生算力焦虑的根源所在。一方面,大模型训练与推理需求呈几何级数爆发——自2022年以来,人工智能算力...……更多
AI应用遍地开花,AI应用该如何选择显卡?
...个大家都比较熟悉了,更高的算力意味着计算AI相关模型推理的时候,速度更快、效能更高。但是值得注意的是,硬件架构对应的软件支持在这里也有很重要的地位。比如英伟达的GPU在Stable Diffusion的应用中,专门推出了针对GPU Te...……更多
本周硅谷发生了什么?|苹果Vision Pro正式开售;Neuralink完成人类脑机接口植入;字节Coze国内版上线;
...推出数据分析工具“办公小浣熊”面壁智能发布2B模型,推理成本仅为GPT-4的1/360科大讯飞发布全民开放大模型星火V3.5百川智能发布Baichuan 3大模型,更好理解中文阿里巴巴开发的自主多模态AI代理MobileAgent上线苹果Vision Pro正式在...……更多
5年投资超1000亿,北京公布一系列AI重磅成果,北大清华百度蚂蚁微软大佬齐谈AI未来|钛媒体AGI
...,从发现新材料到助力化学合成、生物医药等领域的研发提速,AI将在推动科学进程方面发挥关键作用。 张祺指出,AI新时代,微软正在为广大客户提供的服务和保障。长期以来,微软一直致力于打造全球生态、推动新技术普及...……更多
AI“卖铲人”英伟达,为何业绩再爆发?
...过1亿台RTX的AI PC提供生成式AI功能,包括用于加速大模型推理的Tensor-RT LLM。可以说游戏级显卡让PC端具备部署大模型应用的能力,而英伟达仍是该领域的引领者。 3、汽车业务成为第三增长曲线最新财季英伟达汽车业务收入达到2...……更多
老黄祭出史上最强 AI 芯片B200!30倍性能提升,AI 迎来新摩尔定律时代|钛媒体AGI
...ckwell,是英伟达A100/H100系列AI GPU的继任者。在大语言模型推理工作负载方面,Blackwell的性能相比H100 GPU提升了30倍,能耗却降低了25倍。亚马逊、谷歌、微软和甲骨文将是首批合作伙伴。此外,黄仁勋还在GTC大会推出了新一款服务...……更多
美国25万一张的显卡,禁止向中国供应!
...模、算法模型的精巧度、数据的质量和数量。AI大模型的推理、训练高度依赖英伟达的GPU芯片。缺少芯片会导致算力不足。算力不足意味着无法处理庞大的模型和数据量。最终的结果是,AI存在智商差距。拿当红的聊天机器人ChatG...……更多
chatgpt低成本复现流程开源
...。相比原生PyTorch,单机训练速度最高可提升7.73倍,单卡推理速度提升1.42倍,仅需一行代码即可调用。对于微调任务,可最多提升单卡的微调模型容量3.7倍,同时保持高速运行,同样仅需一行代码。要知道,ChatGPT火是真的火,...……更多
微软难以摆脱英伟达 |焦点分析
...在其科技大会上发布了两款自研芯片——用于云端训练和推理的AI芯片Azure Maia 100,和CPU(中央处理器)Azure Cobalt 100,分别在AI芯片和CPU芯片上正面对刚英伟达和英特尔。2023年3月ChatGPT火热后,英伟达的AI芯片A100、H100便一卡难求...……更多
硅谷大模型“价格战”上演,一味“卷”价格会有未来吗?
...左右API“价格战”?在降价之外,有媒体指出,加快模型推理速度(即每秒生成Token的数量)也是硅谷大模型市场的主要竞争点。但“卷”价格、“卷”速度真的会赢得未来吗?硅谷在“拼”什么?5月中旬,字节跳动豆包以0.0008...……更多
llava-1.6与gpt-4vmp面硬刚的性能,一起来看看
...率基础上,并通过改进视觉指令数据集和SGLang,提升了“推理、OCR等方面的性能”,意味着人类向AGI(通用人工智能)探索的道路上又迈进了一步。LLaVA-1.6的研发团队成员Haotian Liu在X平台发文原文 二、更适合中国人体质的GPT-4V...……更多
更多关于科技的资讯:
牧原发布年度低碳报告,行业“一哥”携手法大大实现数字化减碳!
日前,牧原食品股份有限公司(以下简称“牧原”)发布《2023绿色低碳行动报告》(以下简称“报告”),该报告从企业内部管理到种植
2024-06-13 15:00:00
服务全民学习 虹领金电视上线强国TV
日前,虹魔方公司与未来电视达成合作,在搭载于虹领金平台的长虹电视上,正式上线运行互联网电视端“强国TV”产品,从而为广大党员干部和人民群众提供了更多样化的学习场景
2024-06-13 15:28:00
三雄极光向公众展示apaas综合能源管理解决方案
近日,在2024年广州国际照明展,三雄极光向公众展示了华为云设施aPaaS综合能源管理解决方案,引业界强烈关注。随着全球能源危机和环境问题的日益严峻
2024-06-13 15:26:00
hmslq电流发生器的主要技术特点
HMSLQ电流发生器在多个领域都有广泛的应用,其应用领域可以归纳如下:1.科研领域:HMSLQ电流发生器在科研领域中通常被用来模拟各种实验环境
2024-06-13 15:34:00
诺基亚lumia复刻版即将来袭,价格感人!
相信手机圈的老粉应该都还记得诺基亚称霸全球市场的恐怖统治力,那种格局放到当下任何一家手机厂商都无法做到。小智也是见证了诺基亚手机由盛转衰的历史进程
2024-06-13 15:34:00
iphone15系列全面崛起,麒麟芯片归来
iPhone15系列之所以如此畅销,主要还是因为降价幅度相当大,尤其是618降价之后,标准版iPhone15仅4500元左右
2024-06-13 15:35:00
打造中马经贸合作新亮点 中国外文局亚太传播中心和爱奇艺共同成立中国—东盟文化家园
为庆祝中马建交50周年,促进双边在新兴产业合作中取得更亮丽成果。6月5日,由中国—东盟中心、中国外文局以及马来西亚投资
2024-06-13 17:31:00
再遇“6·18”,网商们的备战神经也越绷越紧——高频的访问、海量的订单、实时的支付等,每个环节都离不开优质网络的支撑。为此
2024-06-13 17:37:00
SNEC2024首日人气火爆!易能数字新品发布备受关注
为期三天的SNEC2024盛会已正式启幕。会场人潮如织,热情四溢。其中,易能数字(8.1HE630展位)新品发布会成了会场瞩目焦点
2024-06-13 17:45:00
九龙新商圈再添一员猛将 重庆京东MALL6月15日开业
6月15日,重庆京东MALL将正式开业,届时这个营业面积达6万平方米、全国最大京东MALL将正式与大家见面。相比传统意义的电器卖场
2024-06-13 18:03:00
洛科威岩棉经EUCEB权威认证,成为绿色保温防火材料热门之选
健康已然成为了众多的消费者们在选购建材等产品时的主要关注点之一,以洛科威岩棉板为例,这一材料不但具有非常优秀的保温和防火性能
2024-06-13 18:14:00
阿里云无影获2024全球教育科技突破奖“K12教育年度杰出应用奖”
6月13日消息,全球权威市场分析机构EdTech Breakthrough日前公布了2024年教育科技突破奖(EdTech Breakthrough Awards)的评选结果
2024-06-13 18:33:00
“壹点天玑传媒大模型算法”获国家网信办备案
孔雨童 济南报道近日,国家互联网信息办公室发布第六批境内深度合成服务算法备案信息,由齐鲁晚报·齐鲁壹点研发的“壹点天玑传媒大模型”算法位列其中
2024-06-13 18:51:00
海尔集团周云杰在位于美国的通用家电演讲:创新永远在路上
本文转自:人民日报客户端北京时间6月12日,通用家电加入海尔八周年暨员工见面会在美国路易斯维尔的通用家电产业园演讲厅举行
2024-06-13 18:55:00
缅甸通信营运商MPT开启5G新时代:仰光、曼德勒率先体验!
来源:缅甸中文网缅甸通信营运商MPT6月10日发布信息称,仰光、曼德勒和内比都部分规定地区,在6月份内,将开始可以尝试使用MPT的5G网络
2024-06-13 19:04:00