• 我的订阅
  • 头条热搜
NVIDIA RTX显卡AI推理提速5倍!
...理性能可以跑到每秒319tokens,相比其他后端的每秒61tokens提速足足4.2倍。RTX4090则可以从每秒tokens加速到每秒829tokens,提升幅度达2.8倍。基于强大的硬件性能、丰富的开发生态、广阔的应用场景,NVIDIARTX正成为本地端侧AI不可或缺...……更多
手机跑大模型提速4-5倍!微软亚研院开源新技术,有CPU就行
有CPU就能跑大模型,性能甚至超过NPU/GPU!没错,为了优化模型端侧部署,微软亚洲研究院提出了一种新技术——T-MAC。这项技术主打性价比,不仅能让端侧模型跑得更快,而且资源消耗量更少。咋做到的??在CPU上高效部署低...……更多
面壁智能的端侧大模型面壁MiniCPM正式亮相
...大的底层支撑,先是算力方面,凭借全流程高效infra10倍推理加速,能够将成本降低90%;其次在算法方面,面壁模型通过高效模型训练配置实现模型能力快速形成;数据处理方面,凭借现代化数据工厂形成从数据治理到多维评测...……更多
微软连发3款Phi-3.5模型:128K上下文,首用MoE架构,部分性能超GPT-4o mini
...支持128k上下文长度。Phi-3.5-mini-instruct主要面向基础快速推理任务,Phi-3.5-MoE-instruct可胜任复杂推理任务,Phi-3.5-vision-instruct则兼具文本与视觉能力。性能最强大的Phi-3.5-MoE-instruct模型有419亿个参数,……更多
英伟达推出史上最强AI芯片H200:推理性能提升90%,无缘中国市场
...的H100的带宽和容量分别为3.35TB和80GB。这将提升大模型在推理方面的表现,并有助于提升高性能计算应用的计算能力。英伟达预计,H200将在明年二季度开始发货,谷歌、微软、甲骨文等科技巨头将会率先实现首批部署。但毫无疑...……更多
微软研究院推出orca2llm
...然后生成、回忆-原因-生成、提取-生成和直接回答等各种推理技术,同时还能为不同的任务选择不同的解决方案策略。Orca2模型相比较Llama2和WizardLM等大型语言模型,在痛苦理解、常识推理、多步推理、数学问题解决、阅读理解...……更多
intelarca770升级改进ai大模型
IntelArc锐炫虽然初入独立显卡市场,但表现可圈可点,尤其是随着驱动的不断优化,各方面性能都在持续突飞猛进,包括游戏,包括AI。比如最高端的ArcA770,不但集成XMXAI加速功能,还拥有16GBGDDR6大容量显存,非常适合做生成式A...……更多
AI芯片下半场:英伟达不再一家独大
...)”的新AI芯片组,目的是为ChatGPT等大语言模型的训练及推理提供英伟达芯片之外的替代方案。另据Tom’s Hardware消息,Athena使用的是台积电5nm工艺,专为大语言模型训练设计。 曾有知情人士透露,在开发Athena期间,微软为了满...……更多
系统级玩家微软、苹果先后出牌,端侧大模型路径清晰了?
...MGSM(跨语言数学能力)提升 2.3%,而DROP(文本段落分析推理)则下降了 3%。但与此同时,杀手级应用仍未出现。根据第三方网站SimilarWeb的监测数据,早在去年6月,ChatGPT流量即已见顶,当月其网站与移动客户端的全球流量(PV)...……更多
Intel三条线优化阿里云通义千问2模型:720亿参数轻松拿捏
...。Intel还采用KV Caching、PagedAttention机制和张量并行,提高推理效率。Intel的硬件也可利用软件框架和工具包进行加速,并获得出色的大模型推理性能,包括PyTorch以及Intel PyTorch扩展包、OpenVINO工具包、DeepSpeed、Hugging F……更多
3天把Llama训成Mamba,性能不降,推理更快!
...Mamba模型,并且设计了新的推测解码算法,加速了模型的推理。先来看一张其乐融融的图片(一眼AI):右边的小羊驼代表Llama,而左边的蛇(Mamba)也是我们的老熟人了。至于到底能不能其乐融融,咱就不管了,之所以有此场景...……更多
微软紧随英伟达发布芯片,老黄还不慌吗?
...可以加快数据处理速度,尤其是在语音和图像识别方面。提速的关键,自然是算力。为了提升算力,微软也是下了血本:采用台积电的5nm制程工艺,晶体管数量达到1050亿个。和今年4月被曝光的信息相比,Maia的制程工艺、设计架...……更多
微软宣布Team Copilot发布,年内将推出初步预览版
...电脑,二是在信息日益增加的世界,电脑能不能帮助人类推理、规划以及更有效地运用所有的信息。纳德拉认为,现在这波AI浪潮能为微软找到实现这两大梦想的答案。随后,Nadella聚焦Copilot。纳德拉提到了包含随时可用本地API...……更多
收入占比40%、电话会议点名16次,英伟达:推理端的需求被低估了
...让人印象深刻的是,英伟达在财报电话会议的一个观点:推理端的爆发,可能很多人还是低估了。据英伟达电话会议披露,公司全年数据中心里已经有40%的收入来自推理业务,超出了绝大部分人预期。而在这次财报电话会议里,...……更多
英伟达宣布rtx系列显卡支持微软copilot+计划
...划,宣告了其拥抱人工智能的决心。英伟达宣布其RTX系列显卡将大力支持微软的全新Copilot+计划,该计划旨在为Windows11系统带来一系列强大的本地化功能。IT之家注意到,首批适配的设备包括来自华硕的五款笔记本电脑以及来自...……更多
PC迎来AI时刻,英特尔、微软、联想等纷纷布局,产品价格将迎上涨
...算力是上一代的8倍,可在PC上实现高能效的AI加速和本地推理,并适配超过10款国产大模型。英特尔的老对手AMD则抢先一步,上周发布Ryzen 8040系列处理器。该处理器集成了升级的专用AI引擎NPU,算力为16TOPS,AI性能相比上一代提升...……更多
RTX 40系GPU AI性能首测
...RTX40系列多款型号的显卡、笔记本电脑GPU在StableDiffusion的推理性能表现,其中在ULBenchmarkSD1.5TRTvs.OpenVINO的对比测试中RTX4090笔记本电脑GPU相对于Arc核显有超过27倍的性能提升。使用吐司基准测试完整LoRA模型在StableDif……更多
AMD MI300绝杀英伟达H100?跑GPT-4性能超25%,AI芯片大决战一触即发
...,因此它们一直被诟病生成的回答是基于概率,而非基于推理。这也就意味着,在当前的AI热潮中,这些模型架构可能无法幸存下来。毕竟,由于发展速度太快,如今的LLM寿命相对较短。昨天还炙手可热的模型,一两周后可能就...……更多
...比上一代虚拟机性能更强大,可显著提升AI模型的训练和推理速度。同时,微软选择了第四代英特尔XeonScalable处理器作为新一代计算机处理单元。此外,NDH100v5VM还采用了英伟达Quantum-2ConnectX-7InfiniBand技术,每个GPU可提供400Gb/s的带...……更多
谷歌和微软两位“印度老乡”CEO,正面硬刚
...布的大模型Bard将使用Gemini Pro的微调版本来进行更高级的推理、规划和理解等。谷歌官方称“这是Bard自推出以来最大的升级”。Gemini Nano被称为“端侧任务最高效的模型”,Android开发者可以通过AICore来使用。据悉AICore是Android 14 ...……更多
传统与AI性能两开花:AMD Zen 5架构处理器全解析
...,除了面向AI训练的服务器级别的硬件之外,主要用于AI推理的消费级处理器同样也需要强大的算力,让AI应用更加高效。在台北Computex2024中,AMD发布了Zen5架构处理器,包括锐龙AI300系以及锐龙9000系处理器,就在上周,AMD于洛杉...……更多
微软、英伟达纷纷押注小模型,大模型不香了?
...LLM之间的性能差距正在迅速缩小,特别是在多项选择题、推理和数学问题等特定任务中,顶级模型之间的差异极小。例如,在多项选择题中,Claude 3 Opus、GPT- 4 和Gemini Ultra的准确率均超过83%,而在推理任务中,Claude3 Opus、GPT-4和Ge...……更多
清华提出CharacterGLM;DeepMind联创发全新一代大模型;大模型版“5年高考3年模拟”来了丨AI新零售早报
...|微软&UCLA&UW联合出品》MathVista是一个多模态数学推理基准数据集,由微软、UCLA和UW联合开发,包含6141个数学问题,涵盖丰富的任务类型、推理能力和图像类型。特点:旨在提供一个全面、多样、复杂的视觉数学推理挑战...……更多
国产低价显卡坞评测:能让轻薄本用上本地大模型
...消息是,尽管CUDA是N卡专属,但这并不意味着A卡不可以AI推理加速,通过DirectML、GGML或者OpenCL,A卡可以绕开这个限制,使用GPU进行AI推理。在这里,我直接选用农企推荐的第三方解决方案LM Studio,这是一个闭源、跨平台和跨供应...……更多
微软:从“软件老大”到“AI帝国”
...Bing、GitHub Copilot 和 ChatGPT 等 AI 工作负载运行云端训练和推理。这款芯片采用了 5 纳米工艺制造,拥有 1050 亿个晶体管。 Azure Maia 100 美颜照|Microsoft微软自己的DPU——Azure Boost也已全面上市。微软在今年早些时候……更多
从0到1:国产化千卡集群的一小步,AI算力主动权的一大步
...出世,到后来的百模大战如火如荼,再到如今AI落地换挡提速,围绕算力的“全民焦虑”始终贯穿其间。供求关系紧张是产生算力焦虑的根源所在。一方面,大模型训练与推理需求呈几何级数爆发——自2022年以来,人工智能算力...……更多
AI应用遍地开花,AI应用该如何选择显卡?
...个大家都比较熟悉了,更高的算力意味着计算AI相关模型推理的时候,速度更快、效能更高。但是值得注意的是,硬件架构对应的软件支持在这里也有很重要的地位。比如英伟达的GPU在Stable Diffusion的应用中,专门推出了针对GPU Te...……更多
本周硅谷发生了什么?|苹果Vision Pro正式开售;Neuralink完成人类脑机接口植入;字节Coze国内版上线;
...推出数据分析工具“办公小浣熊”面壁智能发布2B模型,推理成本仅为GPT-4的1/360科大讯飞发布全民开放大模型星火V3.5百川智能发布Baichuan 3大模型,更好理解中文阿里巴巴开发的自主多模态AI代理MobileAgent上线苹果Vision Pro正式在...……更多
AI“卖铲人”英伟达,为何业绩再爆发?
...过1亿台RTX的AI PC提供生成式AI功能,包括用于加速大模型推理的Tensor-RT LLM。可以说游戏级显卡让PC端具备部署大模型应用的能力,而英伟达仍是该领域的引领者。 3、汽车业务成为第三增长曲线最新财季英伟达汽车业务收入达到2...……更多
Anthropic再反击!发布Claude 3.5吊打GPT-4o,视觉、逻辑推理等方面表现更强
...本Claude 3.5 Sonnet。从官方披露的测试数据来看,其在逻辑推理、编程、数学等方面中的表现性能均超越GPT-4o。网友直言,“太卷了,现在AI竞争是要以周为单位了吗?” 从官方介绍来看,Claude 3.5全家桶仍会有3款系列模型,分别...……更多
更多关于科技的资讯:
明势、BAI和蚂蚁,AI投资的乐观派、悲观派和中间派聚在一场圆桌上
文|周鑫雨编辑|苏建勋如今的AI投资人,也分“乐观派”和“悲观派”。2025年9月12日,Inclusion外滩大会。在由36氪CEO冯大刚主持的圆桌论坛“AI应用落地首战
2025-09-14 17:16:00
王兴兴、朱啸虎们说了些AI创业真心话
文|周鑫雨 富充编辑|苏建勋2025年9月11日开幕的Inclusion外滩大会,为当下的AI创业者、学者和投资人,攒了一个“真心话”局
2025-09-14 19:30:00
厦门网讯(厦门日报记者 林钦圣 通讯员 江安娜)近日,我市申报的“车路协同·公交智行可视化”项目入选自然资源部、国家数据局联合发布的2025年实景三维数据赋能高质量发展创新应用典型案例
2025-09-14 08:20:00
AnPro®酵母蛋白获美国GRAS认证,定义未来可持续蛋白新标准
近日,安琪公司自主研发的AnPro®酵母蛋白(海外市场命名:AngeoPro®)正式获得美国食品药品监督管理局(FDA)的GRAS认证
2025-09-14 09:00:00
中新经纬9月13日电 (周奕航 李自曼)“编程教育的核心,不是为了培养未来的程序员,而是通过学习代码来锻炼孩子的认知能力
2025-09-14 09:11:00
合肥博主128万购买纯电动飞机 用于科技测评
大皖新闻讯 9月13日下午,在六安市金安通用机场,合肥知名科技自媒体博主张梦龙(@科技九洲君)领到了证书和钥匙,成为皖企零重力飞机工业旗下纯电动飞机“锐翔RX1E-A”的一名新机主
2025-09-14 11:12:00
沂河之滨续华章,点亮发展新路径——第九届临沂核医学与分子影像会议圆满落幕
鲁网9月14日讯9月13日,第九届临沂核医学与分子影像会议进入第二天议程,众多国内外权威专家继续围绕放射性药物研发、影像技术创新
2025-09-14 13:07:00
海尔金秋家装节 全鲁南抢海尔
当金秋的风吹过海尔智家鲁南区域的大街小巷,你只需要做一件事—打开海尔金秋家装节,全鲁南抢海尔,让"省"成为这个秋天最爽的事
2025-09-14 16:28:00
近日,一部以“2050·慈爱守护智行椅”为主题的公益视频引发关注。该作品聚焦盲人与老年人出行难题,通过科技叙事展现智能辅具如何重塑特殊群体的出行体验
2025-09-14 16:29:00
广东辰奕智能科技股份有限公司因出口商品商标侵权被行政处罚
近日,中华人民共和国大鹏海关发布对广东辰奕智能科技股份有限公司出口侵犯“SONY”、“LG”商标专用权商品案行政处罚结果公示(深鹏关知罚字〔2025〕0154号)
2025-09-14 20:20:00
文具大礼包到数码全家桶,黔西南兴义“开学经济”多元消费场景火爆
随着贵州省2025年秋季学期正式开学,黔西南州各中小学和幼儿园敲响了上课铃,沉寂了一个暑假的校园,恢复了琅琅书声。新学期
2025-09-14 19:28:00
强数字动能,拓发展新局!贵州推动数字经济高质量发展
在国家大数据(贵州)综合试验区交流体验中心,正门口一个由圆形LED屏构成的“数据之眼”十分醒目。这个独特的设计,寓意世界将从这里看见不一样的贵州
2025-09-14 12:11:00
2025年上半年,工银私人银行凭借在综合实力、数字化运营、专业服务、全球网络及绿色可持续发展领域的突出优势,荣获“卓越私人银行奖”“中国最佳数字化营销与传播私人银行”“中国最佳数
2025-09-14 11:45:00
脱口秀演员「炸现场」,喜剧综艺「炸市场」
伴随《喜剧之王单口季》第二季(下称《喜单2》)圆满收官,一众“小人物”也终于走出心底的浪浪山:翟佳宁一语点醒内耗人:唯心主义的最高境界是唯我独尊
2025-09-14 06:43:00
日前,山西转型综改示范区入区企业潞安化工机械(集团)有限公司成功通过国家市场监督管理总局的严格审核,获颁压力容器分析设计(SAD)许可资质
2025-09-14 07:28:00