• 我的订阅
  • 头条热搜
美国25万一张的显卡,禁止向中国供应!
...模、算法模型的精巧度、数据的质量和数量。AI大模型的推理、训练高度依赖英伟达的GPU芯片。缺少芯片会导致算力不足。算力不足意味着无法处理庞大的模型和数据量。最终的结果是,AI存在智商差距。拿当红的聊天机器人ChatG...……更多
chatgpt低成本复现流程开源
...。相比原生PyTorch,单机训练速度最高可提升7.73倍,单卡推理速度提升1.42倍,仅需一行代码即可调用。对于微调任务,可最多提升单卡的微调模型容量3.7倍,同时保持高速运行,同样仅需一行代码。要知道,ChatGPT火是真的火,...……更多
微软难以摆脱英伟达 |焦点分析
...在其科技大会上发布了两款自研芯片——用于云端训练和推理的AI芯片Azure Maia 100,和CPU(中央处理器)Azure Cobalt 100,分别在AI芯片和CPU芯片上正面对刚英伟达和英特尔。2023年3月ChatGPT火热后,英伟达的AI芯片A100、H100便一卡难求...……更多
加速AI落地企业!微软解读Copilot技术栈,云端混合大小模型是关键
...pilot。定制化的Copilot可通过记忆和知识了解上下文背景、推理需要进行的操作和行动,基于用户反馈进行学习,并主动寻求帮助,独立管理复杂、长期运行的业务流程。▲Copilot扩展的专属平台Microsoft Copilot Studio从IT设备采购、销...……更多
硅谷大模型“价格战”上演,一味“卷”价格会有未来吗?
...左右API“价格战”?在降价之外,有媒体指出,加快模型推理速度(即每秒生成Token的数量)也是硅谷大模型市场的主要竞争点。但“卷”价格、“卷”速度真的会赢得未来吗?硅谷在“拼”什么?5月中旬,字节跳动豆包以0.0008...……更多
llava-1.6与gpt-4vmp面硬刚的性能,一起来看看
...率基础上,并通过改进视觉指令数据集和SGLang,提升了“推理、OCR等方面的性能”,意味着人类向AGI(通用人工智能)探索的道路上又迈进了一步。LLaVA-1.6的研发团队成员Haotian Liu在X平台发文原文 二、更适合中国人体质的GPT-4V...……更多
挑战Scaling Law,Meta发布移动端350M小模型MobileLLM,性能比肩7B LLaMA-v2
...做个假设,如果把GPT-4(大约有1万亿参数)以50tokens/s的推理速度部署在生活中,你需要什么样的硬件?答案是1亿个H100 GPU。别说是移动设备了,家里都放不下。那如果降低标准,用LLaMA-v2 7B这样的模型,再加上8-bit量化呢?简单...……更多
chatgpt低成本复现流程来了
...。相比原生PyTorch,单机训练速度最高可提升 7.73倍,单卡推理速度提升1.42倍,仅需一行代码即可调用。对于微调任务,可最多提升单卡的微调模型容量 3.7倍,同时保持高速运行,同样仅需一行代码。要知道,ChatGPT火是真的火,...……更多
AI算力大战开启:英特尔AI芯片性能超越H100,谷歌云推出最强ARM芯片|钛媒体AGI
...中,相比于英伟达H100 GPU,Gaudi3 AI芯片的模型训练速度、推理速度分别提升40%和50%,平均性能提高 50%,能效平均提高40%,而成本仅为H100的一小部分。英特尔预计,Gaudi 3将于2024年第二季度起出货,戴尔、惠普、联想、超微电脑等...……更多
...,Maia将为生成式人工智能工作负载运行基于云的训练和推理,并且它拥有大量的晶体管。而Cobalt将会被用于执行复杂、高性能的操作。微软表示,他们并没有计划对外销售这两款产品,而是更倾向于仅供内部使用。值得一提的...……更多
科学家提出情景学习新范式,让学霸大模型向学弱大模型输送能力
...十亿左右。“做大”,能让大模型具备更强的涌现能力和推理能力,从而适用于难度更高的任务。“做小”,能让大模型获得更优秀的推理能力,从而能被部署到手机、手表、耳机、录音笔等各类小微终端之中。情景学习(ICL,...……更多
英伟达带来最强AI芯片,但赶超苹果又远了一步?
...结合,就能搭建为GB200超级芯片,其可以为大语言模型的推理环节提升30倍的工作效率。在具有1750亿个参数的GPT-3 LLM基准测试中,GB200的性能是H100的7倍,训练速度则是H100的4倍。值得一提的是,Blackwell并非某一款芯片的专属名,...……更多
四月AI芯片三连发,英伟达:无惧竞争!
...接竞争。在AI模型算力中,Gaudi3AI芯片的模型训练速度、推理速度都更出色,分别提升了40%和50%,平均性能提升达到了50%,能效更是提高了40%。更重要的是,Gaudi3AI芯片的成本比H100更低,妥妥的性能更强,价格更低。▲IntelGaudi3VSN...……更多
财报大涨,股价微跌,英伟达放不下中国市场|焦点分析
...席卷全球,大模型、推荐引擎和生成AI应用程序的训练及推理需求非常强盛。无论是百川智能、智源等大模型厂商,还是阿里云、百度云等云服务厂商(CSP),甚至需要训练AI应用的企业,都对英伟达的产品有着较强需求。英伟...……更多
文 | 周鑫雨编辑 | 邓咏仪36氪获悉,AI推理部署解决方案厂商“清昴智能”近日完成了数千万元Pre-A+轮融资,启赋资本、达晨财智领投,老股东奇绩创坛跟投。此前,清昴智能已获得某世界500强科技巨头公司的千万元战略投资。...……更多
疯狂一夜!美国AMD、谷歌纷纷亮出大杀器,人类迎来巨变前夜?|钛媒体焦点
...1.0亮点主要包括五个方面:最先进的性能测试结果,新的推理以及创意功能,性能强大且高效的 AI 超算系统,责任与安全,以及可用性。首先,性能测试方面,在32个性能基准测试中的30个中,Gemini Ultra模型超越了现有最先进的G...……更多
乔布斯时代之后,会迎来黄仁勋时代吗?
...flops的FP4计算能力,这是由其2080亿个晶体管提供的。高效推理:当与Grace CPU结合形成GB200超级芯片时,它能在LLM推理工作负载上提供比单个GPU高出30倍的性能,同时在成本和能源消耗上比H100 GPU高出25倍。训练能力:使用Blackwell GPU...……更多
苏姿丰获itfworld2024大奖
...计算能效方面的提升同样瞩目。据英伟达的介绍,GB200的推理性能是H100的30倍,计算能效是H100的25倍(综合考虑算力、功耗等参数后的结果)。显然,英伟达的脚步也并不慢,在接下来的3年时间里,不管AMD能否完成疯狂的百倍计...……更多
微软推出自研AI芯片:台积电5nm工艺、Open AI开启试用,想摆脱对英伟达依赖?
...发布的首款AI芯片命名为Maia 100,是一款用于云端训练和推理的AI加速器芯片。这款芯片采用台积电5nm制程,晶体管数量达到1050亿个,1600-3200TFLOPS的算力、4.8Tbps的网络IO等超过了英伟达H100和AMD MI300X,但在宽带等指标上有所落后。...……更多
2024下半年开始 到底有谁能和英伟达继续卷下去?
...例如在下面的视频中就是针对本地数据的显示,NVIDIAACENIM推理微服务是在这次展会中刚刚发布的一个项目(文章之后我们也会介绍到),在ChatRTX中加载选择Llama213B模型,问及NVIDIAACE相关的问题时,其回答是完全错误的,这是因...……更多
GPT-4不仅性能更强也更贵了:单次输出7.5万单词需6美元,是此前的30倍
...的局限性,仍然不完全可靠,存在事实性“幻觉”并出现推理错误,可能自信地在其预测中犯错。同时,它的使用价格也更贵,其API价格是Chat-GPT API 使用价格的15-30倍。GPT-4实现多项突破,晋升“考霸”相较GPT-3.5,GPT-4在多个方...……更多
AI电脑大潮来了!创盈芯AI迷你主机F1A正式面世
...的神经网络处理器(NPU),可以非常高效地持续执行一些AI推理任务负载,包括语音交互、图像识别以及人脸识别等场景,以便用户可以在一个设备上完成各种创意工作。此外,NPU AI引擎的加持,让F1A在响应速度上提高了35% ,而能...……更多
Pika爆火,但AI视频还没到「GPT时刻」;首个GPT-4驱动的人形机器人;微软小模型击败大模型丨AI新零售早报
...发布了一个仅有27亿参数的小型模型Phi-2,它在多数常识推理、语言理解、数学和编码任务上超越了其他大型模型。尽管Phi-2的参数数量较少,但它在复杂的基准测试中展示了出色的性能,甚至超越了参数数量是其25倍的模型。微...……更多
GPU训Llama 3.1疯狂崩溃,竟有大厂用CPU服务器跑千亿参数大模型?
...The」。完整的回复,花了整整20个小时熟悉模型的训练和推理的朋友都知道,这些事情一点都不奇怪。集群搭建(GPU配置、网络设计、轨道优化等)、集群管理(实时监控、故障排除等)……个个都是「拦路虎」。对于缺乏相关...……更多
谷歌王者归来?最新推出的大模型到底有多强,能否挑战GPT-4
...问题,这就使其尤其擅长解释数学和物理等复杂科目中的推理。Gemini能够根据照片按步骤讲题。来源:官方视频谷歌还发布了一个时长六分钟的视频,展现了测试员和Gemini的一些有趣互动,其中包括让Gemini识别图片并用多种语言...……更多
NPU全球出货超1亿颗!芯原如何迎战大模型时代的边缘计算变革?
...C9X00AI是AI-GPU/AI-PC,Tensor Core GPU IP CCTC-MP则面向大语言模型推理、训练。芯原NPU IP研发副总裁查凯南谈道,NPU的发展近年来大概有三个方向:首先是DEEP AI,在很多嵌入式设备里面,要把AI跟其它的处理IP做比较紧耦合的绑定,可以...……更多
GTC 2024硬件一览:史上最强AI芯片GB200发布!
...可实现720petaflops的AI训练性能或1,440petaflops(1.4exaflops)的推理。图片源于网络与相同数量的72个H100相比,GB200NVL72的性能绝对是逆天的存在,大模型推理性能可以提升30倍,并且成本和能耗只有前者的1/25。当然,最炸裂的要数适...……更多
AIGC风潮席卷手机:但在PC面前 还是个弟弟
...全新的NPUAI独立引擎。它通过单独设置的神经计算引擎、推理流水线,彻底接手端侧的AI推理负载,其中MAC阵列可以高效执行矩阵算法和卷积运算,每周期效率多达2048。这样的性能更是手机端望尘莫及的,速度超快的同时功耗更...……更多
阿里巴巴“AI驱动”战略提速 夸克发布自研大模型
本文转自:新华网11月14日,阿里巴巴智能信息事业群发布全栈自研、千亿级参数的夸克大模型,将应用于通用搜索、医疗健康、教育学习、职场办公等众多场景。夸克App将借助自研大模型全面升级,加速迈向年轻人工作、学习...……更多
无惧4K游戏、AI高产利器,RTX 4070 Ti SUPER GAMINGX SLIM显卡实测
...越快。Stable Diffusion支持TensorRT,这是NVIDIA推出的深度学习推理SDK,能优化推理性能、加速各种工作负载,并支持大型语言模型推理。 测试中,常规的Stable Diffusion绘图需要166.7秒,而经过TensorRT加速后仅需99.2秒,速度提升了68%,……更多
更多关于财经的资讯:
榆林:上半年地区生产总值增速5.5% 全力推进“五新”项目
本文转自:人民网-陕西频道发布会现场。人民网 王丽摄人民网西安8月14日电(王丽)8月14日10时,陕西省人民政府新闻办公室举办新闻发布会
2024-08-14 18:39:00
胡润中国500强公布 陕西3家公司上榜
胡润研究院最新发布的《2023胡润中国500强》,列出了中国500强非国有企业。台积电蝉联第一,腾讯排第二,阿里巴巴排第三
2024-08-14 19:53:00
两江新区加速构建生产性服务业高地
在生产性服务业高质量发展的浪潮中,两江新区作为重庆建设国家重要先进制造业中心的核心承载区,正以前所未有的力度和决心,加速构建生产性服务业高地
2024-08-14 20:09:00
广西交投玉林公司:财务信息化管理助力“数字交投”建设
本文转自:人民网-广西频道开展业务培训。梁敏婷摄广西交通投资集团玉林高速公路运营有限公司持续推进公司财务信息化建设,促进公司数据资源共享运用
2024-08-14 20:11:00
中证协:二季度评级机构共承揽债券产品2626只 环比增逾16%
中新网北京8月14日电 题:中证协:二季度评级机构共承揽债券产品2626只 环比增逾16%中新财经记者 陈康亮根据中国证券业协会(下称中证协)14日披露的数据
2024-08-14 20:11:00
韩光获批出任北大方正人寿总经理
北京商报讯(记者 李秀梅)8月14日,国家金融监督管理总局上海监管局发布关于北大方正人寿保险有限公司(以下简称“北大方正人寿”)韩光任职资格的批复表示,核准韩光北大方正人寿总经理
2024-08-14 20:13:00
国资大股东入场!年报仍“缺席”,裕民银行怎么走
这家民营银行迎来地方国资大股东入驻。8月12日,国家金融监督管理总局发布公告,同意南昌金融控股有限公司(以下简称“南昌金控”)接替正邦集团有限公司(以下简称“正邦集团”)成为江西裕民银行(以下简称“裕民银行”)第一大股东
2024-08-14 20:14:00
金融监管总局:将丰富水产养殖保险供给
北京商报讯(记者 李秀梅)8月14日,据中国政府网,国家金融监督管理总局财产保险监管司答网民关于“加大农业生产保险投入力度”的建议称
2024-08-14 20:14:00
国富人寿四股东吉安新年拟退出,广投集团及唯品会拟接盘
北京商报讯(记者 李秀梅)8月14日,国富人寿保险股份有限公司(以下简称“国富人寿”)发布信息披露公告,股东吉安新年企业集团有限公司将其所持全部国富人寿股份(股份数为1
2024-08-14 20:14:00
百亿矿企陷风波:南方锰业行政总裁等4名高管被举报,大股东考虑诉讼索赔
作者:张汀雯图片来源:图虫创意8月13日,南方锰业(01091.HK)公告复牌,称并未失去对全资孙公司南方锰业集团有限公司(以下简称“南锰集团”)的控制权
2024-08-14 20:27:00
中国A股游戏股周三逆势上涨
中新社北京8月14日电 (记者 陈康亮)中国A股三大股指14日(周三)集体收跌。行业板块涨少跌多,游戏板块逆势上涨,涨幅居前
2024-08-14 20:41:00
长江基建将收购英国陆上风电场
中新社香港8月14日电 (记者 魏华都)在香港上市的长江基建集团有限公司(1038.HK)14日公布2024年中期业绩
2024-08-14 20:41:00
广东省将首次在澳门发行深合区专项债券
本文转自:人民网-港澳频道人民网澳门8月14日电 (记者富子梅)记者从澳门特区金融管理局获悉,广东省将于8月下旬,在澳门发行25亿元人民币的离岸人民币地方政府债券
2024-08-14 20:42:00
在距离完成全年23万辆交付目标,还剩四个多月的时间点,极氪再派出两支王牌军,势要取得销量大捷。8月13日晚,极氪正式发布2025款极氪001与2025款极氪007
2024-08-14 20:57:00
8月14日,美国7月CPI同比上升2.9%,连续第四个月回落,是2021年3月以来首次重回“2字头”;预估为上升3%,前值为上升3%
2024-08-14 20:57:00