• 我的订阅
  • 头条热搜
面壁智能发布2B模型:适配主流手机,推理成本仅为GPT-4的1/360 | 最前线
...。在Infra层面,基于集成了训练、推理、压缩、微调的全流程高效Infra,面壁智能能够将推理加速到10倍,将算力成本降低90%。在算法层面,通过上千次的模型沙盒实验,面壁智能对模型批次大小、超参数配置等最优训练配置进行...……更多
最早研究GPT的中国创业者,现在怎么样了?
...把深度学习用到 NLP 上。最初深度学习只改造了原有 NLP 流程的一部分,主要是用它生成帮助机器理解语言的 feature(特征),比如在翻译任务里,词的个数比例、两个词对译的可能性等都是特征。但当时做不到大模型这样,从输...……更多
让“私人助理”可随身携带
...大,同时也需要极强的算力来支持运算。这导致了高昂的成本。vivo副总裁、vivo AI全球研究院院长周围曾透露,目前和大模型进行一次对话的成本为0.012元到0.015元。如果某大模型有两亿用户,这些用户一天要用大模型进行10次对...……更多
16384块NVIDIA H100训练Meta Llama3 4050亿参数大模型:3小时报错一次
快科技7月29日消息,如今的AI大模型规模越来越庞大,动辄成百上千亿参数,训练过程不仅需要数万甚至十几万块GPU加速卡,出错的几率也越来越高。Meta(Facebook)就披露了一份惊人的报告。Meta在报告中披露,为了训练自己的Llama ...……更多
万字技术干货!LLM工程师必读量化指南,可视化图解揭秘大模型如何压缩
...数十亿的级别(其中主要是权重)。 这些参数不仅存储成本相当高,推理阶段的计算量也很大。在推理过程中,激活值是输入和权重的乘积,因此权重数量越多,激活值也会越大。因此,我们希望尽可能高效地表示数十亿个值...……更多
AI手机没有独家大模型供应商
...型想要上手机,来到大厂的软肋硬件侧,在各家手机厂商成本和性能多方衡量之下,一部融入百度、阿里、字节多方大模型技术的AI手机诞生了。作为幕后的技术提供者,百度、字节、阿里这些此前在大模型市场明争暗斗的卖铲...……更多
Llama3.1根本卖不动!业内人士:开源模型成本反而更高
...没太大区别,它优化的是什么?一方面优化了训练阶段的流程,比如说多阶段训练;另外就是加了很多数据,Llama2和Llama3的数据相差一个数量级,更多的数据和训练时间为模型带来更好的效果。 但这些好的效果都是Meta自己搞的...……更多
00后华裔小哥哈佛辍学组团挑战英伟达,史上最快AI芯片Sohu推理性能超H100二十倍!
...展1000倍必定是昂贵的,形象地解释,下一代数据中心的成本将超过一个小国的GDP。按照目前的发展速度,我们的硬件、成本、财力根本无法跟得上。GPU撞墙了圣克拉拉,英伟达总部所在地,不愿意让人知道的小秘密是—— GPU性...……更多
斯坦福“草泥马”火了:100美元就能比肩gpt-3.5
...由此产生爆炸式的工具创新,让AI绘画真正进入各类工作流程。语言模型的成本,如今也下降到了个人电子设备可用的程度。最后还是由Django框架创始人SimonWillison喊出:大语言模型的StableDiffusion时刻到了。 ……更多
让大模型“外挂硬盘”,百川智能发布新API系列,企业定制成本大大降低
...、更快、更准、更全的召回,还能够远远比做行业模型的成本要低。大模型做定制,不等于项目化除了新的API系列外,本次发布中,百川也发布了另一项功能:百川搜索增强知识库。使用过程也很简单:企业从私有化部署到云端...……更多
史上最快AI芯片「Sohu」,速度10倍于B200,哈佛辍学生打造
...驾驶所需的模型。Etched 给我们算了一笔账:芯片项目的成本为 5000 万至 1 亿美元,需要数年时间才能投入生产。另一方面,当模型训练成本超过 10 亿美元、推理成本超过 100 亿美元时,使用专用芯片是不可避免的。在这种产业...……更多
系统级玩家微软、苹果先后出牌,端侧大模型路径清晰了?
...看,大模型落地端侧本地的驱动力开始衰减。一直以来,成本考量及隐私保护,是推动大模型从云端落地终端的两大因素。云端大模型普遍千亿级的参数,意味着高昂的推理成本。将推理环节下放至终端,则相当于让终端用户平...……更多
蜘蛛侠妖娆起舞,下代ControlNet来了!贾佳亚团队推出,即插即用
...件控制模块首先用一张图来了解一下ControlNeXt的整个工作流程。其中轻量化的关键,是ControlNeXt移除了ControlNet中的庞大控制分支,改为引入一个由少量ResNet块组成的轻量级卷积模块。这个模块负责提取控制条件(如语义分割掩码...……更多
1890美元,就能从头训练一个还不错的12亿参数扩散模型
...擅长创建逼真的视觉内容,然而从头开始训练这些模型的成本和工作量仍然很高。比如 Stable Diffusion 2.1 花费了 200000 个 A100 GPU 小时。即使研究者使用最先进的方法,也需要在 8×H100 GPU 上训练一个多月的时间。此外,训练大模型...……更多
存储市场“供销两旺”原厂业绩好转,AI对存储应用市场提出要求
...要的壁垒,就是昂贵的HBM给所有边缘计算带来了非常大的成本压力。” 降低成本是AI普及过程中的重大挑战。段喜亭给出建议称,首先LLM(大型语言模型)必须微型化、轻量化,再加上必须借助固态硬盘低价格、低成本的优势...……更多
开源狂潮让巨头惨败,谷歌内部文件曝光
...的“StableDiffusion”时刻。在这两个领域,让公众能够以低成本参与,都是通过低秩适应(LoRA)来实现的。它让微调机制的成本大大降低, 还实现了模型规模的重大突破。(比如图像合成的LatentDiffusion,LLM的Chinchilla)在获得足...……更多
非Transformer架构站起来了!首个纯无注意力大模型,超越Llama 3.1
Mamba 架构的大模型又一次向 Transformer 发起了挑战。Mamba 架构模型这次终于要「站」起来了?自 2023 年 12 月首次推出以来,Mamba 便成为了 Transformer 的强有力竞争对手。此后,采用 Mamba 架构的模型不断出现,比如 Mistral 发布的首...……更多
挑战Scaling Law,Meta发布移动端350M小模型MobileLLM,性能比肩7B LLaMA-v2
【新智元导读】Scaling Law还没走到尽头,「小模型」逐渐成为科技巨头们的追赶趋势。Meta最近发布的MobileLLM系列,规模甚至降低到了1B以下,两个版本分别只有125M和350M参数,但却实现了比更大规模模型更优的性能。从5月和6月...……更多
GPT-4震惊四座,中国创业者激战“小模型” | Future
...过大模型搭建“下一代RPA(Robotic process automation,机器人流程自动化)平台”的公司,已经受到了资本的青睐。最典型的案例是去年4月,含着谷歌AI核心研发团队这一“金汤匙”出生的美国AI创企Adept,迅速拿下了6500万美元的A轮...……更多
信号表征指数级强、内存节省35%,量子隐式表征网络
...结果也证实了 QIREN 的确表现出超越信号表示任务上 SOTA 模型的优异性能,在参数量更少的情况下,拟合误差最多减少 35%。图 1 中展示了本文的核心思想和主要结论。相关论文已经被机器学习领域最权威的会议之一 ICML 2024 接收...……更多
谷歌「诚意之作」,开源9B、27B版Gemma2,主打高效、经济!
...。此外,Gemma 2不仅更强大,还设计得更易于集成到工作流程中。谷歌为开发者提供了更多的可能性,让他们能够更轻松地构建和部署AI解决方案。开放且易于访问:与原始Gemma模型一样,Gemma 2允许开发者和研究人员共享和商业化...……更多
马斯克承诺开源版大模型 来了!Grok-1:3140亿参数迄今最大,权重架构全开放
...之心开源社区有福了。说到做到,马斯克承诺的开源版大模型 Grok 终于来了!今天凌晨,马斯克旗下大模型公司 xAI 宣布正式开源 3140 亿参数的混合专家(MoE)模型‘Grok-1’,以及该模型的权重和网络架构。这也使得Grok-1成为当...……更多
LLM训练通信量减少10000倍!全新分布式优化器,整合世间算力训练强大AI
...usResearch/DisTrO/在如此夸张的改进之下,大模型训练的重要成本和瓶颈——带宽,也就不再是问题。使用DisTrO的方法,你可以将训练负载分布到互联网上,而整个网络世界也就成为了一个巨大的异构的AI服务器集群。——任何有相...……更多
英伟达blackwell计算引擎制造商推出的ai模型
...展,强调不断压缩更大规模AI训练与推理工作负载的处理成本。英伟达公司超大规模与HPC副总裁IanBuck在大会前的简报中解释道,“在过去的2023年,我们经历了多模态生成式AI的诞生,文本到图像、图像到文本、音频到3D模型等—...……更多
英伟达推出史上最强AI芯片H200:推理性能提升90%,无缘中国市场
...万至4万美元,而据美国金融机构Raymond James透露,H100芯片成本仅3320美元。目前,英伟达还未公布H200价格。 由于AI大模型往往至少需要数千块GPU,上千亿参数的更大模型则需要更多。马斯克此期称,GPT-5可能需要3万-5万块H100,而...……更多
一键解锁ChatGPT原理与应用
...对应提示词的空槽位。预制带槽位提示词模板的应用基本流程如下:1)文字处理类此类应用主要有三种用法:① 文章提炼可以输入文章段落,要求提取段落主旨。但受token数限制,难以总结整篇文章。也可要求生成短标题、副...……更多
16家头部大模型公司上海神秘碰头,现场人挤人人人
...对应行业和领域。Bedrock知识库可自动执行完整的RAG工作流程,包括摄取、检索、提示词增强和引用。同时,Bedrock还推出了自定义模型导入(Custom Model Import)功能。企业现在能将自己定制模型导入到Bedrock中,以完全托管的API形...……更多
对话vivo副总裁黄韬:X100系列硬件成本明显上涨,大模型要求手机内存至少8GB
...整体价格有下调,有猜测称这主要是因为采用联发科芯片成本有所下降。对此黄韬表示,联发科SoC相对于上一代的价格有比较大幅的上涨。此外内存芯片价格近期有比较明显的上涨,所以整体硬件成本都更高了。对于这次定价,...……更多
昆仑万维发布开源13B高质量商用大模型 领先Llama2和Baichuan2
...据集。该数据集是根据昆仑万维经过精心过滤的数据处理流程从中文网页中筛选出的高质量数据。本次开源的数据集大小约为600GB,总token数量约为(1500亿),是目前最大得开源中文数据集之一。除此之外,Skywork-13B系列还公开...……更多
速度惊人,手机跑stablediffusion,12秒出图
...别的程序,在一个GPU命令中执行所有这些操作,无需中间流程。这里先介绍一下GaussianErrorLinearUnit(GELU)。GELU作为模型中普遍存在的激活函数,包含许多数值计算,如乘法、加法和高斯误差函数,如公式②所示。研究人员弄了...……更多
更多关于科技的资讯:
华为将会在10月带来一系列新产品
9月27日,有数码博主爆料称,华为将会在10月带来一系列新产品,其中便包括大家期待已久的nova13系列。华为nova13系列渲染图该博主发文称
2024-09-27 20:23:00
9月26日,阿维塔旗下第三款战略合作车型阿维塔07正式上市,该车型定位智美豪华SUV,内外兼修,将豪华感和智能感发挥到极致
2024-09-27 20:26:00
埃安aionrt开启预售,定位新颜控智驾轿车
9月26日,埃安在广州正式发布了其第二款全球车型——AIONRT,并开启预售。新车共推出包含520km和650km续航在内的四个版本
2024-09-27 20:27:00
埃安新款轿车aionrt开启预售,提供两个续航版本
9月26日晚,埃安宣布旗下新款轿车AIONRT正式开启预售,提供520km、650km两个续航版本。同时,该车的内饰官图也正式公布
2024-09-27 20:28:00
tcl空调斩获“中国冷暖智造年度卓越品牌”大奖
9月25日-26日,2024年中国暖通空调产业发展峰会暨中国“冷暖智造”颁奖盛典在武汉举行,来自暖通空调产业链的600多位精英人士
2024-09-27 20:28:00
三星theframe画壁艺术电视正式上线
在家居空间构筑的命题中,场景消费、体验经济正在搭建消费者与产品之间的桥梁。三星秉持“有AI的科技·艺术·家”理念,以艺术调动多重感官体验
2024-09-27 20:29:00
联合国大数据黑客松首届中国赛即将启动
9月26日,2024联合国大数据黑客松中国赛在第三届全球数字贸易博览会上正式发布。国家统计局浙江调查总队副总队长、联合国统计大数据和数据科学全球中心中方代表宋少英出席仪式
2024-09-27 20:30:00
拯救英特尔大作战:白宫据传将敲定85亿美元芯片拨款
财联社9月27日讯(编辑 马兰)英特尔正在努力自救,除了本月中旬宣布的重大业务调整之外,该公司近日还传出可能将被高通并购的消息
2024-09-27 20:31:00
大金链子配AR眼镜 扎克伯格抢光了苹果的风头
Meta创始人兼CEO扎克伯格最近心情很好,步入不惑之年的他似乎在个人形象和公司发展上都迎来了第二春。而他的秘诀:不怕大举押注
2024-09-27 20:31:00
以“向新·向上”为主题的2024中国国际汽车展览会将开幕
以“向新·向上”为主题的2024中国(天津)国际汽车展览会将于9月29日至10月5日在天津国家会展中心二期举办。作为年度最受瞩目
2024-09-27 20:31:00
怎样给2400万辆新能源汽车充电
充电桩突破1000万台只是第一步,接下来比拼体验和生态随着新能源汽车渗透率超过50%,作为和新能源车联系最紧密的行业,充电行业及其上下游产业正在经历重塑
2024-09-27 20:31:00
华硕a豆14air香氛版瑰蜜粉金高性能ai旗舰重磅发布
想要性能颜值双在线的AIPC?华硕a豆14Air香氛版瑰蜜粉金高性能AIPC旗舰重磅发布!全新搭载第三代AMD锐龙AI9365AIPC移动处理器
2024-09-27 20:32:00
Redmi Note 14 Pro+十一买来送父母,太香了!
9月26日晚,小米公司正式揭晓了RedmiNote系列的最新力作——RedmiNote14Pro+,这款新机以前所未有的优雅设计
2024-09-27 20:33:00
华为10月新品阵容曝光:nova13系列首当其冲
最近,知名数码博主提前揭秘了华为即将在10月推出的新品阵容,其中最为引人注目的莫过于万众期待的nova13系列智能手机
2024-09-27 20:35:00
苹果homeaccessory智能显示器将推出
苹果可能要推出一款被内部称为“HomeAccessory”的智能显示器,其设计概念与iPad相似却又独具特色,旨在成为控制HomeKit及Matter设备的核心中枢
2024-09-27 20:35:00