• 我的订阅
  • 头条热搜
专家模型不要专家并行!微软开源MoE新路径
...——参数要少,效果要好,所以要在左上角: GRIN作为MoE架构,总参数量约42B,推理时激活的参数为6.6B,打同级别(7B)的非MoE模型是手拿把攥,甚至比14B的Phi-3还要略胜一筹。在上面的这份成绩单中,GRIN MoE表现优异,尤其是...……更多
阿里发“神笔马良版Sora”,轻轻一抹让猫咪转向,20个演示视频+10页技术报告解读
...,创新两种运动处理模块Tora采用OpenSora作为其基本模型DiT架构,OpenSora是AI创企潞晨科技设计并开源的视频生成模型框架。为了实现基于DiT的轨迹控制视频生成,Tora引入了两个新型运动处理模块:轨迹提取器(Trajectory Extractor)...……更多
...从2017年开始,联想就着手围绕“端-边-云-网-智”的新IT架构做“全栈智能”的布局,目前已形成了AI内嵌的智能终端、AI导向的基础设施、AI原生的方案服务三个方向(联想内部称之为3S业务)的完整业务布局,而且在每一个业务...……更多
追一科技吴悦:一家做了7年NLP的公司,如何抓住大模型浪潮? | 36氪专访
...,怎么在服务营销场景里利用起来。36氪:博文大模型的架构是怎么样的,基于什么通用大模型进行训练?吴悦:我们从需求出发,采取了两条路径。第一条是依靠国内外开源成果,如LLaMa、千问、百川、智谱等,在开源模型的...……更多
全球十亿级轨迹点驱动,首个轨迹基础大模型来了
...究团队提出了轨迹基础模型的构建范式,旨在通过其模型架构设计和数据集支撑的流程,克服现有方法的局限性,实现跨任务、跨区域的泛化能力,并在不同数据质量下保持鲁棒性。具体来说,研究团队首先收集了一个全球范围...……更多
RTX3090可跑,360AI团队开源视频模型FancyVideo,红衣大叔都说好
... 360AI 团队和中山大学联合研发的 FancyVideo,一种基于 UNet 架构的视频生成模型。作者基于已经开源的 61 帧模型,实测效果如下。视频链接:https://mp.weixin.qq.com/s?__biz=MzA3MzI4MjgzMw==∣=2650931627&……更多
大模型推理乘上RISC-V快车?国内AI芯片创企推大模型系列一体机
...RISC-V大芯片创企希姆计算就联合国鑫发布了基于开源指令架构RISC-V打造的大模型系列一体机。其中包括2U4卡、4U8卡机,支持部署6B、7B、13B参数规模的大模型,这也是专门针对私有化部署提供的系统级解决方案。 在私有的处理器...……更多
硬件在人工智能基础教育中的角色: 机遇和挑战
...度神经网络的研究重点主要集中在数据处理方法、神经元架构以及联结方式(特别是近期对大数据模型如transformer和Mamba架构的研究),以及网络训练方法。 二、人工智能在基础教学中面临的问题 叶琛博士认为,在人工智能领...……更多
模型即服务,卓世科技MaaS平台 2.0 正式上线
...现跨设备、跨域、跨品牌算力融合管理 6、支持各类模型架构:多种模型种类的支持,如大语言模型、多模态模型等;多种模型架构支持,如单体模型架构、MoE模型架构 7、平台提供多种模型微调方式:支持RLHF、LORA、P-turning等多...……更多
微软连发3款Phi-3.5模型:128K上下文,首用MoE架构,部分性能超GPT-4o mini
...U测试中击败了GPT-4o mini。这是微软首次使用混合专家模型架构。这一模型系列中最小的Phi-3.5-mini-instruct在长上下文代码理解任务以明显优势击败Llama-3.1-8B-instruct和Mistral-7B-instruct,而其参数规模还不到Llama-3.1-8……更多
端到端大模型到底是个啥 小米官方详解
...收集到的信息进行判断加工,最后输出行驶指令。模块化架构的优点是分工明确,如果发现问题,可以分模块检查解决。但是缺点也很明显:上限很低,在执行复杂的驾驶任务的时候,会有明显的机械感,某些时候还需要人工接...……更多
科学家为脉冲神经网络引入新架构,为超大模型奠定基础
...经形态计算的性能潜力远远未被发掘。例如,在神经网络架构方面,目前绝大多数神经形态计算的应用,都围绕脉冲卷积神经网络(Convolutional Neural Network,CNN)展开,当前的神经形态芯片也只能支持脉冲 CNN。 相比之下,传统...……更多
腾讯混元大模型批量上新:10秒生成AI图像,超过180个腾讯业务接入 | 最前线
...高。以前,文生图产品用的常规扩散模型是基于CNN等技术架构,特点是比较局部,对整体的结构和刻画能力没有那么强。但现在,混元是基于扩散模型和Transformer架构相结合,可以刻画更多细节,而且对空间位置的定位能力也有...……更多
AI智驾时代降临,端到端奏响“三重奏”
...并自行输出正确的行驶轨迹。直到今年1月,采用端到端架构的FSD V12正式向北美用户推送。据介绍,这一版本使用的正是单个端到端的神经网络。而华为的ADS 3.0智驾系统,是用两个“大模型”,分别实现感知和规控的“端到端”...……更多
AI大模型行业报告:大模型发展迈入爆发期,开启AI新纪元(附下载)
...用,当前主流大模型中,诞生了以BERT为代表的Encoder-only架构、以T5为代表的Encoder-decoder架构、以GPT为代表的Decoder-only架构的大规模预训练语言模型。1.3 GPT系列模型技术发展历程回顾从技术角度来看,结合中国人民大学《大语言...……更多
BEV“超融合”感知部署 轻舟智航迈出量产从0到1的关键一步
...一步到位完成算法选型和瘦身,并充分地利用征程5的BPU架构优势,最终更快地实现了轻舟智航行泊一体BEV感知方案在征程5芯片平台上的落地。轻舟智航的行泊一体方案可在一个BEV模型中实现多任务检测,同时支持行车和泊车功...……更多
智谱AI杀入视频生成:「清影」上线,时长6秒,免费不限量
...维度融合起来,参考了 Sora 的算法设计,它也是一个 DiT 架构,通过优化,CogVideoX 相比前代(CogVideo)推理速度提升了 6 倍。OpenAI 的 Sora 横空出世,让 AI 在视频生成方面取得了显著进展,但大多数模型在生成具有连贯性和逻辑...……更多
Meta 公司发布 Imagine Yourself AI 模型
...个文本编码器和一个可训练视觉编码器的完全并行注意力架构; 以及一个从粗到细的多阶段微调过程这些创新技术使该模型能够生成高质量、多样化的图像,同时保持强大的身份保护和文本对齐功能。Imagine Yourself 使用可训练...……更多
科华数据:与金融大模型激情共舞
...冷数据中心解决方案凝聚了「6大优势」。 01整体优化架构,服务器全解耦,可兼容多品牌算力设备,分期建设无忧 科华数据冷板式液冷解决方案,可解耦国内主流品牌液冷算力服务器,解耦点在液冷服务器侧或液冷整机柜侧...……更多
进击2024洞察生成式AI时代下的智能营销新机遇
...语种市场,大幅降低了内容本地化成本。这些AI能力的底层架构是建立在亚马逊云科技云服务之上的,亚马逊云科技的支持帮助易点天下突破了关键技术难关,实现了场景化应用。完成了内容生产后,易点天下将重点转移到流量变现的...……更多
浩鲸科技鲸智BI大模型发布,从算法炫技到价值落地
...进,企业面临数据量与业务复杂度双重增长的挑战。数据架构需升级以支持高效决策,并应对跨部门、跨流程、跨系统的复杂数据分析需求,这要求分析人员具备高阶数据分析能力,提供整合的数据分析、商业智能及机器学习解...……更多
用60%成本干80%的事,DeepSeek分享沉淀多年的高性能深度学习架构
硬件发展速度跟不上 AI 需求,就需要精妙的架构和算法。根据摩尔定律,计算机的速度平均每两年就会翻一倍,但深度学习的发展速度还要更快,如图 1 和 2 所示。可以看到,AI 对算力的需求每年都以 10 倍幅度增长,而硬件速...……更多
英伟达携手达慕思大学开发“生成式人工智能教学工具包”
...然后再扩展到涵盖图像和视频生成的扩散模型、多模型LLM架构及其优化和LLM协调等模块,该公司承诺将在适当的时候推出更多模块。 ……更多
比Stable Diffusion便宜118倍!1890美元训出11.6亿参数高质量文生图模型
...幸存的patch中,从而显著减少高mask带来的性能下降。在本架构中,patch-mixer是通过注意力层和前馈层的组合来实现的,使用二进制掩码进行mask,整个模型的损失函数为:与MaskDiT相比,这里不需要额外的损失函数,整体设计和训...……更多
仅用4块GPU、不到3天训练出开源版GPT-4o,这是国内团队最新研究
...术研究所、中国科学院大学的研究者提出了一种新型模型架构 ——LLaMA-Omni,它可以实现与 LLM 的低延迟、高质量交互。 论文:https://arxiv.org/pdf/2409.06666 代码:https://github.com/ictnlp/LLaMA-Omni 模型……更多
掰开安卓手机 满屏都是三个字:大模型
...同时功耗降低了40%。具体而言,HexagonNPU升级了全新的微架构。更快的矢量加速器时钟速度、更强的推理技术和对更多更快的Transformer网络的支持等等,全面提升了HexgonNPU对生成式AI的响应能力,使得手机上的大模型“秒答”用户...……更多
1890美元,就能从头训练一个还不错的12亿参数扩散模型
...型大小)实现了更好的性能。最后,作者结合 Transformer 架构的最新进展,例如逐层缩放、使用 MoE 的稀疏 Transformer,以提高大规模训练的性能。作者提出的低成本训练 pipeline 减少了实验开销。除了使用真实图像,作者还考虑在...……更多
重磅!国产AI写作模型比ChatGPT强1000%,360前员工AI团队取得重大突破
...薪岗位,不论是小红书爆款文案、商业计划书,还是品牌架构策略、年度工作计划等,任何行业任何岗位的用户都可以在上面找到适合自己的写作模型。例如,在厉害猫AI的 “营销” 模块下,细分为品牌、创意、媒介、活动策...……更多
RNN回归!Bengio新作大道至简与Transformer一较高下
...学习三巨头之一的Yoshua Bengio,带领团队推出了全新的RNN架构,以大道至简的思想与Transformer一较高下。在Transformer统治的AI时代之下,散落在世界各地的「RNN神教」信徒,一直相信并期待着RNN回归的那天:毕竟,凭借强大的顺序...……更多
入职一年半,这个AI员工晋升为了国内首位AI架构师
你敢想,AI 已经不满足只做程序员了,如今又向架构师这一进阶职业发起挑战。随着 AI 在研发领域的不断进化,能提供给工程师的助力越来越多,从原先单纯的编码加速器不断延展到架构理解、质量分析、安全扫描、测试生成...……更多
更多关于科技的资讯:
完全隔绝外界网络!科大讯飞AI录音笔S8离线版图赏
快科技12月17日消息,科大讯飞日前推出旗舰新品——“讯飞AI录音笔S8离线版”。现在,这款新品已经来到我们评测室,下面为大家带来图赏
2024-12-17 17:20:00
阿维塔回应新车放弃采用华为平台:假的!
快科技12月17日消息,近日,有媒体报道称阿维塔汽车的下一代产品将基于长安自研的全新SDA 2.0平台研发。新车型将不再使用长安
2024-12-17 17:20:00
曝华为外折叠项目暂停 博主:华为已有三折叠 外折意义不大了
快科技12月17日消息,博主定焦数码爆料,华为外折叠屏项目暂停,毕竟华为已有三折叠屏了,外折再推意义不是很大。回顾华为的折叠屏产品线
2024-12-17 17:20:00
六年设计大换代!iPhone 17 Pro Max渲染图出炉:横向三摄
快科技12月17日消息,综合目前多方爆料,基本可以确定iPhone 17系列有全新的设计方案,是iPhone 11系列以来首次进行背部设计的大换代
2024-12-17 17:20:00
估值超300亿!阿维塔科技完成超110亿元C轮融资
快科技12月17日消息,阿维塔科技,由长安、华为与宁德时代联合打造,已完成超110亿元的C轮融资。此前,阿维塔科技总裁陈卓透露
2024-12-17 17:50:00
新一代AI轻薄设计本!微星尊爵16 AI+ 锐龙版 2024笔记本评测:轻薄之下亦有澎湃
一、前言:AI加持 轻薄本开始迈向实用全能长期以来轻薄本一直都是定位于轻便,为了轻薄牺牲了很多,性能方便只能说能用,用户也逐渐习惯这种情况
2024-12-17 17:50:00
专家谈邹市明儿子注射生长激素:需专业诊治 应慎重
快科技12月17日消息,据报道,最近奥运冠军、拳击运动员邹市明的妻子冉莹颖在社交平台上表示,11岁的二儿子皓皓,身高仅有136
2024-12-17 17:50:00
一汽吉林被曝陷入经营困境:已连续数月停产停薪
快科技12月17日消息,根据媒体报道,一汽吉林汽车有限公司已停产数月。多名员工反映自8月份起公司未发放工资,员工希望一汽集团领导能与他们座谈
2024-12-17 18:20:00
世界上第一款通用微处理器!Intel 8080喜迎50周岁生日
8080,它不是Intel的第一款微处理器,还有两个前辈,但它有着极为特殊的意义:真正开创了微处理器市场,也是微型计算机的起点
2024-12-17 18:20:00
iPhone诈骗频发!中国联通成功开发FaceTime诈骗识别:与苹果联动处置
快科技12月17日消息,今年以来,iPhone手机经常出现FaceTime诈骗的案件。因为FaceTime显示的昵称是用户Apple账户设置的名字
2024-12-17 18:20:00
成都一中学设“学霸就餐区”引争议 学校致歉回应:是月考的奖励
快科技12月17日讯,近日,据国内媒体报道,网传成都“石室成飞中学设置'学霸餐’”引发关注。有网友质疑该校区别对待学生
2024-12-17 18:20:00
打破台积电独霸格局!联电拿下高通芯片先进封装大单
快科技12月17日消息,据媒体报道,联电夺得高通高性能计算(HPC)产品的先进封装大单,预计将应用在AI PC、车用以及AI服务器市场
2024-12-17 18:50:00
男子危险驾驶还拍视频挑衅交警:被罚900记12分
快科技12月17日消息,互联网不是法外之地,做了违法的事情还敢公然挑衅警方,那么下场只有一个。据“央视新闻”报道,近日
2024-12-17 18:50:00
说唱歌手诺米新歌致敬雷军:雷军在街上发传单的励志故事深受激励
快科技12月17日消息,今年4月,说唱歌手诺米一首在社区健身器材上拍摄的《谢天谢帝》火了,诺米因此爆火出圈。洗脑的歌词与魔性的动作迅速火遍网络
2024-12-17 18:50:00
AMD天选内存!七彩虹全球首发高频、低时序DDR5-6400 C28
快科技12月17日消息,七彩虹宣布,全新打造的iGame影系列内存,首次为DDR5-6400频率产品带来了C28的超低时序
2024-12-17 18:50:00