• 我的订阅
  • 头条热搜
算子开发到推理加速,一位00后开发者的“升级打怪”之旅
...框架降低了大模型训练的门槛,目前正在做大模型分布式推理加速,希望可以帮助其他开发者在生产环境中高效部署在线推理服务。在昇腾AI的生态里,像郑辉这样为大模型浪潮默默贡献自己力量的开发者不胜枚举。他们还不是...……更多
文 | 周鑫雨编辑 | 邓咏仪36氪获悉,AI推理部署解决方案厂商“清昴智能”近日完成了数千万元Pre-A+轮融资,启赋资本、达晨财智领投,老股东奇绩创坛跟投。此前,清昴智能已获得某世界500强科技巨头公司的千万元战略投资。...……更多
Claude 3大模型引起学界关注,业内人士:或将开启科研新范式
...网)包含三款能力逐级递增的模型,在自然语言处理、多模态整合等方面表现卓越如果讨论本世纪最激动人心且影响深远的科学技术领域,AI 必定榜上有名。以“确保变革性 AI 帮助人们和社会繁荣发展”为使命的 Anthropic,则是...……更多
Meta版Sora深夜横空出世,小扎放出16秒高清大片!92页论文曝光技术细节,Llama 3架构立功
...验结果发现,Movie Gen Video模型能够理解物理世界——可以推理物体运动、主-客体交互、几何关系、相机运动、物理规律,以及各种概念的合理运动。在微调阶段,研究人员精选了一部分视频,对模型在美学、运动质量方面完成...……更多
大模型价格战谁会受益
...放。到今天,通义千问已经实现真正意义上的全尺寸、全模态开源,拉平了开源、闭源模型之间的差距”。北京商报记者 魏蔚 ……更多
Token化一切,甚至网络!北大&谷歌&马普所提出TokenFormer
...了 Token-Token 之间的交互,使现代通用基础模型能够将多模态数据编码成统一的 Token 序列,并有效捕捉它们之间的复杂依赖关系。相反,Token-Parameter 计算主要依赖于固定的 linear projection,大大限制 model size 的 scaling。Sca……更多
开源社区分水岭:Meta大模型Llama 3发布,参数最高或达4000亿
...,其将拥有超过4000亿参数。Meta也将在后续为Llama 3推出多模态等新功能,包括更长的上下文窗口,以及Llama 3研究论文。Meta在公告中写道:“通过Llama 3,我们致力于构建能够与当今最优秀的专有模型相媲美的开源模型。我们想处...……更多
豆包大模型公布价格清单 支持国内最高并发标准
...示豆包通用模型不同版本、不同规格的价格信息。在模型推理定价大幅低于行业价格的基础上,豆包通用模型的 TPM(每分钟Tokens)、RPM(每分钟请求数)均达到国内最高标准。以豆包主力模型 pro-32k 为例,价格比行业低99%,TPM...……更多
苹果发布 OpenELM,基于开源训练和推理框架的高效语言模型
...,苹果在 Hugging Face 平台上发布了一个“具有开源训练和推理框架的高效语言模型”,名为 OpenELM。当然,这是一项开源语言模型,其源码及预训练的模型权重和训练配方可在苹果 Github 库中获取。IT之家将官方简介翻译如下:参...……更多
安谋科技下代“周易”NPU成功部署DeepSeek-R1:速度高达40 tokens/s
...的最高处理速度可达每秒40 tokens,并支持动态长度的模型推理输入。这也展现了安谋科技软件栈对大模型的成熟支持、深度优化,包括动态推理优化和硬件算力潜力的挖掘,从而显著提升推理速度和吞吐量。目前,软件栈已支持...……更多
AI大模型行业报告:大模型发展迈入爆发期,开启AI新纪元(附下载)
...模型进行持续迭代式微调。GPT-4系列:能力跃升,增加多模态能力,最新版4o突破性价比GPT系列模型的技术演变(GPT-4~GPT-4o):继ChatGPT后,OpenAI于2023年3月发布GPT-4,它首次将GPT系列模型的输入由单一文本模态扩展到了图文双模态...……更多
Intel三条线优化阿里云通义千问2模型:720亿参数轻松拿捏
...。Intel还采用KV Caching、PagedAttention机制和张量并行,提高推理效率。Intel的硬件也可利用软件框架和工具包进行加速,并获得出色的大模型推理性能,包括PyTorch以及Intel PyTorch扩展包、OpenVINO工具包、DeepSpeed、Hugging F……更多
4090笔记本0.37秒直出大片!英伟达联手MIT清华祭出Sana架构,性能秒杀FLUX
...仅解码器LLM)作为文本编码器,以增强对提示词的理解和推理能力。尽管T2I生成模型多年来取得了显著进展,但大多数现有模型仍依赖CLIP或T5进行文本编码,这些模型往往缺乏强大的文本理解和指令跟随能力。与CLIP或T5不同,Gem...……更多
华为、百度、阿里云等发起“大模型基础设施高质量发展行动计划”
...Law)不断演进,无论是在进行 CKPT 的并行保存与加载、多模态数据的收集与清洗、全局数据的 Shuffle(混洗)与模态对齐,还是 AI 算法的调优以及大规模集群的运维诊断跟踪,都迫切需要一个全局对等共享、单一命名空间、且具...……更多
下载次数破39万!CMU、Meta联合发布VQAScore文生图优化方案:Imagen3已采用
...论文提名和最佳短论文奖等。其研究成果在生成模型和多模态学习领域受到了学术界和工业界的广泛认可。Pengchuan Zhang是Meta AI(原Facebook AI研究院)的人工智能研究科学家,曾在微软研究院担任高级研究科学家。他的研究领域主...……更多
大模型到了该「验收」的时候
...最后,以Stable Diffusion为首的技术突破也使得大模型在多模态内容创作生成上表现极佳。抽取一下关键词:知识密集、自然语言、泛化与小样本、多模态内容创作。顺着大模型技术能力往下匹配,场景呼之欲出:知识管理、智能...……更多
为AI加速而生 英特尔第五代至强CPU带来AI新表现
...来概括它的特点,那就是——AI味道越发得浓厚。以训练、推理大模型为例:• 与第四代相比,训练性能提升多达29%,推理性能提升高达42%;• 与第三代相比,AI训练和推理性能提升高达14倍。什么概念?现在若是将不超过200亿参数的模型...……更多
3天把Llama训成Mamba,性能不降,推理更快!
...Mamba模型,并且设计了新的推测解码算法,加速了模型的推理。先来看一张其乐融融的图片(一眼AI):右边的小羊驼代表Llama,而左边的蛇(Mamba)也是我们的老熟人了。至于到底能不能其乐融融,咱就不管了,之所以有此场景...……更多
复旦大学漆远:DeepSeek将推理成本降至百万token仅1元人民币,加速AI普及
...诞生聊天机器人产物。如今OpenAI o1、DeepSeek模型具备的强推理能力,让AI发展走到了又一重要分水岭。而未来研究方向或在于,像杨立昆提出的‘科学世界模型’,让AI更透彻的理解物理世界。”谈及最近爆火的国产AI“黑马”Deep...……更多
手机银行APP变身“金融Siri”:你的理财顾问会是个聊天框吗
...Grok3为代表的通用大模型技术飞速发展,其逻辑推理与多模态能力显著提升,推动金融行业从“数据驱动”迈向“智能驱动”新阶段。大模型以其卓越的逻辑推理、多模态处理能力和高度的可定制性,为金融机构提供了前所未有...……更多
阿里巴巴“AI驱动”战略提速 夸克发布自研大模型
...研大模型夸克大模型是基于Transformer架构、自主研发的多模态大模型,每天会对亿级的图文数据进行训练和精调,具有低成本、高响应、综合能力强等特点。同时,夸克大模型还将衍生出通识、医疗、教育等垂类模型,可以提供A...……更多
当AI大模型卷向服务机器人,会有哪些新故事?|硬氪分析
...莫拉维克悖论提出,和传统假设不同,计算机要实现例如推理等人类所具备的高阶智慧、仅需少量的计算能力,而若要直觉、感知等能力,却需要巨大的运算能力。 简单来说,电脑可以在和人类围棋对弈中轻松取胜,但如果让...……更多
打造“懂你的AI助手”,讯飞星火V4.0发布,再度国内领先
...品海报、用户短视频、相关录音,星火也可以根据这些多模态信息生成产品培训文档,还可以对生成的信息进行多模态溯源。大模型进入个性化时代,大模型工作、学习“可用性”飙升! 而面向专业领域的个性化应用,讯飞晓医...……更多
...算效率和算力开销两大问题成为新的行业焦点。对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决...……更多
搜狐医药 | 北京儿童医院发布国内首个儿科大模型,积极推进AI儿科医生应用
...高质量病历数据。此外更在循证、推理、记忆、对话、多模态方面对模型进行强化。面对患者家长时,能自主进行多轮问诊和耐心沟通。国家儿童医学中心主任、北京儿童医院院长倪鑫表示,“福棠·百川” AI 儿科医生基层版、...……更多
RAG真能提升LLM推理能力?人大最新研究:数据有噪声,RAG性能不升反降
...智元导读】RAG通过纳入外部文档可以辅助LLM进行更复杂的推理,降低问题求解所需的推理深度,但由于文档噪声的存在,其提升效果可能会受限。中国人民大学的研究表明,尽管RAG可以提升LLM的推理能力,但这种提升作用并不是...……更多
NVIDIA RTX显卡AI推理提速5倍!
...得更好的加速和应用。其中,TensorRT-LLM是一款用于加速LLM推理的库,可大大提升AI推理性能,还在不断更以支持越来越多的语言模型,而且它还是开源的。就在10月份,NVIDIA也发布了面向Windows平台的TensorRT-LLM,在配备RTX30/40系列GP...……更多
本文转自:人民网-安徽频道4月20日,科大讯飞深度推理大模型——讯飞星火X1迎来全新升级。作为当前业界唯一基于全国产算力训练的深度推理大模型,升级后的星火X1在数学、代码、逻辑推理、文本生成、语言理解、知识问答...……更多
StableDiffusion原班人马新公司官宣!连发新模型刷新AI绘画格局
...会显示生成用时)。 黑森林称,所有FLUX.1模型都基于多模态和并行扩散Transformer块的混合架构,并扩展到12B参数。3款模型中,FLUX.1 [pro] 和 [dev] 在视觉质量、提示响应度、尺寸/长宽高比列灵活性、排版和输出多样性这些方面,...……更多
昆仑万维上半年收入25亿,AI应用加速落地,商业化成果显著
...。基座大模型侧,公司坚持技术创新,对文本大模型、多模态图文大模型、音乐大模型、3D大模型、视频大模型进行了全面升级,在性能上均达到行业领先水平,为用户带来前所未有的智能体验。AI应用侧,公司多款产品在全球...……更多
更多关于科技的资讯:
家委必藏!毕业照别乱找!忆学堂封神级拍摄,给娃留一辈子的青春纪念
在毕业季影像服务赛道,“专业”与“可靠”是始终不变的核心诉求。忆学堂从一间工作室成长为全国连锁品牌,凭借实打实的硬实力
2025-12-22 14:13:00
喜茶携手泡泡玛特星星人,首次全球同步联名活动正式上线
鲁网12月22日讯12月22日,喜茶与泡泡玛特(POP MART)旗下人气IP星星人的联名活动正式登陆喜茶全球门店,不少喜茶门店开业后就迅速进入制茶繁忙状态
2025-12-22 14:14:00
正雅于法国巴黎迪士尼成功举办早期矫治学术峰会
2025年12月13日,正雅齿科在法国巴黎迪士尼乐园酒店成功举办了"儿童早期矫治学术研讨会"。本次会议吸引了来自法国、瑞士
2025-12-22 14:20:00
2025游戏公益+研究报告在沪发布:公益是游戏体验的“加分项”
有多少游戏企业在游戏产品里做公益?他们做的公益活动被多少玩家接触过?在游戏里做公益是否会影响玩家游戏体验?在12月19日举办的2025中国游戏产业年会游戏公益+论坛上
2025-12-22 14:21:00
青岛城市传媒广场发布2026业态升级战略,携手多元品牌共筑“潮趣换新,自在未来”
12月20日,“潮趣换新,自在未来——青岛城市传媒广场新起点暨2026业态升级发布会”在青岛西海岸隆重举行。活动标志着这座扎根区域八年的文化商业地标正式开启全面焕新阶段
2025-12-22 14:49:00
年底前一项大利好政策来了!刚刚,央行发布《关于实施一次性信用修复政策有关安排的通知》,这意味着个人信用救济的重磅政策落地
2025-12-22 14:57:00
【宅男财经|专家面对面】据看看新闻报道,12月21日,俞敏洪在讲话中谈及董宇辉离职,仍亲切地喊他“孩子”,表示对目前结果感到满意
2025-12-22 15:00:00
安踏儿童携手广州亲子跑,足弓PRO跑鞋「萌芽」配色首发亮相
近日,2025广州亲子跑在广州天河体育中心活力开跑,约600组家庭、近2000名大小跑者携手出发。现场安踏儿童将“足弓成长计划”与广州亲子跑深度融合
2025-12-22 15:21:00
大力神杯“打卡”青岛!海信RGB-Mini LED电视提前解锁2026年世界杯极致观赛
鲁网12月22日讯12月21日,象征足坛最高荣耀的大力神杯“空降”青岛,2026世界杯定制电视海信RGB-Mini LED电视同步亮相
2025-12-22 15:26:00
近日,动力锂电池专列从四川宜宾港鸣笛启程,一路驰骋奔赴上海,这一历史性时刻,如同一束强光,照亮了动力锂电池运输领域全新的发展方向
2025-12-22 15:36:00
中国消费者报报道(记者王小月)随着智能手机、笔记本电脑等消费电子产品迭代速度不断加快,大量旧设备涌入回收与再流通渠道。然而
2025-12-22 15:42:00
为期两天的2025年平谷国际宠物博览会已圆满收官,本次博览会汇聚400余家优质展商,集中展示名猫、名犬、宠物食品、用品等特色产品
2025-12-22 15:51:00
青岛打卡大力神杯!海信携世界杯定制冰箱揭秘“冠军级保鲜”密码
鲁网12月22日讯12月21日,象征世界足球最高荣誉的大力神杯在青岛首次面向公众展出,引发了广泛关注。活动现场,海信冰箱携三款2026世界杯定制冰箱同步亮相
2025-12-22 16:00:00
大力神杯青岛焕彩,容声以“鲜”世技术赴冠军之约
鲁网12月22日讯“技术好的很多,但冠军才能捧杯!”12月21日,青岛迎来足球界至高荣耀——象征全球足球巅峰荣誉的大力神杯在此开启24小时公开展出
2025-12-22 16:03:00
海信冰箱磁吸光幕门板荣获2025国际CMF设计奖
鲁网12月22日讯日前,全球设计领域权威奖项——2025国际CMF设计奖正式揭晓,海信冰箱全球首创的磁吸光幕门板凭借在材质
2025-12-22 16:04:00