• 我的订阅
  • 头条热搜
刚刚,Llama 3.2 来了!支持图像推理,还有可在手机上运行的版本
...。具体来说,为了支持图像输入,Meta 训练了一组适应器权重(adapter weight),其可将预训练的图像编码器集成到预训练的语言模型中。该适应器由一系列交叉注意层组成,这些层的作用是将图像编码器表征馈送给语言模型。为...……更多
...十余款人工智能大模型全部面向公众开放服务。另外包括腾讯在内的一些公司的大模型也通过备案,将择机面向公众开放。人工智能大模型是指使用大规模数据和强大的计算能力训练出来的“大参数”模型,这些模型通常具有高...……更多
AIGC落地应用:腾讯云如何助力产业智能化升级?
...何加快前沿技术落地,进而推动产业升级? 6月15日,由腾讯云TVP与CSDN联合主办的「AIGC落地的正确姿势——TechoTVP技术沙龙」活动在上海举办,本次沙龙汇聚AI领域产学研优秀代表、技术大咖,聚焦AIGC落地思考与应用实践,分享...……更多
OpenAI掀小模型血战!苹果DCLM强势登场,碾压Mistral 7B全开源
...,这是迄今为止性能最好的「真正开源」的模型,不仅有权重和训练代码,而且是基于开放数据集DCLM-Baseline。相比模型性能,DCLM做出的「真正开源」的典范更加引人关注。对比大部分科技巨头只搞闭源模型,或「犹抱琵琶半遮...……更多
“国家队”AI大模型正式发布,AI人工智能ETF(512930)持续获资金积极布局
...上消费主题指数(931481)前十大权重股分别为美团-W(03690)、腾讯控股(00700)、快手-W(01024)、顺丰控股(002352)、科大讯飞(002230)、昆仑万维(300418)、京东健康(06618)、世纪华通(002602)、圆通速递(600233)、哔哩哔哩-W(096……更多
腾讯Angel机器学习平台获世界互联网大会领先科技奖
11月19日,2024年世界互联网大会领先科技奖在乌镇发布,腾讯Angel机器学习平台凭借其卓越的技术积累、创新的关键技术和广泛的应用场景,荣获本年度领先科技奖。腾讯Angel 机器学习平台,突破了万亿级模型分布式训练和推理...……更多
00后华裔小哥哈佛辍学组团挑战英伟达,史上最快AI芯片Sohu推理性能超H100二十倍!
...推理是以批次运行的。每个批次都会加载一次所有的模型权重,并在批次中的每个token上重复使用它们。通常,LLM的输入是计算密集的,而LLM的输出是内存密集的。所以,当我们将输入和输出token与连续批处理结合时,工作负载...……更多
Meta首款多模态Llama 3.2开源!1B羊驼宝宝,跑在手机上了
...个全新的模型架构。在图像输入方面,训练了一组适配器权重,将预训练的图像编码器集成到预训练的大语言模型中。具体来说,该适配器:由一系列交叉注意力层组成,负责将图像编码器的表示输入进大语言模型通过在文本-...……更多
70倍极致压缩!大模型的检查点再多也不怕
...信息的稀疏性实现更高的剪枝比例;另一个是将优化器和权重联合起来进行压缩,实现整体的高压缩率。 具体方法1. 检查点残差在训练过程中,当前的参数可以看作上一个检查点存储的权重加上逐次迭代时梯度更新的总和,这...……更多
《永劫无间》手游首次将具有18亿参数的大语言模型引入终端侧
...的移动端系统级芯片。峰会首日,高通公司宣布和智谱、腾讯混元合作,共同推动端侧AI模型部署和落地。骁龙8至尊版芯片AI性能HexagonNPU融合了包含标量(scalar)、向量(vector)和张量(tensor)等AI加速器架构,支持INT4、INT8、IN...……更多
Mistral放大招!124B多模态巨无霸登场,免费版ChatGPT震撼突袭
...ral研究许可证(MRL)下可用于研究和教育用途。模型及其权重可在Hugging Face平台上免费下载。 下载地址:https://huggingface.co/mistralai/Pixtral-Large-Instruct-2411/tree/main性能评测在评估视觉数据复杂数学推理……更多
百川智能、阿里云等进入开源大模型领域,开启商业化前奏
...千帆大模型平台2.0,将内置主流大模型数量增加至42个;腾讯云TI平台8月接入LLama2、Falcon等超20个主流模型,支持大模型直接部署调用且可全程低代码操作;阿里云魔搭社区也在积极接入主流大模型,包括baichuan2系列、InternLM-20B...……更多
腾讯推出 Hunyuan-Large 开源大模型
IT之家11月5日消息,腾讯今日宣布推出Hunyuan-Large大模型,官方表示这是目前业界已经开源的基于Transformer的最大MoE模型,拥有3890亿总参数(389B)和520亿激活参数(52B)。腾讯今日在HuggingFace开源了Hunyuan-A52B-Pretrain、Hun……更多
单卡搞定Llama 3.1 405B,让大模型轻松瘦身!超强压缩工具包来了
...C 支持多种压缩算法,包括 16 种不同的量化方法,涵盖仅权重、权重激活和混合精度量化。这种多样性允许对不同方法进行公平比较和深入分析。当然除了量化,目前还支持各种类型的稀疏以及相关算法。△LLMC目前支持的部分...……更多
...B版本开源了对话模型TeleChat-7B-bot,以及其huggingface格式的权重文件。此外,还开源了7B模型的int8和int4量化版本。在模型开发上,星辰语义大模型已与华为昇腾AI基础软硬件完成适配:支持Atlas300Ipro推理卡,具备int8量化能力;支...……更多
面壁智能发布2B模型:适配主流手机,推理成本仅为GPT-4的1/360 | 最前线
...在MMLU(多任务语言理解)、Knowledge(知识)、Reasoning(推理)、Comprehension(理解)等关键指标上均超越了Meta Llama 2的13B模型。这一个故事,在2024年2月1日的发布会上,也被AI模型层公司面壁智能的CEO李大海不断提起。对标Mistral..……更多
微软连发3款Phi-3.5模型:128K上下文,首用MoE架构,部分性能超GPT-4o mini
...支持128k上下文长度。Phi-3.5-mini-instruct主要面向基础快速推理任务,Phi-3.5-MoE-instruct可胜任复杂推理任务,Phi-3.5-vision-instruct则兼具文本与视觉能力。性能最强大的Phi-3.5-MoE-instruct模型有419亿个参数,……更多
开源大模型新的里程碑!Llama 3.1 模型准时发布
...-40125,与GPT-4o、Claude3.5互有胜负;3.提供开放/免费的模型权重和代码,许可证允许用户进行微调,将模型蒸馏到其他形式,并支持在任何地方部署;4.提供LlamaStackAPI,便于集成使用,支持协调多个组件,包括调用外部工具。图源...……更多
开源大模型杀疯了!Mistral新模型三分之一参数卷爆Llama 3.1
...设定了一个新的前沿”。Mistral Large 2尤其擅长代码和数学推理,上下文窗口128k,支持数十种自然语言以及80+编程语言。特别在MMLU上,其预训练版本更是达到了84.0%的准确率。消息一出,Mistral AI联创兼首席科学家第一时间转发,...……更多
微调大模型,AMD MI300X就够了!跟着这篇博客微调Llama 3.1 405B
...PU 上训练 LLaMA 405B 模型。我们使用 LoRA 微调,将所有模型权重和 LoRA 参数都设为 bfloat16,LoRA rank 设为 8,LoRA alpha 设为 16: 模型大小:LLaMA 模型的权重占用了约 800GB 的显存。 LoRA 权重 + 优化器状态:大……更多
腾讯钟学丹:人工智能成为汽车行业新质生产力 推动数智化升级
...中国电动汽车百人会论坛(2024)新质生产力分论坛上,腾讯智慧出行副总裁钟学丹发表了题为《AI驱动汽车“新智能”》的主题演讲,分享了腾讯AI大模型等新技术在汽车产业的创新应用成果。 腾讯智慧出行副总裁钟学丹钟学丹...……更多
昆仑万维:“天工大模型3.0”将于4月17日正式发布 同步开源4000亿参数MoE超级模型
...“天工2.0”MoE大模型,“天工3.0”在模型语义理解、逻辑推理、以及通用性、泛化性、不确定性知识、学习能力等领域拥有惊人的性能提升,其模型技术知识能力提升超过20%,数学/推理/代码/文创能力提升超过30%。同时,“天工...……更多
挑战Scaling Law,Meta发布移动端350M小模型MobileLLM,性能比肩7B LLaMA-v2
...高门槛。不仅用2-bit和4-bit混合精度压缩模型(平均每个权重3.5-bit),而且要有至少8G内存和M1芯片才能运行。Meta最近发表的一篇论文就表明,参数量可以进一步收缩,最新提出的MobileLLM模型参数量小于1B,但性能依旧可观。 论...……更多
Llama版o1来了,来自上海AI Lab,强化学习代码已开源,
复刻OpenAI o1推理大模型,开源界传来最新进展:LLaMA版o1项目刚刚发布,来自上海AI Lab团队。简介中明确:使用了蒙特卡洛树搜索,Self-Play强化学习,PPO,以及AlphaGo Zero的双重策略范式(先验策略+价值评估)。在2024年6月,o1发...……更多
惊掉下巴!被字节起诉800万实习生,拿下NeurIPS 2024最佳论文
...以通过修改或注入恶意代码,使模型在加载时被篡改模型权重、修改训练参数或截取模型数据。根据大V「Jack Cui」猜测,这位实习生所用的大概就是这个方法,注入代码动态修改别人的optimer,修改参数梯度的方向,以及在各种...……更多
阿里国际发布最新开源多模态模型Ovis,多模态能力再升级
...全部开源,可复现。Ovis1.6系列中的Ovis1.6-Gemma2-9B也已开源权重。在AI领域,多模态大模型的应用场景非常广泛,包括但不限于自动驾驶、医疗诊断、视频内容理解、图像描述生成、视觉问答等。例如,在自动驾驶领域,多模态大...……更多
...在的诸多挑战。他表示,尽管随着通义千问、文心一言、腾讯混元等系列大模型纷纷降价免费,生成式人工智能(AIGC)的应用门槛进一步降低。但要让大模型更好地服务于企业应用场景,仍存在不少障碍。比如技术执行、实施...……更多
开放模型权重被指将导致AI失控,Meta遭举牌抗议
...。与之相反,Meta 的 LLaMA 系列开源模型向公众提供了模型权重,使得任何拥有合适硬件和专业知识的人都可以自行复制和调整模型。一旦发布了模型权重,发布公司就不再有任何手段来控制 AI 的使用方式了。在 Holly Elmore 看来,...……更多
本周硅谷发生了什么?|苹果Vision Pro正式开售;Neuralink完成人类脑机接口植入;字节Coze国内版上线;
...布了论文,提出一个名为SliceGPT的方法。SliceGPT通过删除权重矩阵中的行和列来降低网络的嵌入维数,有效降低大模型所需资源,同时保持较高的模型性能。这也意味着SliceGPT可以运行在更少的GPU上,同时运行速度更快。△SliceGPT...……更多
腾讯大模型混元Turbo:御气升昺云,梓桐金鼎开
9月5日,腾讯正式推出其新一代旗舰大模型——混元Turbo。相比前代模型,腾讯混元Turbo性能有显著提升,训练效率提升108%,推理效率提升 100%,推理成本降低 50%,解码速度提升 20%,效果在多个基准测试上对标GPT-4o。最新第三方...……更多
更多关于科技的资讯:
孩子父亲拟卖房赔!被炮炸飞两辆车车主已涨粉20多万:车总价合计超百万
快科技2月2日消息,近日在在四川内江资中,一名小孩往下水道投放鞭炮,结果这一不当行为瞬间引发剧烈爆炸。据国内媒体报道称
2025-02-02 08:10:00
周鸿祎:DeepSeek践行开源精神 是真正的“Open AI”
快科技2月2日消息,据报道,中国人工智能企业DeepSeek近期遭遇了来自美国的全方位打压,包括调查、禁用、污名化指责以及大规模攻击等
2025-02-02 08:10:00
绕开英伟达护城河CUDA!消息称DeepSeek准备适配国产GPU
快科技2月2日消息,据国内媒体报道称,DeepSeek在研发大模型时绕过了英伟达的护城河CUDA,这让美国不少巨头们感到了很大的威胁
2025-02-02 08:10:00
《蛟龙行动》总制片于冬:打一星的都是黑水 我们绝不撤档
快科技2月2日消息,据报道,今年春节档影片《蛟龙行动》陷入排片困境、影片遭遇水军恶意打低分等话题,引发网友热议。在《蛟龙行动》1月31日的路演活动上
2025-02-02 08:40:00
鞭炮炸翻豪车 小孩家庭支付天价赔偿为假!保险公司:8车总共受损28.5万
快科技2月2日消息,近期,四川资中一小孩因燃放鞭炮引起的沼气燃爆,致使8辆汽车受损一事,引起网友关注热议。因为受损车辆包括林肯
2025-02-02 08:40:00
余承东晒自己曾买过的车:第一辆堪称经典 百万卡宴送都被嫌弃
快科技2月2日消息,近日余承东开启了一场直播,讲述了自己曾经拥有过的一些汽车。余承东在直播中回忆,早在1998年,他就购买了人生中的第一辆车——捷达王(太过经典的车型)
2025-02-02 08:10:00
宁德时代潘健:中国电动汽车正从“EV”变为“EIV”
快科技2月1日消息,据媒体报道,宁德时代联席董事长潘健在瑞士达沃斯举行的世界经济论坛年会上表示,中国电动汽车行业正在从“EV(电动汽车)”向“EIV(智能电动汽车)”转变
2025-02-01 08:39:00
杭州70岁大妈去影院看新《射雕英雄传》:我就想看肖战演的郭靖
2月1日消息,近日在杭州的一家影院,一位70岁的阿姨说自己特地来看肖战主演的春节档电影《射雕英雄传:侠之大者》,她表示哪怕剧情一般
2025-02-01 09:09:00
越南从韩国进口的无人机大批坠机起火:被迫取消除夕夜灯光秀表演
快科技2月1日消息,据报道,1月26日,越南河内大批无人机在彩排时坠落并在美亭国家体育场附近引起火灾。网友拍摄的视频显示
2025-02-01 09:09:00
小鹏G9/G6正式登陆爱尔兰/芬兰:加速欧洲市场布局
快科技2月1日消息,日前,小鹏汽车在都柏林和赫尔辛基分别举办发布会,正式进军爱尔兰和芬兰市场,小鹏G9和小鹏G6两款车型同步亮相
2025-02-01 09:09:00
每年超过0.3厘米的下沉 我们的房子怎么办
除了西湖醋鱼,杭州还有哪些地方特色呢?作为一个杭州人,差评君会自嘲地说:还有沉降东站!杭州的东站建设于 1992 年,在 2008 年改扩建后一度是亚洲最大的火车站
2025-02-01 09:39:00
蔚来推出5年0息金融政策 加赠5年NOP+免费使用权等权益
快科技2月1日消息,蔚来官方宣布,从即日起至2月28日期间支付定金购买蔚来旗下车型的用户,可享受首付20%起以及5年0息金融方案
2025-02-01 10:39:00
周边路面已修复!放炮炸翻多辆豪车的熊孩子已被带走:家长或赔超500万
快科技2月1日消息,近日在四川内江资中,一名小孩往下水道投放鞭炮,结果这一不当行为瞬间引发剧烈爆炸。据国内媒体报道称,四川资中县一男孩将鞭炮扔进下水道引发化粪池内沼气爆燃
2025-02-01 10:39:00
电瓶车强闯收费站 逆行上高速致轿车撞车!官方通报
快科技2月1日消息,近日,一段令人揪心的视频在网络引发热议。视频显示,在四川宜宾某高速公路上,一辆电瓶车竟在快车道上逆行
2025-02-01 10:39:00
前游戏公司总裁操作无人机与救火飞机相撞
Treyarch工作室联合创始人,空舞互动娱乐前总裁彼得·艾克曼(Peter Akemann)周五与控方达成认罪协议,协议规定可免于坐牢
2025-02-01 11:09:00