• 我的订阅
  • 头条热搜
mistralai公司推出mixtral8x22b开源模型
...出了Mixtral8x22B开源模型,共有1760亿个参数,Context长度(上下文文本)为6.5万个token,可以通过Torrent下载。MistralAI公司自成立以来一直备受外界关注,“6人团队,7页PPT,8亿融资”不断缔造传奇,而且在得到微软的投资之后更是...……更多
英国ai初创公司wayve公布gaia-1最新进展
...个共享的表示形式,进而在模型中实现统一的时序对齐和上下文理解,这种编码方法,让模型能够更好地整合和理解不同类型的输入。▲图源Wayve而GAIA-1的核心,是一个自回归Transformer,能够预测序列中下一组图像token,世界模型...……更多
开源社区分水岭:Meta大模型Llama 3发布,参数最高或达4000亿
...ama 3已经开放了80亿(8B)和700亿(70B)两个小参数版本,上下文窗口为8k。Meta表示,通过使用更高质量的训练数据和指令微调,Llama 3比前代Llama 2有了“显著提升”。未来,Meta将推出Llama 3的更大参数版本,其将拥有超过4000亿参...……更多
amd推出10亿参数语言模型系列amdolmo
...next-tokenprediction)进行训练,这种架构在生成文本和理解上下文方面表现出色。与其他同类开源模型相比,AMDOLMo在推理能力和聊天能力上表现优异。尤其是在多个基准测试中,其性能与最新的OLMo模型相当,且计算预算仅为其一...……更多
李开复AI公司首发大模型,阿里云领投 | 36氪独家
...言模型)和中文大模型榜单C-Eval排行榜已经爬升到1位。上下文窗口,意味着模型的“记忆力”。据介绍,Yi目前拥有200K上下文窗口,可处理约40万字的文本——这也是目前全球大模型中最长的上下文窗口。李开复提到,由于GPU紧...……更多
10分钟速成专家,「Kimi智能助手」正式支持200万上下文,对话窗口提升10倍 | 最前线
...正式宣布,旗下的Kimi智能助手,已支持200万字超长无损上下文,并于即日起开启产品内测。Kimi智能助手是月之暗面(Moonshot AI)基于自研千亿参数大模型打造的对话式 AI 助手产品,在2023年10月正式发布。而月之暗面也是国内大...……更多
必然的命运:AI大模型冲向“免费轮盘赌”
...开发者大会上推出了0.0035美元/千tokens的Gemini Pro1.5,并将上下文长度拓展至200万tokens。国内外价格战的打响无不证明着,要在愈发汹涌的人工智能市场上分得一杯羹,卷是宿命,也是必然。 02 鏖战,谁能破局向C端免费意味着大...……更多
infini-attention:谷歌大内存机制
谷歌大改Transformer,“无限”长度上下文来了。现在,1B大模型上下文长度可扩展到1M(100万token,大约相当于10部小说),并能完成Passkey检索任务。8B大模型在500K上下文长度的书籍摘要任务中,拿下最新SOTA。这就是谷歌最新提...……更多
国产大模型加速落地,争夺“中国版ChatGPT”心智定位
...答、对话、写作、翻译等功能,后者则可以完成处理200K上下文、多文档阅读理解,以及超长知识库构建等任务。 今年3月6日,零一万物官微宣布开源Yi-9B模型。据介绍,Yi-9B是目前Yi系列模型中代码和数学能力最强的模型,实际...……更多
马斯克打脸OpenAI!全球最大模型Grok-1开源
...antization) 最大序列长度为8,192个数据单元,以处理更长的上下文信息纽约时报点评道,开源Gork背后的原始代码,是这个世界上最富有的人控制AI未来战斗的升级。Meta CEO扎克伯格刚刚也对Grok做出了评价:“并没有给人留下真正深...……更多
开源版OpenAI再出「神作」,小模型吊打Llama 3!Ministral系列问世,边缘AI革命开启
...界上最好的边缘模型Ministral 3B和Ministral 8B都支持高达128k上下文(目前在vLLM上为32k)。在知识、常识、推理、函数调用、效率等方面,为低于10B参数模型设立了新标杆。而且,Ministral 8B还有配备了滑动窗口注意机制(sliding-window a...……更多
李彦宏称开源赶不上闭源?Meta发布最强开源模型,马斯克评价“还不错”
...备全新功能的模型,包括多模态、支持多语言对话、扩展上下文窗口的长度,以及全面提升的综合性能。 基于Llama 3,Meta发布了AI助手 Meta AI。扎克伯格表示,MetaAI将成为人们可以免费使用的最智能的AI助手。开源还是闭源?Llama...……更多
微软连发3款Phi-3.5模型:128K上下文,首用MoE架构,部分性能超GPT-4o mini
...Phi-3.5,适合在内存和算力受限的环境中运行,均支持128k上下文长度。Phi-3.5-mini-instruct主要面向基础快速推理任务,Phi-3.5-MoE-instruct可胜任复杂推理任务,Phi-3.5-vision-instruct则兼具文本与视觉能力。性能最强大的Phi-3……更多
开源大模型杀疯了!Mistral新模型三分之一参数卷爆Llama 3.1
...一个新的前沿”。Mistral Large 2尤其擅长代码和数学推理,上下文窗口128k,支持数十种自然语言以及80+编程语言。特别在MMLU上,其预训练版本更是达到了84.0%的准确率。消息一出,Mistral AI联创兼首席科学家第一时间转发,直接cue ...……更多
Kimi爆火背后:访问量仅次于文心一言和阿里通义,国内外大模型都在卷上下文
...款面向C端的大模型产品。早前,该公司宣布在大模型长上下文窗口技术上取得新的突破,Kimi已支持200万字超长无损上下文,并开启产品内测,该能力在不到半年内提升9倍。市场的火爆,导致Kimi服务器一度瘫痪,无法回复用户...……更多
Kimi概念股继续暴涨!多家上市公司回应,月之暗面致歉系...
...。 此前3月18日,月之暗面宣布其AI产品Kimi,在大模型长上下文窗口技术上取得新的突破,Kimi智能助手已支持200万字超长无损上下文,并于即日起开启产品内测。据了解,月之暗面成立于2023年4月,法定代表人杨植麟毕业于清华...……更多
智能产业探新记丨AI赋能,大模型的下一个“风口”在哪?
...的祝福语;给出要求,可以用C语言快速写出程序;根据上下文,还能帮助创作者润色文章……正在天津召开的2024世界智能产业博览会上,科大讯飞展位上“多才多艺”的“智能助手”吸引了不少观众驻足体验。“这是我们研发...……更多
中国银河维持传媒互联网推荐评级,AI技术潜在的应用行业将受益
...面科技有限公司开发的KimiChat宣布已支持200万字超长无损上下文输入,并已开启产品内测。据SimilarWeb,目前KimiChat的周度访问量已经超过200万。2024年3月23日,阶跃星辰在全球开发者先锋大会现场发布了其Step系列通用大模型,其...……更多
估值180亿美元,马斯克造了一家“AI独角兽”
...。在Grok-1开源后不久,xAI就紧接着退出了Grok-1.5,主打长上下文理解和先进的推理能力,其上下文长度从原先的8192增长至128K,与GPT-4持平。新模型在数学能力上的提升达到了惊人的50%,在HumanEval数据集上的得分甚至超过了GPT-4。...……更多
林达华谈大模型发展之路:未来会有更高效的模型结构出现
大模型的上下文长度快速增长,超长上下文解锁新应用,但推理计算代价高昂,上下文本身对于信息不会进行压缩,不能直接捕捉其中的深层知识和规律。上海人工智能实验室领军科学家林达华。过去一年,人工智能领域风起...……更多
李开复回应旗下AI独角兽陷“套壳”争议:起步受益于开源,会进步
...刚刚正式发布首款开源中英双语大模型Yi-34B,其拥有200K上下文窗口,可处理约40万字的文本。模型开放商用申请,在阿里云魔搭社区首发。与此同时,零一万物已完成新一轮融资,由阿里云领投。据零一万物介绍,截至11月5日,...……更多
GPT-4劲敌,谷歌进入高能+高产模式
...内的大模型而言,只有Minimax采用了MoE架构。二、扩容的上下文窗口意味着什么?虽然Gemini 1.5 Pro是 Gemini 1.5 系列的初代版本,但初代便表现不俗。扩大上下文窗口后的高水平性能是Gemini 1.5 Pro的一大亮点。多模态大模型卷到今日...……更多
腾讯Angel机器学习平台获世界互联网大会领先科技奖
...的开源MoE模型混元Large,总参数量 389B,激活参数量 52B ,上下文长度高达256K,其训练和推理均基于腾讯Angel机器学习平台。 ……更多
让大模型“外挂硬盘”,百川智能发布新API系列,企业定制成本大大降低
...,大模型是新时代的计算机,就如同中央处理器一样;而上下文窗口可以看做计算机的内存,存储了当下正在处理的文本。互联网实时信息与企业完整知识库,则共同构成大模型时代的硬盘。而基于搜索增强技术推出的API系列,...……更多
英伟达发布mistral-nemoai大语言模型
...发布了全新的Mistral-NeMoAI大语言模型,拥有120亿个参数,上下文窗口(AI模型一次能够处理的最大Token数量)为12.8万个token。VentureBeat与Midjourney合作制作Mistral-NeMoAI大模型主要面向企业环境,让企业不需要使用大量云资源的情况下..……更多
OpenAI掀小模型血战!苹果DCLM强势登场,碾压Mistral 7B全开源
...T的DCLM,DCLM-7B模型又进一步过滤出其中的2.5T用于训练。 上下文长度为2048,小于Mistral 7B和Gemma 2 9B的8k长度。性能方面,作者直接使用评估套件LLM Foundry,测试了模型在53个基准任务上的分数。与其他模型进行比较时,除了MMLU分...……更多
北大林宙辰团队全新混合序列建模架构MixCon:性能远超Mamba
...层,相比 Mamba 可将 KV 缓存减少 32 倍。例如,在 256K 令牌上下文环境中,MixCon 仍能保持较小的 KV 缓存优势(如表 1 所示)。在吞吐量方面,处理长序列时,Conba 层计算效率更高,增加其比例可提高整体吞吐量。基本配置单位是 ...……更多
谷歌推出datagemma开放权重语言模型新版本
...数据共享平台检索相关信息来进一步提高回复的质量。长上下文窗口由Gemini1.5Pro实现,确保了回答的全面性和清晰度,同时引入了表格和脚注以提供更深层次的上下文。研究团队强调这些技术如何帮助大语言模型判断何时依赖外...……更多
马斯克承诺开源版大模型 来了!Grok-1:3140亿参数迄今最大,权重架构全开放
...2 个。 旋转位置嵌入大小为 6144,与输入嵌入大小相同。上下文长度为 8192 tokens,精度为 bf16。此外还提供了一些权重的 8bit 量化内容。当然,我们还是希望 xAI 官方能够尽快公布 Grok-1 的更多模型细节。Grok-1 是个什么模型?能...……更多
库克现身上海首次谈及AI话题,苹果真急了
...一篇论文,公开了一个名为“MM1”的多模态模型,其具有上下文学习、图片识别和一定连续推理的能力。该模型具有三个参数规模,其中最大的拥有300亿参数。作为对比,OpenAI的GPT-4拥有1.7万亿参数规模。而几周前发布的新款Mac...……更多
更多关于科技的资讯:
美的:严禁下班时间开会、形式主义加班
快科技1月22日消息,今晚,新浪科技爆料美的集团董事长兼总裁方洪波在内部签发了一项引人瞩目的《关于简化工作方式的要求》文件
2025-01-23 00:02:00
华为连续两周夺中国手机激活量第一!苹果、小米紧追
我们此前曾报道过,华为在2025年首周夺得了中国手机激活量冠军。而从最新数据来看,华为在第二周继续称王。排名方面,苹果和小米在华为身后紧追不舍
2025-01-23 00:02:00
解锁亚洲媒体密码:品牌出海的通关指南
品牌出海浪潮与亚洲媒体的关键作用在全球化进程不断加速的当下,品牌出海已然成为众多企业拓展市场、提升国际影响力的重要战略选择
2025-01-23 00:23:00
这种章鱼会把海洋中最毒动物当作武器
毯子章鱼,这是一种生活在亚热带和热带海洋的表层到中层水域的章鱼,它们的触手上有薄膜,看起来就是斗篷一样,这能够让它们看起来更大
2025-01-23 00:32:00
全球最薄折叠屏来了!OPPO Find N5系列入网:标配80W快充
快科技1月23日消息,根据3C认证官网显示,OPPO两款新机已经入网,标配80W充电头,其中还有一款支持卫星通信。按照近期产品宣发来看
2025-01-23 00:32:00
《王者荣耀》春节版本今天上线 3款新皮肤6元秒杀
快科技1月23日消息,《王者荣耀》蛇年春节版本今天正式上线。其中,3款6元皮肤不要错过,它们分别是:【东皇太一-金福满堂】【少司缘-灵卦秘语】【达摩-爆裂喵拳】
2025-01-23 00:32:00
河北新闻网讯(庞英德)“嘀嘀嘀……7070运输皮带有故障。”近日,在开滦集团唐山矿业公司(简称“开滦山矿公司”),智能巡检机器人向主井集控室监控平台发出警报信号和提示声音
2025-01-23 03:41:00
本文转自:人民日报海外版《人民日报海外版》(2025年01月23日第 03 版)新华社上海1月22日电(记者李荣)为切实推进沪港合作
2025-01-23 04:25:00
我家的电器“更新记”
本文转自:人民日报海外版家电换新折射消费变迁。听三个中国家庭讲述——我家的电器“更新记”本报记者 孔德晨《人民日报海外版》(2025年01月23日第 04 版)二〇二四年九月七日至十二月三十一日
2025-01-23 04:32:00
本文转自:人民日报广东深圳市——这里有个“孪生城市”(新春走基层·探访新质生产力)本报记者 吕绍刚  吴月辉《人民日报》(2025年01月23日第 06 版)广东深圳市的天空很忙
2025-01-23 06:06:00
本文转自:人民日报北京化工大学国家能源生物炼制研发中心——勇闯科研“无人区”(新春走基层·探访新质生产力)本报记者 葛孟超《人民日报》(2025年01月23日第 06 版)高通量菌种筛选自动化平台上
2025-01-23 06:07:00
钟睒睒泪洒年会舞台:我们的钱是干净的 是所有员工一瓶瓶水卖出来的
快科技1月23日消息,据媒体报道,日前,农夫山泉创始人钟睒睒现身养生堂年会,并发表演讲。钟睒睒在演讲说到激动之处时,摘下眼镜
2025-01-23 07:02:00
安卓版Vision Pro!三星Project Moohan VR耳机亮相
快科技1月23日消息,在三星Unpacked活动中,三星展示了它和谷歌合作开发的头戴式设备—三星Project Moohan VR耳机
2025-01-23 07:02:00
高速狂飙189km/h致追尾 司机安慰妻子:闭上眼睛就不怕了
快科技1月23日消息,公安部交通管理局今日披露了一起严重超速致追尾的事故。据介绍,2025年1月13日,沪昆高速江西新余段凌晨0时许
2025-01-23 07:32:00
支付宝境外首页升级:出境游地图模式正式上线
快科技1月23日消息,据报道,支付宝改版升级境外首页,联合全球千万商家和多地旅游局,新上线“出境过新年 全球笔笔减”活动
2025-01-23 07:32:00