• 我的订阅
  • 头条热搜
mistralai公司推出mixtral8x22b开源模型
...出了Mixtral8x22B开源模型,共有1760亿个参数,Context长度(上下文文本)为6.5万个token,可以通过Torrent下载。MistralAI公司自成立以来一直备受外界关注,“6人团队,7页PPT,8亿融资”不断缔造传奇,而且在得到微软的投资之后更是...……更多
英国ai初创公司wayve公布gaia-1最新进展
...个共享的表示形式,进而在模型中实现统一的时序对齐和上下文理解,这种编码方法,让模型能够更好地整合和理解不同类型的输入。▲图源Wayve而GAIA-1的核心,是一个自回归Transformer,能够预测序列中下一组图像token,世界模型...……更多
开源社区分水岭:Meta大模型Llama 3发布,参数最高或达4000亿
...ama 3已经开放了80亿(8B)和700亿(70B)两个小参数版本,上下文窗口为8k。Meta表示,通过使用更高质量的训练数据和指令微调,Llama 3比前代Llama 2有了“显著提升”。未来,Meta将推出Llama 3的更大参数版本,其将拥有超过4000亿参...……更多
amd推出10亿参数语言模型系列amdolmo
...next-tokenprediction)进行训练,这种架构在生成文本和理解上下文方面表现出色。与其他同类开源模型相比,AMDOLMo在推理能力和聊天能力上表现优异。尤其是在多个基准测试中,其性能与最新的OLMo模型相当,且计算预算仅为其一...……更多
李开复AI公司首发大模型,阿里云领投 | 36氪独家
...言模型)和中文大模型榜单C-Eval排行榜已经爬升到1位。上下文窗口,意味着模型的“记忆力”。据介绍,Yi目前拥有200K上下文窗口,可处理约40万字的文本——这也是目前全球大模型中最长的上下文窗口。李开复提到,由于GPU紧...……更多
10分钟速成专家,「Kimi智能助手」正式支持200万上下文,对话窗口提升10倍 | 最前线
...正式宣布,旗下的Kimi智能助手,已支持200万字超长无损上下文,并于即日起开启产品内测。Kimi智能助手是月之暗面(Moonshot AI)基于自研千亿参数大模型打造的对话式 AI 助手产品,在2023年10月正式发布。而月之暗面也是国内大...……更多
必然的命运:AI大模型冲向“免费轮盘赌”
...开发者大会上推出了0.0035美元/千tokens的Gemini Pro1.5,并将上下文长度拓展至200万tokens。国内外价格战的打响无不证明着,要在愈发汹涌的人工智能市场上分得一杯羹,卷是宿命,也是必然。 02 鏖战,谁能破局向C端免费意味着大...……更多
infini-attention:谷歌大内存机制
谷歌大改Transformer,“无限”长度上下文来了。现在,1B大模型上下文长度可扩展到1M(100万token,大约相当于10部小说),并能完成Passkey检索任务。8B大模型在500K上下文长度的书籍摘要任务中,拿下最新SOTA。这就是谷歌最新提...……更多
国产大模型加速落地,争夺“中国版ChatGPT”心智定位
...答、对话、写作、翻译等功能,后者则可以完成处理200K上下文、多文档阅读理解,以及超长知识库构建等任务。 今年3月6日,零一万物官微宣布开源Yi-9B模型。据介绍,Yi-9B是目前Yi系列模型中代码和数学能力最强的模型,实际...……更多
马斯克打脸OpenAI!全球最大模型Grok-1开源
...antization) 最大序列长度为8,192个数据单元,以处理更长的上下文信息纽约时报点评道,开源Gork背后的原始代码,是这个世界上最富有的人控制AI未来战斗的升级。Meta CEO扎克伯格刚刚也对Grok做出了评价:“并没有给人留下真正深...……更多
开源版OpenAI再出「神作」,小模型吊打Llama 3!Ministral系列问世,边缘AI革命开启
...界上最好的边缘模型Ministral 3B和Ministral 8B都支持高达128k上下文(目前在vLLM上为32k)。在知识、常识、推理、函数调用、效率等方面,为低于10B参数模型设立了新标杆。而且,Ministral 8B还有配备了滑动窗口注意机制(sliding-window a...……更多
李彦宏称开源赶不上闭源?Meta发布最强开源模型,马斯克评价“还不错”
...备全新功能的模型,包括多模态、支持多语言对话、扩展上下文窗口的长度,以及全面提升的综合性能。 基于Llama 3,Meta发布了AI助手 Meta AI。扎克伯格表示,MetaAI将成为人们可以免费使用的最智能的AI助手。开源还是闭源?Llama...……更多
微软连发3款Phi-3.5模型:128K上下文,首用MoE架构,部分性能超GPT-4o mini
...Phi-3.5,适合在内存和算力受限的环境中运行,均支持128k上下文长度。Phi-3.5-mini-instruct主要面向基础快速推理任务,Phi-3.5-MoE-instruct可胜任复杂推理任务,Phi-3.5-vision-instruct则兼具文本与视觉能力。性能最强大的Phi-3……更多
开源大模型杀疯了!Mistral新模型三分之一参数卷爆Llama 3.1
...一个新的前沿”。Mistral Large 2尤其擅长代码和数学推理,上下文窗口128k,支持数十种自然语言以及80+编程语言。特别在MMLU上,其预训练版本更是达到了84.0%的准确率。消息一出,Mistral AI联创兼首席科学家第一时间转发,直接cue ...……更多
Kimi爆火背后:访问量仅次于文心一言和阿里通义,国内外大模型都在卷上下文
...款面向C端的大模型产品。早前,该公司宣布在大模型长上下文窗口技术上取得新的突破,Kimi已支持200万字超长无损上下文,并开启产品内测,该能力在不到半年内提升9倍。市场的火爆,导致Kimi服务器一度瘫痪,无法回复用户...……更多
Kimi概念股继续暴涨!多家上市公司回应,月之暗面致歉系...
...。 此前3月18日,月之暗面宣布其AI产品Kimi,在大模型长上下文窗口技术上取得新的突破,Kimi智能助手已支持200万字超长无损上下文,并于即日起开启产品内测。据了解,月之暗面成立于2023年4月,法定代表人杨植麟毕业于清华...……更多
智能产业探新记丨AI赋能,大模型的下一个“风口”在哪?
...的祝福语;给出要求,可以用C语言快速写出程序;根据上下文,还能帮助创作者润色文章……正在天津召开的2024世界智能产业博览会上,科大讯飞展位上“多才多艺”的“智能助手”吸引了不少观众驻足体验。“这是我们研发...……更多
中国银河维持传媒互联网推荐评级,AI技术潜在的应用行业将受益
...面科技有限公司开发的KimiChat宣布已支持200万字超长无损上下文输入,并已开启产品内测。据SimilarWeb,目前KimiChat的周度访问量已经超过200万。2024年3月23日,阶跃星辰在全球开发者先锋大会现场发布了其Step系列通用大模型,其...……更多
估值180亿美元,马斯克造了一家“AI独角兽”
...。在Grok-1开源后不久,xAI就紧接着退出了Grok-1.5,主打长上下文理解和先进的推理能力,其上下文长度从原先的8192增长至128K,与GPT-4持平。新模型在数学能力上的提升达到了惊人的50%,在HumanEval数据集上的得分甚至超过了GPT-4。...……更多
林达华谈大模型发展之路:未来会有更高效的模型结构出现
大模型的上下文长度快速增长,超长上下文解锁新应用,但推理计算代价高昂,上下文本身对于信息不会进行压缩,不能直接捕捉其中的深层知识和规律。上海人工智能实验室领军科学家林达华。过去一年,人工智能领域风起...……更多
李开复回应旗下AI独角兽陷“套壳”争议:起步受益于开源,会进步
...刚刚正式发布首款开源中英双语大模型Yi-34B,其拥有200K上下文窗口,可处理约40万字的文本。模型开放商用申请,在阿里云魔搭社区首发。与此同时,零一万物已完成新一轮融资,由阿里云领投。据零一万物介绍,截至11月5日,...……更多
GPT-4劲敌,谷歌进入高能+高产模式
...内的大模型而言,只有Minimax采用了MoE架构。二、扩容的上下文窗口意味着什么?虽然Gemini 1.5 Pro是 Gemini 1.5 系列的初代版本,但初代便表现不俗。扩大上下文窗口后的高水平性能是Gemini 1.5 Pro的一大亮点。多模态大模型卷到今日...……更多
腾讯Angel机器学习平台获世界互联网大会领先科技奖
...的开源MoE模型混元Large,总参数量 389B,激活参数量 52B ,上下文长度高达256K,其训练和推理均基于腾讯Angel机器学习平台。 ……更多
让大模型“外挂硬盘”,百川智能发布新API系列,企业定制成本大大降低
...,大模型是新时代的计算机,就如同中央处理器一样;而上下文窗口可以看做计算机的内存,存储了当下正在处理的文本。互联网实时信息与企业完整知识库,则共同构成大模型时代的硬盘。而基于搜索增强技术推出的API系列,...……更多
英伟达发布mistral-nemoai大语言模型
...发布了全新的Mistral-NeMoAI大语言模型,拥有120亿个参数,上下文窗口(AI模型一次能够处理的最大Token数量)为12.8万个token。VentureBeat与Midjourney合作制作Mistral-NeMoAI大模型主要面向企业环境,让企业不需要使用大量云资源的情况下..……更多
OpenAI掀小模型血战!苹果DCLM强势登场,碾压Mistral 7B全开源
...T的DCLM,DCLM-7B模型又进一步过滤出其中的2.5T用于训练。 上下文长度为2048,小于Mistral 7B和Gemma 2 9B的8k长度。性能方面,作者直接使用评估套件LLM Foundry,测试了模型在53个基准任务上的分数。与其他模型进行比较时,除了MMLU分...……更多
北大林宙辰团队全新混合序列建模架构MixCon:性能远超Mamba
...层,相比 Mamba 可将 KV 缓存减少 32 倍。例如,在 256K 令牌上下文环境中,MixCon 仍能保持较小的 KV 缓存优势(如表 1 所示)。在吞吐量方面,处理长序列时,Conba 层计算效率更高,增加其比例可提高整体吞吐量。基本配置单位是 ...……更多
谷歌推出datagemma开放权重语言模型新版本
...数据共享平台检索相关信息来进一步提高回复的质量。长上下文窗口由Gemini1.5Pro实现,确保了回答的全面性和清晰度,同时引入了表格和脚注以提供更深层次的上下文。研究团队强调这些技术如何帮助大语言模型判断何时依赖外...……更多
库克现身上海首次谈及AI话题,苹果真急了
...一篇论文,公开了一个名为“MM1”的多模态模型,其具有上下文学习、图片识别和一定连续推理的能力。该模型具有三个参数规模,其中最大的拥有300亿参数。作为对比,OpenAI的GPT-4拥有1.7万亿参数规模。而几周前发布的新款Mac...……更多
马斯克承诺开源版大模型 来了!Grok-1:3140亿参数迄今最大,权重架构全开放
...2 个。 旋转位置嵌入大小为 6144,与输入嵌入大小相同。上下文长度为 8192 tokens,精度为 bf16。此外还提供了一些权重的 8bit 量化内容。当然,我们还是希望 xAI 官方能够尽快公布 Grok-1 的更多模型细节。Grok-1 是个什么模型?能...……更多
更多关于科技的资讯:
特斯拉焕新版Model Y细节曝光:新增前保险杠摄像头 支持自清洁
快科技1月12日消息,日前,特斯拉在中国及澳大利亚市场推出了焕新版Model Y。新车型不仅在外观设计上进行了更新,还升级了内饰配置
2025-01-12 16:22:00
何小鹏亲自官宣:小鹏X键自定义“Say Hi”功能下季度回归
快科技1月12日消息,1月12日,小鹏汽车董事长何小鹏在易车平台转发了用户因天玑新版本取消了X键自定义“Say Hi”功能而选择不升级车机系统的情况
2025-01-12 16:52:00
快科技1月12日消息,据媒体报道,近日,云南红河一位脑瘫小伙的励志故事登上了热搜。这位小伙因出生时缺氧导致脑瘫,但他通过戴脑起搏器坚持健身六年
2025-01-12 16:52:00
雷蛇推出掌机扩展坞:带可调节支架、支持RGB灯效
快科技1月12日消息,雷蛇针对掌机用户推出了一款新的产品:Razer 雷蛇掌机拓展坞幻彩版。据悉,这款扩展坞也支持平板电脑
2025-01-12 16:52:00
小鹏汽车回应G9被盗事件:已排除数字钥匙被破解可能
快科技1月12日消息,小鹏汽车品牌公关负责人@XP-阿莱克氏Alex今日在微博回应湖北一位G9车主车辆被拉门盗窃事件。据悉
2025-01-12 17:52:00
市场大逆转!Puget:AMD CPU份额突破55% 三年来首超Intel
快科技1月12日消息,根据Puget Systems的最统计数据,AMD处理器在2024年第四季度的总订单销量占比达到了55%
2025-01-12 17:52:00
曝小米汽车向中国移动采购25万张M2M USIM卡
快科技1月12日消息,据媒体报道,中国移动采购与招标网显示小米汽车向中国移动采购了25万张M2M USIM卡,供应商为捷德(江西)技术有限公司
2025-01-12 17:52:00
锐龙9 9000X3D性能提升!华硕首家发布X870/670新版BIOS
快科技1月12日消息,华硕发布了AGESA 1.2.0.3主板更新,适用于其X870和X670系列主板,主要提升AMD锐龙CPU的性能
2025-01-12 18:52:00
国内首条!穿越钱塘江高铁隧道盾构机顺利启动
快科技1月12日消息,据报道,新建铁路杭州萧山机场站枢纽及接线工程(以下简称“杭州机场高铁”)钱塘江隧道“钱塘号”盾构机顺利启动
2025-01-12 18:52:00
AMD高管:RX 9070系列显卡性能比泄露的更强!
快科技1月12日消息,在CES 2025展会期间,AMD的首席游戏解决方案和游戏市场架构师Frank Azor接受了PCWorld的采访
2025-01-12 19:22:00
迷你机用上AMD最强APU!极摩客全球首发锐龙AI Max+ 395迷你PC
快科技1月12日消息,极摩客官方表示,将联合AMD全球首发搭载锐龙AI Max+ 395这一最强APU的迷你PC,预计在今年一二季度上市
2025-01-12 20:52:00
扎克伯格火力全开!炮轰苹果缺乏创新、苹果税成遮羞布
快科技1月12日消息,Meta CEO扎克伯格近日参加了Joe Rogan Experience播客节目,在节目中扎克伯格指出
2025-01-12 21:22:00
20MW量级!中国中车“启航号”漂浮式风电机组成功吊装
快科技1月12日消息,据报道,全球最大功率等级漂浮式风电机组 —— 中国中车“启航号”在山东东营风电装备测试认证创新基地成功吊装
2025-01-12 21:22:00
数智技术赋能产业发展 湘江实验室再发布10项科技创新产品
本文转自:人民网-湖南频道论坛现场。受访单位供图人民网长沙1月12日电 1月11日,湘江实验室产品发布暨“四算一体”高端论坛在湖南工商大学湘江楼举行
2025-01-12 21:22:00
本文转自:人民网-湖南频道人民网长沙1月12日电 1月12日,大语言模型技术在健康体检智能主检中的应用学术论坛暨中南大学湘雅三医院健康管理医学中心智能主检全面应用启动会在长沙召开
2025-01-12 21:23:00