• 我的订阅
  • 头条热搜
昆仑万维发布开源13B高质量商用大模型 领先Llama2和Baichuan2
10月30日,昆仑万维宣布开源百亿级大语言模型「天工」Skywork-13B系列,并配套开源了600GB、150B Tokens的超大高质量开源中文数据集。昆仑万维「天工」Skywork-13B系列目前包括130亿参数的两大模型:Skywork-13B-Base模型、Skywork-13B-Mat……更多
「世界开源新王」跌落神坛?重测跑分暴跌实锤造假,2人团队光速「滑跪」
...过一个月的漫长等待,团队终于放出了Reflection 70B的模型权重、训练数据、训练脚本和评估代码。模型权重: https://huggingface.co/glaiveai/Reflection-Llama-3.1-70B训练数据: https://huggingface……更多
ChatGPT模型API接口1折开放,全球AI格局巨变进行时 | 焦点分析
...京时间3月2日,OpenAI在官方博客宣布开放ChatGPT和Whisper的模型 API。马斯克入局、OpenAI开放,两件事情有着千丝万缕的联系——本质上,都是硅谷乃至全球科技力量在抢夺AI战场。从OpenAI的角度,一边是竞争对手的追赶,一边是2023...……更多
2023 的人工智能之年
...这是一个高质量的稀疏专家混合模型(SMoE),拥有开放权重和总计 46.7B 的参数,代表了在提高真实性和减少偏见方面模型开放性的新阶段。Yi-34B llm:今年估值达到 10 亿美元,李开复的创业公司 01.AI 发布了 Yi-34B —— 一款开源...……更多
腾讯钟学丹:人工智能成为汽车行业新质生产力 推动数智化升级
...《AI驱动汽车“新智能”》的主题演讲,分享了腾讯AI大模型等新技术在汽车产业的创新应用成果。 腾讯智慧出行副总裁钟学丹钟学丹表示:“人工智能将作为新质生产力,推动汽车产业从数字化向数智化升级。”随着大模型技...……更多
Meta 推出 Apollo 开源模型,让 AI “看懂”视频
...过更大参数的同类模型,Meta 已开源 Apollo 的代码和模型权重,并在 Hugging Face 平台提供公开演示。 ……更多
Meta提出“可持续思维链”,让大模型在连续潜空间中推理
今日值得关注的大模型前沿论文北大团队提出「自定义漫画生成」框架UniReal:通过学习真实世界动态实现通用图像生成和编辑苹果团队提出「可扩展视频生成」方法利用扩散 Transformer 进行视频运动迁移ObjCtrl-2.5D:无需训练的「...……更多
新扩散模型OmniGen一统图像生成,架构还高度简化、易用
...上内容,还包括基本的图像去噪、边缘提取等能力。模型权重和代码已开源,用户可以自行探索更多 OmniGen 的能力。三、模型OmniGen 的核心设计原则是:简洁和有效。因此,我们最大程度舍弃了各种额外模块。OmniGen 的基本架构...……更多
谷歌 AI 绘画 4 大牛携手创业,天使估值 7 个亿
...级超采样。依赖于新的采样技术,Imagen允许使用大的引导权重,所以不会像原有工作一样使样本质量下降。这么一来,图像具有更高的保真度,并且能更好地完成图像-文本对齐。 概念说起来简单,但Imagen的效果还是令人大为震...……更多
不是RNN的锅!清华团队深入分析长上下文建模中的状态崩溃,Mamba作者点赞
...t更早发生爆炸,进一步探索还能发现生成∆t和Bt的卷积权重明显更大。作者认为,产生SC的原因是,对于训练长度来说,状态容量过大,模型能够实现强大的语言建模性能,而无需学习如何忘记。 上图显示了第一个token在不同...……更多
OpenAI没有放弃的机器人梦想
...些学习的闭环行为来完成给定的命令,将特定的神经网络权重加载到GPU上并执行策略。”林奇在X上分享道。利用一个神经网络便完成了从语音输入到感知、推理、决策以及行为指令输出全过程,这被Figure称为“端到端神经网络...……更多
国际首个,我国团队开发糖尿病诊疗多模态大模型 DeepDR-LLM
...大语言模型,LLM 模块将训练网络层与大语言模型的固有权重参数相融合,突破低算力资源约束下的多模态大模型优化的瓶颈,并进一步基于 37.2 万条基层慢病诊疗和慢病管理数据和知识实现了高效优化训练,使 DeepDR-LLM 系统可...……更多
自动化、可复现,基于大语言模型群体智能的多维评估基准
...的得分。这些得分用于在模型作为评审时赋予它们不同的权重 —— 得分较高的模型在评估其他模型对时影响更大(该研究还使用了其他简单的加权方法,例如基于模型排名的线性递减权重,这将在即将发布的技术报告中进一步...……更多
让大模型能听会说,国内机构开源首个端到端语音对话模型Mini-Omni
...问答 (TextAudioQA) 等形式数据集。此时,除了音频所有模型权重都会参与训练。由于适配器训练期间已经处理了主要的模态对齐任务,原始模型的能力得以最大限度地保留。通过上述多阶段的训练流程,结合开源语音数据,本文只...……更多
iPhone可跑2B小钢炮!谷歌Gemma 2来袭,最强显微镜剖解LLM大脑
...以从Kaggle、Hugging Face、Vertex AI Model Garden下载Gemma 2的模型权重,也可在Google AI Studio中试用其功能。仓库地址:https://huggingface.co/collections/google/gemma-2-2b-rele……更多
...业股份有限公司(以下简称浪潮信息)发布千亿级开源大模型“源2.0”。“源2.0”创新采用局部注意力过滤增强机制(LFA),可以有效捕捉局部信息和短依赖信息,使模型能够更精准地掌握上下文之间的强语义关联,学习人类语...……更多
零样本即可时空预测!港大、华南理工等发布时空大模型UrbanGPT | KDD 2024
...测标记可通过扩充LLMs词表的方式引入。W1,W2,W3为回归层的权重矩阵,[⋅,⋅]为拼接操作。实验零样本预测性能相同城市内未见区域的预测在跨区域预测中,我们利用同一城市中某些区域的数据来预测模型未接触过的其他区域的未...……更多
Mamba再次挑战霸主Transformer!首个通用Mamba开源大模型一鸣惊人
...输入序列中的所有位置,并为每个位置分配不同的注意力权重。这使得模型能够更好地处理长距离的依赖关系,也就是说,对于句子中距离较远的单词,模型也能有效地捕获其关系。这种通过比较文本中每个token来理解上下文的...……更多
基于DolphinDB的高性能Barra风控模型
...接口函数为getPredicOut,实现脚本请联系小助手。 组合权重优化 组合权重优化的目的在于将组合的风险特征完全定量化,使得投资经理可以清楚地了解组合的收益来源和风险暴露。权重优化的目标函数,优化目标多种多样,例...……更多
循环神经网络(RNN):如何处理自然语言?
...xh}x_t)$$y_t = W_{hy}h_t$其中,$W_{hh}$, $W_{xh}$和$W_{hy}$是网络的权重,$f$是激活函数。这个过程会在整个序列上重复,每个时间步都会更新隐藏状态和输出。这样,每个时间步的输出都会考虑到当前输入和所有过去的输入,从而能够捕...……更多
LeCun最新万字演讲:纯语言模型到不了人类水平,我们基本已放弃
...。你可以在一批样本上将这个要求纳入成本函数中,确保权重不会让变量崩溃成常数。这是相对简单的。但现在的问题是,系统可能会“作弊”,使得所有变量变得相等或高度相关。因此,你必须添加另一个项,即最小化这些变...……更多
斯坦福“草泥马”火了:100美元就能比肩gpt-3.5
...)。更离谱的是仅仅2天之后,有人把LLaMA模型量化压缩(权重转换成更低精度的数据格式)后成功在Pixel6 安卓手机上运行(26秒一个token)。Pixel6使用谷歌自研处理器GoogleTensor,跑分成绩在骁龙865+到888之间,也就是说新一点的手...……更多
量化能让大模型“恢复记忆”,删掉的隐私版权内容全回来了
...量化过程中,模型参数的微小变化可能导致量化后的模型权重与原始模型权重相同。看到这项研究后,不少网友也表示有点意外:从信息理论的角度来看这有点出人意料,似乎已经在完整的32-bit中成功移除了这些知识,但当你将...……更多
ChatGPT更聪明了!OpenAI推出GPT-4大型语言模型:在诸多测试中表现比人类都好
...前辈更多的数据进行了训练,并且在模型文件中有更多的权重,从而使得它的运行成本更高。就任务而言,GPT-4 的表现比前辈更好,它可以遵循自然语言的复杂指令并生成技术或创意内容,而且它可以还更深入地做到这一点:它...……更多
英伟达开源NVLM 1.0屠榜多模态!纯文本性能不降反升
...以往文献中很少讨论的是,在多模态SFT训练期间不冻结LLM权重通常会导致纯文本性能显著下降,NVLM-D模型通过整合高质量的纯文本SFT数据集,有效地保持了纯文本性能。动态高分辨率的图块(tile)标签大型语言模型(LLM)的主...……更多
德国OpenAI加入开源大战!发布欧洲纯血版模型,曾获博世和惠普投资
...VentureBeat报道,德国AI创企Aleph Alpha今日发布了两个大语言模型(LLM)。这两个模型各拥有70亿个参数,可以在多种欧洲语言中提供简洁、长度可控的响应,并已开源。该公司宣称,其模型的性能可以与其他在70亿到80亿参数量级的...……更多
chatgpt低成本复现流程开源
...难。毕竟ChatGPT是不开源的,市面上至今没有开源预训练权重、完全开源的低成本训练流程,而且千亿级别大模型的训练本身就是个难题。但ChatGPT军备赛已经愈演愈烈,为了抓住趋势,如谷歌等都在打造对标竞品。快速复现ChatGPT...……更多
世界上第一项针对人工智能“大脑”的研究,剖析并编辑它的思想
...或音频的一部分。然后,它们建立了一个非常复杂的概率权重集,将一个标记与另一个标记联系起来,并将一组标记与另一组标记联系起来。在这方面,它们有点像人类的大脑,寻找字母、单词、声音、图像和更模糊的概念之间...……更多
黄仁勋明天登港!沈向洋3小时重磅演讲:发布多款大模型,具身智能激情碰撞
...粤港澳大湾区为窗口,深入探讨了全国及全球视角下的大模型算力趋势、具身智能、AI+编程、AI for Science、低空经济等热点议题。作为IDEA研究院创院理事长,沈向洋进行了近3小时的主题演讲,期间发布多个IDEA研究院创新成果,...……更多
DeepMind用语言游戏让大模型学AlphaGo自我博弈,数据限制不存在
...(如激活、随机数生成器的状态);最后,学习元素(如权重、参数、知识)会根据反馈信号发生变化,它们的演变会映射出性能差异。可以通过隐含的生命周期来区分改进过程;有些改进过程是开放式的,可以无限制地持续改...……更多
更多关于科技的资讯:
影驰GeForce RTX 5080圣刃OC显卡评测:小尺寸高性能 高端玩家完美之选
一、前言:更贴近游戏玩家需求的准旗舰显卡NVIDIA在2025年开年推出了全新的GeForce RTX 50系显卡,旗舰级别的GeForce RTX 5090 D价格直接来到了16000元之上
2025-01-30 22:38:00
中国人是不是都会功夫 甄子丹这回答再也解释不清了
快科技1月30日消息,这下再也解释不清了,甄子丹喊话外国人中国人人都会功夫。在刚刚过去的蛇年春晚,“功夫巨星”甄子丹 带来武术节目《笔走龙蛇》
2025-01-30 22:38:00
五彩斑斓的黑!技嘉RTX 5080 MASTER显卡图赏
快科技1月30日消息,今日技嘉RTX 5080 MASTER显卡正式发布。现在这款新品已经来到我们评测室,下面为大家带来图赏
2025-01-30 22:38:00
丧心病狂!针对DeepSeek网络攻击暴增上百倍:职业打手开始下场攻击
快科技1月30日消息,随着DeepSeek的爆火,老外开始对它的攻击加大,而且力度也是越来越强。1月30日凌晨,即农历大年初二
2025-01-30 23:08:00
EA解散《龙腾世纪》团队
EA正在清理门户,《质量效应5》交由另一批人掌控,所有资深编剧及写手要么离开了BioWare,要么被调往其它单位。曾于2011至2016年间在BioWare任编剧的Ann Lemay在社交平台发帖称
2025-01-30 23:08:00
18.05亿元前所未有!蛇年大年初一票房创造历史新纪录
快科技1月30日消息,根据国家电影局统计,2025年春节大年初一(1月29日)票房为18.05亿元,观影人次为3515
2025-01-30 11:08:00
台湾嘉义县发生5.2级地震 福建多地震感明显
快科技1月30日消息,据中国地震台网正式测定:01月30日10时11分在台湾嘉义县(北纬23.25度,东经120.57度)发生5
2025-01-30 11:38:00
又一车企妥协:阿尔法·罗密欧即将放弃2027年全面电动化目标
快科技1月30日消息,日前,阿尔法·罗密欧宣布将放弃2027年在北美全面实现电动化的目标,转而采用多种动力形式并举的战略
2025-01-30 12:08:00
索尼PSN政策再度生变
如果没有发生PSN风波,地狱里的老司机应该比现在更多——索尼去年在PC平台同步推出GaaS游戏《地狱潜行者2》时,请君入瓮后又强制要求玩家登录PSN账号
2025-01-30 12:08:00
美国一架客机与一架直升机空中相撞坠河 客机上有约60名乘客
快科技1月30日消息,据美国联邦航空管理局消息,1月29日晚,在接近罗纳德·里根华盛顿国家机场跑道时,一架客机与一架直升机相撞
2025-01-30 12:08:00
余承东称将引发全国人民抢购!华为重磅新品3月发布:或是全新折叠产品
快科技1月30日消息,近日余承东直播时又主动爆料称,华为即将发布重磅新品。直播中,余承东透露了华为即将发布的一款意想不到的新品
2025-01-30 13:38:00
韩国客机烧出一个大洞:可能因充电宝 行李架蹿出火花
快科技1月30日消息,据报道,28日晚,釜山航空BX391次航班在准备起飞阶段突发火灾。在紧急撤离过程中,由于吸入烟气等原因
2025-01-30 13:38:00
为降低成本:日产宣布三家工厂裁员并减少班次
快科技1月30日消息,日产汽车宣布正在削减美国三家工厂的部分生产班次,并向田纳西州士麦那和密西西比州坎顿的整车装配厂以及田纳西州德彻德的发动机厂员工提供离职补偿方案
2025-01-30 15:38:00
赵雅芝 蛇年最忙的女人:73岁高龄身材、颜值依然抗打 网友感慨
1月30日消息,中国香港女演员赵雅芝可能是蛇年最忙碌的艺人之一。据悉,71岁的赵雅芝受国内9家电视台邀请,现身它们的“春晚”舞台
2025-01-30 15:38:00
法国耗资540亿欧元AI推出3天后下架:错误频出 建议用户吃牛蛋
快科技1月30日消息,据报道,法国近期斥资540亿欧元推出了一款名为Lucie的法语AI聊天机器人,然而,由于其表现过于离谱
2025-01-30 16:08:00