• 我的订阅
  • 头条热搜
GPT-4不仅性能更强也更贵了:单次输出7.5万单词需6美元,是此前的30倍
...识图能力,长度限制提升到32Ktokens,即能处理超过25000个单词的文本,并且可以使用长格式内容创建、扩展对话、文档搜索和分析等,同时回答准确性显著提高,同时能够生成歌词、创意文本等。OpenAI表示,当任务的复杂性达到...……更多
文生图参数量升至240亿!Playground v3发布:深度融合LLM,图形设计能力超越人类
...ansformer模型中的每层捕捉到的表示不同,包含不同级别的单词级和句子级信息,标准做法是使用T5编码器或CLIP文本编码器的最后一层输出,或是结合倒数第二层的输出,不过,研究人员发现选择用于调节文本转图像模型的最佳层...……更多
深挖 ChatGPT 原理,保姆级解说!
...符号集合作为输出。下面是结构化符号集合的一些示例:单词中的字母句子中的单词图像中的像素视频中的帧将一个符号集合转换为另一个相关符号集合的方法有很多种,这些方法并不限于计算机程序。你可以编写一个使用规则...……更多
LeCun最新万字演讲:纯语言模型到不了人类水平,我们基本已放弃
...过损坏再重建恢复。例如,你可以取一段文本,通过删除单词或更改其他单词来损坏它,这可以是文本、DNA序列、蛋白质或其他任何东西,甚至在一定程度上可以是图像。然后,你训练一个大型神经网络来重建完整的、未损坏的...……更多
聊天机器人目前还不理解的一件事:“否定”
...型构建为神经网络:一种评估对象(在语言模型中指的是单词)如何相互关联的统计模型。每一种语言关系都有一定的权重,而这种权重在训练过程中会经过微调。例如,“老鼠”与“啮齿动物”的关系比与“披萨”的关系更大...……更多
刚炮轰完GPT模式 杨立昆推出首个“世界模型”
...来学习,例如删除照片的一部分或隐藏文本段落中的一些单词。然后,他们尝试预测损坏或丢失的像素或单词。然而,生成式AI方法的一个显著缺点是,模型试图填补每一点缺失的信息,即使世界本身是不可预测的。因此,生成...……更多
Meta提出“可持续思维链”,让大模型在连续潜空间中推理
...队认为,语言空间并不总是最佳推理空间。例如,大多数单词 token 主要是为了保持文本的连贯性,对推理并不重要,而一些关键 token 则需要复杂的规划,给 LLM 带来了巨大的挑战。为了探索 LLM 在不受限制的潜空间中进行推理的...……更多
首个可保留情感的音频LLM!Meta重磅开源7B-Spirit LM,一网打尽「音频+文本」多模态任务
...leaving Speech and Text)对于对齐的语音+文本数据集,通过在单词级别交错语音和文本来混合:[TEXT]the cat [SPEECH][Hu3][Hu7]..[Hu200][TEXT]the mat研究人员认为,交错训练可以帮助模型学习语音和文本之间的对应关系,从而实现更……更多
Sora“超级涌现力”将把AI引向何方
...关联组合。比如,在保持连贯的上下文语境中,对若干个单词进行有意义组合,从而连缀成一个会意句子;在保持合理的空间布局下,对众多图像小块进行有意义组合,拼合为一幅精彩图像;在保持一致的连续时空内,对一系列...……更多
对话伯克利顶级学者Stuart Russell:AI或在各方面超人类,对人类生存构成威胁
...Hidden Markov Model,简称HMM)”。他在一部戏剧中通过计算单词对建立了一个语言模型。他观察了戏剧中的每一对单词,并了解一个单词跟随另一个单词的频率。大语言模型就是根据前面的单词进行单词预测,例如我用“Happy”这个...……更多
ChatGPT大流行的思考-解析篇
...ining Data?”,对于Bert类型的语言模型来说,只用1000万到1亿单词的语料,就能学好句法语义等语言学知识;而世界知识,指的是在这个世界上发生的一些真实事件(事实型知识,Factual Knowledge),指美国现任总统为拜登,太阳从东...……更多
万字长文解释 ChatGPT 在做什么,以及为什么它能发挥作用?
...词”)。但是,好吧,在每一步,它得到一个带有概率的单词列表。但是,它究竟应该选择哪一个来添加到它正在写的文章(或其他什么)中呢?人们可能认为它应该是 “排名最高” 的词(即被分配到最高 “概率” 的那个)...……更多
揭秘iPhone里的Transformer:基于GPT-2架构 | MIT校友出品
...入法方面。语言模型加持下的苹果自带输入法,可以实现单词预测和纠错的功能。Jack Cook小哥具体测试了一下,发现这个功能主要实现的是针对单个单词的预测。 △图源:Jack Cook博客文章模型有时也会预测即将出现的多个单词...……更多
昆仑万维发布国产版ChatGPT“天工” 今日启动邀请测试
...的质量瓶颈,从数十万亿的数据中清洗、筛选出了3万亿单词数据用于训练大模型。优质的中文语料库让“天工”作为国产AI,在“更懂中文”这件事上具备天然的优势。与其他模型相比,“天工”能更好地理解中文语境、词汇和...……更多
Meta推出“AI翻译官”!能翻译和转录近百种语言,已开源
...语音识别、语音到文本翻译,以及近百种输入语言和35种输出语言的语音翻译、文本转语音翻译。构建通用语言翻译器有一定挑战性,因为现有的语音到语音、语音到文本的系统都只涵盖了全球现存语言的一小部分,SeamlessM4T扩...……更多
iPhone可跑2B小钢炮!谷歌Gemma 2来袭,最强显微镜剖解LLM大脑
...自编码器发现特征激活的示例。每个气泡代表一个 Token(单词或词片段),可变的蓝色说明了这个特征的存在强度。在这个例子中,该特征显然与成语有关Gemma Scope有何独特之处?比起此前的稀疏自编码器,Gemma Scope有许多独特...……更多
Meta发布生成式AI语音模型Voicebox,精通六种语言,支持多种语音功能 | 最前线
...等功能。在英语文本到文字的转换过程中,Voicebox的平均单词错误率与音频相似度(相较于真实语音)分别为1.9%和0.681,而目前最先进的英语模型Vall-E,则分别为5.9%和0.580。此外,Voicebox还支持合成包括英语、法语、西班牙语、德...……更多
非Transformer架构站起来了!首个纯无注意力大模型,超越Llama 3.1
...到困难。 本质上,Transformer 中的注意力机制通过将每个单词(或 token)与文本中的每个单词进行比较来理解上下文,它需要更多的计算能力和内存需求来处理不断增长的上下文窗口。但是如果不相应地扩展计算资源,模型推理...……更多
行空板MultinomialNB模型实现古诗词作者快速识别
...朴素贝叶斯分类器的一种,专门用于离散型特征(通常是单词计数或词频等文本数据)。 ·朴素贝叶斯模型:基于贝叶斯定理的一种简单但功能强大的概率分类器,假设特征之间是条件独立的。 ·多项式模型:适用于特征表示...……更多
【重磅】OpenAI最新解密,ChatGPT的本质是无损压缩器
...的翻译任务。 最简单粗暴的方式,就是列举出每个英文单词对应的中文,即rule-based mapping。假设我们枚举完了所有英文单词的中文对照表,写出了一本1000页的词典。 但通过这本词典,我们真的能够有效完成所有英译中的翻译任...……更多
跨模态大升级!少量数据高效微调,LLM教会CLIP玩转复杂文本
...的表示。这是由于 LLM 的文本理解能力隐藏在内部,它的输出特征空间并不具备很好的特征可分性。于是,该团队设计了一个图像 caption 到 caption 的检索实验,使用 COCO 数据集上同一张图像的两个不同 caption 互相作为正样本进行...……更多
Meta首款多模态Llama 3.2开源!1B羊驼宝宝,跑在手机上了
...好优化进行多轮对齐。并加入安全缓解数据,保障模型的输出既安全又实用。这在期间,模型所使用的高质量微调数据,正是来自合成数据生成技术——使用Llama 3.1模型在领域内图像的基础上过滤和增强问题答案,并使用奖励模...……更多
...网络,分析数据并找到输入内容之间的联系(例如,哪些单词经常一起出现)。它们在2017年取得重大飞跃,谷歌推出Transformer模型,这是一种神经网络手段,可以快速识别输入内容之间的模式和联系。例如,它寻找文本中每个单词...……更多
协同办公进入AI时代 金山办公张宁:不追求最强AI大模型,合适最重要
...据张宁介绍,在应用生成式AI技术之前,WPS只能针对单个单词进行拼写检查,无法根据上下文语境进行语句修改与润色。WPS通过Amazon Bedrock接入Anthropic Claude 3系列模型进行语义检查与文档润色。Claude基础模型拥有平均1.3秒到1.5秒...……更多
零样本即可时空预测!港大、华南理工等发布时空大模型UrbanGPT | KDD 2024
...个简单的线性层将门控扩散卷积层和多层次关联注入层的输出进行整合,最终生成的时空依赖性特征表示为为应对可能在各种城市场景中出现的复杂情况,本文设计的时空编码器在处理空间相关性时不依赖于特定的图结构。这是...……更多
多模态竞技场对标90B Llama 3.2!Pixtral 12B技术报告全公开
...态编码器 + 投影模块 + 大语言模型主干。如果需要多模态输出,后面还会对称地拼接投影层和各种解码器。所以,在模型结构方面,我们可以分部分来看Pixtral都做了哪些工作。模型结构Pixtral 12B整体为Transformer架构,在大规模交...……更多
深挖大模型幻觉!哈佛大学最新报告:LLM等价于众包,只是在输出「网络共识」
...界中的语义含义或真实性」无关,而是与在训练集中所有单词及其出现位置的统计概率最有可能的情况有关。比如说「草是绿色的」之所以真实,是因为在真实世界中草是绿色的,大模型会告诉用户草是绿色的,因为「草是」这...……更多
微软发布ai声音生成工具vall-e
...以复制说话者的情绪和语气,即使说话者本人从未说过的单词也可以模仿。康奈尔大学的一篇论文使用VALL-E合成了几种声音,大家可以在 GitHub上聆听这些AI合成的音频。研究人员指出,在许多情况下,Vall-E的性能优于当前的文本...……更多
撞墙还是新起点?自回归模型在图像领域展现出Scaling潜力
...布谈起。齐宪标表示:「我们得把一个图像块表示成一个单词。如果只是单纯的硬编码,我们是做不到的,因为它的空间太大了。所以,我们首先就是想办法来表示图像。这也就是所谓的 token 化。」图像的 token 化通常需要一个...……更多
chatgpt「克星」来了
...支持测中文):将它粘贴进测试框(需注意每句至少5个单词,建议每段能有10个句子,结果会更准一些)。很快,GPTZero计算出这段文字的总文字困惑度为27,句子平均困惑度为171.2,每条句子的困惑度图长这样:以及困惑度最高...……更多
更多关于科技的资讯:
鲁网10月24日讯2025年国庆、中秋双节期间,八天的“超长黄金周”不仅点燃了积攒已久的消费热情,更成为银行业激活内需
2025-10-24 10:11:00
随着 2025 年中国 GEO(生成式引擎优化)服务市场规模突破 217.3 亿元,企业对 AI 流量获取的需求愈发多元
2025-10-24 10:43:00
“缦”享生活:东箭科技旗下MANTA品牌发布会圆满开启
10月22日,汽车后市场领军企业广东东箭科技股份有限公司(以下简称“东箭科技”)旗下子公司四川缦塔汽车科技有限公司(简称“MANTA”)品牌发布会在中国·成都·花舞人间启幕
2025-10-24 10:46:00
在数字化转型加速推进的当下,企业知识管理已成为提升核心竞争力的关键环节。据Gartner《2025年企业AI应用趋势报告》显示
2025-10-24 10:48:00
夸克AI眼镜开售,88VIP叠加9折消费券,最低3329元
10月24日零点,阿里巴巴首款自研的夸克AI眼镜在其天猫官方店铺——夸克智能设备旗舰店上正式首发。天猫平台的实时成交竞速榜单显示
2025-10-24 10:49:00
中国网10月24日讯 据“国家安全部”微信公众号24日消息,当前,数字化浪潮席卷全球,电子零售新业态蓬勃发展,只需使用手机线上选物下单
2025-10-24 09:48:00
鲁网10月23日讯近日,工商银行泰安分行依托成熟的线上金融生态与智能风控体系,连续为山东勋光有限公司、岫岩满族自治县炽阳新能源有限公司(辽宁鞍山)及鞍山市创泽新能源有限公司(辽宁鞍山)成功上线光伏电费线上代扣服务
2025-10-24 09:30:00
溧水制造业再添一员“大将”年产两万台,易咖智车智能工厂投产南报网讯(记者胡英华通讯员陶燕燕谢一凡)自动导引车(AGV)“唱着歌”送材料
2025-10-24 07:47:00
中新经纬10月23日电 题:“山姆们”为何加速布局下沉市场?作者 江瀚 盘古智库高级研究员近日,以盒马、山姆为代表的新零售企业加速向全国下沉市场布局
2025-10-23 14:10:00
让残片活成文明的密码:专访90后文物活化创业者苗毅斐
2025 年上半年,文物拍卖市场迎来全面复苏,头部拍卖行交出亮眼成绩单,佳士得亚洲春季拍卖斩获 22 亿港元,苏富比亚洲中国艺术品专场亦录得 7
2025-10-23 14:18:00
西瓜学员科创赛事创佳绩,勇夺全球发明大会公益主题奖
2025 年 7 月 26 日至 28 日,全球发明大会中国区(ICC)全国总决赛在河南郑州国际会展中心落下帷幕。作为教育部严格筛选出的 “白名单” 竞赛
2025-10-23 14:18:00
深夜的福州南站,本应是灯火渐暗、人潮散去的时刻。然而在10月20日凌晨,这里却灯火通明、人声鼎沸——中国铁路南昌局集团有限公司首次推出的“歌迷专列”正整装待发
2025-10-23 15:29:00
万达电影亮相版博会,授权+原创双管齐下诠释“版权正当潮”
2025年10月16日,第十届中国国际版权博览会在青岛国际会展中心(崂山馆)正式开幕,万达电影作为参展商亮相北京展区。万达电影以“版权正当潮”为题
2025-10-23 16:08:00
拼多多给员工发黄金,10年老员工直接领100克金子? 网友:还得是真金白银实在!
2025年是拼多多成立10周年,日前,有拼多多员工在社交平台上晒出了拼多多给员工赠送的“周年礼”。据拼多多员工晒出的“周年礼”
2025-10-23 17:15:00
鲁网10月23日讯(记者 于胜涛)如今走进青岛市即墨区第二人民医院,会发现曾经缴费窗口排起的长队变短了,窗口前的焦灼面容也减少了
2025-10-23 17:19:00