• 我的订阅
  • 头条热搜
仅用4块GPU、不到3天训练出开源版GPT-4o,这是国内团队最新研究
...oral Classification, CTC)来预测与语音响应相对应的离散单元序列。在推理过程中,当 LLM 自回归生成文本响应时,语音解码器同步生成相应的离散单元。为了更好地契合语音交互场景的特点,该研究通过重写现有的文本指令数据并...……更多
更快、更强、更可控:智谱“起舞弄清影”,视频生成卷出新高度!
...对,使得训练出的模型指令遵循度高。比如,输入指令“猴子打工”,可以看到智谱对“猴子”主体和“打工”行为理解都十分到位,生成了让打工人心酸的一幕,带有超现实色彩又符合“细节真实”宗旨:此外,高质量的视频...……更多
大模型下 自动驾驶企业开始取经特斯拉
...enAI的Andrej Karpathy。Transformer的交叉注意力机制可以将一个序列中的不同位置联系起来,计算出序列的表示形式。这意味着它可以直接进行不同序列(指2D特征图和3D的BEV视图)之间的转换,对于BEV空间转换任务适配性较高。而成...……更多
Nature重磅研究:AlphaFold绘制病毒「族谱」,揭开身世之谜
...毒「亲缘关系」的工作更加困难。看起来大不相同的基因序列,可能隐藏着病毒之间非常深层而遥远的关系。相比病毒的基因,它们编码的蛋白质的形状或结构变化往往比较缓慢,然而英国格拉斯哥大学的分子病毒学家Joe Grove表...……更多
大模型的未来,快手在自己身上找答案
...ACT)的神经网络。从名字入手非常好理解——在用户行为序列上用 Transformer 架构进行建模。「这里面遇到的挑战还是非常大的」,盖坤表示。大家都知道大模型的响应是非常慢的,如果我们在用户数十万上百万行为序列上进行...……更多
阿里云通义千问 Qwen2-VL 第二代视觉语言模型开源
...置嵌入(M-ROPE)方法。传统的旋转位置嵌入只能捕捉一维序列的位置信息,M-ROPE 使得大规模语言模型能够同时捕捉和整合一维文本序列、二维视觉图像以及三维视频的位置信息,赋予了语言模型强大的多模态处理和推理能力,...……更多
大模型这把“火”,烧到了人形机器人
...一个基于机器人数据的端到端模型,输入端是一小段图像序列和用文本描述的任务,输出端是动作指令,包括7个维度的手臂动作指令、3个维度的基础移动指令和1个维度的状态切换指令。研究人员让机器人执行了超过 700 项任务...……更多
Nature封面:AI训AI 越训越傻
...型中生成数据,团队使用了five-way波束搜索。他们将训练序列设为 64 个token长度;然后对于训练集中的每个token序列,要求模型预测下一个64个token。他们会浏览所有原始训练数据集,并生成一个相同大小的人工数据集。如果模型...……更多
《麻省理工科技评论》中国智能计算创新人物峰会圆满落幕
...脱经验限制,有效挖掘数据中的复杂模式,对于理解基因序列功能、疾病发生机制等具有重要意义,体现了人工智能在生命科学领域的重要作用。吉林大学教授李向涛指出,基于大量单细胞数据的模型(如 scBERT)能够处理海量...……更多
面壁智能联合创始人刘知远:AI的第二次智能涌现,是群体智能的涌现 | WISE2023商业之王大会
...经网络的架构。譬如说专门的针对文本和语音这种一维的序列数据,我们有循环神经网络。专门针对二维的图片数据,我们有卷积神经网络。为了解决结构化、半结构化的图数据,产生了图神经网络。但是2018年之后,我们越来...……更多
丹麦用全民数据训练AI!预测35岁至65岁4年后的个体死亡:准确率达78%
...类似ChatGPT背后语言模型),通过分析人类生活中的事件序列,总结模式和规律。这些算法首先分析大量文本,寻找单词和句子字符串中的模式。然后,AI模型使用他们学到的信息来预测句子中接下来应该出现哪些单词。莱曼认为...……更多
...算负担。这一过程中,SmartTrim不仅考虑了token在单一模态序列中的重要性,还特别强调了跨模态交互中的关键作用。通过这种精细化的剪枝策略,SmartTrim能够在保持模型性能的同时,大幅提升计算效率。在基于VQA微调的METER的跨...……更多
OpenAI 开发新工具,试图解释语言模型的行为
...利用这种机制来分解模型的各个部分。首先,它会将文本序列输入到被评估的模型中,并等待某个神经元频繁地“激活”。然后,它会将这些高度活跃的神经元“展示”给GPT-4,并让GPT-4生成一个解释。为了确定解释的准确性,...……更多
史上首个实时AI视频生成技术:DiT通用,速度提升10.6倍
...的是时间步 t 的特征。并行下图 3 为本文方法与原始动态序列并行(Dynamic Sequence Paralle, DSP)之间的比较。当时间注意力得到传播时,则可以避免所有通信。为了进一步提升视频生成速度,本文基于 DSP 来改进序列并行。序列并...……更多
Sora冲击波
...静态信息的转换和表达,而文生视频则需要在连续的时间序列中保持场景的一致性、物体的动态关系和光影的变化,这要求模型具备更强的时空建模能力和更高的计算复杂度。因此,文生视频技术的成功对于推动AGI的发展具有更...……更多
黄仁勋对话Transformer七作者:很多计算资源被浪费,世界需要更好的模型
...是一种基于自注意力机制的神经网络模型,能够用于处理序列数据。相比于传统的循环神经网络模型,Transformer模型能够更准确地捕捉单词的上下文和含义,因而成为了像GPT-4和ChatGPT这样的大语言模型的基础,同时也被应用于非...……更多
智慧芽垂直领域大模型通过国家网信办“双备案”
...经在智慧芽研发情报库、专利数据库、新药情报库、生物序列数据库等产品中上线,备受用户欢迎。此外,智慧芽基于“专利大模型”,全面焕新知识产权工作流,推出了近10项AI功能,如AI生成检索策略、AI标引、附图一键转文...……更多
史上最快AI芯片「Sohu」,速度10倍于B200,哈佛辍学生打造
...的示例,这里运行具有四个输入 token 和四个输出 token 的序列。每种颜色代表不同的序列。 我们可以扩展相同的技巧,从而运行具有 2048 个输入 token 和 128 个输出 token 的 Llama 3 70B。每个 batch 中包含用于一个序列的 2048 个输入 to.……更多
长上下文能力只是吹牛?最强GPT-4o正确率仅55.8%,开源模型不如瞎蒙
...问答 (VQA) 基准生成器。LoCoVQA可以提供与问题相关的图像序列,以及一组可配置的视觉干扰项,从而准确评估VLM如何在杂乱的上下文中仅提取与查询相关的信息。从原理上讲,这也是一项「大海捞针」的任务。另外,LoCoVQA的方法...……更多
谷歌没开源的 PaLM,网友给开源了
...有的训练数据都已经用GPTNEOX标记器进行了预标记,并且序列长度被截止到8192。这将有助于节省预处理数据的大量成本。这些数据集已经以parquet格式存储在Huggingface上,你可以在这里找到各个数据块:C4Chunk1,C4Chunk2,C4Chunk3,C4Ch...……更多
数势携手百川发布大模型联合解决方案,推动中国大模型价值落地
...支持用户通过对业务数据进行维度归因、因子归因、时间序列归因与相关性分析等多种洞察方法,完成数据波动自动归因;第三步,综合人工经验和机器智能分析,自动生成分析报告。实现大模型商业化落地,引领国内先进企业...……更多
百图生科高亮:AI大模型或改写生命科学领域的研发技术能力
...年的进化,最后收敛到21个氨基酸,这21个氨基酸以一定序列排列起来后,在三维空间折叠成蛋白质,蛋白质多了以后就形成了细胞,细胞形成组织,组织又形成了生命体。二者做类比的话,氨基酸就像自然语言处理当中的字母...……更多
00后华裔小哥哈佛辍学组团挑战英伟达,史上最快AI芯片Sohu推理性能超H100二十倍!
...这个过程中,会运行带有四个输入token和四个输出token的序列;每种颜色代表一个不同的序列。同样的技巧,就可以扩展到2048个输入token和128个输出token的Llama-3-70B上。要让每个batch,都包含一个序列的2048个输入token,和127个不同...……更多
智慧芽AI助手“芽仔”:你的智能研发专家,开启创新新范式
...、超过1.6亿篇论文、超过2100万则新闻、超过8.6亿个生物序列、超过2.5亿个化学结构、超过4万种靶点、超过8万种药物数据等。另外,在智慧芽垂直领域独特的数据配方构成上,还加入了7000余本专业书籍、丰富的行业常识等内容...……更多
深入讨论 DRD:从交互模型解析设计需求及关系
...标任务与领域知识相结合,转化为对系统界面的动作行为序列,形成界面输入。输入设备得到输入信息后,将其根据当前系统的状态解释为系统理解的交互行为,并由界面实体执行该行为所对应的任务操作,给出相应的结果反馈...……更多
容易“幻觉”的大模型与最严肃制造竟双向奔赴了?造船、高端装备已着迷……
...一段自然语言指令,大模型即能将指令自主“翻译”成API序列并准确迅速执行,快速将设计工程师的设计意图实现为设计结果。大模型的出众理解力,还包括设计师对产品抽象规则的描述,如对具相同构造与功能却有日系、欧系...……更多
本周硅谷发生了什么?|苹果Vision Pro正式开售;Neuralink完成人类脑机接口植入;字节Coze国内版上线;
...节的代码和数据基础上训练,可以处理和生成较长的代码序列,是Code Llama系列中规模最大,性能最强的版本。另外,Code Llama 70B使用了一种名为自我关注的技术来理解代码结构,适用于 Python、C++、J等多种语言。在HumanEval基准测...……更多
回顾GPT大模型2023这一年,5大顶级公司预测2024年AI产品
...模型(LLMs)将达到最好的闭源LLMs的水平。在视频、时间序列、生物学和化学方面,人工智能将取得重大突破。我们将更多地讨论人工智能的成本(货币和环境)。一家受欢迎的媒体将主要由人工智能生成。Hugging Face上将有一千...……更多
互联网十年:构建人与算法的关系,AIGC技术浪潮迎来新突破
...成投用。今年6月,“乌镇之光”正式纳入国家超算中心序列,成为浙江唯一、全国第14个国家超算中心。作为浙江省首个国家超算中心,它被称为浙江省“最强大脑”。“乌镇之光”超算中心每秒钟能进行18亿亿次计算,计算能...……更多
...尔揭示的生物遗传规律被重新发现;2000年人类基因组全序列工作草图宣告完成、人类第一次拥有了自己的基因图谱。这一头一尾两件大事充分展现了100年来遗传学的重大发展,而连接首尾的关节点,则是1953年沃森和克里克共同...……更多
更多关于科技的资讯:
新一代通用人形机器人GR-2在张江机器人谷发布
本文转自:人民网-上海频道人民网上海9月26日电 (记者葛俊俊)日前,机器人企业傅利叶传出好消息,其自主研发的新一代通用人形机器人GR-2发布
2024-09-26 17:12:00
算出新质生产力!拓维信息携旗下湘江鲲鹏亮相2024世界计算大会
本文转自:人民网-湖南频道兆瀚互动体验区人气高涨.企业供图9月24日,2024世界计算大会在长沙盛大开幕,本届大会以“智算万物 湘约未来——算出新质生产力”为主题
2024-09-26 17:22:00
微视:打卡东博会数字技术“黑科技”
本文转自:人民网-广西频道微视:科技感满满 打卡东博会数字技术“黑科技”
2024-09-26 17:38:00
东博会服务创新升级 入桂旅客超“city”
本文转自:人民网-广西频道9月24-28日,第21届中国—东盟博览会召开期间,为提升境外来宾“入桂第一站”服务水平,中国移动广西公司在南宁吴圩国际机场推出了一系列创新服务举措
2024-09-26 18:14:00
“梦幻灵境”南宁AI展演中心启用
本文转自:人民网-广西频道“梦幻灵境”南宁AI展演中心启用打造面向东盟人工智能合作基地人民网记者 朱晓玲“梦幻灵境”AI展演中心揭牌启用
2024-09-26 19:08:00
本文转自:人民网人民网北京9月26日电 (记者许维娜)提及中医药,人们的第一反应会是什么呢?是弥漫着淡淡药香的老药铺?是进行望闻问切的年迈医师
2024-09-26 19:11:00
本文转自:人民网人民网记者 黄盛加快发展数字经济,促进数字经济和实体经济的深度融合,正成为当下各行业推进高质量发展的重要特征
2024-09-26 19:11:00
不锈钢电热板:工矿企业及科研医疗领域的温度控制专家
在工矿企业的生产线、医疗卫生机构的实验室、环保与生化研究的前沿阵地,以及科研单位探索未知的每一个角落,不锈钢电热板以其卓越的性能和广泛的应用范围
2024-09-26 14:21:00
元宇宙XR技术加持,开启穿越时空的“寻秦记” “秦潮觉醒”江苏首店落子苏州
培育“首发经济”,激活消费动能。10月1日,今年以来火遍全国多座城市的XR沉浸式体验项目“秦潮觉醒”,将正式亮相苏州文化艺术中心
2024-09-26 14:24:00
Meta展示首款全息AR眼镜Orion以及神经交互接口
(爱云资讯消息)在Meta Connect主题演讲中,Meta分享了一些关于雷朋Meta智能眼镜的最新消息。Meta还展示了一款未来产品的原型
2024-09-26 14:28:00
Meta推出新AR眼镜Orion 内置AI功能可感知用户需求
【CNMO科技消息】Meta今天发布了被称为“迄今为止最先进的AR(增强现实)眼镜”——Orion。Meta声称,Orion看起来和感觉像一副普通眼镜
2024-09-26 14:28:00
雷鸟创新半年融资3轮,手握5个小目标,发力AI+AR眼镜
9月25日,南都记者从消费级AR品牌雷鸟创新方面获悉,其已完成B+和B++轮融资,该轮融资由嘉兴南湖科盈、嘉兴南湖嘉新创禾
2024-09-26 14:29:00
本文转自:人民网-安徽频道“以前出院都要去一楼柜台结算,我们年纪大了记性不好,还经常忘带就诊卡下楼,需要多跑一趟。现在好了
2024-09-26 17:00:00
逛东博盛会 享科技盛宴
本文转自:人民网-广西频道南宁国际会展中心。人民网 雷琦竣摄人民网南宁9月26日电 (雷琦竣)逼真的仿生人形机器人能说会道
2024-09-26 17:03:00
无惧比亚迪等中国车 新款广汽本田雅阁上市:17.98万起
快科技9月26日消息,新款广汽本田雅阁正式上市,此次为年度改款,主要对车辆部分细节进行调整,官方指导价17.98-23
2024-09-26 13:00:00