• 我的订阅
  • 头条热搜
麻省理工学院联合metaai开发streamingllm框架
...挑战:目前流行的大语言模型,难以泛化适用“超过训练序列长度”的长文本。IT之家注意到,过去有许多研究试图解决上述挑战,像是“扩展注意力窗口”,让语言模型能够处理超出预训练序列长度的长文本;或是建立一个固...……更多
AI能生成超越自然界的新型蛋白质,可用于制造特定机械性能材料
...据预设的结构目标,预测出能够形成相应蛋白质的氨基酸序列。这些序列既有一定的与已知蛋白质相似的程度,又有一定的创新性和独特性。这些蛋白质可用于制造具有特定机械性能(如刚度或弹性)的材料,从而取代作为原料...……更多
只要一张图就能还原绘画过程,这篇论文比Paints-UNDO实现得更早
...预训练的 Motion Model 基础上,通过在特定画师的少量绘画序列上训练 Motion LoRA,学习画师的绘画技法。深入解读 ProcessPainter 的核心技术1. 时序注意力机制(Temporal Attention)用时序注意力学习生成绘画过程是 ProcessPainter……更多
图灵奖得主Yoshua Bengio新作:Were RNNs All We Needed?
...址:https://arxiv.org/pdf/2410.01201v1最近,大家重新对用循环序列模型来解决 Transformer 长上下文的问题产生了兴趣,出现了一大批有关成果,其中 Mamba 的成功引爆了 AI 圈,更是点燃了大家的研究热情。Bengio 和他的研究团队发现,这...……更多
30多款大模型亮相,现阶段厂商比客户更需要大模型
...布后,第四范式的新客户。”出门问问展示了其大模型“序列猴子”在美妆博主、律师、财富助手、作家等细分场景的应用能力。值得一提的是,今年5月下旬,出门问问向港交所递交招股书,成为国内第一家以通用大模型能力...……更多
具身智能竞速时刻,百度百舸提供全栈加速方案
...理(如数据 Packing、图文视频混训、多轮对话支持)、长序列显存管理(序列并行、高效显存策略)以及模型并行策略(混合切分,保障负载均衡)等方面进行了深度优化,训练性能相比社区版本最高提升 40 %以上。WM 模型:训...……更多
值得收藏!2023 年,你应该知道的所有机器学习算法~
...法类型。解释型算法模式挖掘算法集成算法聚类算法时间序列算法相似度算法解释型算法机器学习面临的一大问题是理解各种模型如何达到最终预测,我们经常知道是“什么”,但很难解释“为什么”。有几种算法可以用来更好...……更多
讯飞星火认知大模型成果发布会:阿尔法蛋儿童GPT机器人亮相
...阿尔法蛋以父母之心为孩子用心做产品。”“妈妈说人是猴子变的,为什么动物园里的猴子没有变成人?”“为什么大人总说我们挑食,大人就不挑食吗?”产品介绍伊始,对屏幕中出现的一连串充满童真的提问,阿尔法蛋儿童...……更多
4090单卡可跑,6秒直出电影级画质,智谱版Sora正式开源!
...压缩至潜在空间,然后将潜在空间分割成块并展开成长的序列嵌入z_vision。同时,使用T5将文本输入编码为文本嵌入z_text,然后将z_text和z_vision沿序列维度拼接。拼接后的嵌入被送入专家Transformer块堆栈中处理。最后,反向拼接嵌...……更多
首个可保留情感的音频LLM!Meta重磅开源7B-Spirit LM,一网打尽「音频+文本」多模态任务
...链接:https://huggingface.co/spirit-lm/Meta-spirit-lm将语音和文本序列拼接成一条token流,并使用一个小型的、自动整理(automatically-curated)的语音-文本平行语料库,采用逐词交错的方法进行训练。Spirit LM有两个版本:……更多
...家Alan Wong表示,自然产生的基因编辑系统在其可以靶向的序列以及可以做出的改变方面存在局限性。因此找到合适的CRISPR可能是一个挑战。“利用人工智能扩大编辑的范围,可能会有所帮助。”他说。像ChatGPT这样的聊天机器人...……更多
...盘、报告或AI分析。同时也能与图像识别处理系统、时间序列分析等系统融合,通过深层次、多维度的数据分析。例如:大模型直接生成Excel并进行数据分析,供管理人员了解整个工厂的运营情况、提供可参考的最终决策。在产...……更多
大模型监管趋严,伦理合规将成关键竞争力
...模型还只是经过训练后可以完成某些特殊任务的“马戏团猴子”,那大模型则可以说已经是一个接受完义务教育的“中学毕业生”。不过,这一“中学毕业生”实则刚刚“入学”不久,此时就展开严管,是否过于严苛?“大模型...……更多
AI也会「刷抖音」!清华领衔发布短视频全模态理解新模型 | ICML 2024
...ONN通过以下三部分创新,使其能够处理自然图像、视觉帧序列、语音、音频事件和音乐元素等各种视频基本元素:第一部分:音视频编码和时间对齐video- SALMONN使用Whisper语音编码器和BEATs音频编码器,分别得到语音和音频的编码...……更多
AI大模型行业报告:大模型发展迈入爆发期,开启AI新纪元(附下载)
...络(RNN)、卷积神经网络(CNN)等传统神经网络存在的长序列依赖问题。相较于RNN,Transformer具有两个显著的优势。1)处理长序列数据:RNN受限于循环结构,难以处理长序列数据。Self-attention机制能够同时处理序列中的所有位置...……更多
不是RNN的锅!清华团队深入分析长上下文建模中的状态崩溃,Mamba作者点赞
...是RNN的锅。与Transformer相比,RNN模型的一大优势是应对长序列的能力。比如Mamba,内部状态大小始终保持不变,计算随序列长度线性增长,吃得多,消化快。理论虽如此,但实际情况却是,目前的这些RNN模型在长上下文中的有效...……更多
撞墙还是新起点?自回归模型在图像领域展现出Scaling潜力
...本以外的领域,Scaling Law 的踪迹正在逐渐显现,比如时间序列预测以及图像、视频这类视觉领域。下面这张图来自投稿给 ICLR 2025 的一篇论文。论文发现,在把类似于 GPT 的自回归模型应用于图像生成时,Scaling Law 同样可以被观...……更多
星环科技Sophon 3.2发布,通过“六易三仓两中心”实现新一代AI平民化
...框架、自研的Sophon ZenGraph图计算框架、Sophon TS 时间序列计算库及基础机器学习算法库,让建模场景易搭建;* 模型“易”获得:提供模型仓库,支持将NLP、OCR、CV、基础机器学习等多框架多源模型进行统一纳管,并在模型上...……更多
...调整了模型架构,以预测实现特定结构的蛋白质的氨基酸序列。这一模型学习控制蛋白质形成方式的生化关系,产生超越自然界的新蛋白质,从而实现独特应用,例如,该工具开发的食品涂层可使农产品保鲜时间更长,同时保证...……更多
国网浙江电力探索“AI+电力”增量价值
...研究热点之一,包括大语言模型,面向负荷、电量等时间序列数据的时序大模型,以及能融合多类型数据从而更全面理解电力系统的多模态大模型。在杨洋看来,电力行业的核心数据是时间序列、拓扑图等结构化数据。“可能未...……更多
...是通过手写板等数字化仪器实时采集书写信号,包括笔划序列、压力、速度、加速度等;离线签名鉴定是将写在纸上的签名笔迹通过扫描仪或数码相机转化为计算机能处理的图像信号。相对而言,在线情形提供了更丰富的动态信...……更多
ChatGPT一周年,机会在大厂还是小公司?
...借用了孙正义的观点,“会用AI和不会用AI的人就像人和猴子的区别一样”,他相信,人们的工作和生活方式很快会因为AI而发生巨变。变化带来机遇,也带来希望。财经作家吴晓波在《激荡三十年》中写道:“这是最好的时代,...……更多
...筛选实验产生的数据在百万组级别,且能囊括药物的基因序列、对应功能,以及发生功能时的细胞图像等多种信息。“这些信息能够帮助AI去做大量的下游建模,整个通量能够到每个月产生百万条的序列信息,和AI形成非常好的...……更多
继 AI 绘画、AI 聊天后,没学过生物的「门外汉」也能「一键生成」蛋白质
...成第四代蛋白质设计新方向蛋白质是一种含有特定氨基酸序列的分子,因其空间结构的不同,决定了生物学功能的差异。因此,当天然蛋白结构功能,不能满足工业或医疗应用需求时,想要得到特定的功能蛋白,就需要对其结构...……更多
infini-attention:谷歌大内存机制
...通过固定数量的参数来存储和回忆信息,而不是随着输入序列长度的增加而增加参数量,能减少内存占用和计算成本。线性注意力机制不同于传统Transformer中的二次方复杂度注意力机制,它能通过更小的计算开销来检索和更新长...……更多
非Transformer架构站起来了!首个纯无注意力大模型,超越Llama 3.1
...ba 7B 的亮点:无需增加内存存储,就可以处理任意长度的序列,并且能够在单个 24GB A10 GPU 上运行。目前可以在 Hugging Face 上查看并使用 Falcon Mamba 7B,这个仅用因果解码器的模型采用了新颖的Mamba 状态空间语言模型(State Space Lan……更多
阿里妈妈首提AIGB并实现大规模商业化落地,将正式开源Benchmark
...GB 是一种全新的迭代范式,把自动出价问题建模为生成式序列决策问题,这是生成式 AI 在该领域的首次应用。经过一年的探索和研发,我们在阿里妈妈广告平台成功部署 AIGB 并取得显著效果,我们还把过程中的发现和经验总结...……更多
对话李志飞:大模型的关键在于如何把大模型用起来 | 年度AI对话
...”的2023 AIGC战略发布会。出门问问宣布内测探索大模型「序列猴子」,并提出CoPilot将无处不在。 而发布会前几周的采访中,李志飞详细而坦诚地对36氪解释了几轮想法变化的关键逻辑,也分享了他对这轮AI技术进步的判断和洞察...……更多
RNN回归!Bengio新作大道至简与Transformer一较高下
...费的时间,以及新模型带来的加速比。横轴为输入数据的序列长度,批量大小为64。可以看到,相比于原版的LSTM和GRU,minLSTM、minGRU和Mamba的运行时间不会随序列长度而增加(后3个模型的线在左图中重叠了)。当序列长度为4096时...……更多
揭示Transformer「周期建模」缺陷!北大提出新型神经网络FAN,填补周期性特征建模能力缺陷
...上的表现显著优于现有模型,而且在符号公式表示、时间序列预测和语言建模等实际任务中也同样表现出色,超过了Transformer等主流模型。论文链接:https://arxiv.org/pdf/2410.02675.pdf代码链接:https://github.com/YihongDong/FAN……更多
更多关于科技的资讯:
2025年京津冀机器人产业链配套需求和供给能力征集工作启动京津冀共同做优做强机器人产业集群河北日报讯(记者米彦泽)从省工信厅获悉
2025-09-23 19:22:00
2025世界制造业大会|超聚变全栈数智化方案,为安徽建设“制造强省”贡献力量
大皖新闻讯 9月20日至23日,以“智造世界 创造美好”为主题的2025世界制造业大会主在合肥举行。记者在采访中注意到
2025-09-23 13:16:00
新品首销,烟台联通胜利路营业厅人气火爆
9月19日上午8时,iPhone 17系列新品在烟台联通胜利路营业厅正式首销,现场人气火爆,众多消费者一早前来,共同体验新一代旗舰产品的魅力
2025-09-23 13:36:00
PITAKA自研PitaTap™拍照按键,重新定义手机壳交互体验
近日,在2025年德国柏林IFA展会上,PITAKA凭借其自研的PitaTap™拍照按键的创新突破,一举夺得两家国际权威科技媒体SlashGear与BGR颁发的Innovation Awards奖项
2025-09-23 11:40:00
MOVA生态链企业获数千万融资,瞄准海外电动工具赛道、预计2025年营收破亿|硬氪首发
作者|黄楠编辑|袁斯来硬氪获悉,沃庭科技(苏州)有限公司(以下简称“沃庭科技”)近日完成数千万元天使轮融资,本轮资金将用于加大技术研发投入
2025-09-23 06:51:00
刘强东,正悄悄孕育“山姆杀手”
前不久,刘强东现身宿迁,又给老家人送上了一份大礼:四家京东折扣超市。有人问,这不是赚老乡钱吗,算什么礼物?因为这些超市主打的
2025-09-22 10:23:00
近日,合众人寿秦皇岛中支开展“鎏金岁月,匠心相伴”主题金箔手作沙龙活动,通过沉浸式手工体验,为参加客户呈现了一场融合艺术鉴赏与情感联结的特别回馈
2025-09-22 10:32:00
东港股份转型科技先锋 AI具身机器人深耕为民服务
海报新闻记者 宋嵩 张彤彤“您好,我是小智,有什么可以帮助您?”在政务大厅、大型展馆、学校可以看到忙碌的“小家伙”,它们各司其职
2025-09-22 10:33:00
“人拉肩扛”到“云端挖矿” 山东黄金的数智蜕变
海报新闻记者 张彤彤三山岛金矿的井下巷道里,5G信号正穿梭于岩壁之间,中控室的大屏上,矿石流动的情况与千米深的矿洞数据实时变化
2025-09-22 10:33:00
从莱阳田野到国际餐桌 春雪食品引领鸡肉调理品行业高质量发展
海报新闻记者 宋嵩故事的起点,要追溯到2012年。彼时,山东春雪食品有限公司在莱阳设立莱阳春雪食品有限公司,最初只是一家区域性的鸡肉加工企业
2025-09-22 10:37:00
大窑饮品重磅推出“宜养说” 植物蛋白赛道再添“实力派”
当下消费者正变得前所未有的理性,这一趋势在饮品市场尤为明显:“好喝”是基础,“健康”已成为新门槛。基于对“轻养生”需求的深度洞察
2025-09-22 10:38:00
近日,西贝创始人贾国龙与网红企业家罗永浩就预制菜价值展开的公开论战,将这一话题推向了舆论漩涡。这场争论背后,折射的正是全社会对食品安全认知的深化——从单纯的“无害”向更高层次的“真实
2025-09-22 10:38:00
从鼓房到健身房:无人值守场景重塑消费体验
本报记者 胡 静 □ 陈跃佳中午十二时,李先生步入街角的24小时无人便利店,扫码开门、自选商品、刷脸支付,全程耗时不足两分钟
2025-09-22 10:39:00
鱼竿里的“大国重器” 光威复材以碳纤维技术书写国产突围之路
海报新闻记者 宋嵩 张彤彤“以前用玻璃纤维竿,钓条十斤的鱼就胳膊酸,这碳纤维的又结实又轻,真是材料不一样了!” 威海的老钓手王师傅喜欢“炫耀”他的新鱼竿
2025-09-22 10:40:00
南山智尚:纤维经纬织就智造之路
大众网·海报新闻记者 康洁一条条线可以让提线木偶惟妙惟肖的表演,而一根根强度高、耐磨损的纤维可以实现机器人手部灵巧的运动
2025-09-22 10:41:00