• 我的订阅
  • 头条热搜
摆脱Transformer依赖?这家AI初创公司推出国内首个非Attention机制大模型
文 | 苏建勋Transformer是当下爆火的GPT、LLAMA、PaLM等大模型普遍采用的基础架构,凭借强大的自然语言理解能力,Transformer在问世的短短几年内便取代了传统的RNN网络结构,成为自然语言处理领域的主流模型架构。如今,一家创业...……更多
独家对话岩芯数智CEO刘凡平:“百模大战”下,AIGC新玩家如何杀出重围?|钛媒体焦点
...等互联网科技巨头不断涌入,纷纷对标GPT-4升级 AI 通用大模型。而在To B企业端领域,中小大模型领域当前面临头部企业加速融资、市场“内卷”竞争等复杂局面。如今,一家成立仅四个多月的生成式 AI(AIGC,人工智能创造内容...……更多
大模型如何赋能千行百业?听听企业怎么说
作为人工智能领域的技术新高地,大模型正以前所未有的速度赋能各行各业。通过其在各领域的广泛应用,可以实现更高效、更智能的服务和决策过程,推动产业持续创新和发展。12月28日,数字中国大模型论坛在上海召开,围...……更多
阳光保险谷伟:公司目标建设领先的混合式大模型平台和应用体系
...经营管理能力。中台构建两大核心能力,聚焦大数据、大模型两大能力建设,支持前端智能化应用创新突破;后台建立统一、高效、安全、稳定的新架构,提升系统架构的先进性、实现共建共享,提升科技效能。最后,做好机制...……更多
三峡大学新地标,正式落成!
...,三峡大学校长王炎廷向校友代表赠送了水电基石3D打印模型。该模型由水利与环境学院3D打印与智能建造团队牵头设计制作,是对水电基石广场的等比例微缩景观呈现,寄寓着母校的牵挂和期盼,意在为校友留下母校的记忆珍...……更多
火爆全球的AI音频大模型,最新技术细节揭秘
...月19日在Arxiv上分享了Stable Audio Open的研究论文,公开了该模型背后的技术细节。Stable Audio Open是StabilityAI于今年6月推出的开源文本转音频模型,可免费生成长达47秒的样本和音效,还可生成44.1kHz高质量立体声音频,并且能在消费...……更多
马斯克打脸OpenAI!全球最大模型Grok-1开源
...:林志佳马斯克(Elon Musk)真的实现了他的承诺——把大模型Grok-1开源了。钛媒体App获悉,北京时间3月18日早上,“硅谷钢铁侠”、亿万富翁马斯克旗下AI初创公司xAI宣布,其研发的大模型Grok-1正式对外开源开放,用户可直接通...……更多
Mamba再次挑战霸主Transformer!首个通用Mamba开源大模型一鸣惊人
【新智元导读】TII开源全球第一个通用的大型Mamba架构模型Falcon Mamba 7B,性能与Transformer架构模型相媲美,在多个基准测试上的均分超过了Llama 3.1 8B和Mistral 7B。今天,阿布扎比支持的技术创新研究所(TII) 开源了全球第一个通用的...……更多
非Transformer架构站起来了!首个纯无注意力大模型,超越Llama 3.1
Mamba 架构的大模型又一次向 Transformer 发起了挑战。Mamba 架构模型这次终于要「站」起来了?自 2023 年 12 月首次推出以来,Mamba 便成为了 Transformer 的强有力竞争对手。此后,采用 Mamba 架构的模型不断出现,比如 Mistral 发布的首...……更多
挑战Scaling Law,Meta发布移动端350M小模型MobileLLM,性能比肩7B LLaMA-v2
【新智元导读】Scaling Law还没走到尽头,「小模型」逐渐成为科技巨头们的追赶趋势。Meta最近发布的MobileLLM系列,规模甚至降低到了1B以下,两个版本分别只有125M和350M参数,但却实现了比更大规模模型更优的性能。从5月和6月...……更多
前谷歌科学家Yi Tay「LLM演义」系列博客第一弹:BERT为何匿迹江湖?
【新智元导读】前谷歌科学家Yi Tay重磅推出「LLM时代的模型架构」系列博客,首篇博文的话题关于:基于encoder-only架构的BERT是如何被基于encoder-decoder架构的T5所取代的,分析了BERT灭绝的始末以及不同架构模型的优缺点,以史为...……更多
OpenAI发布文生视频模型Sora,奥尔特曼选取网友提示词
...凌晨,OpenAI再次扔出一枚深水炸弹,发布了首个文生视频模型Sora。据介绍,Sora可以直接输出长达60秒的视频,并且包含高度细致的背景、复杂的多角度镜头,以及富有情感的多个角色。目前官网上已经更新了48个视频demo,在这...……更多
文心大模型赋能千行百业,自主进化
2023年,是人工智能大模型快速发展的一年。伴随ChatGPT的横空出世,各行各业的生产力似乎都将被AI大模型再次点燃。国产大模型的数量快速增长,截至10月,国内已发布238个大模型。尽管围绕AI大模型技术变革之力的讨论层出不...……更多
infini-attention:谷歌大内存机制
...歌大改Transformer,“无限”长度上下文来了。现在,1B大模型上下文长度可扩展到1M(100万token,大约相当于10部小说),并能完成Passkey检索任务。8B大模型在500K上下文长度的书籍摘要任务中,拿下最新SOTA。这就是谷歌最新提出的...……更多
中国最大开源MoE模型,255B参数无条件免费商用,元象发布
元象XVERSE发布中国最大MoE开源模型:XVERSE-MoE-A36B,该模型总参数255B,激活参数36B,达到100B模型性能的「跨级」跃升。同时训练时间减少30%,推理性能提升100%,使每token成本大幅下降。在多个权威评测中,元象MoE效果大幅超越多...……更多
Mamba作者新作:将Llama3蒸馏成混合线性 RNN
...功的关键是注意力机制。注意力机制让基于 Transformer 的模型关注与输入序列相关的部分,实现了更好的上下文理解。然而,注意力机制的缺点是计算开销大,会随输入规模而二次增长,Transformer 也因此难以处理非常长的文本。...……更多
科学家为脉冲神经网络引入新架构,为超大模型奠定基础
...计算可以利用脉冲信号来传递信息。前者,让脉冲神经元模型的表达能力在理论上高于基于传统人工神经网络(Artificial Neural Network,ANN)的人工神经元模型;后者,让脉冲神经元具有脉冲驱动的计算特征。当脉冲神经网络运行...……更多
微软Win11中发现国产开源大模型!RWKV官方:没给钱啊?现在赶趟
微软正尝试在Office中集成国产开源大模型RWKV!RWKV官方甚至直接发了个推文表示:RWKV.cpp,现已在全球五亿系统中部署。之所以这么说,是因为他们发现最新版Windows 11系统的Office文件夹中有以rwkv命名的DLL文件,包含GPU、CPU版本...……更多
手机市场深陷泥沼,厂商如何破冰?
...题,在这一关键节点,厂商们亟需新的解题思路。3、大模型被认为是下一突破点,但仍没合适的落地方式。自2023年初大模型成为互联网发展技术趋势的关键词,手机厂商关于大模型的探讨就一直没有停止。从逻辑上讲,手机厂...……更多
快手发布对标Sora的视频生成大模型「可灵」 已开放邀测体验
在OpenAI文生视频大模型Sora发布后,国内企业争相入局,国产文生视频大模型迈入加速阶段。近日,又一国产视频大模型加入战局,快手“可灵”视频生成大模型官网正式上线。相较此前各家放出的视频大模型以展示视频为主,...……更多
大模型价格战“卷”向何方?|深度
...你降价,我免费。在经过一年多的“百模大战”后,AI大模型从5月初几乎毫无预兆地掀起了“降价潮”,阿里、百度、腾讯等纷纷加入战团。大厂“钱多、卡多、算力足”无惧价格战,以惯有的免费模式先聚集用户与开发者。中...……更多
中国也有Sora同款训练架构公司,清华班底,智谱也投了 | 36氪首发
...雨编辑 | 邓咏仪全球首家发布Sora同款底层架构的清华系模型公司,近期完成了新一轮融资。投资名单中,也出现了大模型独角兽智谱AI的身影。36氪获悉,近日多模态AI模型公司生数科技完成新一轮数亿元融资。该轮融资由启明...……更多
探索终端操作系统领域AI大模型创新趋势 OpenHarmony技术大会OS原生智能分论坛召开
...中,华为昇思MindSpore总架构师金雪锋担任出品人,华为AI大模型应用开发平台架构师王磊担任主持人,与来自华为、中软国际有限公司、深圳市若芯科技有限公司等企业界技术领袖和来自清华大学、上海交通大学等学术界专家学者分...……更多
大模型的未来,快手在自己身上找答案
...检票口久违的出现了许多黄牛,这一切都意味着国内对大模型的关注从 2023 年小圈子里的迅速升温,到现在的白热。所有人都在想尽办法靠近大模型,所有公司都在寻找一种对大模型来说合适的描述方式,但从目前来看,大多都...……更多
黄仁勋对话Transformer七子:我们被困在原始模型里,还需要更强大的新架构
...中所提出的Transformer架构,为当下大热的ChatGPT、Gemini等大模型打下基础,人工智能领域从此变天。论文的八位作者,也被称为“Transformer八子”。不过,八位作者后来也陆续离开谷歌。除Lukasz Kaiser留在OpenAI外,其他几位作者都选...……更多
大模型下沉,汽车需要存算一体芯片|超级观点
大模型“百模大战”初见分晓,AIGC应用也如雨后春笋般出现,一个新的AI世界正在来临。 大模型对算力的需求极大。Open AI曾预估,其算力需求每3.5个月翻一倍,每年近10倍增长。而根据中国信通院等机构的调研数据,仅ChatGPT的...……更多
智谱AI发布视频生成大模型,B站参与研发,亦庄提供算力|甲子光年
视频大模型进入百模大战。今年是“视频生成”大模型爆发元年。在过去两个月,我们看到了快手可灵、商汤Vimi、Luma AI、爱诗科技Pixverse、Runway Gen-3等等视频大模型的你追我赶。但上半年的视频生成大模型公司,往往只聚焦在...……更多
李开复回应旗下AI独角兽陷“套壳”争议:起步受益于开源,会进步
...前“套壳”争议的官方回应,并在配文中写道:“全球大模型架构一路从GPT2-->Gopher-->Chinchilla-->Llama2->Yi,行业逐渐形成大模型的通用标准(就像做一个手机APP开发者,不会去自创iOS、Android 以外的全新基础架构)。01.AI.……更多
华为云发布大模型混合云十大创新技术
...,2024年6月22日]今日,在华为开发者大会2024期间,以“大模型混合云,十大创新技术引领政企智能升级”为主题的高峰论坛成功举办。会上,华为主机上云军团CEO、混合云总裁尚海峰发布大模型混合云十大创新技术,通过聚焦根...……更多
采用MoE大模型,清华创业团队医者AI构建健康管理Agent
作者 |杨逍编辑|苏建勋随着基座大模型的竞争初见分晓,如何将AI落地到各行各业成为行业关注的问题。北京医者信息科技有限责任公司(以下简称“医者AI”)成立于2023年,由清华计算机博士、医学博士及AI健康领域成功创...……更多
更多关于科技的资讯:
中新经纬10月31日电 国家发展改革委政策研究室副主任、新闻发言人李超表示,鼓励小、散、低效的存量算力设施向集约化、高效率转变
2025-10-31 13:34:00
企业选型终极指南:基于预算与行业,中国GEO服务商推荐(附TOP10指标对比)
在AI重构流量分配规则的2025年,生成式AI搜索优化(GEO)已成为企业不可或缺的战略投入。然而,面对市场上众多的GEO服务商
2025-10-31 11:00:00
增压好的热水器推荐:万和多款热水器待你选择
在城镇化加速与高层住宅普及的当下,老旧小区管道老化、高层建筑水压衰减等问题愈发突出,不少家庭正遭受 “细流澡”“忽冷忽热” 的沐浴困扰
2025-10-30 08:16:00
创新,是让世界重新认识中国制造
“创新”,这个词我们每天都在说。要让世界记住中国制造的创新,一定是要让人们能看得见、记得住、感受到。我给大家分享几个小故事
2025-10-30 08:35:00
河北日报讯(记者孙青)为激发青年创业活力,点燃青年创业梦想,日前,团石家庄市委正式启动“青年创业训练营——青年小店孵化计划”
2025-10-30 08:36:00
当故宫的红墙金瓦凝缩成书签的精致纹路,当敦煌的飞天壁画跃然咖啡杯的杯身,博物馆中的千年文明正通过文创产品打开新的传承通道
2025-10-30 08:44:00
校宝智慧校园发布招生智能化解决方案,为民办教育注入增长新动能
2025年10月29日,校宝智慧校园正式推出面向民办、国际化学校的招生智能化解决方案,包含流量获取、线索转化、组织建设与数据决策四大核心板块
2025-10-30 09:10:00
Soul App开源播客语音合成模型SoulX-Podcast,支持流畅自然多轮语音对话
近日,Soul App AI团队(Soul AI Lab)正式开源播客语音合成模型SoulX-Podcast。该模型是一款专为多人
2025-10-30 09:10:00
服务效能持续提升 中老年多元化保障需求凸显近日,中宏保险正式发布了《2025年第三季度中宏保险个险理赔服务报告》(以下简称"报告")
2025-10-30 09:10:00
AI+人工双核验:深瞳查重如何以精准核查守护科研诚信
在科研诚信日益重要的今天,图片查重已成为维护科研诚信的关键环节手段。作为国内首家推出图片查重服务的深瞳查重,深瞳查重始终将结果的准确性和可靠性放在首位
2025-10-30 09:10:00
德明利亮相安博会,推出面向智能安防的多维度存储解决方案
10月28日,深圳CPSE安博会在福田会展中心顺利开幕,展会聚焦AI与大数据的智能安防创新。德明利携工业级存储产品及多维矩阵方案亮相
2025-10-30 09:10:00
碧欧宝亮相2025德国品牌周,于外滩百年地标演绎德式健康美学
2025年10月23日,由德国工商总会主办的“Discover Germany 德国品牌周”在外滩百年地标老市府隆重启幕
2025-10-30 10:10:00
留学常用APP与交友软件推荐:学习、生活、社交一站式搞定
即将远赴海外求学,除了收拾行囊,在手机里提前装好实用的留学APP,也成了许多准留学生的必备功课。面对应用商店里海量的留学常用APP选择
2025-10-30 10:56:00
工商银行联合腾讯云发布《中国金融生成式AI多模态内容鉴伪与安全防御白皮书(2025)》
随着生成式人工智能浪潮全面兴起,金融行业在加速迈向“AI原生”时代的同时,也面临多模态深度伪造内容带来的新型安全挑战。利用生成式AI合成的语音
2025-10-30 12:08:00
片仔癀黄芩多肽洗护新品亮相漳州,以东方智慧开启舒缓新“净”界
10月23日,东方新国妆代表品牌——片仔癀化妆品,在品牌发源地漳州隆重举办黄芩多肽系列新品发布会。活动以“亮剑·向新而生”为主题
2025-10-30 12:11:00