• 我的订阅
  • 头条热搜
...一篇计算机科学论文指出,用人工智能(AI)生成的数据集训练未来几代机器学习模型可能会污染它们的输出,这个概念称为“模型崩溃”。该研究显示,原始内容会在AI数代内变成不相关的胡言乱语,显示出使用可靠数据训练AI模...……更多
...解除Word Embedding与lmhead共享参数,有效提升模型稳定性和训练效果,并基于精细化的CheckPoint效果验证,进行动态的数据配比优化调整,大幅提升模型训练效果。海量高质量数据是保证大模型效果的基础,TeleChat-12B将7B版本1.5T训练...……更多
本文转自:中国科学报南开大学等让人工智能模型训练提速10倍以上本报讯(通讯员高雨桐 记者陈彬)南开大学、南开国际先进研究院(深圳福田)教授程明明团队发布了一项国际联合研究成果MDT,与人工智能文字生成视频大...……更多
中国也有Sora同款训练架构公司,清华班底,智谱也投了 | 36氪首发
...机系获得博士学位,在加速推理、可控生成、基础架构、训练策略等方面已发表十余篇顶会论文。首席科学家为清华大学计算机系人工智能实验室主任、智源研究院首席科学家朱军。可以说,2023年是国内大语言模型狂飙的元年...……更多
昆仑万维发布开源13B高质量商用大模型 领先Llama2和Baichuan2
...Skywork-13B的基础模型,其经由3.2万亿个多语言高质量数据训练,在CEVAL, CMMLU, MMLU, GSM8K等评测与基准测试上都展现了同等规模模型的最佳效果。 Skywork-13B-Math模型经过专门的数学能力强化训练,在GSM8K等数据集上取得了同等规模模...……更多
圆桌|生成式AI时代,大模型数据安全如何保障?
...主任黄民烈如是说道。他认为,生成式人工智能可以通过训练去组合,去生成新的内容,这些内容可能在过去的语料里根本没出现过,但它依然是有害的。所以,即便把训练数据处理得很干净,在生成式人工智能时代依然会面临...……更多
清华提出时间序列大模型:面向通用时序分析的生成式Transformer
...研究团队基于Transformer在大规模时间序列上进行生成式预训练,获得了任务通用的时序分析模型,展现出大模型特有的泛化性与可扩展性时间序列提供了数据随时间变化的视角,对于理解复杂系统、预测未来变化和制定决策规划...……更多
清华大学金融科技研究院副院长魏晨阳:大模型以超级助理的形式,会给千行百业带来降本增效的巨大机遇
...会限制大模型的应用效果和准确性。隐私方面,大模型的训练和应用过程中可能涉及用户的隐私信息及企业的敏感数据,需要采取措施保护用户隐私和企业数据安全。算力则是大模型训练的另一个刚需。对于应对措施及建议,魏...……更多
硅谷手记|AI抄袭背后的硅谷“不光彩文化”
...研究团队发布名为Llama3-V的大模型,声称只要500美元的预训练成本,就能用它获得比肩GPT-4V等著名大模型的效果。这一消息在社交媒体和人工智能学术界被广泛转发。 但业内人士很快发现,该大模型涉嫌抄袭清华大学等机构发...……更多
港中文团队提出大模型元推理范式,革新大模型的评价体系
...种全新评测范式对于当前数据污染的鲁棒性。此前,由于训练数据的不透明,人们无法得知大模型在一些榜单上的成绩提升,是否是数据污染和题目泄露所带来的。而本次提出的全新评测范式,对于“背题”式的成绩提高有着极...……更多
清华教授唐杰:Scaling Laws虽被质疑,但至今仍是提高大模型性能的重要方法
...2/GPT-3、T5等基于大规模无标注数据自监督学习的大规模预训练算法。这些算法模型均在大数据支持下拥有较大规模模型参数,具备较强的通用能力,可完成多场景任务,显著降低学习成本、提高学习效率。2020至2022年,迎来了模...……更多
扩散模型也能搞定社交信息推荐,港大数据智能实验室提出RecDiff
...效果。通过广泛的实验评估,RecDiff在提高推荐准确性、训练效率以及去噪效果方面均表现出色。研究方法基于图协同过滤的编码器受到简化图神经网络(GNN)成功应用的启发,图那对在社交去噪框架中采用了轻量级图卷积网络...……更多
苹果开源7B模型,训练过程数据集一口气全给了,网友:很不像苹果
...7B模型,不仅效果与Llama 3 8B相当,而且一次性开源了全部训练过程和资源。要知道,不久前Nature杂志编辑Elizabeth Gibney还撰文批评:许多声称开源的AI模型,实际上在数据和训练方法上并不透明,无法满足真正的科学研究需求。 ...……更多
2022生成模型进展有多快,新论文盘点9类生成模型代表作
...上做出大突破。与DALL・E一样,两点依旧是CLIP模型,除了训练数据庞大,CLIP基于Transformer对图像块建模,并采用对比学习训练,最终帮助DALL・E2取得了不错的生成效果。下图是DALL・E2根据“一只戴着贝雷帽、穿黑色高领毛衣的柴...……更多
容联云入选IDC生成式AI图谱,多个案例被评典型应用
...的尝试基于pre-training大模型的自动语料扩展、小样本数据训练、分布式机器学习、强化学习,利用模型能力的数据聚类、智能纠错、主题抽取、知识图谱、文档生成等很多智能化任务的研究。在智能化应用的模型训练方面采用了...……更多
Llama3.1根本卖不动!业内人士:开源模型成本反而更高
...的开源和软件开源有本质区别——开源模型因其并未开放训练源代码、预训练和精调数据等影响模型效果的关键信息,所以无法像开源软件一样,靠社区开发者一起参与来提升效果和性能,而基座模型的训练只能掌握在厂商自己...……更多
LLM训练通信量减少10000倍!全新分布式优化器,整合世间算力训练强大AI
...使用与架构和网络无关的分布式优化器,研究人员成功将训练LLM时GPU间的通信量降低了1000到10000倍!如果可以使用世界上所有的算力来训练AI模型,会怎么样?近日,凭借发布了开源的Hermes 3(基于Llama 3.1)而引起广泛关注的Nous ...……更多
浪潮KaiwuDB论文被数据库国际顶会ICDE2024录用
...生成过程。虽然这些方法取得了一些成功,但它们却面临训练效率低下、计划搜索空间有限等方面的挑战。本篇论文提出了一种基于深度强化学习的查询优化新框架——FOSS。FOSS的行为类似一个诊疗查询计划的医生,它从传统优...……更多
5年投资超1000亿,北京公布一系列AI重磅成果,北大清华百度蚂蚁微软大佬齐谈AI未来|钛媒体AGI
...持3000万元。在数据方面,鼓励各类主体开放共享高质量训练数据,根据数据开放数量和质量等予以最高300万元奖励;对于完成大模型训练数据产品交易的主体,予以最高200万元支持,推动政府、企业多方联动,促进数据合规使...……更多
...性,并利用测试数据以及这些化合物的化学结构等信息来训练深度学习模型。研究团队采用了一种被称为蒙特卡洛树搜索的算法,不仅使模型可以预测每个分子的抗菌活性,还能预测分子的哪些化学亚结构可能导致这种活性。为...……更多
腾讯自研大模型助力长三角打造世界级产业集群
...构的大模型。为服务大模型产业发展,腾讯云推出大模型训练“黄金三件套”。新一代HCC高性能计算集群,支持超过10万张卡并行计算,在同等数据集下,可以将万亿参数大模型的训练时间缩短至4天。腾讯自研星脉高性能计算网...……更多
百川智能发布baichuan3稳定语言模型
...模型,处于行业领先水平。与百亿、几百亿级别参数模型训练不同,超千亿参数模型在训练过程中对高质量数据,训练稳定性、训练效率的要求都高出几个量级。为更好解决相关问题,百川智能在训练过程中针对性地提出了“动...……更多
重磅!TeleAI 完成首个全国产化万卡万参大模型训练
...研究院(TeleAI)成功完成国内首个基于全国产化万卡集群训练的万亿参数大模型(万卡万参),并正式对外开源首个基于全国产化万卡集群和国产深度学习框架训练的千亿参数大模型——星辰语义大模型 TeleChat2-115B。这是由中国...……更多
对比学习滥用隐私数据!中科院等发布「多步误差最小化」方法 | ACM MM2024
...因为黑客可能会未经授权地利用图像-文本数据进行模型训练,其中可能包括个人和隐私敏感信息。最近的工作提出通过向训练图像添加难以察觉的扰动来生成不可学习样本(Unlearnable Examples),可以建立带有保护的捷径.然而,...……更多
微软、英伟达纷纷押注小模型,大模型不香了?
...歌在内的科技巨头们今年已经发布了9款小模型。大模型训练成本攀升SLM的崛起并非偶然,而是与大模型(LLM)在性能提升与资源消耗方面的挑战密切相关。AI 初创公司 Vellum 和Hugging Face今年4月份发布的性能比较表明,LLM之间的...……更多
谷歌在AI赛道加速
...消息,Google 的 AI 研究实验室Google DeepMind 发布了一项关于训练 AI 模型的新研究,Google 声称,该研究将大大提高训练速度和能效,比其他方法的性能高出 13 倍,能效高出 10 倍。随着有关 AI 数据中心对环境影响的讨论日益升温,...……更多
...各种语言,这些模型通常需要大量可在线获取的数据加以训练,但并非所有语言数据都公开、低成本或是普遍可及,此类语言被称为“低资源语言”。而增加模型在翻译语言数量上的语言输出可能会影响模型的翻译质量。为此,...……更多
中国最大开源MoE模型,255B参数无条件免费商用,元象发布
...5B,激活参数36B,达到100B模型性能的「跨级」跃升。同时训练时间减少30%,推理性能提升100%,使每token成本大幅下降。在多个权威评测中,元象MoE效果大幅超越多个同类模型。包括国内千亿MoE模型 Skywork-MoE、传统MoE霸主Mixtral-8x22...……更多
让大模型能听会说,国内机构开源首个端到端语音对话模型Mini-Omni
...进一步加强模型的语音推理能力。另一方面,本文所采用训练方案可有效迁移至任意语言大模型,通过增加少量参数及分阶段训练,在尽可能保留模型原始推理能力的同时,为模型加上 「听、说」的语音交互能力。 为了验证方...……更多
以人工智能助力涉外法治建设
...此需采用多语言文本处理技术,以确保模型能准确学习和训练。在模型训练与优化阶段,涉外法律大模型的设计需开放且灵活,以适应跨国法律体系的多样性。如采用多任务学习和迁移学习策略,引入法律知识图谱技术,使模型...……更多
更多关于社会的资讯:
穿越了!长春“这有书”里藏着延安新华书店的旧时光
吉林省新华书店集团倾力打造的万米级文化复合空间“这有书”,将于本周四盛大开业。这座吉林文化新地标,既是坐拥海量藏书的知识海洋
2025-12-10 19:38:00
农行临沂市中支行营业部成功拦截一起扶贫基金诈骗风险事件
鲁网12月10日讯近日,农行临沂市中支行营业部员工凭借高度的风险防范意识和专业服务素养,成功拦截一起扶贫基金诈骗风险事件
2025-12-10 16:22:00
【健康科普】肺磨玻璃结节:发现后别慌,精准定位是关键
鲁网12月10日讯“医生,我体检发现肺上有个磨玻璃结节,是不是得切掉一大片肺啊?”“手术以后会不会喘不上气?”在泰安市中医医院肿瘤科门诊
2025-12-10 11:28:00
岳峰小学2022级11班开展家长义教活动
鲁网12月10日讯从“cute as a kitten”(像小猫一样可爱)到“sly as a fox”(像狐狸一样狡猾)
2025-12-10 11:30:00
皖S出租车停靠烟台海边多日,网友担心安危!车主现身回应:“在这工作10天了”
大皖新闻讯 12月9日,山东烟台媒体发布视频称,“安徽‘的哥’,你在烟台还好吗?皖S出租车在海边泊车数日,引发热心市民关切
2025-12-10 11:33:00
为368家企业解“钱”题 “金融会客厅”425亿活水精准润豫企
大河网讯(记者 王怡潇 申华) 举办35场对接会,为368家企业协调融资,累计投放贷款425.6亿元......12月10日
2025-12-10 11:40:00
吉林文脉读者见面会①|在北书房·新华诗歌书店探寻老建筑“重生”的意义
“对话历史·感悟文脉”——“吉林文脉”读者见面会近日走进北书房·新华诗歌书店。活动由中共吉林省委宣传部、吉林省教育厅联合主办
2025-12-10 12:17:00
门诊楼安全出口防火门违法拆除,承德市中医院被行政处罚
据信用中国(河北承德)官网公开信息,近日,因门诊楼安全出口防火门违法拆除,承德市中医院被双桥区消防救援大队罚款1.5万元
2025-12-10 12:20:00
不开颅、无创口!烟台毓璜顶医院开启复杂颅内肿瘤微创治疗“新时代”
鲁网12月10日讯(记者 魏萱 通讯员 李成修)神经内镜精准“探路”,鼻腔变身微创“通道”,无需开颅,就能轻松“拿下”复杂颅内肿瘤手术
2025-12-10 13:55:00
盲母17年养育弃婴,引来众人爱心接力
大皖新闻讯 阜阳市颍东72岁的盲人任子英,17年前收养一名女婴,现在女孩已上高中,盲母与养女的故事感动无数人。12月8日
2025-12-10 13:17:00
万名医护进乡村:烟台毓璜顶医院专家基层破局 完成招远首例血管缝合手术
鲁网12月10日讯(记者 魏萱 通讯员 李成修 侯瑞)“血管修复成功,血压回升!”近日,在招远市人民医院手术室内,正在该院驻点帮扶的烟台毓璜顶医院血管外科主治医师王涛与招远市人民医院手术团队携手
2025-12-10 13:54:00
诗坛名家游西湖
昨天,《劳作与花开》卢文丽诗集分享会在杭州举行,众多浙江文学界名家齐聚,93岁著名评论家、金玉兰诗歌大奖得主谢冕也携夫人亲临现场点评
2025-12-10 12:19:00
市民赵先生向橙柿直通车反映:赵家花苑小区内所有的电动自行车充电桩损坏,无法充电,望相关单位帮助监督尽快修复。上城区赵家苑社区回复:小区正在改造,后期会在室外新车棚安装新的充电桩,
2025-12-10 09:46:00
相关部门提醒:严禁野外用火,违者承担法律责任!昨天凌晨,太子尖火了!不过,这次不是因为雾凇,也不是云海,更不是因为人多
2025-12-10 10:17:00
□陈宝云 李春辉“哈哈哈!”河北省木兰围场国有林场山湾子分场场部综合办公楼里,一听到这爽朗的笑声,职工们便知道“段大哥”来了
2025-12-10 10:21:00