- 我的订阅
- 科技
我们正处于一个信息大暴发的时代，每天都能产生数以百万计的新闻资讯！
虽然有大数据推荐，但面对海量数据，通过我们的调研发现，在一个小时的时间里，您通常无法真正有效地获取您感兴趣的资讯！
头条新闻资讯订阅，旨在帮助您收集感兴趣的资讯内容，并且在第一时间通知到您。可以有效节约您获取资讯的时间，避免错过一些关键信息。
开源数据总量逾2TB，多模态语料“书生·万卷”发布
类别：科技 发布时间：2023-08-14 22:46:00 来源：人民资讯
本文转自：人民日报客户端
沈文敏
继今年7月在2023世界人工智能大会发起成立“中国大模型语料数据联盟”，上海人工智能实验室于8月14日宣布，联合语料数据联盟成员单位，共同开源发布“书生·万卷”1.0多模态预训练语料。
“书生·万卷”1.0目前包含文本数据集、图文数据集、视频数据集三部分，本次开源的数据总量超过2TB。该语料数据包含超过5亿个文本，2200万个图文交错文档，1000个节目影像视频，具备多元融合、精细处理、价值对齐、易用高效等特征。其中，文本数据为来自网页、百科、书籍、专利、教材、考题等不同来源的清洗后预训练语料，数据大小超过1TB，覆盖科技、文学、媒体、教育、法律等领域。图文数据主要来自公开网页，经处理后形成图文交错文档，数据大小超过140GB（不含图片），覆盖新闻事件、人物、自然景观、社会生活等领域。视频数据主要来自中央广播电视总台和上海文广集团，包含新闻、影视等多种类型的节目影像，数据大小超过900GB，内容覆盖军事、文艺、体育、自然、真实世界、知识、影像艺术、媒体、美食、历史、科教等方面。
以上内容为资讯信息快照，由td.fyun.cc爬虫进行采集并收录，本站未对信息做任何修改，信息内容不代表本站立场。
快照生成时间：2023-08-15 06:45:16
本站信息快照查询为非营利公共服务，如有侵权请联系我们进行删除。
信息原文地址：
更多关于语料,模态,书生,总量,数据,数据的资讯：
...国内大模型快速发展对高质量数据的迫切需求，推动中文语料数据资源加快共建共享。今年7月，2023世界人工智能大会发起成立了中国大模型语料数据联盟。8月，上海人工智能实验室宣布，
2023-12-22 03:26:00
...提供强大的表示。超大语言模型通过在超大规模丰富文本语料库上进行预训练提供强大可靠的文本特征。Uni-Perceiver通才任务解码建模通过将不同模态的数据编码到统一的表示空间
2023-03-15 13:30:00
...5，共10级，改为连续编号，不再设细分小档。中国大模型语料数据联盟开源发布高质量多模态语料“书生·万卷”上海人工智能实验室（上海AI实验室）8月14日宣布，联合语料数据联盟成
2023-08-18 09:00:00
...地”的弱智吧，最近竟摇身一变成了——最佳中文AI训练语料库？由此受到启发，是否并不是训练AI的优质数据不够用，而是还有更多宝藏数据资源值得深挖？近日，由中科院深圳先进技术研究
2024-04-15 17:00:00
...海7月6日电 （记者唐小丽）高质量、大规模、安全可信的语料数据资源是AI时代的重要基石。7月6日上午，2024世界人工智能大会语料主题论坛在上海世博中心举办。本次论坛以“语料
2024-07-06 17:50:00
...的AI生态圈探营现场。人民网记者 董志雯摄在AI应用中，语料质量直接决定了模型的性能。库帕思正专注于大模型和垂类模型的发展，聚焦高质量人工智能语料供给。库帕思成立于2024年
2025-02-20 15:49:00
...数据技术和AI大模型技术将进一步深度融合，通过自动化语料开发工具将文档、图片、音视频等海量多模态语料转换为高质量的专业领域知识，通过多模型统一技术架构实现统一存储管理，帮助企
2025-01-02 19:49:00
...关问题的专业能力，研发团队完成了地理学全谱系高质量语料库构建、地理科学语言大模型构建、地理科学研究智导平台研发等工作，让“坤元”具备“懂地理”“精配图”“知人心”“智生图”等
2024-09-19 15:08:00
...右我们对世界的认识方式。
文化出海应包括数据出海，语料库是未来文化软实力如果仔细分析Sora生成内容的美学要素，就能够轻易发现，它的审美范式依旧是这一“犹他大学—好莱坞—皮
2024-04-10 10:41:00
更多关于科技的资讯：
鲁网2月15日讯在人工智能加速重构产业组织形态的背景下，“一人即公司”（OPC）正成为全球创新创业的新范式。2026年2月12日
2026-02-15 20:48:00
2月9日至12日，全球领先的医疗护理产品供应商英科医疗携三大事业部创新成果亮相阿拉伯国际医疗器械展览会（World Health Expo Dubai）
2026-02-15 13:50:00
市民围观、拍照打卡，数字人引爆春节花市春节前夕，龙岗迎春花市迎来一场特别的巡礼：数字IP首次在花市与市民面对面互动。现场
2026-02-15 13:52:00
近日，中亦科技收到了一封来自大众汽车的感谢信。信中对中亦科技服务团队在应对大规模生产系统突发故障时的卓越表现，以及长期以来展现出的专业素养和“以客户为中心”的担当精神给予了高度评价
2026-02-15 10:23:00
中国青年报客户端讯（中青报·中青网记者 马富春）2月13日，《视野》杂志“人类文明备忘录”AI协作创作大赛正式启动。活动以直播+实时互动形式展开
2026-02-14 20:52:00
见习记者 朱荣琛2月12日，农历腊月廿五。春节临近，廊坊经开区道路两旁挂上了大红灯笼，沿街企业的大门已贴上了大对联。热热闹闹的年味儿在这个城市的大街小巷悄然弥漫
2026-02-14 22:12:00
针对春节期间服务需求，中国银行隆尧支行近日聚焦自助服务渠道，启动了专项保障工作。针对县域网点分布广、运维半径长的特点，隆尧支行依托历史运行数据
2026-02-14 22:17:00
领航新质生产力——2025浙江省科学企业家这个专题，是省科协和潮新闻联合举办的，已陆续推出了近二十位具有科技创新精神的浙商企业家
2026-02-14 22:34:00
近日，深圳地铁迎来了新春限定数字人，结合AI原创音乐与互动体验，走到了春运最前沿。这是深圳地铁数字IP首次以完整的互动形态沉浸式接入城市公共空间
2026-02-14 20:26:00
2月14日消息，2026年“新春招聘月”系列活动将于2月24日(正月初八)在五一广场太原人才大市场(迎泽区零工示范站)正式启幕
2026-02-14 17:37:00
大皖新闻讯 此前关于合肥要造火箭的消息引发外界广泛关注，背后则是合肥星火空间科技有限公司（以下简称“星火空间”）落户合肥新站高新区
2026-02-14 18:45:00
国医大师李佃贵为2026雄安国际医疗大健康技术应用大赛发声推介。他表示，当下是中西医并重、传统智慧与现代科技深度融合的时代，中医核心思想与大健康领域发展目标高度契合，期待中医药领
2026-02-14 19:13:00