我们正处于一个信息大暴发的时代,每天都能产生数以百万计的新闻资讯!
虽然有大数据推荐,但面对海量数据,通过我们的调研发现,在一个小时的时间里,您通常无法真正有效地获取您感兴趣的资讯!
头条新闻资讯订阅,旨在帮助您收集感兴趣的资讯内容,并且在第一时间通知到您。可以有效节约您获取资讯的时间,避免错过一些关键信息。
3月16日消息,苹果公司旗下研究团队近日在ArXiv中公布了一篇名为《MM1:Methods,Analysis&InsightsfromMultimodalLLMPre-training》的论文,其中介绍了一款“MM1”多模态大模型,该模型提供30亿、70亿、300亿三种参数规模,拥有图像识别和自然语言推理能力。
IT之家注意到,苹果研究团队相关论文主要是利用MM1模型做实验,通过控制各种变量,找出影响模型效果的关键因素。
研究表明,图像分辨率和图像标记数量对模型性能影响较大,视觉语言连接器对模型的影响较小,不同类型的预训练数据对模型的性能有不同的影响。
据介绍,研究团队首先在模型架构决策和预训练数据上进行小规模消融实验。之后利用混合专家(MixtureofExperts)架构及一种名为Top-2Gating的方法构建了MM1模型,号称不仅在预训练指标中实现了最好的性能表现,在一系列已有多模态基准上监督微调后也能保持有竞争力的性能。
研究人员对“MM1”模型进行了测试,号称MM1-3B-Chat和MM1-7B-Chat优于市面上绝大多数相同规模的模型。MM1-3B-Chat和MM1-7B-Chat在VQAv2、TextVQA、ScienceQA、MMBench、MMMU和MathVista中表现尤为突出,但是整体表现不如谷歌的Gemini和OpenAI的GPT-4V。
以上内容为资讯信息快照,由td.fyun.cc爬虫进行采集并收录,本站未对信息做任何修改,信息内容不代表本站立场。
快照生成时间:2024-03-16 20:45:09
本站信息快照查询为非营利公共服务,如有侵权请联系我们进行删除。
信息原文地址: