• 我的订阅
  • 科技

斯坦福发布ai基础模型“透明度指标”

类别:科技 发布时间:2023-10-21 16:47:00 来源:浅语科技

10月20日消息,斯坦福大学日前发布了AI基础模型“透明度指标”,其中显示指标最高的是Meta的Lama2,但相关“透明度”也只有54%,因此研究人员认为,市面上几乎所有AI模型,都“缺乏透明度”。

据悉,这一研究是由HAI基础模型研究中心(CRFM)的负责人RishiBommasani所主导,调查了海外最流行的10款基础模型:

Meta的Llama2、BigScience的BloomZ、OpenAI的GPT-4、StabilityAI的StableDiffusion、AnthropicPBC的Claude、谷歌的PaLM2、Cohere的Command、AI21Labs的Jurassic-2、InflectionAI的Inflection、亚马逊的Titan。

RishiBommasani认为,“缺乏透明度”一直是AI行业所面临的问题,在具体模型“透明度指标”方面,IT之家发现,相关评估内容主要围绕“模型训练数据集版权”、“训练模型所用的运算资源”、“模型生成内容的可信度”、“模型自身能力”、“模型被诱导生成有害内容的风险”、“使用模型的用户隐私性”等展开,共计100项。

最终调查情况显示,Meta的Lama2以54%的透明度居冠,而OpenAI的GPT-4透明度只有48%,谷歌的PaLM2则以40%排名第五。

斯坦福发布ai基础模型“透明度指标”

▲图源斯坦福大学

在具体指标中,十大模型得分表现均“最好”的是“模型基本信息”(ModelBasics),这一评估内容主要包含“模型训练上是否准确介绍了模型的模式、规模、架构”,平均透明度为63%。表现最差的则是影响(Impact),主要评估基础模型是否会“调取用户信息进行评估”,平均透明度只有11%。

CRFM主任PercyLiang表示,商业基础模型的“透明度”对于推动AI立法,及相关产业、学术界而言,非常重要。

RishiBommasani则表示,较低的模型透明度让企业更难知道它们能否安全地依赖相关模型,也难以令研究人员依靠这些模型来做研究。

RishiBommasani最终认为,上述十大基础模型在透明度方面都“不及格”,虽然Meta的Llama2得分最高,但并不能满足外界需求,“模型透明度最少要达到82%,才能被外界认可”。

以上内容为资讯信息快照,由td.fyun.cc爬虫进行采集并收录,本站未对信息做任何修改,信息内容不代表本站立场。

快照生成时间:2023-10-21 21:45:05

本站信息快照查询为非营利公共服务,如有侵权请联系我们进行删除。

信息原文地址:

欧盟通过AI监管草案后,斯坦福研究显示:全球主流AI模型均不达标 | 最前线
...了广泛争议。如今,监管脚步正在快速迫近。6月中旬,斯坦福大学AI研究实验室发布了一项对AI大模型的研究的结果。研究以十个AI大模型为研究对象,评估他们是否达到欧盟AI法案的标
2023-06-27 16:37:00
欧盟《人工智能法案》如何影响开源模型监管?
...额总额7%的巨额罚款以较高者为准。不过,去年6月中旬,斯坦福大学AI研究实验室发布的一项研究显示,包括OpenAI的GPT-4
2024-03-16 13:06:00
要IPO了?OpenAI任命CFO
...尔玛和区块链软件公司Consensys的董事会成员,同时她也是斯坦福数字经济实验室的联席主席。此前OpenAI并未设立CFO职位
2024-06-12 14:22:00
ASML两款光刻机出口许可被撤销;比亚迪Q4纯电车销量超特斯拉
...新预测:关于AI,这些事未来十年不会变吴恩达、LeCun、斯坦福副教授、微软CTO等AI领域大咖,纷纷在新年开始时就今年AI的发展预测看法。吴恩达对AI未来十年的前瞻,强调社
2024-01-03 15:09:00
德国OpenAI加入开源大战!发布欧洲纯血版模型,曾获博世和惠普投资
...的回答。该公司在官网上发布了模型在AlpacaEval(由来自斯坦福的团队开发的大语言模型评测系统)上的评测结果: 标准版Pharia在德语
2024-08-28 09:43:00
李飞飞最新对话:我愿意被称作“AI教母”,AI不会造成“人类灭绝”
在美国当地时间周四,华裔人工智能科学家、斯坦福大学教授李飞飞现身于在旧金山举行的彭博科技峰会,与资深科技记者艾米丽·张深入探讨了人工智能的安全与伦理等热点问题。核心内容1、关于“
2024-05-11 14:10:00
本文转自:人民邮电报近日,斯坦福大学研究团队提出了一种名为DetectGPT的新方法,旨在成为首批打击高等教育中LLM生成文本的工具之一。相关研究论文已发表在预印本网站arXiv
2023-01-31 09:46:00
斯坦福AI虚拟小镇开源;英伟达再推超级芯片;OpenAI发布爬虫机器人 | 本周硅谷发生了什么?
...活跃。最火爆的话题,莫过于《西部世界》照进现实——斯坦福Smallville的「虚拟小镇」正式开源,25个人工智能体在小镇中自由生存、从事“类人”活动,引起网友的广泛讨论。另
2023-08-14 15:59:00
斯坦福AI团队抄袭国产大模型?连识别“清华简”都抄了!清华系团队发文回应
...”的回旋镖,这次扎到了美国科研团队身上。最近几天,斯坦福大学AI团队陷入抄袭风波,被质疑“套壳”清华系大模型开源成果,引起舆论哗然。起因是这个团队在5月29日发布了一个多模态
2024-06-04 14:35:00
更多关于科技的资讯: