• 我的订阅
  • 科技

OpenAI任命美国大学教授为新董事,曾以简单代码挑战ChatGPT安全性

类别:科技 发布时间:2024-08-10 13:50:00 来源:澎湃新闻
OpenAI任命美国大学教授为新董事,曾以简单代码挑战ChatGPT安全性

OpenAI新增AI专家进入董事会,以加强安全治理。

当地时间8月8日,AI(人工智能)巨头OpenAI宣布,任命卡内基梅隆大学教授济科·科尔特(ZicoKolter)为董事会成员。

科尔特还将加入董事会的安全委员会。该委员会于今年5月成立,负责就OpenAI项目和运营的安全性进行评估,并向董事会提出建议。该委员会其他成员还包括:布雷特・泰勒(Bret Taylor)、亚当・德安杰洛(Adam D'Angelo)、保罗・中曾根(Paul Nakasone)、妮可・塞利格曼(Nicole Seligman)、山姆・奥特曼(Sam Altman,OpenAI CEO)。

科尔特是AI、机器学习领域的杰出学者,研究领域主要为AI安全、对齐等。目前担任卡内基梅隆大学教授、机器学习系主任,他在该校任职已达12年,研究工作主要涵盖深度学习、优化方法,以及机器学习系统的鲁棒性(robustness)和安全性。2010年,他在斯坦福大学获得计算机科学博士学位,随后在麻省理工学院从事博士后研究。

科尔特一直与AI业界合作密切,曾担任C3.ai的首席数据科学家。C3.ai是唯一为企业构建的一站式AI软件集合平台。目前,他还担任博世的首席专家和初创AI安全公司Gray Swan的首席技术顾问。

值得一提的是,在加入OpenAI之前,科尔特及其团队曾通过简单的代码挑战ChatGPT等大语言模型的安全性。2023年,他的团队开发了自动评估大型语言模型安全性的创新方法,展示了通过自动优化技术绕过现有模型保护措施的潜力。

科尔特表示,很高兴宣布加入OpenAI董事会,期待分享自己在人工智能安全性和稳健性方面的观点和专业知识,以帮助指导 OpenAI所做的出色工作。

在欢迎科尔特加入董事会时,OpenAI董事会主席布雷特称:科尔特在人工智能安全性和稳健性方面增加了深厚的技术理解和视角,这将帮助我们确保通用人工智能造福全人类。

OpenAI近期人事变动不断,多位联合创始人及安全、产品团队的核心人物选择离职。

今年5月,OpenAI联合创始人、首席科学家伊尔亚·苏茨克韦(Ilya Sutskever)、超级对齐团队负责人杨·莱克(Jan Leike)在内的多位核心成员相继离开,作为核心安全团队的超级对齐也随之解散。

8月6日,被传接手了超级对齐剩余人员的OpenAI联合创始人约翰·舒尔曼(John Schulman)表示,将离开OpenAI加入另一家AI初创公司Anthropic(OpenAI的竞争对手)。舒尔曼9年前在OpenAI成立之初加入,负责领导ChatGPT和API(应用接口)的后期训练工作。

同时,据外媒报道,知情人士称,OpenAI副总裁、ChatGPT负责人Peter Deng也已离职。他曾多次在公开场合表示OpenAI的模型其实比发布的更强大,出于安全要谨慎推出。而OpenAI的另一位联合创始人、总裁格雷戈里·布罗克曼(Greg Brockman)也表示,自己会长期休假至今年年底。他表示这是自9年前共同创建OpenAl以来的“第一次放松”,“我们的使命还远未完成,我们还需要建立一个安全的 AGl(通用人工智能)”。

以上内容为资讯信息快照,由td.fyun.cc爬虫进行采集并收录,本站未对信息做任何修改,信息内容不代表本站立场。

快照生成时间:2024-08-10 14:45:01

本站信息快照查询为非营利公共服务,如有侵权请联系我们进行删除。

信息原文地址:

代码“神器”Cursor爆火,程序员和开发者如何适应AI时代?
...仅是小部分,因为AI工具的训练数据质量不一,可靠性和安全性难以保证,目前谈AI导致大量失业还为时尚早。”“如果AI可以替代人,实际上是优化掉不会使用AI的人。”他说。在此背景
2024-09-14 09:56:00
谷歌将c++代码迁移至rust的经验分享
...on英国峰会上分享了这一消息。过去几年,业界对于Rust的安全性和可靠性一直存在疑虑。Bergstrom指出,由于担心“unsafe”关键字的存在
2024-04-02 01:44:00
渝农商行:宋清华辞去独立董事等职务
...2016年获国务院政府特殊津贴荣誉称号。工作经历:曾为美国辛辛那提大学高级研究学者、美国罗得岛大学访问学者、加拿大圣玛丽大学访问学者,曾任中南财经政法大学金融学院院长,曾兼任
2023-09-15 14:03:00
马斯克致敬“国产萝卜”?
...人驾驶应用的自动驾驶大模型Apollo ADFM,可以兼顾技术的安全性和泛化性,做到安全性高于人类驾驶员10倍以上
2024-10-12 14:05:00
美国盗抢事件飙升,大量超市给商品上锁 教授无奈:感觉顾客像囚犯
...她表示,杂货店不应该让人感觉像监狱,不应该通过提高安全性来“剥夺我们的尊严”,并认为商店正在“冒着将我们塑造成更焦虑、更可疑的人的风险”。托雷斯认为,如果美国不解决通货膨胀、
2023-08-10 16:07:00
2023年《自然》十大人物:ChatGPT和OpenAI首席科学家苏茨克维上榜
...行爆炸测试的前提下帮助政府科学家确保美国热核武器的安全性和可靠性。但这并不是最初吸引克里奇加入的原因。她2004年的暑期实习期间就在利弗莫尔参与过聚变能源相关工作。开始研究生
2023-12-14 10:51:00
拼多多二季度营收523亿,消费恢复态势向好,坚持高质量发展
...学系主任。 毒理学是一门研究食品和药品作用以保证其安全性的学科。Rietjens教授在该领域拥有超过25年的科研经验,是广受尊重的食品科技行业专家。同时,她还是荷兰皇家科学
2023-08-30 14:39:00
人工智能助推能源产业高“智”发展
...能源行业事关国家安全和民生保障,对AI系统的可靠性和安全性要求极高,如何在数据共享和隐私保护之间找到平衡是一大难题。目前,能源行业AI应用还缺乏统一标准和规范,技术推广和应用
2025-02-24 08:32:00
Sora为何没能诞生在中国?
...但质量明显提升。在刘子纬看来,整个社会需要提升对AI安全性的认识,学界或业界目前可以做的是,在设计时就提高对AI安全性的考量,比如为AI生成的视频添加数字水印或用于安全认证的
2024-03-19 05:31:00
更多关于科技的资讯: