• 我的订阅
  • 科技

海外new things |「Flower lands」pre-seed轮融资360万美元,利用联邦学习方法训练大语言模型

类别:科技 发布时间:2023-08-09 19:05:00 来源:36氪

据外媒Techruch报道,初创人工智能公司「Flower lands」近期宣布完成360万美元的pre-seed轮融资,由深度科技风险投资公司First Spark Ventures、Factorial Capital、Betaworks和Pioneer Fund等投资。该轮融资将用于扩大Flower的研发核心团队、加速开源软件的开发,为Flower的框架和生态系统提供动力。公司旨在解决AI模型训练工程中对公共数据(主要是网络数据)的依赖,并在近期推出训练大语言模型(LLM)的联邦学习方法——FedGPT。

Flower lands的创始人——剑桥大学(University of Cambridge)的科技企业家兼科研工作者丹尼尔·贝特尔(Daniel Beutel)提出观点:人工智能模型训练过程对公共数据(主要是网络数据)的依赖阻碍了人工智能领域的发展。他在电子邮件采访中告诉TechCrunch说:“公共的、集中的数据只是世界上所有数据的一小部分。相比之下,分布式数据存储在手机、可穿戴设备和物联网设备上的分布式数据和存储在企业内部业务部门等组织孤岛上的数据要大得多,也要全面得多,但今天的人工智能还无法触及。”

由此,Beutel于2020年与剑桥同事Taner Topal、三星剑桥人工智能中心前负责人Nicholas Lane共同创建了Flower,旨在通过一个平台进行“去中心化”的人工智能训练过程。该平台允许开发人员根据分布在不同地点、不同设备中的数据训练模型;同时,依靠联邦学习(Federated Learning)技术,Flower不提供对数据的直接访问,能够满足用户隐私保护、数据安全、数据保密和政府法规的要求。

联邦学习技术在2016年首次被学术界提出,其旨在解决联合存在于多个终端(例如移动手机)中的数据进行中心化模型训练的问题,即利用分布式数据训练AI模型。如今,DynamoFL、DataFleets和Sherpa等初创公司和谷歌等大型科技公司正在采用某种形式的联邦学习训练人工智能模型。

Flower认为,基于分布式数据的基本优势,一旦分布式数据变得可访问和易访问,这种人工智能方法不仅将成为主流,而且将成为人工智能训练的规范。Beutel说:“有了Flower,在模型训练期间,数据不需要离开源设备或位置(例如,公司设施)。相反,训练过程将在数据所在的每个位置进行部分训练,最终只有每部分的训练结果(而非数据)被传输与合并。”

Flower最近还推出了训练大语言模型(LLM)的联邦学习方法——FedGPT,可与OpenAI的ChatGPT和GPT-4相媲美。FedGPT目前还处于预览阶段,允许公司针对分布在世界各地不同设备(包括数据中心和工作站)上的数据对大语言模型进行训练。

对于FedGPT,Beutel说:“FedGPT很重要,因为它允许组织使用内部敏感数据构建大语言模型,而无需与大语言模型提供商共享数据。公司的数据也经常分布在世界各地或组织的不同部分,且无法进行转移,但是FedGPT允许在训练大语言模型时利用这些数据,同时仍然保证用户隐私保护、数据安全,并遵守相应法律法规。”

Flower还与开源网络浏览器Brave合作,推出了一个名为Dandelion的项目。Beutel说,该项目旨在建立一个开源的联邦学习系统,覆盖目前5000多万Brave浏览器客户端。

对此,Beutel说:“人工智能正在进入一个监管越来越严格、十分关注数据来源的时代。客户可以在保证数据安全的情况下使用Flower构建人工智能系统,如此能够利用比以往更多的数据. . . .在Flower上,利用联邦学习原则,人工智能系统可以在不同的约束条件下成功部署和训练。”

据Beutel称,Flower在过去几个月的发展令人印象深刻,其开发者社区增长到2300多人。他声称,许多财富500强企业和学术机构都是Flower的用户,包括保时捷、博世、三星、银行圈、诺基亚、斯坦福、牛津、麻省理工学院和哈佛大学等。

针对开头提到的人工智能对公共数据的依赖,Beutel说:“人工智能正面临的危机会周而复始,对于联邦学习来说,这种危机甚至更为严重。由于缺乏对分布式数据的广泛训练,我们缺乏能够普适、主流的开源软件训练方法来面对危机。通过公司每个人的共同努力,我们的目标是在Flower上为公众提供世界上最大的开源联邦技术集。”

以上内容为资讯信息快照,由td.fyun.cc爬虫进行采集并收录,本站未对信息做任何修改,信息内容不代表本站立场。

快照生成时间:2023-08-09 21:45:42

本站信息快照查询为非营利公共服务,如有侵权请联系我们进行删除。

信息原文地址:

如何让“机器不学习”?学会“遗忘”将使新一代AI更出色
...东西时,就无法取消学习。澳大利亚最大的国家科研机构联邦科学与工业研究组织的AI研究员兼工程师张大卫说,大语言模型根据汇总数据生成回复,因此它们无法像谷歌等搜索引擎那样轻松地遗
2024-06-14 11:54:00
首个多模态连续学习综述,港中文、清华、UIC联合发布
...实施更多相关法规,对可信赖模型的需求正在上升。诸如联邦学习(FL)等技术可以被用于使服务器模型在不共享原始数据的情况下学习所有客户端的数据知识。随着众多联邦连续学习(FCL)
2024-11-14 09:46:00
国网浙江电力:世界首个电力联邦学习国际标准获批立项
...国网浙江电力获悉,由该公司牵头研发的国际标准《基于联邦学习的电力视觉检测系统要求和框架》(Requirements and framework of visual inspe
2024-05-17 18:28:00
Sam Altman或筹数十亿美元自造AI芯片,DeepMind首席科学家或将辞职创业
...uyls离开公司创业,新公司将专注于构建新的AI模型,首轮融资可能将超过2亿欧元。1.19位OpenAI「黑手党」出走创业
2024-01-29 09:20:00
本周硅谷发生了什么?|苹果Vision Pro正式开售;Neuralink完成人类脑机接口植入;字节Coze国内版上线;
...学习)、RLAIF(基于AI反馈的强化学习)以及迭代式强化学习方法,强化了对中文的理解。据官方数据,Baichuan 3在多个通用能力评测如 CMMLU
2024-02-05 11:37:00
...(aiXcoder,以下简称“硅心科技”)已完成数千万元A+轮融资,由彬复资本领投,清流资本、三七互娱跟投。本轮融资将主要用于技术研发
2023-09-01 14:57:00
奇绩创坛2023春季路演日:60个项目,超一半与大模型相关,企服项目占比第二
...的逆向三维数字化模型。团队介绍:团队成员来自苏黎世联邦理工学院和斯坦福大学。创始人/CEO朱楠曾任职于欧洲隧道巨头及全球轨道扫描龙头安伯格集团,有多年三维BIM建模研发经验;
2023-06-06 09:39:00
冰毒配方脱口而出,过去时态让GPT-4o防线崩塌!成功率从1%暴涨至88%
...作者介绍Maksym AndriushchenkoMaksym Andriushchenko获得了瑞士洛桑联邦理工学院(EPFL)的机器学习博士学位
2024-07-22 09:44:00
较传统采标方法降本80%,合成数据服务商「卓印智能」获天使轮融资 | 36氪首发
...编辑 | 苏建勋36氪获悉,「卓印智能」获得千万级天使轮融资,由天使湾创投独家投资。如今,随着通用大模型规模的迅速扩大,数据短缺已经成为一个更现实而迫切的问题。早在2022年
2024-05-31 13:59:00
更多关于科技的资讯: