• 我的订阅
  • 科技

让大模型“外挂硬盘”,百川智能发布新API系列,企业定制成本大大降低

类别:科技 发布时间:2023-12-21 15:32:00 来源:36氪

自ChatGPT引爆全球AI浪潮以来,AI圈子已经迅速走过了造出了通用大模型的第一道关卡,如今最关键的问题在于——如何让大模型高效地在实际应用场景中落地?

百川智能的最新实践是:用大模型+增强技术,可以大大提升企业应用大模型的效率。

现在,全球大模型领域都在“开卷”长文本,这是目前大模型能否落地更多场景的关键一步。10月,百川就发布发布最新的长窗口模型Baichuan2-192k,意味着能够处理约35万个汉字,是OpenAI旗下GPT-4的14倍,“长文本专家”Anthropic旗下Claude2大模型的4.4倍。

而在12月19日,百川智能宣布正式推出基于搜索增强的Baichuan2-Turbo系列API,包含Baichuan2-Turbo-192K及Baichuan2-Turbo。

目前,百川智能已经升级了官网模型。企业用户可以在API中上传公司的PDF、Word等多种文本上传以及URL网址,即可体验搜索增强和长窗口加持后的Baichuan2大模型。

给大模型“外挂硬盘”,秒建公司知识库

百川智能认为,大模型是新时代的计算机,就如同中央处理器一样;而上下文窗口可以看做计算机的内存,存储了当下正在处理的文本。互联网实时信息与企业完整知识库,则共同构成大模型时代的硬盘。

而基于搜索增强技术推出的API系列,用百川智能CEO王小川的话来说:

“就像硬盘一样,让大模型可以挂上外部知识库。”

大模型成为AI时代的基础设施底座,已成为行业不少人的共识。不过,大模型的技术探索仍在早期,尽管模型参数变大,但还有许多问题尚待解决——“胡说八道”的幻觉问题,以及“记不住上一句问了什么”的对话窗口问题等等,都极大限制了大模型能够发挥出的效能。

但是,基于大模型+搜索增强这一路线之后,大模型的可用性可以有效提升——想要让大模型记得上一回合讲了什么,不需要通过扩大参数、使用更多算力来重读文本。“长窗口本身越大,它的性能会越低。因此如何用更好的搜索降低长窗口的负担,这个也是长窗口搜索要做好的工作。”王小川表示。

现在,哪怕基于参数没那么大的模型,模型单次获取的文本量级大大提高,并且速度也能大大提升。

Baichuan-192k API效果到底如何?百川智能展示了长文本领域的经典测试“大海捞针”的结果:

“大海捞针”测试(Needle in the Heystack)是由海外知名AI创业者兼开发者Greg Kamradt设计的,业内公认最权威的大模型长文本准确度测试方法。

简单而言,这一测试是将一段信息放在一段长文本中的任意位置,检测大模型的回答准确率如何。

△“大海捞针”压力测试图

目前,对于192k token以内的请求,百川智能可以实现100%回答精度。“我们的长窗口能够做到全绿,相当于能完全不遗漏地把192k里的信息全部召回。”王小川表示。

并且,结合搜索系统,Baichuan-2能够获取的原本文本规模提升了两个数量级,达到5000万tokens,相当于35万汉字的规模。

百川智能分别测评了纯向量检索和稀疏检索+向量检索的检索的效果。测试结果显示,稀疏检索+向量检索的方式可以实现95%的回答精度。在文本总量提升大概250倍的情况下,其召回精度可达95%。

让大模型“外挂硬盘”,百川智能发布新API系列,企业定制成本大大降低

△在中文场景下的长文本测试

本次测试,百川智能使用中文场景,实验配置如下:

大海(HayStack):博金大模型挑战赛-金融数据集中的80份长金融文档。

针(Needle):2023 年 12 月 16 日,在极客公园创新大会 2024 的现场,王小川进一步分享了大模型的新思考。在王小川看来,大模型带来的新的开发范式下,产品经理的出发点,应该从思考产品市场匹配(PMF),到思考技术与产品的匹配怎么做,即 TPF(Technology Product Fit,技术产品匹配)。

查询问题:王小川认为大模型时代下,产品经理的出发点是什么?

总而言之,这次的发布相当于让大模型的运行速度和精度都再进一步。大模型即使再加长窗口,也能做到数据更新、更快、更准、更全的召回,还能够远远比做行业模型的成本要低。

大模型做定制,不等于项目化

除了新的API系列外,本次发布中,百川也发布了另一项功能:百川搜索增强知识库。使用过程也很简单:企业从私有化部署到云端把自己的知识上传到其中,即可生成一个一个外挂的系统,跟Baichuan2系统对接——相当于每个企业可以定制自己的硬盘,做到即插即用。

API和增强知识库的推出,最直观的落地效果是,模型比原先长窗口处理速度更快,成本更低。

如今的Baichuan-2能够拓展到大量To B场景当中,例如金融、政务、司法、教育等行业的智能客服、知识问答、合规风控、营销顾问等场景。

在发布会现场,百川也展示了金融行业的知识库搜索场景。某银行的知识库总量有6T,共12905个文档,Baichuan2能够海量的知识库可以查找找到文档里的内容。将36万字的文档通过API输入到模型中,就能精确找到答案。

△百川现场展示投研信息提取和分析

可以说,大模型+搜索增强的方法,为以后大模型在行业落地提供了一条务实的路径。

企业知识库是现在大模型应用的主流场景。在以前,企业想要建一个企业知识库,需要通过预训练或者微调训练大模型,也需要比较高素质的AI人才。当底层的大模型数据每更新一次,都要重新训练或微调,成本也较为昂贵,且可控性和稳定性也很容易下降。

另外一点是,构建大模型知识库的主流方法是向量检索,但向量数据库应用成本也相对高昂,而向量模型的效果过于依赖训练数据的覆盖。在训练数据未覆盖的领域泛化能力会有明显折扣。用户Prompt和知识库中文档长度的差距,也会给向量检索带来了很大挑战。

针对这些问题,在推出大模型+搜索增强的过程中,百川智能也解决了一些技术难题,比如在通用RAG(检索增强生成)的技术基础上首创了Self-Critique大模型自省技术——以让大模型在输出答案之前“再自检”,给用户筛选出最优质的答案。

最终结果是,将搜索增强知识库和超长上下文窗口结合后,模型“接上外挂”,就可以连接全部企业知识库以及全网信息。可以替代绝大部分的企业个性化微调,解决99%企业知识库的定制化需求——企业要做定制化,成本可以大大降低。

王小川坦承,目前大模型在行业化中落地,客制化(Customized)是无法避免的,但可以通过技术的迭代,不断降低给客户交付的能力。“我们避免项目化,用产品化取代项目化。”他解释。

随着新模型和API系列发布,目前百川智能也正在快速推进商业化落地。百川智能透露,目前多个行业的头部企业已与百川智能达成合作。

???????? 扫码加入「智涌AI交流群」????????

欢迎交流

欢迎交流

以上内容为资讯信息快照,由td.fyun.cc爬虫进行采集并收录,本站未对信息做任何修改,信息内容不代表本站立场。

快照生成时间:2023-12-21 18:45:03

本站信息快照查询为非营利公共服务,如有侵权请联系我们进行删除。

信息原文地址:

数势携手百川发布大模型联合解决方案,推动中国大模型价值落地
...司(以下简称“数势科技”)和国内通用大模型厂商北京百川智能科技有限公司(以下简称“百川”)联合发布大模型数据分析垂直领域应用解决方案。此联合解决方案是双方能力耦合实现商业化的
2024-02-26 16:21:00
本文转自:北京日报本报讯(记者 孙奇茹)昨天,百川智能宣布开放基于搜索增强的Baichuan2-Turbo系列API(应用程序编程接口),在支持192K超长上下文窗口的基础上还增
2023-12-20 05:06:00
推理成本直降99%!百川智能「1+3」矩阵揭秘,两张4090玩转旗舰新模型
【新智元导读】大模型热,企业落地难?就在刚刚,百川智能推出「1+3」产品矩阵,一站式解决大模型商业化难题。「系列优质通用数据+领域增强训练工具链」,仅需10分钟就能让企业自主成为
2024-11-04 09:50:00
王小川公布最新530亿百川大模型,阿里腾讯等超150家企业已使用
百川智能创始人兼CEO 王小川成立120天,王小川的大模型公司百川智能又有了新动作。钛媒体App获悉,8月8日下午,百川智能在北京发布530亿参数通用大模型Baichuan-53B
2023-08-09 15:00:00
百川智能、阿里云等进入开源大模型领域,开启商业化前奏
...8、9月份推出的开源大模型则包括阿里云Qwen-7B、Qwen-14B,百川智能Baichuan2-7B、Baichuan2-13B等
2023-10-14 00:21:00
对话王小川:国内在技术理想上拼不过OpenAI,但应用落地会跑得更快
...6月15日、7月11日、8月8日。这是王小川自4月10日官宣创办百川智能入局AI大模型创业以来,先后推出三个大模型的时间
2023-08-09 15:00:00
白海科技与百川智能顺势而为、携手共进,助力领域大模型应用快速落地
...日,AI基础软件服务商白海科技与国内领先的AGI服务企业百川智能宣布达成战略合作协议。这次合作旨在加速大语言模型在各行各业的应用,并为客户提供智能高效的解决方案。作为国内领先
2023-08-08 18:00:00
不用买大内存手机了!小米NAS官宣,云端扩容手机
...服务大概率将与NAS融合,更像是手机、PC、电视等设备的外挂硬盘,比移动硬盘更便携,不用像网盘一样需要一直开会员,无需单独下载App。基于小米NAS,用户可以在不同设备上实现
2024-11-04 22:03:00
百川智能发布baichuan3稳定语言模型
1月29日,百川智能发布超千亿参数的大语言模型Baichuan3。在多个权威通用能力评测如CMMLU、GAOKAO和AGI-Eval中
2024-01-29 19:57:00
更多关于科技的资讯: