对话熵简科技：垂直领域的数据是大模型应用的关键 | 年度AI对话

年度AI对话

文 |杨俊

编辑 |石亚琼

封面来源｜企业官方

掌握了人工智能就掌握了新时代的生产力密码。

在ChatGPT爆火的当下，大模型火遍全球，中国产业也激发了对人工智能应用的新热情。

因此，这个时间点，36氪数字时氪团队正式启动《年度AI对话》专栏，希望与国内在大模型领域有着深度研究的专业人士进行热点话题的探讨，通过一系列报道，还原AI新的技术能力与应用潜力。

本期我们邀请到了熵简科技CEO费斌杰。

未来大模型赛道将会如何发展？对金融资管这种具有独特属性的行业，大模型会带来什么影响？对于细分行业的数字服务商，大模型又将给他们带来什么帮助？带着这些问题，我们专访了熵简科技CEO费斌杰。

熵简科技专注于为中国金融资管提供智能投研辅助决策工具，深度参与金融资管机构的数字化进程。服务了包括中金、中信、博时、华夏、广发、建投、国信等主要客户，费斌杰作为熵简科技的创始人根据自身在金融资管行业多年的实践以及近期的研究与我们讨论了上面的关键话题。

熵简科技CEO费斌杰认为：大语言模型就像一个性能强大的无损压缩器；大语言模型赛道已经进入追逐战，年底之前做不出一个像样的模型，可能就要淘汰出局了。现在对很多做细分行业的数字化公司来说既是机会又是挑战。

以下内容为采访原文，经数字时氪编辑整理：

大语言模型就像一个性能强大的无损压缩器，大模型赛道已经是追逐战

以ChatGPT为代表的大语言模型现在非常火热，费斌杰认为大语言模型就像一个性能强大的无损压缩器；未来会有闭源的大模型厂商，也会有开源的大模型厂商。

数字时氪：为什么会认为“大语言模型就像一个性能强大的无损压缩器” ？

费斌杰：Open AI 对未来 AGI 的发展有2个预测。第一，收集尽可能多的有效信息。目前能看到GPT-3收集文本数据，GPT-4是收集文本加图片的数据。GPT-5收集文本加图片加视频数据。

第二，做出一个性能更强大的无损压缩器，压缩训练集，获得泛化能力。做一个更好的无损压缩器有几种方法，扩大模型规模会是其中一种方法。更好的算法架构；借用外部的工具，比如plugin；合成数据等都是不同的方法。

我自己联想到这和做分析报告的逻辑是一样的，写报告也是分两步，第一步先把资料越读越厚，第二步，把资料越读越薄。首先尽可能去看别人的报告、看别人的调研、跟更多的专家沟通，收集尽可能多的有效消息。

第二步把资料压缩成一份 30 页的深度报告，并且得出一个总结建议，这就是一个压缩过程。当无损压缩的压缩比越高，说明对知识的掌握程度就越深。

数字时氪：作为开发者会如何选择使用哪个大模型作为底层技术？

费斌杰：我的判断是两条线，第一条线是大家会用现在市面上最强大的、合规的开源模型，第二条线是大家会尝试目前市面上市场性能最好的开源模型。

这两条线可能会并行存在。

我认为未来的行业格局很可能是人手一堆模型，而不是所有人用同一个大模型。第一个大模型虽然是Open AI带来的，但它是一个算法加工程化的问题。算法是趋同的，工程化上有很多细节是能够克服的。

比如移动互联网行业里有闭源的苹果，有开源的安卓。如果说AGI是新一代的操作系统，那就会有闭源的Open AI，也会有开源的厂商。大语言模型最强的商业逻辑就是做成数据黑洞，通过收集更多的数据，变得更强。

如果当下有一个开源的大模型并且大家都在用，那么它的性能会提升得很快并追赶Open AI。所以我认为大语言模型赛道现在是一个非常紧张的状态，现在是一个追逐战。如果年底之前做不出一个像样的模型，可能就要淘汰出局了，资本可能不会允许这样的事情发生。我认为做大模型的厂商竞争会非常激烈。

开源的大语言模型如果能够出现，会造福所有行业。最终有两类公司会受益，首先是各个行业的终端甲方，他们的生产力会大幅提升。第二类是在开源的大语言模型上，结合具体行业的场景和私域数据，帮助模型落地的公司。我们很可能下一步会做这件事。因为很多机构给我们提了非常高的需求，所以我们现在内测发现开源的模型到后面的能力是曲线上升的。

开源的模型可能会更有生命力、有活力，闭源模型的数据可能更精准一点，各有各的优势。我认为这两方面应该都会出现一家公司。

但是现在做大模型确实是一件比较有挑战的事情。

对金融投研领域正由浅入深地产生影响

大模型目前对每个行业来说都是一个不确定的因素，但在金融投研领域，大模型的出现究竟产生了什么影响？费斌杰告诉我们， AI 在这个领域的应用可能会逐渐的由浅入深，目前对初级研究员的影响比较大。

数字时氪：你的客户怎么看待大模型？

费斌杰：面对这种工具，资管机构是属于反应比较快的，在12月份就有很多机构问能不能做相应的工具。我们 1 月份的时候开始fine-tune模型，2 月份做出了一版产品，之后进行优化迭代到 4 月份，现在马上会陆续上线一些工具。

我们在2月份的时候测试刚做出来的工具一些专业投资问题，但是回答效果不一定是正确的。

比如钠离子电池工艺比较成熟，那么锂电池厂商切换为生产钠离子电池的难度大不大？工具的答案是，难度是很大的，因为二者的工艺路线是完全不同的。但如果问一个专业投资人，得到的回答是难度很小，因为二者的工艺高度相似。只要有 20%- 30% 的改造量就能生产钠离子电池。

这是因为当时机器本身没有学过这部分语料、没学过这部分知识。所以每一个行业内部的、私域的知识会特别重要。

我们做了大量的金融类的客户案例，积攒了大量的高质量数据。如果一个医疗公司拥有大量医疗数据、病例数据，那么它也能开发出类似的产品。所以私域数据量越大，质量越高越有价值。

数字时氪：大模型对金融投研领域有什么影响？

费斌杰：说实话，这波大模型出现后，对所有行业冲击都很大。所以对投资行业冲击也很大。

我们现在的结论是对初级研究员这个领域会有很大的影响，因为比如我刚入行做初级研究员的时候，我们做的工作确实就是收集信息，并且归纳总结。而且压缩的质量还不够好。机器现在可以在5分钟内完成一篇，总结地很好，而且未来会越来越好。

投资方面，如果不加上很多微观公布的信息，只关注板块轮动，很多机构已经开始尝试运用新技术。比如最近消费电子的股价涨得很高，但可能它的业绩在 Q2 才能见底。那么这个模式在历史上有没有发生过呢？如果问一个特别资深的投资经理，她会说在16年Q2的时候也出现过类似的情况，而当时的投资策略会是一个很好的经验的回测。但目前这些经验只有资深的投资经理会懂。目前AI还未识别，可能需要有一定的业务知识教会AI如何识别这种模式或者打上标签之后让AI学习。

未来 AI 在这个领域的应用可能会逐渐的由浅入深，从初级分析师到中级分析师，再到基金经理助理，是逐渐往上发展的。

数字时氪：在大模型浪潮里，熵简看到了什么样的机会？最近在做什么？

费斌杰：我们做了一个面向资产管理领域的小工具，主要是想给每个人做一个 AI 投资助手。现在的产品上有一些有意思的小功能。目前还处在内测阶段，但有一些亮点的地方。首先这是个偏管理的应用，在这里可以上传任何一篇文章，立即输出文章的摘要，一篇三万字的文章的核心内容可以用一句话或者一段话讲清楚。同时还可以上传一段音频，自动转文字并且生成摘要。比如上传一段3个小时的会议录音，可以将核心内容以一句话的形式输出。这些功能都是靠 GPT 4 来做的，当然里面也做了很多 prompt工程相关的事情。我们还会上新很多功能，都会放在这个平台里面，让它变成类似投资使用的AI助手。大概是这样的雏形。

这个产品的难点主要在几方面。一是原始模型不太理解投研领域的一些语料。比如 GPT 4 的原始模型不懂“东数西算”，也不懂“930”这种时间描述，我们需要用中文语料的资料训练模型。我们公司在 2021 年的时候做了新FinBert 模型，通过 Bert 路线做了一个金融领域的预训练模型，所以当时标注了很多数据。现在把这些标完的数据直接fine-tune给 GPT ，我们是用了它的Fine-tune模型报价的。

在训练阶段，每1000个token是0.03 美金。训练完之后，这个模型是托管在Open AI那里的，用户可以调用它，调用起来每1000个token是0.12美金。对于金融资管领域需要有Fine-Tune的过程。但是Fine-tune之后还会有第二个难点。

现在每一次交互的token长度是4096，但是如果做一篇长文摘要，内容可能会变成四万个token。这时候需要用到递归摘要法，这个算法能够递归摘要一本书。这是一个很重要的组成部分。除此之外，还需要微软的一项关键技术，和我们的FinBERT文本语义切割方法。这两项技术结合可以把一段超长的5万字的文本切割成相互独立的几个小片段，在保证语义连贯性和事实性的基础上实现高质量的摘要生成和要点提取，并且理论上可以处理无限长的文本。这个算法也特别重要。这些就是这个产品背后的基础。

我们现在就是在抢一波速度，想尽快把二级市场先做下来。我们通过研究发现，现在对很多做细分行业的数字化的公司来说既是机会又是挑战。

目前使用产品有基础的入门费，就像流量包，流量包按量收费。

现在的AGI产品是不适合免费的。因为每调用GPT-4一次，做一个摘要是20 块钱，但如果机构请人来做，可能成本是200，所以他们还是愿意付费的。微软在office 上免费使用这个功能也不是长久之计，后面会变成VIP功能，并且可能会按量来付费，这是必然的，因为推断的成本很高。

目前的成本已经在之前的基础上降下来了，但未来可能还能降。我们在用LoRA的方法，引入一个低秩矩阵做旁路训练。这个方法做得好的话成本可能再降一倍左右。其他的方法，比如模型参数8bit甚至4bit量化，我们也在积极尝试。最主要的可能还是在等Open AI降价。

数字时氪：从2月份开始，主要优化了哪些问题？

费斌杰：第一个是通过fine-tune让模型具备金融领域的投研知识，这个事是清晰可行的，而且效果非常好。我认为每个行业都需要fine-tune一下，可能会有一点成本，但这是一定要做的事。

第二，目前的模型会有4096个token的限制，很多问题是用不了的。所以需要用一些额外的算法工具结合实施，我们把这个问题克服了。第三是同类问答，对一个相对复杂的问题不是单纯的调过接口这么简单的事情。这里面有一部分内容叫问题扩增。比如我在问答系统里问一个问题的时候，为了加大搜索结果的覆盖面，我们通过显式地引入研究员的分析框架，从而把一个问题分解为 5-10 个子问题，用这多个问题做语义检索，再把得到的结果进一步的梳理，整合成为一个答案。

对于问题扩增，也可以用ChatGPT来帮忙完成。所以这里就会用到Prompt工程。我现在是在快速学习这个行业，希望更好地掌握ChatGPT 能理解的语言。这就是几个关键的突破点。

另外对于机器给出的答案不准确的情况，我们也思考过，目前最好的方法就是把推理过程可以展现出来。比如为什么是这样的结果，机器是通过哪几方面总结出来的。用户可以直接看到原始的资料，这是最好的一种形态。所以，在专业领域应用的时候，需要推理具备可解释性。我们可以在设计相应产品的时候，让机器把推理过程解释出来。大体思路是这样。

数字时氪：产品本地化部署的过程中有什么难点？

费斌杰：绝大部分机构是要本地化部署的。主要难点是在数据的分级和合规。客户会认为一些关键的数据是不能出内网的，但有一些可能是无关紧要的数据可以用来给产品提效。如何合理地给数据打上分级标签很重要。很多机构都做完了分级的事情，我们的工作会很顺利。但对于还没有进行数据分级的机构，情况就会比较复杂。

数字时氪：接下来准备利用大模型技术做什么？

费斌杰：其实还挺多的。目前我们大概积攒了 50多个深度的、场景化的需求，在慢慢实现产品化。比如新股的报告撰写、产业政策的智能分析、基金评价等等。每个需求的背后其实就是一个Prompt。以前可能开发成本比利润还大，但现在大模型出现后，开发成本变低了很多。

近期我们也准备发布我们的新产品了，会开放一部分试用名额。

数字时氪：大模型时代，熵简有什么愿景？

费斌杰：我们希望帮助资管机构建设投研数据中心。每一个资管机构都想获取超额收益，超额收益的背后往往来自于信息不对称的优势，如果一个机构想持续地具备这样的优势，就需要将信息进行有效整理和聚合，放在内部。

其实资管机构现在有了很多数据，但是没有很好地管理。我们通过工具来帮机构整理好这些数据，并且在尝试将这些数据变成一个非常聪明的“投资经理”，帮助用户预判一些趋势，解决问题。接下来，中大型机构内部的投研知识库的建设会特别重要。

数字时氪：大模型时代，熵简相比于竞争对手有什么优势和劣势？

费斌杰：首先知识图谱方面，我们在2020年就不做了，相当于及时止损了。后面我们更多是在结合场景做数据。回过头来看这个策略应该是对的。对我们这个行业来说，最大的优势就是结合场景的能力以及行业中的数据积累。

其次在这个领域里，我们还没有看到更大的竞争对手。我们这个行业其实经历过好多轮竞争了。最早的时候可能是一些比较年轻的团队，高举高打，那一波现在基本就不在这个行业里了。第二波可能是甲方的团队出来创业，这部分人做的事很扎实，但是规模有限。第三波主要竞争对手是恒生电子这样的大厂，相比大厂而言，我们的优势在于聚焦，持续的聚焦会带来人才密度优势、客户密度优势、数据密度优势。未来可能会有新的团队进入这个领域，比如澜舟科技。周明老师是AI领域的大拿，我们的优势在于业务理解和场景结合能力，因为我们一直在这个领域做了6年，大大小小的场景基本都接触过。GPT 4 出来后把大家的AI能力拉到了几乎同一水平线。所以这时候就需要看谁能结合场景做出更好的产品。未来可能更多是在这个层面上去做。

但其实我们也是一路竞争过来的，我一直认为这是良性竞争，我们希望一起找到一个好的方向，一起做市场。

接下来，人才会是一个很重要的因素，但是其实知识是有传递性的，目前我们团队里有一些人在这方面很专业。他们可以带着大家往前走，大家在做产品的时候可以学到很多东西，知识是会这样逐步传递出去的。。

但更重要的事情是快点跑，跑在竞品前面。我们最核心的优势还是速度。创业公司最重要的还是拼速度。

大模型的出现将改变很多公司的商业模式

以ChatGPT为代表的大模型产品已经被很多人应用到日常的工作和生活中，改变了许多的人工作和生活方式。

但对企业来讲，大模型是否会让生产和经营模式发生根本性的改变？费斌杰告诉我们，这种对话式的交互界面会让很多公司的商业模式发生巨大改变。在中国产业里，大模型的重要性可以再提升一个量级。

数字时氪：大模型的出现会带来怎样的商业模式的变化？

费斌杰：对话式的交互界面对很多公司来说都是商业模式的巨大改变。对于搜索也是，比如对百度来说，接下来怎么做产品是一个最大的影响。

而且中美可能会走出两条路径，两国的国情、商业环境的差异会导致在具体行业里的发展不一样。

但大模型确实让我们做到了很多以前做不到的场景。以前我们也想做智能投资推理，当时的想法是通过知识图谱来做，但需要耗费很大的人力，而且逻辑是不断更新的，可能做完之后，过两年就没用了。但现在大模型可以做到。

另外比如科大讯飞想做个性化的家教，大模型也可以做到。确实很多行业之前一直想做的事，现在可以做到了。

数字时氪：大模型对中国产业有什么影响？

费斌杰：目前来看，我的感受是大模型的重要性，还可以再往上拔一拔。

其实我认为大模型对于国家来说是有更大的战略意义的。未来非常有可能把大模型提到更专业性的级别，而且我认为这么做是有益的。

因为首先互联网大厂推进这件事是好事。现在虽然肯定有浮躁的成分，但后面只要有能用的产品就是好事。但是国家牵头有个好处，因为大模型无非拼三件事，算法、算力和数据，这些因素可以很容易被解决。

尤其在数据层面，目前中国互联网的数据会有大厂割据的现象。比如百度拿不到微信里的数据，阿里也拿不到抖音里的数据，但做模型训练需要海量数据，而中文语料虽然不少，但如果被分成几份就不容易产生真正的大模型。有必要从更高的角度统筹更全面的数据训练大模型。

国家成立大数据局算是个开头，但我认为这件事情最重要的是需要有一个角色牵头来做。这时候可能比较依赖的是选拔筛选体系。中国肯定不缺人才，因为Open AI团队里就有很多华裔。所以我们从国家层面选拔出真正的人才是很重要的。

数字时氪：你觉得对于社会有什么影响？

费斌杰：最终可能社会里所有岗位都能被机器替代，很难替代的岗位是非常依赖人与人之间信任关系的，比如销售、医生、律师等。在金融领域里，投资经理是需要信赖关系的，资深投资经理是因为各种 标签或者历史tracking record能够被人信任。

另外一点，目前在细分垂直领域里， AI距离人的差距比较大，但我不知道GPT 5 出来之后怎么样。比如投资领域里资深人士可以根据一些微妙的变化获取一些相似度，作出模糊推断，这个事是很难让AI来做。另外科研领域也一样，在非常微小的实验误差里可以推导出一些全新的理论，比如相对论和量子理论的出现。

目前AI 确实很难做到这一步，但未来真不好说，比如在一个视频里把一个气球放飞，气球腾空了，这种视频 AI 看多了，它可以学到重力和浮力的物理学原理。

所以这既是好事也是坏事，一方面人类科技可能会大幅提升，另一方面很可能供给会大幅过剩，带来一定的社会问题。技术的变化可能大于社会的生产力，大幅高于生产关系。

OpenAI 的创始人有一个很大胆的假设，因为他坚信十几年之后可控核聚变技术成熟了，人类会有接近于无穷大的清洁能源。另外他认为量子计算也会在 10 年之内变成现实。那就相当于拥有无限的算力、能源、存储，而且AI可以带来无限的智能。他认为在这样的情况下，社会存在一种摩尔定律，社会摩尔定律是每 18 个月整个社会的物价水平和服务价格会减半。到最后所有事情都变得非常廉价。

因为 AI 做了所有的事，而背后能源成本约等于0，算力成本约等于0，AI又是无限智能。到了那时，每个人要么做科研，要么就像他说的，AI公司以及掌握土地资源的人会成为有生产贡献的人。最后大家一起享受生活。

—

我们正在建设「AI领域」主题交流社群，欢迎扫码添加数字时氪小助手，并发送名片或者个人介绍，我们将为您持续推荐相关产业信息和活动。

更多活动信息及行业详情，请关注微信公众号“数字时氪”（微信 ID ：digital36kr），期待您的到来。

扫码入群

扫码关注数字时氪，获取更多信息

本文来自微信公众号“数字时氪”（ID:digital36kr），作者：杨俊，36氪经授权发布。