商汤科技sensetime推出“云端边”全栈大模型体系

2024年4月23日，上海——商汤科技SenseTime举办技术交流日活动，发布行业首个“云、端、边”全栈大模型产品矩阵，以满足不同规模场景的应用需求，并且全新升级“日日新SenseNova5.0”大模型体系，其综合能力全面对标GPT-4Turbo，技术领跑加速生成式AI向产业落地的全面跃迁，实现大模型按需所取。

在人工智能发展的最基本法则——尺度定律（ScalingLaw）的准则下，商汤持续寻求最有数据配比并建立数据质量评价体系，推动自身大模型研发的同时，也为行业伙伴提供大模型训练、微调、部署和各类生成式AI的能力及服务。

商汤科技董事长兼CEO徐立表示：“商汤在尺度定律的指导下，会持续探索大模型能力的KRE三层架构（知识-推理-执行），不断突破大模型能力边界。”

“日日新SenseNova5.0”性能超越GPT-4 Turbo：文理双修能力大幅提升，新增多模态交互

自去年4月首次发布，商汤“日日新SenseNova”大模型体系已正式推出五个大版本迭代。基于超过10TBtokens训练、覆盖大量合成数据，全新的“日日新SenseNova5.0”（以下简称：日日新5.0）采用混合专家架构，推理时上下文窗口可以有效到200K左右。

本次更新主要聚集增强了知识、数学、推理及代码能力，全面对标GPT-4Turbo，主流客观评测上达到或超越GPT-4Turbo。

在文科能力方面，“日日新5.0”的创意写作能力、推理能力以及总结能力均大幅提升，相同的中文知识注入后，可以获得更好的理解总结及问答，为教育、内容产业等垂直应用场景提供有力辅助。

“日日新5.0”和GPT-4回答趣味推理问题：“妈妈给圆圆冲了一杯咖啡，圆圆喝了半杯后，将它加满水，然后她又喝了半杯后，再加满水，最后全部喝完。问圆圆喝的咖啡多，还是水多？”，“日日新5.0”回答正确。

在理科能力方面，“日日新5.0”数理能力、代码能力及推理能力达到业内领先水平，为金融、数据分析等场景落地提供坚实基础。

本次“日日新5.0”另一大核心指标就是多模态能力，商汤多模态大模型的图文感知能力达到全球领先水平，在多模态大模型权威综合基准测试MMBench中综合得分排名首位，在多个知名多模态榜单MathVista，AI2D，ChartQA，TextVQA，DocVQA，MMMU取得领先成绩。

“日日新SenseNova5.0”在应用产品层面也实现了更卓越的多模态能力，支持高清长图的解析和理解以及文生图交互式生成，还可以实现复杂的跨文档知识抽取及总结问答展示，还具备丰富的多模态交互能力。

率先完成“云端边”全栈布局：端侧模型位列行业首位，边侧推出企业级应用一体机

前瞻洞察中心化算力需求向端侧扩展的未来趋势及企业级在边缘侧的AI需求，商汤科技领先业内首次推出“云、端、边”全栈大模型产品矩阵，其中包括应用于终端设备的“商汤端侧大模型”，以及面向金融、代码、医疗、政务等多个领域的边缘产品“商汤企业级大模型一体机”。

今年是端侧大模型应用的元年，为了满足移动终端用户对大模型技术的应用需求，商汤推出日日新·端侧大模型，性能实现同等尺度性能最优，跨级尺度全面领先。

商汤还推出端云协同解决方案，可以通过智能化判断协同发挥端云各自优势，需要联网搜索或处理复杂场景时分流至云端处理，部分场景端侧处理占比超过80%，从而显著降低推理成本。

商汤日日新·端侧大语言模型的推理速度达到了业内最快，可在中端平台实现18.3字/s的平均生成速度，旗舰平台更是达到了78.3字/s。

扩散模型同样可在端侧实现业内最快的推理速度，端侧LDM-AI扩图技术在某主流平台上，推理速度小于1.5秒，比友商云端app快10倍，支持输出1200万像素及以上的高清图片，支持在端上快速进行等比扩图、自由扩图、旋转扩图等图像编辑功能。

从今日起，商汤端侧业务SDK正式发布，也欢迎集成体验。

对于金融、代码、医疗、政务等重点行业边缘侧日益增长的AI应用需求，商汤正式推出企业级大模型一体机，可同时支持企业级千亿模型加速和知识检索硬件加速，实现本地化部署，即买即用，降低企业应用大模型的门槛。相比行业同类产品，推理成本节约80%，检索大大加速，CPU工作负载50%。

联合生态伙伴创新AI2.0时代产品应用，打造新质生产力

本次活动现场，商汤还邀请到金山办公、海通证券、小米、阅文集团、华为等多位生态伙伴嘉宾，共同探讨和交流大模型技术在办公、金融、出行等不同领域的应用及前景。

自2023年起，商汤与金山办公达成深度合作，基于“日日新”大模型的卓越代码生成及工具调用能力，助力WPS365打造更高效释放场景能力的办公新质生产力平台，为企业构建专属的“企业大脑”。金山办公CEO章庆元表示：“在办公应用场景内，商汤大模型的表现十分出色，能够帮助我们的用户解决办公中的复杂问题，提升效率。”

在金融领域，海通证券与商汤科技联合发布金融行业多模态全栈式大模型，双方在智能客服、合规风控、代码辅助、展业办公助手等领域助推业务落地，并共研智能投顾、舆情监控等行业前沿场景，打通证券行业大模型落地的全栈式能力。海通证券副总经理兼首席信息官毛宇星谈到：“通过与商汤合作，我们利用大模型技术实现了海通证券数智化转型，未来，我们将结合全栈式AI能力进行业务流程、交互变革与数智化业务系统重构。”

在个人出行场景，近期火爆市场的小米汽车SU7的智能车舱中就应用了商汤的大模型技术，基于商汤端云大模型解决方案，小米小爱同学为车主提供智能化交互体验。小米集团小爱总经理王刚在与商汤科技联合创始人、首席科学家王晓刚对话时表示：“商汤的云边端全栈组合，可以很好地赋能和适配小米物联网生态。我们希望与商汤共同为我们的用户打造更具智能化的产品体验。”

左为小米集团小爱总经理王刚，右为商汤科技联合创始人、首席科学家王晓刚

此外，今天商汤还发布了基于昇腾原生的行业大模型，共同打造面向金融、医疗、政务、代码等大模型产业生态。

在自身应用方面，商汤“日日新SenseNova5.0”在秒画、如影、格物、琼宇、大医、小浣熊家族等产品均有重要更新。

“文生视频”已在路上，商汤科技坚定迈向AGI时代

在本次技术交流日最后环节，商汤科技董事长兼CEO徐立还带来了三段完全由大模型生成的视频，并强调文生视频平台对于人物、动作和场景的可控性。

商汤科技在文生视频平台方面也取得了技术突破，未来，通过输入一段文字或一个完整的描述，就可以生成一段视频，而且人物的服饰、发型、场景都可以根据预先设定，保持视频内容的连贯性和一致性。

通过商汤打造的智能算力中心，可以不断赋能于大模型的训练，目前，日日新大模型体系在自然语言处理、视频生成和深度学习优化等多个方面取得创新。

一方面，现阶段大模型发展已进入落地阶段，如何与产业、应用场景结合是关键一环；另一方面，“尺度定律”路径逐渐清晰，“涌现”时刻不定出现，前瞻探索最先进的大模型技术也是重中之重。

秉承创立之初“坚持原创，让AI引领人类进步”的目标和愿景，商汤科技的大模型技术和产品已在医疗、教育、法律、工业等各行各业进行实践应用。如大模型以“日日新”为名，商汤一直坚定朝向通用人工智能的目标前行，突破数据与算力的限制，引领大模型的创新与落地。