- 我的订阅
- 科技
我们正处于一个信息大暴发的时代，每天都能产生数以百万计的新闻资讯！
虽然有大数据推荐，但面对海量数据，通过我们的调研发现，在一个小时的时间里，您通常无法真正有效地获取您感兴趣的资讯！
头条新闻资讯订阅，旨在帮助您收集感兴趣的资讯内容，并且在第一时间通知到您。可以有效节约您获取资讯的时间，避免错过一些关键信息。
大模型推理与训练的边界之争
随着大模型的发展日新月异，其推理和训练的边界问题也引起了广泛讨论。近日，清程极智CEO汤雄超在一场行业活动中明确表示，尽管外界有声音认为OpenAI发布的o1模型模糊了推理和训练的界限，但从技术角度来看，这两个阶段的划分并未发生本质改变。
汤雄超指出，o1模型之所以展现出强大的“推理”能力，实际上是由于其背后巨大的计算量消耗。这种计算量的增加，使得模型能够获得更高质量的回答。然而，这并不意味着推理和训练的边界正在变得模糊，而是推理阶段的计算需求正在增加。
清程极智认为，推理和训练需要差异化的系统设计和实现方式。随着推理计算量的增长，未来不仅在训练阶段，推理阶段也将需要集群规模的算力系统支持，而非目前的小规模单卡或单机算力系统。这预示着行业可能需要不同配置的算力集群，以分别应对训练和推理业务的需求。
清程极智的技术背景基于高性能计算，尤其在超算方面拥有深厚的技术积累。在超大规模国产集群进行大模型训练方面，清程极智有着经典的案例。例如，清程极智的大模型训练系统“八卦炉”能够扩展到10万台服务器的超大规模集群，用于训练百万亿参数量的模型，这一成就在行业内具有里程碑意义。
除了在训练领域的卓越表现，清程极智也始终关注推理的重要性。其推理侧的技术和产品已经服务于多家大模型企业。清程极智的推理引擎软件“chitu”能够支持多种模型、不同芯片、提供多种接口形式，如OpenAI API（文本对话）/HTTP API（文生图），满足不同场景下的推理需求。
随着大模型在各行各业的广泛应用，推理和训练的算力需求都在不断增长。清程极智预测，未来行业将需要更多专业化、定制化的算力解决方案，以适应不断变化的业务需求。这种趋势要求AI Infra厂商不仅要在技术上保持领先，还要在服务上提供更高的灵活性和定制化能力。
综上所述，尽管大模型的推理和训练在计算需求上呈现出一定的融合趋势，但从技术实现和系统设计的角度来看，两者的边界依然清晰。随着技术的不断进步和市场需求的日益增长，期待，未来AI Infra将为大模型的发展提供更加坚实的支撑。
声明：发布该信息旨在为读者提供更多新闻资讯。所涉内容不构成投资、消费建议，仅供读者参考。
责任编辑：吴英兰
以上内容为资讯信息快照，由td.fyun.cc爬虫进行采集并收录，本站未对信息做任何修改，信息内容不代表本站立场。
快照生成时间：2024-11-07 23:45:12
本站信息快照查询为非营利公共服务，如有侵权请联系我们进行删除。
信息原文地址：
