- 我的订阅
- 科技
我们正处于一个信息大暴发的时代，每天都能产生数以百万计的新闻资讯！
虽然有大数据推荐，但面对海量数据，通过我们的调研发现，在一个小时的时间里，您通常无法真正有效地获取您感兴趣的资讯！
头条新闻资讯订阅，旨在帮助您收集感兴趣的资讯内容，并且在第一时间通知到您。可以有效节约您获取资讯的时间，避免错过一些关键信息。
GPT-4参数揭秘：1.8万亿参数训练成本高达6300万美元
近日，OpenAI今年3月发布的GPT-4大模型的详细参数和信息被揭秘。据了解，GPT-4在120层中总共包含了1.8万亿参数，相比之下，GPT-3只有约1750亿个参数。为了保持合理的成本，OpenAI采用混合专家模型来进行构建。混合专家模型是一种神经网络，该系统根据数据进行分离训练多个模型，在各模型输出后，系统将这些模型整合输出为一个单独的任务。GPT-4使用了16个混合专家模型，每个有1110亿个参数，每次前向传递路由经过两个专家模型。此外，GPT-4有550亿个共享注意力参数，使用了包含13万亿tokens的数据集训练，tokens不是唯一的，根据迭代次数计算为更多的tokens。GPT-4预训练阶段的上下文长度为8k，32k版本是对8k微调的结果，训练成本相当高。据报道，8xH100也无法以每秒33.33个Token的速度提供所需的密集参数模型，因此训练该模型需要导致极高的推理成本，以H100物理机每小时1美元计算，那么一次的训练成本就高达6300万美元（约4.51亿元人民币）。为此，OpenAI选择使用云端的A100GPU训练模型，将最终训练成本降至2150万美元（约1.54亿元人民币）左右，用稍微更长的时间，降低了训练成本。
以上内容为资讯信息快照，由td.fyun.cc爬虫进行采集并收录，本站未对信息做任何修改，信息内容不代表本站立场。
快照生成时间：2023-07-13 21:45:05
本站信息快照查询为非营利公共服务，如有侵权请联系我们进行删除。
信息原文地址：
