- 我的订阅
- 科技
我们正处于一个信息大暴发的时代，每天都能产生数以百万计的新闻资讯！
虽然有大数据推荐，但面对海量数据，通过我们的调研发现，在一个小时的时间里，您通常无法真正有效地获取您感兴趣的资讯！
头条新闻资讯订阅，旨在帮助您收集感兴趣的资讯内容，并且在第一时间通知到您。可以有效节约您获取资讯的时间，避免错过一些关键信息。
安谋科技下代“周易”NPU成功部署DeepSeek-R1：速度高达40 tokens/s
快科技2月14日消息，安谋科技宣布，搭载新一代“周易”NPU处理器的硬件平台，已经成功在端侧部署并运行DeepSeek-R1系列模型，而且性能卓越、成本优异。
新款“周易”NPU采用专为AI大模型特性优化的架构设计，Beta测试版本已在2024年底向早期用户开放评估测试，预计今年上半年正式发布亮相。
DeepSeek-R1 1.5B、7B蒸馏版本推出后，安谋科技新一代“周易”NPU在很短的时间内，就在Emulation平台上完成了部署与优化，并在FPGA平台上成功实现了端到端应用的演示。
测试显示，在标准单批次输入、上下文长度为1024的测试环境中，新款“周易”NPU在首字计算阶段的算力利用率突破40％，解码阶段的有效带宽利用率超过80％。
带宽利用率呈现高线性特性，能够灵活适配16GB/s至256GB/s的系统带宽需求。
7B版本、1024上下文长度的场景下，保障模型应用精度的同时，新款“周易”NPU的最高处理速度可达每秒40 tokens，并支持动态长度的模型推理输入。
这也展现了安谋科技软件栈对大模型的成熟支持、深度优化，包括动态推理优化和硬件算力潜力的挖掘，从而显著提升推理速度和吞吐量。
目前，软件栈已支持Llama、Qwen、DeepSeek、ChatGLM、MiniCPM等多种主流大模型，并提供与Hugging Face模型库的对接工具链，方便直接部署主流模型。
硬件层面，新一代“周易”NPU采用7nm工艺制造，单Cluster算力最高可达80 TOPS(每秒80万亿次计算)，能够轻松应对超过16K上下文长度的大模型部署需求，同时对外带宽提高至256GB/s，解决大模型计算的带宽瓶颈问题。
它还全面支持FP16数据精度计算，完整支持INT4软硬量化加速，还支持多核算力扩展，满足端侧模型的低首字延迟需求。
它还具备强大的多任务并行处理能力，通过细粒度的任务调度和优先级资源分配，实现多任务灵活切换，确保传统语音、视觉业务、大模型应用的高效协同。
【本文结束】如需转载请务必注明出处：快科技
责任编辑：上方文Q
文章内容举报
以上内容为资讯信息快照，由td.fyun.cc爬虫进行采集并收录，本站未对信息做任何修改，信息内容不代表本站立场。
快照生成时间：2025-02-14 14:45:06
本站信息快照查询为非营利公共服务，如有侵权请联系我们进行删除。
信息原文地址：
