• 我的订阅
  • 科技

微软连发3款Phi-3.5模型:128K上下文,首用MoE架构,部分性能超GPT-4o mini

类别:科技 发布时间:2024-08-22 09:49:00 来源:智东西

微软连发3款Phi-3.5模型:128K上下文,首用MoE架构,部分性能超GPT-4o mini

智东西8月21日消息,今天,微软一口气甩出3款超强轻量级模型!

微软本次发布的轻量级模型系列名为Phi-3.5,适合在内存和算力受限的环境中运行,均支持128k上下文长度。Phi-3.5-mini-instruct主要面向基础快速推理任务,Phi-3.5-MoE-instruct可胜任复杂推理任务,Phi-3.5-vision-instruct则兼具文本与视觉能力。

性能最强大的Phi-3.5-MoE-instruct模型有419亿个参数,在5个示例的MMLU测试中击败了GPT-4o mini。这是微软首次使用混合专家模型架构。

这一模型系列中最小的Phi-3.5-mini-instruct在长上下文代码理解任务以明显优势击败Llama-3.1-8B-instruct和Mistral-7B-instruct,而其参数规模还不到Llama-3.1-8B-instruct的一半。

微软本次发布的3款模型的名字中都带有“instruct”,这意味着模型专门针对遵循用户指令进行了优化,这对端侧模型来说是项极为重要的技能。

微软在开源模型库Hugging Face上详细公布了这3款模型的炼制过程,包括数据来源、数据规模、算力等等。3款模型均在MIT协议下开源,开发者可以自由使用、修改或出售软件副本。

项目地址:https://huggingface.co/microsoft/Phi-3.5-mini-instruct

一、连发三款轻量级模型,击败GPT-4o mini与Llama 3.1-8B

微软今天发布的3个Phi-3.5模型包括用于基础快速推理的Phi-3.5-mini-instruct(38.2亿个参数)、性能更为强大的Phi-3.5-MoE-instruct(419亿个参数)和视觉模型Phi-3.5-vision-instruct(41.5亿个参数)。

1、Phi-3.5-mini-instruct:A16芯片本地可跑

Phi-3.5-mini-instruct专为遵守指令而设计,此模型非常适合在内存或算力受限的环境中提供强大推理能力,能胜任代码生成、数学问题和基于逻辑的推理等任务。

尽管参数规模仅有38.2亿,但Phi-3.5-mini-instruct模型在多语言和多轮对话任务中表现出的性能不俗。它在许多基准测试中拥有较为先进的水平,并在长上下文代码理解任务中以明显优势超过了其它模型(Llama-3.1-8B-instruct和Mistral-7B-instruct)。

微软连发3款Phi-3.5模型:128K上下文,首用MoE架构,部分性能超GPT-4o mini

▲Phi-3.5-mini-instruct在长上下文代码理解任务中优势明显(图源:微软)

微软并未直接阐明Phi-3.5-mini-instruct能否在手机上运行,但与其参数规模的基本一致的Phi-3-mini在经过4位量化后,能在搭载A16仿生芯片的iPhone上流畅运行,生成速度超过每秒12个token。

2、Phi-3.5-MoE-instruct:微软首个专家混合模型

Phi-3.5-MoE-instruct是微软首个专家混合模型。这类模型将多种功能不同的模型组合起来,每种模型专注于特定的任务。

这款模型利用了具有419亿个激活参数的架构,但根据微软在Hugging Face上公布的文档,这一模型仅需66亿激活参数即可运行。

Phi-3.5-MoE-instruct在各种推理任务中表现出色,在代码、数学和多语言语言理解方面具有强大的性能,超过了参数规模更大的其它开源模型。

微软连发3款Phi-3.5模型:128K上下文,首用MoE架构,部分性能超GPT-4o mini

▲Phi-3.5-MoE-instruct对Python、Java等编程语言的掌握显著好于其它同类模型(图源:微软)

这一模型还在5个示例的MMLU测试中击败了GPT-4o mini。这一基准测试涵盖了科技、工程、数学、人文、社科领域的问题。

微软连发3款Phi-3.5模型:128K上下文,首用MoE架构,部分性能超GPT-4o mini

▲Phi-3.5-MoE-instruct在5个示例的MMLU测试中以微弱优势击败GPT-4o mini(图源:微软)

MoE模型的独特架构还能使Phi-3.5-MoE-instruct在处理多种语言的复杂AI任务时保持效率。这一模型支持包括中文在内的23门语言。

3、Phi-3.5-vision-instruct:适用于OCR、图表理解与视频摘要

Phi-3.5-vision-instruct兼具文本和图像处理功能。能在算力和内存不足的情况下提供较好的一般图像理解能力、光学字符识别(OCR)、图表和表格理解、多图像比较和多图像或视频剪辑摘要等能力。

这一模型能管理复杂的多帧视觉任务。微软强调,该模型是使用合成和过滤的公开可用数据集的组合进行训练的,专注于高质量、推理密集的数据。

二、训练时间最短不到1周,模型全部开源提供

微软还在Hugging Face上公布了这组轻量级模型具体的训练情况。Phi-3.5-mini-instruct模型用掉了3.4万亿个token的数据,训练算力来自512个英伟达H100-80G GPU,训练耗时10天。

微软连发3款Phi-3.5模型:128K上下文,首用MoE架构,部分性能超GPT-4o mini

▲Phi-3.5-mini-instruct的Hugging Face页面(图源:Hugging Face)

Phi-3.5-vision-instruct模型训练耗时更短,仅为6天。其数据量为5000亿个token,训练过程中使用了256个英伟达A100-80G GPU。

Phi-3.5-MoE-instruct的参数规模较大,因此训练时长为23天。这款模型使用的训练算力与Phi-3.5-mini-instruct一致,但数据量为4.9万亿个token。

3款Phi-3.5模型都在MIT许可下开源,这符合微软之前对开源社区的承诺。MIT许可证允许开发人员自由使用、修改、合并、发布、分发、再许可或出售软件的副本。

该许可证还包括一项免责声明,即软件按“原样”提供,不提供任何形式的保证。微软和其他版权所有者不对因使用软件而可能产生的任何索赔、损害或其他责任负责。

结语:微软轻量级模型再出成果,端侧AI潜力凸显

微软的Phi系列模型一直以轻量级为特点。今年4月底,微软发布了Phi-3系列模型,其能力水平大致与GPT-3.5相当,但运行的成本却远远低于GPT-3.5。仅仅4个月后,微软又将其轻量级模型的表现提升了一个档次。

开发算力要求较低的端侧模型,或许能让微软的AI PC和其它使用Windows系统的设备拥有本地化运行、低延时、高安全性的AI体验。苹果的Apple Intelligence背后也有一系列端侧模型,这显示出即便在模型尺寸越做越大、能力越来越强的现在,兼具性能与成本效益的端侧模型也有巨大潜力。

来源:微软、VentureBeat

以上内容为资讯信息快照,由td.fyun.cc爬虫进行采集并收录,本站未对信息做任何修改,信息内容不代表本站立场。

快照生成时间:2024-08-22 11:45:09

本站信息快照查询为非营利公共服务,如有侵权请联系我们进行删除。

信息原文地址:

GPT-4劲敌,谷歌进入高能+高产模式
...内的大模型而言,只有Minimax采用了MoE架构。二、扩容的上下文窗口意味着什么?虽然Gemini 1.5 Pro是 Gemini 1
2024-02-21 14:05:00
AMD MI300绝杀英伟达H100?跑GPT-4性能超25%,AI芯片大决战一触即发
...希望一举打破英伟达的垄断地位。而AMD的MI300,在部署32K上下文窗口的GPT-4模型时,居然比H100效果更好
2023-11-06 15:12:00
北大林宙辰团队全新混合序列建模架构MixCon:性能远超Mamba
...层,相比 Mamba 可将 KV 缓存减少 32 倍。例如,在 256K 令牌上下文环境中,MixCon 仍能保持较小的 KV 缓存优势(如表 1 所示)
2024-10-16 13:34:00
林达华谈大模型发展之路:未来会有更高效的模型结构出现
大模型的上下文长度快速增长,超长上下文解锁新应用,但推理计算代价高昂,上下文本身对于信息不会进行压缩,不能直接捕捉其中的深层知识和规律。上海人工智能实验室领军科学家林达华。过去一
2024-03-25 10:53:00
微软宣布Team Copilot发布,年内将推出初步预览版
...此类新功能构建的Copilot现在可以利用内存和知识来获取上下文信息、推理操作和输入、根据用户反馈进行学习并在遇到不知道如何处理的情况时寻求帮助
2024-05-22 20:01:00
刚炮轰完GPT模式 杨立昆推出首个“世界模型”
...。具体来说,Meta研究人员证明了使用信息(空间分布)上下文预测包含语义信息(具有足够大的规模)的大型块的重要性。▲I-JEPA使用单个上下文块来预测来自同一图像的各种目标块的表示
2023-06-14 18:02:00
...准GPT-4的两倍,并具有扩展的32000个令牌(约25000个单词)上下文窗口。上下文窗口是指模型在生成附加文本之前考虑的文本
2023-08-30 14:12:00
OpenAI掀小模型血战!苹果DCLM强势登场,碾压Mistral 7B全开源
...T的DCLM,DCLM-7B模型又进一步过滤出其中的2.5T用于训练。 上下文长度为2048,小于Mistral 7B和Gemma 2 9B的8k长度
2024-07-22 09:41:00
挑战Scaling Law,Meta发布移动端350M小模型MobileLLM,性能比肩7B LLaMA-v2
...层的参数占到了相当大的比例。比如,125M模型中要使用上下文长度32k、维度512的编码,输入和输出编码层就包含了16M的参数
2024-07-23 09:39:00
更多关于科技的资讯: