- 我的订阅
- 科技
我们正处于一个信息大暴发的时代，每天都能产生数以百万计的新闻资讯！
虽然有大数据推荐，但面对海量数据，通过我们的调研发现，在一个小时的时间里，您通常无法真正有效地获取您感兴趣的资讯！
头条新闻资讯订阅，旨在帮助您收集感兴趣的资讯内容，并且在第一时间通知到您。可以有效节约您获取资讯的时间，避免错过一些关键信息。
开源 AI 聊天机器人 MLC LLM 发布
IT之家5月2日消息，目前大多数AI聊天机器人都需要连接到云端进行处理，即使可以本地运行的也配置要求极高。那么是否有轻量化的、无需联网的聊天机器人呢？
一个名为 MLCLLM 的全新开源项目已在GitHub上线，完全本地运行无需联网，甚至集显老电脑、苹果iPhone手机都能运行。
MLCLLM项目介绍称：“MLCLLM是一种通用解决方案，它允许将任何语言模型本地部署在一组不同的硬件后端和本地应用程序上，此外还有一个高效的框架，供每个人进一步优化自己用例的模型性能。一切都在本地运行，无需服务器支持，并通过手机和笔记本电脑上的本地GPU加速。我们的使命是让每个人都能在设备上本地开发、优化和部署AI模型。”
▲MLCLLM项目官方演示
IT之家查询GitHub页面发现，这个项目的开发者来自卡内基梅隆大学的Catalyst计划、SAMPL机器学习研究小组以及华盛顿大学、上海交通大学和OctoML等。他们还有一个名为 WebLLM 的相关项目，该项目可以完全在网络浏览器中运行AI聊天机器人。
▲MLC是MachineLearningCompilation的简称
MLCLLM使用了Vicuna-7B-V1.1，后者是一种基于Meta的LLaMA的轻量级LLM，效果虽然不如GPT3.5或GPT4，但在大小方面比较占优势。
目前，MLCLLM可用于 Windows、Linux、macOS和iOS平台，暂时还没有适用于Android的版本。
根据外媒tomshardware的测试，6GB内存的苹果iPhone14ProMax和iPhone12ProMax手机成功运行了MLCLLM，安装大小为3GB。而4GB内存的苹果iPhone11ProMax无法运行MLCLLM。
▲图源tomshardware
此外，ThinkPadX1Carbon（第6代）也测试成功运行MLCLLM，这是一款搭载i7-8550U处理器的笔记本，没有独立显卡，配有英特尔UHD620GPU。MLCLLM在PC平台需要通过命令行运行，外媒测试表现一般般，回复时间需要将近30秒，而且几乎没有连续对话能力，希望能在后续版本中得到改进吧。
▲图源tomshardware
举报/反馈
以上内容为资讯信息快照，由td.fyun.cc爬虫进行采集并收录，本站未对信息做任何修改，信息内容不代表本站立场。
快照生成时间：2023-05-03 11:45:23
本站信息快照查询为非营利公共服务，如有侵权请联系我们进行删除。
信息原文地址：
