- 我的订阅
- 头条热搜
我们正处于一个信息大暴发的时代，每天都能产生数以百万计的新闻资讯！
虽然有大数据推荐，但面对海量数据，通过我们的调研发现，在一个小时的时间里，您通常无法真正有效地获取您感兴趣的资讯！
头条新闻资讯订阅，旨在帮助您收集感兴趣的资讯内容，并且在第一时间通知到您。可以有效节约您获取资讯的时间，避免错过一些关键信息。
...，一名工程师 Jay Mody 在一篇文章汇总将用 60 行 NumPy 代码从头实现一个 GPT。并把 GPT-2 模型权重加载到实现中，从而生成文本。原文链接：https://jaykmody.com/blog/gpt-from-scratch/作者 |Jay Mody译者| 禾木木出品 ……更多
2023-02-15 11:00:00从头,代码,技巧,模型,矩阵,输入
...调试器和性能分析工具组成的工具链，，帮助开发者优化代码简而言之，CUDA使GPU加速LLM训练变为现实，大幅缩短了训练时间。100%的Triton内核Pytorch最近发表了一篇技术博客，他们以两个模型——Llama3-8B和IBM的Granite-8B Code为例，100...……更多
2024-09-07 09:48:00新时代,推理,内核,矩阵,乘法,英伟
...了自动提示词工程的概念、原理和工作流程，并通过代码从头实现了这一方法。自动提示词工程是什么？自动提示词工程（APE）是指自动生成和优化 LLM 提示词的技术，目标是提升模型在特定任务上的性能。其基于提示词工程的...……更多
2024-09-10 13:39:00从头,人工,提示,指南,工程,提示
...性能提升，其模型技术知识能力提升超过20%，数学/推理/代码/文创能力提升超过30%。同时，「天工3.0」新增了搜索增强、研究模式、调用代码及绘制图表、多次调用联网搜索等能力，并针对性地训练了模型的Agent能力，使得「天...……更多
2024-04-03 11:35:00天工,颠覆,模型,体验,音乐,天工
...atGPT一个，光是基于文本输入的就有7种——图像、视频、代码、3D模型、音频、文本、科学知识……尤其2022年，效果好的AI生成模型层出不穷，又以OpenAI、Meta、DeepMind和谷歌等为核心，发了不少达到SOTA的模型。这不，立刻有学者...……更多
2023-01-30 16:34:00生成,模型,新论,代表作,盘点,进展
... GPU 和 TPU 上，软件是一场噩梦。处理任意 CUDA 和 PyTorch 代码需要极其复杂的编译器。第三方 AI 芯片（如 AMD、Intel、AWS 等）在软件上总共花费了数十亿美元，但收效甚微。而 Sohu 只运行 transformer，因此只需要为 transformer 编写……更多
2024-06-27 09:24:00辍学生,哈佛,芯片,速度,芯片,模型
...窗口达200K左右。本次更新主要增强知识、数学、推理及代码能力，全面对标GPT-4 Turbo。在文科能力方面，“日日新5.0”的创意写作能力、推理能力及总结能力均有提升，相同的中文知识注入后，可获得更好的理解总结及问答，为...……更多
2024-04-24 09:32:00商汤,模型,升级,商汤,模型,推理
...Net b1.58将每个参数仅用三元值表示，但是所有这些都需要从头开始训练模型，并不是谁都有预算来进行LLM预训练。而Huggingface Transformers最近整合了BitNet b1.58，运用了一些技巧，使得现有模型可以直接微调到1.58bit。感兴趣的童鞋...……更多
2024-10-23 12:05:00模型,微软,推理,框架,参数,模型
...的潜力，提出新的高效微调方法LoRA-Dash。来看具体内容。从头搭建特定任务方向的框架随着大型语言模型的发展，针对特定任务微调模型往往需要大量计算资源。为了解决这一问题，参数高效微调（PEFT）策略应运而生，像LoRA等...……更多
2024-09-18 09:57:00哈佛,交大,框架,方向,任务,方向
...8 张 AMD MI300X GPU 和 JAX 微调 LLaMA 3.1 405B 模型的方法，所有代码现已开源。Github 链接：https://github.com/felafax/felafax
机器之心对博客内容进行了不改变原意的编译、整理，以下是博客内容：JAX 尤其适合非英伟……更多
2024-10-09 09:52:00模型,跟着,博客,模型,参数,训练
...十亿个值，从而尽可能减少存储参数所需的空间。让我们从头开始，探索数值是如何表示的，然后再进行优化。如何表示数值数值存储的形式通常是浮点数（floting point number，或简称为floats）：一个带有小数点的正数或负数。这...……更多
2024-08-01 09:38:00干货,可视化,模型,工程师,指南,工程
...界主流的个性化精品数字人通常属于在单个目标人数据上从头训练的小模型，虽然这种小模型能够有效地学到说话人的外表和说话风格，这种做法存在低训练效率、低样本效率、低鲁棒性的问题。相比之下，近年来许多工作专注...……更多
2024-11-01 09:27:00模型,高质量,训练,数字,个性,模型
...已支持一半以上蚂蚁工程师的日常开发工作，他们提交的代码中10%由AI生成。 ……更多
2024-05-29 07:07:00矩阵,蚂蚁,集体,开放,应用,技术
...个深度学习堆栈，并与微软Azure云平台一起为其工作负载从头开始共同设计了一台超级计算机。一年前，OpenAI训练GPT-3.5作为系统的第一次“试运行”，发现并修复了一些错误并改进了其理论基础。结果GPT-4训练运行前所未有地稳...……更多
2023-03-15 21:00:00单词,输出,性能,模型,文本,语言
...了整个模型的推理速度。为什么要把Llama变成Mamba？因为从头开始训练一个大模型太贵了。Mamba也火了这么长时间了，相关的研究每天都有，但自己训练大尺寸Mamba模型的却很少。目前比较有名的是AI21的Jamba（进化到了1.5版本，最...……更多
2024-09-06 10:01:00推理,更快,性能,模型,输出,训练
...200K左右。本次更新主要聚集增强了知识、数学、推理及代码能力，全面对标GPT-4Turbo，主流客观评测上达到或超越GPT-4Turbo。在文科能力方面，“日日新5.0”的创意写作能力、推理能力以及总结能力均大幅提升，相同的中文知识注...……更多
2024-04-25 01:02:00商汤,云端,模型,体系,科技,商汤
...新的训练集上微调Transformer。请注意，每次迭代都不需要从头开始训练。通过再进行5次循环，模型很快学会只生成完整的二分图，而且这些二分图中的大多数都具有相等的两部分大小，见图4。可以直观地发现，随着迭代的代数...……更多
2024-11-14 09:44:00年数,研究者,算法,猜想,难题,杀手
...的开源数据集，配合开源代码，使得感兴趣的从业者可以从头开始完整复现这些令人惊艳的效果。为了完全复刻原始视频的表情和动作，MegActor 采用了原始图像进行驱动，这与多数厂商使用 sketch、pose、landmark 的中间表示皆然不...……更多
2024-06-28 09:41:00人像,生成,表情,输入,照片,视频
...的指令。“最惊艳的是它通过一张网页草图在10秒内生成代码”与此前的GPT系列模型相比，GPT-4最大的突破之一是在文本之外还能够处理图像内容。OpenAI表示，用户同时输入文本和图像的情况下，它能够生成自然语言和代码等文...……更多
2023-03-15 21:00:00草图,从业者,生成,工程师,代码,工程
...文本生成、语言理解、知识问答、逻辑推理、数学能力、代码能力以及多模态能力。“这将对整个人类的生产和生活方式带来巨大的颠覆，产生全新的机会。”“认知大模型成为通用人工智能的曙光，科大讯飞有信心实现智能涌...……更多
2023-05-07 03:00:00模型,讯飞,模型,星火,能力,认知
...源2.0」在通用服务器上跑起来了！面对用Java编写程序的代码任务，「源2.0」非常迅速地给出了结果。再给它上一道推理题——船边挂着软梯，离海面2米，海水每小时涨半米，几小时海水能淹没软梯？
同样，AI几乎0延迟给出了...……更多
2024-08-02 09:47:00大厂,模型,参数,疯狂,服务器,服务
...人工智能可以回答各种问题，无论是历史事实还是计算机代码，令人们眼花缭乱，并引发了一波人工智能投资潮。现在，有用户似乎找到了利用ChatGPT黑暗一面的方法，通过强制手段迫使其违反自己的规则，回答一些违禁问题。Ch...……更多
2023-02-07 23:01:00威胁,技巧,问题,用户,人工智能,输入
...U和还是TPU上，软件都是一场噩梦。处理任意的CUDA和PyTorch代码，需要的编译器极其复杂。为此，AMD、英特尔、AWS这些第三方AI芯片，都在软件上投入了数十亿，但效果依然不佳。这里，Sohu的好处就体现出来了——因为它只运行Tra...……更多
2024-06-27 09:25:00小哥,英伟,哈佛,华裔,推理,芯片
...数据。而最近一个多月，混元大模型能力提升比较大的在代码能力以及数据推理，效果较此前有20%的提升。并且，对话上下文窗口，也从原来的4K，中小模型可以长至16K。而第三季度，可以说是国内大模型领域的关键节点——包...……更多
2023-10-29 10:13:00腾讯,接入,生成,模型,图像,业务
...性，以避免重复编写相似的状态机模型，提高开发效率和代码质量。具有较好的可维护性和可扩展性，以方便后期的升级和维护。安全需求能够保护IOT设备的数据安全和隐私安全，避免因状态机模型漏洞而导致的数据泄露和攻击...……更多
2023-03-12 14:52:00神奇,状态,领域,状态,模型,设备
...引擎结合，能够被被特定的条件触发，自动地成长出新的代码。选择宝可梦题材做实验，是因为团队中大部分成员都是宝可梦粉丝，目前相关论文已上传ArXiv平台。「失控玩家」走进现实研究团队用电影《失控玩家》中的主人公 ...……更多
2024-09-05 10:04:00交大,进化,引擎,世界,研究人员,引擎
...确。同时，它还附上了正确做法。聚集增强数学、推理及代码能力商汤生成式AI产品系列的突破性表现，得益于其最新发布的日日新5.0版本大模型。记者了解到，自去年4月首次发布，商汤“日日新SenseNova”大模型体系已正式推出...……更多
2024-04-29 04:36:00商汤,模型,科技,商汤,能力,模型
...。现阶段，视觉生成模型擅长创建逼真的视觉内容，然而从头开始训练这些模型的成本和工作量仍然很高。比如 Stable Diffusion 2.1 花费了 200000 个 A100 GPU 小时。即使研究者使用最先进的方法，也需要在 8×H100 GPU 上训练一个多月的...……更多
2024-07-30 09:37:00从头,模型,训练,参数,掩蔽,训练
...流的BF16(O2) + FP8(O1)的新一代混合精度训练方案。仅需一行代码，即可对主流LLM模型能够获得平均30%的加速效果，降低相应大模型开发成本，并保证训练收敛性。无需引入额外的手写CUDA算子，避免了较长的AOT编译时间和复杂的编...……更多
2024-09-26 13:34:00训练,精度,一行,混合,模型,成本
...DiT模型已部署到Hugging Face官方模型库Diffusers中，仅用三行代码即可调用，无须下载原始代码库，大大降低了使用门槛。开源仅一个月，腾讯混元在开源社区Github Star数（关注数）达到2400个，高居社区热门DiT模型前列。如腾讯公司...……更多
2024-07-01 11:42:00赢家,模型,腾讯,中国,搜索,能力
更多关于科技的资讯：
11月14日消息，在玩家多年要求下，《魔兽世界》游戏的下一个资料片终于将迎来家宅系统（暴雪官方译名）。暴雪在今日凌晨的魔兽30周年直播活动中公布了这一消息
2024-11-15 00:54:00
11月13日消息，诺基亚当地时间周三表示，已从美国公司Rapid手中收购了全球最大的应用程序编程接口（API）中心和市场
2024-11-15 00:57:00
自从华为余承东表示，史上最强大的Mate，11月见。相关华为Mate70系列的爆料源源不断，而11月份即将过半，留给华为预热到发布的时间已经不多了
2024-11-15 01:05:00
11月13日，红魔10Pro系列正式面世。这款新机以一项前所未有的创新吸引了全球目光：它首次搭载了1.5K真全面屏，被官方誉为“悟空屏”
2024-11-15 01:07:00
11月12日，以“智领，兴时代”为主题的中兴通讯2025年度全球合作伙伴大会在深圳召开。本次大会邀请了中兴通讯全球约200家战略合作伙伴
2024-11-15 01:08:00
11月14日消息，汽车媒体carscoops昨日（11月13日）发布博文，报道称保时捷正在纽博格林测试2025款911GT3RS
2024-11-15 01:15:00
快科技11月15日消息，小米将参加广州车展，有网友问小米汽车展台有什么特别的看点？官方介绍，2024广州车展将于11月15日正式开幕
2024-11-15 01:20:00
11月14日消息，内存厂商全何昨日宣布，超频高手AKM在华擎1SPC“超频旗舰”主板Z890TaichiOCF上使用英特尔酷睿Ultra9285K处理器
2024-11-15 01:22:00
11月14日消息，动画电影《指环王：洛汗之战》已定档12月13日在北美上映，华纳兄弟电影今日确认这部新片将引入中国内地
2024-11-15 01:33:00
11月14日消息，米哈游昨日官宣，《云・绝区零》安卓端测试已开启。目前测试资格已开始陆续发放，将通过电子邮件/短信/站内信或游戏内邮件分批联系获得测试资格的玩家
2024-11-15 01:38:00
韩国媒体近日报道，比亚迪韩国官方于11月13日正式宣布，已完成针对韩国市场推出乘用车品牌的全面评估，并计划在2025年初正式进入韩国乘用车市场
2024-11-15 01:49:00
最近，朋友阿云刷到了不少“爆改老旧小厨房”的笔记，她问我，要不要趁着“以旧换新”的机会给爸妈家的厨房来一波升级。但是她也表示
2024-11-15 01:54:00
11月14日消息，在今日凌晨的魔兽30周年庆祝活动中，暴雪公布了《炉石传说》游戏的后续规划。首先，《炉石传说》将联动《星际争霸》
2024-11-15 01:55:00
11月14日消息，小米今日宣布，冬日新品米家智能蒸烤箱S130L预售开启，建议零售价1799元，新品到手价1599元。IT之家查询发现
2024-11-15 02:13:00
11月14日消息，虽然微软已于上个月推出Windows112024更新（24H2），但安装助手并不支持Arm64，所以微软现在为这部分用户提供了适用于Arm64架构的ISO镜像文件
2024-11-15 02:14:00