• 我的订阅
  • 科技

EMQ 如何用DeepSeek大模型重构可观测性数据分析?

类别:科技 发布时间:2025-02-27 14:45:00 来源:爱云资讯

EMQ 如何用DeepSeek大模型重构可观测性数据分析?

前言

在数字化转型浪潮下,全球基础软件行业正经历革命性变革。随着物联网设备数量的激增,企业每天产生的运维日志、设备状态、网络流量等可观测性数据呈指数级增长。企业运维团队面对TB级数据如同「大海捞针」,故障定位耗时从分钟级延长至小时级,人工经验主导的决策更让企业错失实时响应的黄金窗口。

在此背景下,作为全球领先的「云边端」连接与数据平台供应商,EMQ创新性的结合EMQX的可观测性数据与DeepSeek的LLM(大语言模型)服务,利用向量化知识库、自动化代码生成和自然语言处理等AI技术,帮助用户快速解决设备数据无法上传、设备断连、连接时延增加、数据转发缓慢等问题。

现有物联网数据可观测性工具的局限

物联网数据的可观测性是通过监控和管理车联网、工业互联网等平台的数据,确保数据在复杂的系统、流程和管道中保持高质量、可用性和可靠性的一种实践。它帮助用户全面了解数据的状态,快速定位和分析问题,提升系统的稳定性和运维效率。

在车联网、工业互联网等场景中,由于网络条件和应用的复杂性等原因,设备断线、订阅消息变慢、消息转发滞后、消息丢失等问题时有发生。如果没有高效的可观测性数据采集、存储和分析系统,运维团队将花费大量时间定位和分析相关故障,导致系统MTTR(Meantimetorecovery)增加、用户体验下降,甚至引发客户投诉和品牌声誉受损等问题。

一般而言,可观测性数据分析依赖于指标(metrics)、跟踪(tracing)和日志(logs)三大数据源:

1.指标(metrics)

用户可以从基于时间维度的折线图等整体快速判断系统总体上是否有问题。

·通过系统的CPU、内存和网络等指标使用情况来了解在指定时间段是否存在异常情况;

·通过EMQX系统了解连接、消息发送和转发等情况。

市场已经有Prometheus和Grafana等成熟的相关产品,可以非常方便地对这些数据进行存储和展示。

2.跟踪(tracing)

了解系统内部的运行状态,知道问题出在哪里。

·通过在系统内部埋点的方式来跟踪系统内部、跨系统之间的调用链关系,以及各组件所消耗的时间。

目前市场上Jaeger等相关产品可以对链路数据进行存储、分析和展示。

3.日志(logs)

用于定位故障的准确原因。

·日志是程序在执行过程中通过代码打印的,用于让开发和运维人员了解系统的执行状态,以及执行过程中发生的一些错误和异常情况。

市场上有ElasticSearch等相关成熟的产品可以实现对日志的存储、查询和展示。

目前,市场中的大部分可观测性数据工具都存在以下局限性:

·功能预置化:大部分功能依赖供应商预设,无法灵活应对未知异常。

·知识库静态化:依赖文字匹配搜索解决方法,无法针对相关问题提供精准建议。

·智能化不足:缺乏问题推理能力,难以应对复杂场景下的问题分析。

利用AI实现更加智能的可观测性数据分析

基于大语言模型(LLM)提供的推理能力,可以显著提升可观测性数据分析的智能化水平:

·智能化推理:结合上下文对系统异常进行推理和判断,而非依赖硬编码规则。

·自然语言处理:通过AI生成代码的方式灵活处理数据,满足特殊场景需求。

·向量化知识库:利用AI推理能力,精准输出问题解决方案。

·AIAgent框架:基于LLM推理提供的方案提供自动化运维的能力,实现AI时代的智能运维。

DeepSeekR1是深度求索(DeepSeek)公司开发的推理优化模型,通过强化学习训练(RL),能够在复杂场景中进行高效的推理和内容生成。而DeepSeekV3是一款强大的生成式大语言模型,采用混合专家架构,优化了训练效果和内容生成的效率与质量。通过结合DeepSeek的R1和V3模型,可以高效处理物联网场景中的海量异构数据和交互需求。

为了帮助用户进行更加高效的物联网系统运维,EMQXECP最新版本集成了基于DeepSeekV3的数据可观测性工具。在EMQX集群和边缘服务快速部署、远程操作、集中管理等功能的基础上,用户可以充分利用AI的推理能力,实现数据驱动的物联网智能运维。

该数据可观测性工具主要包含以下三部分:

1.向量知识库构建:将产品文档、运维知识和事故分析报告等文档进行向量化,增强LLM对相关问题的高效检索和应用;

2.数据源收集:EMQX将指标、跟踪和日志等数据通过OpenTelemetry等协议发送到Datalayers数据库中,为LLM提供需要分析的数据源;

3.问题解决:

(1)直接从向量库中搜索到相应的内容作为上下文,并结合prompt,把推理结果(output)直接返回给用户;

(2)根据用户的需求,在Datalayers数据库中加载相关的数据,并生成相关的代码,对数据进行处理。同时将有问题的数据和向量库中找到的结果作为上下文发送给LLM,由LLM推理,形成相关的解决方案,组织为自然语言并返回给用户。

EMQ 如何用DeepSeek大模型重构可观测性数据分析?

根据客户需求,后续还可以增加Agent自动运维编排的场景。例如:当发生某些情况时,自动发起扩容或发送通知等操作;另外还可以增加自动线上运维巡检,生成并发送高质量的巡检报告等。

AI交互操作演示

接下来,我们将展示如何使用AI进行交互操作。在部署EMQXECP后,用户可以进入工作台并点击左侧导航栏中的「链路追踪」功能,利用EMQX提供的端到端链路追踪能力来分析和排查问题。尽管链路追踪提供了强大的数据支持,帮助定位和发现问题,但在复杂情况下仍需要专业背景来分析问题根源。为提高效率,我们将DeepSeek的大语言模型集成到链路追踪高级查询页面的数据分析能力中,利用AI模型的推理和生成能力来帮助用户更快速、智能地定位问题并提供解决方案。

数据分析概览功能

首先,进入链路追踪页面并点击右上角的「高级查询」按钮,进入查询页面。在这里,用户需要选择一个EMQX集群标识,并根据需要选择一个或多个ClientID来定位数据源。接着,选择想要查询分析的时间段(默认为全部时间段),然后点击查询按钮,系统会返回指定ClientID下的所有链路追踪数据。

EMQ 如何用DeepSeek大模型重构可观测性数据分析?

当查询结果返回后,用户将看到包含多个链路追踪数据的列表,通常数据量较大。人工识别异常数据可能较为困难,此时可以使用AI助手功能,点击右下角的AI助手按钮后,会弹出一个对话框。用户可以在对话框中输入需要分析的数据的需求,AI助手会根据输入的信息生成数据分析结果,并提供优化建议等。

EMQ 如何用DeepSeek大模型重构可观测性数据分析?

当点击右下角的AI助手中的「追踪数据概览」快捷按钮后,系统会生成针对当前查询到的所有追踪数据的概览分析。该分析通常包括以下几个部分:

·整体状况:展示当前查询的所有客户端ID的总追踪条数、成功率、平均响应时间、最小响应时间、最大响应时间,以及P95和P99响应时间。

·异常情况:显示错误率较高的客户端(错误率超过一定阈值)、响应时间异常的客户端(平均响应时间超过阈值)以及异常追踪(例如耗时特别长的追踪)。

·关键发现:列出主要异常的客户端或链路,帮助用户定位潜在的故障点。

·建议:根据数据分析结果,系统会给出针对性的优化建议和排查方向。

EMQ 如何用DeepSeek大模型重构可观测性数据分析?

根据概览功能生成的报告,用户就可以迅速识别出异常的链路数据。例如,系统可能会指出某个客户端的响应时间过长,或某些ClientID的链路错误率过高。基于这些信息,用户可以通过搜索和过滤,立即找到异常链路的TraceID。后续只要点击TraceID,下方就会显示该追踪的详细信息,展示相关服务和操作的时间轴的链路结构,其中每个Span代表一个操作,用户可以将鼠标悬停在某个操作上,查看具体步骤和信息。

EMQ 如何用DeepSeek大模型重构可观测性数据分析?

虽然有效数据属性有助于定位问题,但在例如只有错误码的情况下,问题可能不够清晰。这时,可以使用AI助手功能,点击「Spans数据概览」按钮,快速分析详细原因。

AI助手将提供每个Span操作的详细分析,包含错误信息、潜在原因及修复建议。通过接入我们构建的知识库,AI能够更加准确地分析错误原因,并给出针对性的排查方案或修复建议。借助知识库中积累的历史案例和解决方案,AI可以迅速定位真实问题,避免用户手动搜索和排查,提高问题定位的精准度和效率。

EMQ 如何用DeepSeek大模型重构可观测性数据分析?

脚本模式功能

EMQXECPAI助手还提供了自定义脚本功能。通过对话框上方的脚本模式开关,用户可以启用脚本模式,利用DeepSeek强大的模型和编码推理能力。脚本模式开启后,用户可以通过对话框发送自定义数据需求,AI会自动生成相应的数据分析脚本,并根据当前的数据执行运算,快速得出分析结果。AI可基于结果自动生成图表或文档,帮助用户直观地理解数据,快速定位问题。

示例1:计算duration的平均值

在脚本模式下,用户发送了一个「计算当前追踪数据中duration字段(耗时)的平均值」的请求。AI助手此时会根据需求自动生成并执行相关的脚本代码,然后计算出duration的平均值,并返回结果。结果将直接显示在对话框内,同时生成了一份关于结果分析的总结报告。

EMQ 如何用DeepSeek大模型重构可观测性数据分析?

示例2:查看错误的Trace对于当前总的Traces的占比分布

AI助手会根据用户需求来自动判断是否需要生成对应的图表,例如当用户提问了「查看错误的Trace对于当前总的Traces的占比分布」时,AI助手会根据请求生成分析脚本,计算出错误Trace的占比,并自动绘制以图表的形式呈现,并附加上结果和图表的分析报告。此功能非常适合用户通过比例分析来评估系统健康状态。

EMQ 如何用DeepSeek大模型重构可观测性数据分析?

通过脚本模式,AI不仅可以帮助用户完成复杂的数据分析任务,还能根据用户的需求灵活生成代码。用户无需编写代码或手动计算数据,AI会自动进行推理和计算,减少人工干预,提高数据分析效率。此外,生成的图表和报告更加直观,帮助用户迅速掌握关键信息,优化决策过程。

总结

结合EMQX的可观测性数据与LLMDeepSeek的数据推理能力,可以显著降低系统运维的工作量和成本,提升运维效率和质量,同时大幅缩短系统故障的定位和分析时间,并提供有针对性的方案或建议,进一步提升客户满意度。随着LLM技术的快速发展,智能运维Agent正在实现更复杂的自动化能力,逐步解放运维和支持人员的工作负担,为企业的数字化转型提供强有力的支持。

以上内容为资讯信息快照,由td.fyun.cc爬虫进行采集并收录,本站未对信息做任何修改,信息内容不代表本站立场。

快照生成时间:2025-02-27 17:45:09

本站信息快照查询为非营利公共服务,如有侵权请联系我们进行删除。

信息原文地址:

...Euclid)和下一代宇宙微波背景(CMB)观测等重大项目,在数据分析方法与理论模型构建方面注入了新的科学动力。赵公博介绍,下一步他们课题组将持续利用DESI后续观测数据进行
2025-04-11 11:45:00
...新发现是,暗能量的状态方程随着宇宙演化而发生变化。数据分析显示,这一结论的置信度达到4.3希格玛(σ)。在粒子物理学中,判断一项发现是否“确凿”的黄金标准是达到5σ,这意味着
2025-04-12 09:48:00
“上天”“入地”“下海” AI驱动中国科学创新加速前行
...38万公里的月球表面……中国科学院的科研团队,正以AI重构科研范式并取得现实突破。未来已来,在国家“人工智能+”行动的号角下,这场始于技术、终于认知的科技革命,正在重塑人类探
2025-03-21 16:54:00
...技术与工程是指将科学原理和工程方法应用于气象观测、数据分析和预测模型的开发。这一领域的发展可以追溯到19世纪末的气象观测仪器的发明和气象数据的收集。随着电子技术的进步,气象雷
2023-09-03 15:48:00
...件”的方式,福州市气象局统筹研发了涵盖智能预报、大数据分析、智慧服务、装备保障、应急管理、全媒体服务等8个核心业务模块的市县级(端)气象服务平台——“气象精灵”。通过共享水利
2022-12-16 12:40:00
...计质效提升已进入关键攻坚期。为此,银行机构可从系统重构、技术突破、能力升级三个维度,探索实践银行审计数字化转型之路。一、构建智能化审计基础设施审计系统架构需突破传统功能模块化
2025-03-30 21:25:00
基调听云协办的智能观测进化论系列沙龙第一期精彩回顾
...国信通院稳定性保障实验室主办、基调听云协办的“智能观测进化论”系列沙龙第一期圆满召开。本场沙龙特别邀请头部可观测企业与云厂商可观测技术负责人带来深度分享,聚焦于AI大模型等智
2025-03-18 15:00:00
基调听云丨会议观察:“可观测性+应用安全”正在加速融合
...障实验室、华为云、基调听云联合主办的“破局新生·可观测性与应用安全技术研讨会”在福建平潭隆重举办。来自政企、金融、科技、制造、能源、互联网等众多行业的IT、信息系统负责人与应
2024-11-11 20:45:00
...图像增强AI基础模型(UniFMIR),大幅提升在“图像超分辨率重构、各向同性重构、3D去噪、图像投影和过程重建”五大任务方向上的性能。加载了UniFMIR的荧光显微镜将成为
2024-04-13 15:51:00
更多关于科技的资讯:
海外华媒参访视源股份 解码中国高科技企业全球化之道
海外华媒代表参访视源股份(谢明 摄)10月19日,参加第六届海外华文新媒体论坛的40余位媒体代表,在人民日报海外网组织下走进广州视源电子科技股份有限公司(简称“视源股份”)第五产业园
2025-10-21 22:52:00
全球首条高世代印刷OLED产线TCL华星t8项目正式开工
10月21日,TCL华星第8.6代印刷OLED生产线(以下简称“t8项目”)在广州开发区、黄埔区正式开工。t8项目是全球第一条规模化量产的G8
2025-10-21 22:52:00
倒计时3天!三联家电“11.11提前抢” 三重补贴撬动山东家电消费
鲁网10月21日讯伴随 “双 11” 消费季临近,山东家电市场迎来年度消费热潮。作为本土家电零售领军企业,三联家电于10月24日至26日率先启动 “11
2025-10-21 17:09:00
“只剩最后500单!”“3、2、1,上链接!”近日,某直播平台上,一名美妆主播正卖力推销一款“限量”粉底液,评论区不断涌现“已拍”“再加点货吧”等留言
2025-10-21 16:44:00
近日,滨海新区知识产权保护中心(以下简称滨海保护中心)通过专业预审服务,高效护航天津医科大学眼科医院科研团队自主研发的“干细胞内囊泡制备与应用”系列专利技术
2025-10-21 15:54:00
驼奶粉行业峰会召开:京东超市与头部企业携手共建“安心驼奶粉”验证方案
10月20日,京东2025驼奶粉行业峰会在京召开,大会以“品质溯源、产业共生”为主题,聚焦行业痛点与机遇,通过多方联动促进产业链健康发展
2025-10-21 11:11:00
江西10家企业入选“中国VR50强企业”
本报讯(全媒体记者左阳天)10月19日,“2025中国VR50强企业”名单正式发布,这是“中国VR50强企业”名单连续第七年发布
2025-10-21 05:52:00
校地专场对接会上,我市一批“钢铁新农人”集中显身手“火眼金睛”识熟果 自动采摘不伤花□南京日报/紫金山新闻记者徐宁果园里
2025-10-21 07:44:00
青春华章 | 南京微短剧产业联盟成立,“攥指成拳”闯千亿级赛道
南京微短剧产业联盟成立,“攥指成拳”闯千亿级赛道共聚“微”光,好“剧”有戏□南京日报/紫金山新闻记者鲁舒婷近260家相关企业
2025-10-21 07:45:00
培育产业向“新”力 2025厦门国际时尚周圆满落幕
2025厦门国际时尚周在中山路举行,精彩活动吸引众多市民游客。“九球天后”潘晓婷亮相2025厦门国际时尚周。厦门国际时尚周助力首发经济
2025-10-20 08:56:00
总台文创“月兔趣集”数字资产盲盒上线乐数通
中秋佳节,为推动中华优秀传统文化在数字时代实现创造性转化与创新性发展,浙江文化产权交易所(以下简称 “浙江文交所”)携手中央广播电视总台“总台文创”
2025-10-20 14:50:00
向“新”求质 | 潍柴雷沃智慧农业领航智能农机加速出海
鲁网10月20日讯10月17日-10月18日,潍柴雷沃智慧农业2025年全球合作伙伴发展大会在青岛举行。25款明星机型组成的“全矩阵”智能装备军团震撼列阵
2025-10-20 16:39:00
鸢都家电狂欢“三联家电10.25海信来了”引爆金秋消费季
鲁网10月20日讯 金秋消费季迎来重磅炸弹!三联家电宣布将于10月24日至26日启动年度促销活动——“10.25海信来了”
2025-10-20 16:46:00
战略协同 产品赋能 运营提效丨潍柴雷沃智慧农业2025年全球合作伙伴发展大会召开
鲁网10月20日讯10月17日-18日,以“战略协同·产品赋能·运营提效”为主题的潍柴雷沃智慧农业2025年全球合作伙伴发展大会在青岛召开
2025-10-20 16:47:00
日前,中国联通、中国移动、中国电信相继宣布,已获得工信部批复,在全国范围开展eSIM手机业务商用试验。这标志着,移动手机彻底告别实体SIM卡的时代正在从愿景走向现实
2025-10-20 17:37:00