• 我的订阅
  • 科技

利用观测云打造企业级的统一日志中心

类别:科技 发布时间:2024-04-24 16:00:00 来源:天极网

【每日科技网】

前言

在数字化转型时代,现代的大规模应用程序每天可以生成数以亿计的日志数据。它是企业运营和管理中的宝贵资产,记录了系统、应用和设备的各种活动和事件。通过分析日志数据,企业可以深入了解业务运行情况、识别潜在问题和优化机会,提升系统稳定性、安全性和性能表现。因此,企业构建“统一日志中心”的必要性是显而易见的,它可以集中管理和分析各类日志数据,实现全面监控、快速响应和深度分析,帮助企业实现故障排除、安全审计、性能优化等目标,提高运营效率、降低风险,并为业务发展提供有力支持。

观测云秉承“统一采集、统一处理、统一分析”的理念,构建了一套高效的观测数据分析平台。本文从日志采集、处理、存储、分析的各个过程,分别观测云如何帮助企业又快又好地建设统一日志中心。

观测云日志采集能力

在采集方面,观测云的统一数据采集器DataKit拥有丰富的采集模板和强大的集成扩展能力,能够使用采集磁盘文件、容器stdout、接收远程推送日志、sidecar方式采集日志等多种方式,以适应企业异构的IT环境和多元的日志采集需求。

利用观测云打造企业级的统一日志中心

观测云对不同日志的处理方式

DataKit内置了操作系统日志、容器日志、MySQL & Nginx等常用数据库和中间件的采集器,能同时采集监控对象属性、指标数据(Metric)、日志数据(Log),用统一采集的理念*大程度上减少部署在监控对象上的agent数量。

DataKit采集器的运行管理十分方便,在K8S环境中,DataKit会以DaemonSet方式运行,确保在每个节点上都会运行一个日志采集器 Pod,从而实现对整个集群的日志数据全面覆盖。无论集群中有多少个节点,都能保证每个节点的日志都被实时采集。观测云还提供了DCA(DataKit Client Agent),它是一个用于批量管理DataKit的工具。通过DCA,用户可以更加方便地对DataKit状态、日志解析模板、黑名单等配置进行批量操作和维护,从而提高数据采集的效率和准确性。

对于已经使用开源agent采集日志的企业来说,通常倾向于将原有agent采集的日志转发给新建设的统一日志中心。观测云可使用Fluentd、Logstash、Kafka、API等方式来接收已采集的日志,充分保留企业过往的技术投入并减少替换成本。

观测云日志处理能力

在日志处理过程中,观测云内置了十余种常用数据库&中间件的官方日志解析模板,包括Kafka、Elasticsearch、MySQL、Nginx、Redis、Tomcat、MongoDB等,方便用户直接使用。另外还提供了数十个脚本函数,让用户可以按照不同的日志处理场景进行快速引用,实时进行调试。

例如,很多企业希望在日志采集时对日志中的敏感信息进行脱敏,则可以使用观测云Pipeline中的脱敏函数对指定字段范围做数据脱敏,即可在采集侧完成脱敏处理,避免了敏感信息在互联网传输带来的合规性问题。

再如,很多企业也提到了希望能配置采集端黑名单,以减少宝贵的带宽资源,降低中心化处理的性能开销。在观测云上,您可以通过drop函数(丢弃整条日志或某个字段)、sample函数(对日志进行采样),或者是配置日志黑名单来达到上述目的。

利用观测云打造企业级的统一日志中心

对于模板不能适配的日志格式,观测云也提供了多种方式让用户能轻松完成日志解析。首先是在Pipeline解析过程中提供了“一键获取样本”并实时调试的能力,让用户可以实时查看Pipeline对日志的处理是否满足需求。同时为了降低编写Pipeline的难度,观测云还提供了交互式的命令行工具,帮助用户快速选择适合某个字段的函数。

利用观测云打造企业级的统一日志中心

交互式命令行工具,降低日志解析难度

此外,Pipeline还支持通过openAPI进行导出、导入,以便在集团性组织在创建工作空间时直接引用,快速将已经调整好的Pipeline分发给不同业务系统,提升业务团队的使用体验。

值得一提的是,对于在日志采集中经常遇到的多行日志采集问题,观测云提供了自动多行模式、自定义多行模式的方式。自动多行模式会根据特定的起始标记、结束标记、正则表达式等来进行多行日志的识别,降低用户的使用负担。

观测云日志存储能力

观测云在面向全球用户提供SaaS服务的过程中,需要实施处理并存储海量的日志,如何在成本与用户体验间保持平衡,观测云付出巨大努力。在过去使用elasticsearch/opensearch方案时,我们发现该方案存在写入占用资源多、对无模式表支持较差、聚合查询性能差等问题。因此观测云在经过严谨的调研、开发、测试之后推出了全新架构的GuanceDB。

GuanceDB满足了观测云对 Schema Free 的要求,解决了数据 Schema 频繁变化痛点;提高了数据写入的性能,保证了数据写入的时效性和查询的实时性;提升了全文检索的性能并降低查询的资源开销...... 总而言之,观测云*终实现:仅使用 Elasticsearch 的 1/3 成本、获得 2~4 倍的性能提升,整体性价比提升了近 10 倍!

利用观测云打造企业级的统一日志中心

为了满足企业对日志的长期保存需求(通常出于日志审计的考虑),同时又要兼顾存储成本,观测云提供了“数据转发”功能,便于观测云提供日志等数据保存到观测云的对象存储及转发到外部存储的功能,您可以自由选择存储对象,灵活管理数据转发数据。在数据转发页面,您可以通过设置查询时间和数据转发规则快速查询存储数据(包含观测云备份日志、AWS S3、华为云 OBS、阿里云 OSS 和 Kafka 消息队列),还可以在无需额外处理的情况下,直接在观测云上查看历史备份日志和 SLS Query Logstore 数据。

观测云日志分析能力

DQL(Debug Query Language)是观测云开发的数据查询语言。DQL支持在观测云工作空间或者终端设备进行数据查询,允许用户检索和分析存储在观测云中的各种数据,包括日志、指标、链路追踪等。

利用观测云打造企业级的统一日志中心

得益于DQL统一查询语言和统一风格的“查看器”,用户在观测云上无论是分析日志、链路、RUM(用户体验数据)时都有一致性的体验,同样的简单易用、同样的秒级查询体验。

利用观测云打造企业级的统一日志中心

常用搜索历史模板、快捷筛选、字段补全等功能,在观测云上都一应俱全。考虑到团队在排查故障、分析异常过程中经常会有数据共享的需求,观测云设计了贴心的“快照分享”,团队成员可以创建自定义时间段即时拷贝的数据副本,并生成指定查看权限的快捷访问链接。团队可以通过一个浏览器链接分享日志数据,并且可以保留分享者在日志上做过的时间筛选、条件筛选,该快照也并非是单一的静态数据,而是可以交互的日志分析界面,大大降低了团队间使用截图、发送原始日志的沟通成本。出于对数据安全性的考虑,分享者可以对快照设置字段脱敏、添加水印、设置有效时间、链接加密、访问IP白名单等多种特性,在信息高效传递的同时充分保证数据的安全性,便于团队间、外部企业进行协作。

利用观测云打造企业级的统一日志中心

对于很多企业来说,特别担心采集的日志中存在敏感数据,但在日志的采集、存储、分析过程中极其难以发现。为了解决这个问题,观测云开发了“敏感数据扫描”功能,内置了近百个敏感数据规则库,并允许用户自定义新建敏感数据规则,通过引用这些规则来对存储在观测云中的日志数据进行主动扫描,一旦发现敏感字段即可进行加密,确保数据合规性。

此外,观测云还支持通过“数据访问”功能为不同角色配置对应的日志数据访问查询范围,以实现数据查询范围的精细化管理。例如负责不同业务系统的团队、同一团队中根据角色区分不同的日志权限,都可以灵活进行配置。

在“日志智能检测”功能中,观测云运用智能检测算法,监控工作空间内采集器产生的日志数据。智能识别日志数量的突增 / 突降、错误日志的突增的异常数据,及时发现不符合预期的异常状态,及时提醒团队关注业务是否有异常表现。

利用观测云打造企业级的统一日志中心

日志突增的智能检测

总结

当企业考虑构建统一日志中心时,通常需要考虑功能需求、可扩展性、安全性、兼容性、性能和效率、成本效益与用户体验。相信经过上面的介绍,您对观测云的日志分析能力拥有了比较全面的认识。观测云一直致力于为用户提供更好、更优的可观测能力,相信是企业构建统一日志中心、统一可观测平台的理想选择。

以上内容为资讯信息快照,由td.fyun.cc爬虫进行采集并收录,本站未对信息做任何修改,信息内容不代表本站立场。

快照生成时间:2024-04-24 18:45:01

本站信息快照查询为非营利公共服务,如有侵权请联系我们进行删除。

信息原文地址:

2024年,你还在开源自建监控系统?
在当今的IT领域,监控和观测系统是确保企业业务连续性和提升运维效率的关键。随着云计算和微服务架构的普及,企业对于监控解决方案的需求变得更加复杂和多样化。在众多监控方案中,观测云和
2024-03-22 15:30:00
观测云:从云时代走向AI时代
...年,云计算让企业的数据处理能力实现了指数级增长,而观测云作为全栈监控观测平台,见证并参与了这一进程。通过强大的数据采集、处理与展示能力,观测云帮助数百家企业实现了对IT基础设
2025-05-15 10:45:00
EMQ 如何用DeepSeek大模型重构可观测性数据分析?
...增,企业每天产生的运维日志、设备状态、网络流量等可观测性数据呈指数级增长。企业运维团队面对TB级数据如同「大海捞针」,故障定位耗时从分钟级延长至小时级,人工经验主导的决策更让
2025-02-27 14:45:00
从观云与安云来看基调听云如何深度赋能企业数字化转型
...广泛应用,企业所面临的IT运维环境也越来越复杂。而可观测性已经成为管理和维护复杂系统的关键能力,因此被推到前所未有的重要地位。Gartner甚至将可观测性列为“2023年十大
2024-03-14 16:00:00
监控系统泛滥:CTO面临的隐形成本危机
...,这样的案例如今已经屡见不鲜了。因此,引入全面的可观测性策略是实现IT基础设施高效管理和成本优化的关键。 结束语 在这个数字化时代,面对传统监控过度增殖所带来的挑战,如何
2024-04-15 11:00:00
如何利用opentelemetry可以高效的监控微服务
...监控体系。一、OpenTelemetry简介OpenTelemetry是一个开源的可观测性框架,旨在提供统一的标准和工具
2024-07-08 10:47:00
中新经纬7月28日电 题:未来可观测性技术将深度融合AI达成体系训练作者 郑立 中国信通院云计算与大数据研究所副主任、云计算部副主任可观测性技术最早源起于硬件,目的就是了解黑盒系
2023-07-28 14:03:00
KubeSphere容器平台,为企业云原生转型提速
...管理能力、多集群支持能力、多租户能力、天然集成的可观测能力等,让用户在一个平台上满足了日常运维所需。实践过程多集群统一管理KubeSphere 多集群中角色分为主集群和成员集
2023-07-05 11:00:00
...的多了,但“网格日志”又成了居民对美好生活向往的“观测本”。正是有了这样的“观测记录”,该社区根据不同群体提升服务项目,便有了“局长进站办”“法治夜校”、红色物业邻里中心、选
2024-05-04 21:13:00
更多关于科技的资讯:
山东移动日照分公司携手山东鲜醇乳业打造5G智能工厂 全流程赋能乳业生产新标杆
鲁网9月3日讯在数字化浪潮推动传统产业转型升级的背景下,山东移动日照分公司助力山东鲜醇乳业有限公司成功入选《2025年5G工厂名录》
2025-09-03 17:12:00
当晚期肺癌患者仅需支付最低207元、最高千余元的保费,即可通过“穗新保”全额报销高达30万元的质子治疗费用,重燃高质量生活希望时
2025-09-03 17:13:00
山东移动日照分公司:数智转型,打造高端板材涂镀产业新标杆
鲁网9月3日讯日照市昱岚新材料有限公司招商引资项目总投资达 63 亿元,目标打造全国最具竞争力的马口铁生产基地。项目分三期建设
2025-09-03 17:14:00
短视频平台丰富了公众的日常生活,提供了公众所需的各类信息,近年来,越来越多的人通过短视频平台向公众传播医学知识,但这些内容并非全部真实可信
2025-09-03 21:24:00
夏末秋初求职盛宴,山东省人力资源市场喊你来“挑”工作啦!
金九银十求职季,山东省人力资源市场为广大求职者准备了一系列精彩纷呈的招聘活动,无论是刚踏出校园的应届生,还是寻求职业转型的职场人
2025-09-03 18:51:00
吉哒哒生炸鸡架盛唐荟店开业,凭差异化优势领跑行业
近日,炸鸡品类新势力——济南星瀚途旗下吉哒哒生炸鸡架盛唐荟店正式开业,持续引发市场关注。开业当日,现场食客络绎不绝,人气火爆
2025-09-03 18:57:00
豪米客鲜烤牛肉拌饭以特色引领韩式餐饮新潮流
当下餐饮行业竞争日趋白热化,同质化严重的赛道已难见增长红利,而那些能精准捕捉消费需求、构建独特记忆点的特色品类,正凭借差异化优势突围而出
2025-09-03 18:59:00
2025年十大品牌软骨素榜单正式出炉,经过对市场口碑、产品配方、科研背景、用户反馈及认证资质等多维度综合评估,以下五款氨糖软骨素产品脱颖而出
2025-09-03 17:10:00
技术驱动增长:巨星AI智能体系统助力巨星优选破解奶茶行业营销瓶颈
在数字经济迅猛发展的当下,人工智能技术正逐步成为企业提升运营效率、实现精准营销的核心驱动力。巨星优选积极引入先进的"巨星AI智能体"系统
2025-09-03 17:10:00
IFA2025开幕在即,海信AI技术引领未来生活方式变革
9月5日,一年一度的IFA德国柏林消费电子展即将开启。今年IFA以“创新、互联、可持续(Innovation,Connectivity
2025-09-03 11:18:00
外卖小票单印“霸总小说” 奶茶店被网友疯狂“催更”
近日,奶茶店因在外卖小票单上印有“霸总小说”内容而引发网友热议。网友晒出自己购买“茉莉奶白”的奶茶,奶茶小票上印有一段“霸总小说”
2025-09-03 14:26:00
伙伴收入同比增长208% 百度智能云“大模型行业合伙人计划”上新
近日,“2025 百度云智大会·渠道生态专题论坛”在北京举办。此前国务院印发《关于深入实施“人工智能+”行动的意见》指出
2025-09-03 14:44:00
2025《戈·局》炉边对话即将于杭州举行
9月16日,一场没有宏大口号、没有程式化发言的企业家对话,将在杭州钱塘江南岸隆重开启。它既非论坛,亦非峰会,而是一场名为《戈·局》的炉边对话
2025-09-03 14:46:00
Small Sciences Symposium圆满收官——Small 20周年庆典镌刻中国纳米“高光时刻”
9月1日,全球领先的出版机构约翰威立国际出版集团(Wiley)主办的第五届 Wiley ChinaNANO Small Sciences Symposium 在 划下圆满句点
2025-09-03 14:47:00
倍思Inspire系列旗舰音频新品发布会定档9月5日,让专业音频走进大众生活
2025年8月28日,新生活移动数码品牌 Baseus倍思正式宣布:Inspire系列旗舰音频新品将于9月5日14:00 线上发布
2025-09-03 15:13:00