• 我的订阅
  • 科技

利用观测云打造企业级的统一日志中心

类别:科技 发布时间:2024-04-24 16:00:00 来源:天极网

【每日科技网】

前言

在数字化转型时代,现代的大规模应用程序每天可以生成数以亿计的日志数据。它是企业运营和管理中的宝贵资产,记录了系统、应用和设备的各种活动和事件。通过分析日志数据,企业可以深入了解业务运行情况、识别潜在问题和优化机会,提升系统稳定性、安全性和性能表现。因此,企业构建“统一日志中心”的必要性是显而易见的,它可以集中管理和分析各类日志数据,实现全面监控、快速响应和深度分析,帮助企业实现故障排除、安全审计、性能优化等目标,提高运营效率、降低风险,并为业务发展提供有力支持。

观测云秉承“统一采集、统一处理、统一分析”的理念,构建了一套高效的观测数据分析平台。本文从日志采集、处理、存储、分析的各个过程,分别观测云如何帮助企业又快又好地建设统一日志中心。

观测云日志采集能力

在采集方面,观测云的统一数据采集器DataKit拥有丰富的采集模板和强大的集成扩展能力,能够使用采集磁盘文件、容器stdout、接收远程推送日志、sidecar方式采集日志等多种方式,以适应企业异构的IT环境和多元的日志采集需求。

利用观测云打造企业级的统一日志中心

观测云对不同日志的处理方式

DataKit内置了操作系统日志、容器日志、MySQL & Nginx等常用数据库和中间件的采集器,能同时采集监控对象属性、指标数据(Metric)、日志数据(Log),用统一采集的理念*大程度上减少部署在监控对象上的agent数量。

DataKit采集器的运行管理十分方便,在K8S环境中,DataKit会以DaemonSet方式运行,确保在每个节点上都会运行一个日志采集器 Pod,从而实现对整个集群的日志数据全面覆盖。无论集群中有多少个节点,都能保证每个节点的日志都被实时采集。观测云还提供了DCA(DataKit Client Agent),它是一个用于批量管理DataKit的工具。通过DCA,用户可以更加方便地对DataKit状态、日志解析模板、黑名单等配置进行批量操作和维护,从而提高数据采集的效率和准确性。

对于已经使用开源agent采集日志的企业来说,通常倾向于将原有agent采集的日志转发给新建设的统一日志中心。观测云可使用Fluentd、Logstash、Kafka、API等方式来接收已采集的日志,充分保留企业过往的技术投入并减少替换成本。

观测云日志处理能力

在日志处理过程中,观测云内置了十余种常用数据库&中间件的官方日志解析模板,包括Kafka、Elasticsearch、MySQL、Nginx、Redis、Tomcat、MongoDB等,方便用户直接使用。另外还提供了数十个脚本函数,让用户可以按照不同的日志处理场景进行快速引用,实时进行调试。

例如,很多企业希望在日志采集时对日志中的敏感信息进行脱敏,则可以使用观测云Pipeline中的脱敏函数对指定字段范围做数据脱敏,即可在采集侧完成脱敏处理,避免了敏感信息在互联网传输带来的合规性问题。

再如,很多企业也提到了希望能配置采集端黑名单,以减少宝贵的带宽资源,降低中心化处理的性能开销。在观测云上,您可以通过drop函数(丢弃整条日志或某个字段)、sample函数(对日志进行采样),或者是配置日志黑名单来达到上述目的。

利用观测云打造企业级的统一日志中心

对于模板不能适配的日志格式,观测云也提供了多种方式让用户能轻松完成日志解析。首先是在Pipeline解析过程中提供了“一键获取样本”并实时调试的能力,让用户可以实时查看Pipeline对日志的处理是否满足需求。同时为了降低编写Pipeline的难度,观测云还提供了交互式的命令行工具,帮助用户快速选择适合某个字段的函数。

利用观测云打造企业级的统一日志中心

交互式命令行工具,降低日志解析难度

此外,Pipeline还支持通过openAPI进行导出、导入,以便在集团性组织在创建工作空间时直接引用,快速将已经调整好的Pipeline分发给不同业务系统,提升业务团队的使用体验。

值得一提的是,对于在日志采集中经常遇到的多行日志采集问题,观测云提供了自动多行模式、自定义多行模式的方式。自动多行模式会根据特定的起始标记、结束标记、正则表达式等来进行多行日志的识别,降低用户的使用负担。

观测云日志存储能力

观测云在面向全球用户提供SaaS服务的过程中,需要实施处理并存储海量的日志,如何在成本与用户体验间保持平衡,观测云付出巨大努力。在过去使用elasticsearch/opensearch方案时,我们发现该方案存在写入占用资源多、对无模式表支持较差、聚合查询性能差等问题。因此观测云在经过严谨的调研、开发、测试之后推出了全新架构的GuanceDB。

GuanceDB满足了观测云对 Schema Free 的要求,解决了数据 Schema 频繁变化痛点;提高了数据写入的性能,保证了数据写入的时效性和查询的实时性;提升了全文检索的性能并降低查询的资源开销...... 总而言之,观测云*终实现:仅使用 Elasticsearch 的 1/3 成本、获得 2~4 倍的性能提升,整体性价比提升了近 10 倍!

利用观测云打造企业级的统一日志中心

为了满足企业对日志的长期保存需求(通常出于日志审计的考虑),同时又要兼顾存储成本,观测云提供了“数据转发”功能,便于观测云提供日志等数据保存到观测云的对象存储及转发到外部存储的功能,您可以自由选择存储对象,灵活管理数据转发数据。在数据转发页面,您可以通过设置查询时间和数据转发规则快速查询存储数据(包含观测云备份日志、AWS S3、华为云 OBS、阿里云 OSS 和 Kafka 消息队列),还可以在无需额外处理的情况下,直接在观测云上查看历史备份日志和 SLS Query Logstore 数据。

观测云日志分析能力

DQL(Debug Query Language)是观测云开发的数据查询语言。DQL支持在观测云工作空间或者终端设备进行数据查询,允许用户检索和分析存储在观测云中的各种数据,包括日志、指标、链路追踪等。

利用观测云打造企业级的统一日志中心

得益于DQL统一查询语言和统一风格的“查看器”,用户在观测云上无论是分析日志、链路、RUM(用户体验数据)时都有一致性的体验,同样的简单易用、同样的秒级查询体验。

利用观测云打造企业级的统一日志中心

常用搜索历史模板、快捷筛选、字段补全等功能,在观测云上都一应俱全。考虑到团队在排查故障、分析异常过程中经常会有数据共享的需求,观测云设计了贴心的“快照分享”,团队成员可以创建自定义时间段即时拷贝的数据副本,并生成指定查看权限的快捷访问链接。团队可以通过一个浏览器链接分享日志数据,并且可以保留分享者在日志上做过的时间筛选、条件筛选,该快照也并非是单一的静态数据,而是可以交互的日志分析界面,大大降低了团队间使用截图、发送原始日志的沟通成本。出于对数据安全性的考虑,分享者可以对快照设置字段脱敏、添加水印、设置有效时间、链接加密、访问IP白名单等多种特性,在信息高效传递的同时充分保证数据的安全性,便于团队间、外部企业进行协作。

利用观测云打造企业级的统一日志中心

对于很多企业来说,特别担心采集的日志中存在敏感数据,但在日志的采集、存储、分析过程中极其难以发现。为了解决这个问题,观测云开发了“敏感数据扫描”功能,内置了近百个敏感数据规则库,并允许用户自定义新建敏感数据规则,通过引用这些规则来对存储在观测云中的日志数据进行主动扫描,一旦发现敏感字段即可进行加密,确保数据合规性。

此外,观测云还支持通过“数据访问”功能为不同角色配置对应的日志数据访问查询范围,以实现数据查询范围的精细化管理。例如负责不同业务系统的团队、同一团队中根据角色区分不同的日志权限,都可以灵活进行配置。

在“日志智能检测”功能中,观测云运用智能检测算法,监控工作空间内采集器产生的日志数据。智能识别日志数量的突增 / 突降、错误日志的突增的异常数据,及时发现不符合预期的异常状态,及时提醒团队关注业务是否有异常表现。

利用观测云打造企业级的统一日志中心

日志突增的智能检测

总结

当企业考虑构建统一日志中心时,通常需要考虑功能需求、可扩展性、安全性、兼容性、性能和效率、成本效益与用户体验。相信经过上面的介绍,您对观测云的日志分析能力拥有了比较全面的认识。观测云一直致力于为用户提供更好、更优的可观测能力,相信是企业构建统一日志中心、统一可观测平台的理想选择。

以上内容为资讯信息快照,由td.fyun.cc爬虫进行采集并收录,本站未对信息做任何修改,信息内容不代表本站立场。

快照生成时间:2024-04-24 18:45:01

本站信息快照查询为非营利公共服务,如有侵权请联系我们进行删除。

信息原文地址:

2024年,你还在开源自建监控系统?
在当今的IT领域,监控和观测系统是确保企业业务连续性和提升运维效率的关键。随着云计算和微服务架构的普及,企业对于监控解决方案的需求变得更加复杂和多样化。在众多监控方案中,观测云和
2024-03-22 15:30:00
观测云:从云时代走向AI时代
...年,云计算让企业的数据处理能力实现了指数级增长,而观测云作为全栈监控观测平台,见证并参与了这一进程。通过强大的数据采集、处理与展示能力,观测云帮助数百家企业实现了对IT基础设
2025-05-15 10:45:00
EMQ 如何用DeepSeek大模型重构可观测性数据分析?
...增,企业每天产生的运维日志、设备状态、网络流量等可观测性数据呈指数级增长。企业运维团队面对TB级数据如同「大海捞针」,故障定位耗时从分钟级延长至小时级,人工经验主导的决策更让
2025-02-27 14:45:00
从观云与安云来看基调听云如何深度赋能企业数字化转型
...广泛应用,企业所面临的IT运维环境也越来越复杂。而可观测性已经成为管理和维护复杂系统的关键能力,因此被推到前所未有的重要地位。Gartner甚至将可观测性列为“2023年十大
2024-03-14 16:00:00
监控系统泛滥:CTO面临的隐形成本危机
...,这样的案例如今已经屡见不鲜了。因此,引入全面的可观测性策略是实现IT基础设施高效管理和成本优化的关键。 结束语 在这个数字化时代,面对传统监控过度增殖所带来的挑战,如何
2024-04-15 11:00:00
如何利用opentelemetry可以高效的监控微服务
...监控体系。一、OpenTelemetry简介OpenTelemetry是一个开源的可观测性框架,旨在提供统一的标准和工具
2024-07-08 10:47:00
中新经纬7月28日电 题:未来可观测性技术将深度融合AI达成体系训练作者 郑立 中国信通院云计算与大数据研究所副主任、云计算部副主任可观测性技术最早源起于硬件,目的就是了解黑盒系
2023-07-28 14:03:00
KubeSphere容器平台,为企业云原生转型提速
...管理能力、多集群支持能力、多租户能力、天然集成的可观测能力等,让用户在一个平台上满足了日常运维所需。实践过程多集群统一管理KubeSphere 多集群中角色分为主集群和成员集
2023-07-05 11:00:00
...的多了,但“网格日志”又成了居民对美好生活向往的“观测本”。正是有了这样的“观测记录”,该社区根据不同群体提升服务项目,便有了“局长进站办”“法治夜校”、红色物业邻里中心、选
2024-05-04 21:13:00
更多关于科技的资讯:
从“客户”到“伙伴”,济宁银行全周期金融服务构建财富管理新生态
鲁网9月18日讯济宁银行坚守“金融为民”初心,不断创新金融产品,完善服务渠道,努力为客户提供更加专业、更有温度的金融服务
2025-09-18 10:53:00
厦门网讯(厦门日报记者 林露虹)作为2025厦门国际动漫节配套活动,第三届游戏创业者路演系列活动(简称“游路演”)将于10月29日至30日举行
2025-09-18 08:20:00
厦门网讯(厦门日报记者 沈彦彦)近日,厦门市商务局发布2025年家电以旧换新、3C产品购买补贴及家装厨卫“焕新”(智能家居)补贴第六批参与企业的汇总名单
2025-09-18 08:20:00
2025腾讯全球数字生态大会零售与生活专场:首次披露智能化、国际化最新能力布局
9月16日,2025腾讯全球数字生态大会于深圳正式启幕。大会以“增长和效率”为核心命题,作为实体经济的“晴雨表”和最贴近消费者的关键环节
2025-09-18 08:09:00
从“借船”到“造船” 江西文化“新三样”逐浪全球新蓝海
上饶高铁经济试验区一幢写字楼内,数百个工位“蜂巢式”铺陈,键盘敲击声此起彼伏,数万部原创小说从这里诞生,漂洋过海,吸引超2000万海外读者日夜“追更”
2025-09-18 06:31:00
大江新闻《宠爱》频道上线
本报讯(刘文琴 全媒体记者黄祥晟)秋色正好,万物并秀。9月16日,江西日报社在南昌举行大江新闻《宠爱》频道上线仪式。作为国内首个“科研支撑型”宠物频道
2025-09-18 06:31:00
□南京日报/紫金山新闻记者江芬芬秋意初显的南京,正迎来一场跨越山海的经贸盛会。9月17日上午,第五届InnovationFair欧洲企业南京行暨跨境产业合作对接会拉开帷幕
2025-09-18 07:45:00
一师难求无人机维修成职业新蓝海
修无人机比开无人机更赚钱?一师难求无人机维修成职业新蓝海视觉中国供图□南京日报/紫金山新闻记者何洁实习生黄佳琪杨久久无人机飞手易找
2025-09-18 07:45:00
精度对标国际,多领域监测更高效 —— 奥鼎智通全新伽马能谱仪面世!
近日,国内高精度射线监测领域迎来重大突破— 奥鼎智通(北京)科技有限公司正式发布全新一代伽马能谱仪。这款凝聚企业多年研发心血的设备
2025-09-17 10:58:00
2025CSCO患教专场:构建以患者为中心的肿瘤诊疗新生态
齐鲁晚报·齐鲁壹点 贺照阳2025年9月10日至14日,由中国临床肿瘤学会(CSCO)和北京市希思科临床肿瘤学研究基金会共同主办的第28届CSCO学术年会在山东济南盛大开幕
2025-09-17 11:04:00
蚂蚁集团首批接入跨境统一网关 境外钱包入华扩至31个
9月17日,在中国人民银行、中国支付清算协会指导下,蚂蚁集团旗下支付宝和蚂蚁国际成为第一批参与跨境二维码统一网关业务试点的机构
2025-09-17 11:04:00
微信聊天可发实况图?官方客服回应
9月16日,不少网友在社交平台透露称微信聊天可发实况图了。有媒体咨询微信客服得知,此功能暂时仅支持iOS客户端,客户端版本号要求8
2025-09-17 11:42:00
编者按:在安丘,有这样一群“专精特新”企业,像埃尔派粉体、蓝想科技、三顺智能等,他们“专注细分、嵌入龙头”,成为各个行业的“单打冠军”
2025-09-17 12:01:00
近日,一种被称为“牙齿文身”的新兴服务在齿科领域悄然走红,年轻人纷纷在牙冠上刻下“发财”“上岸”等字样,将口腔变成了“赛博许愿池”
2025-09-17 12:28:00
长白时评评论员 久泰平本来已划分好座舱等级并按等级售了票,却还要在旅客值机选座时加一道“锁”,让旅客付费或花费积分开“锁”……近年来
2025-09-17 14:17:00