典型文献
日志多维度无监督异常检测算法
文献摘要：
在大规模的系统运维中,及时有效地发现系统事件中的异常行为,对于维护系统稳定运行有着重要作用.有效的异常检测方法可以使得系统的运维和开发人员快速定位问题并解决,保证系统快速恢复.系统日志作为记录系统运行信息的重要资料,是对系统进行异常检测的主要数据来源,因此基于日志的异常检测是当前智能运维的重要研究方向之一.本文提出了一种基于无监督的日志多维度异常检测算法,可在无需标注数据的前提下针对日志系统进行自动的数据解析和异常检测.通过使用基于频繁模板树的日志解析获取日志模板后,分别使用3种方法进行异常检测:以基于概率分布使用3-Sigma法判断单指标数值型异常,以基于主成分分析方法使用SPE统计量判断日志组异常,以基于有限自动机的方法判断日志序列异常.通过对超级计算机(Blue Gene/L)和Hadoop分布式文件系统(HDFS)的日志数据以及腾讯内部系统数据进行实验评估,结果表明本文提出算法在5个测试数据集上均有较好的表现.
文献关键词：
日志异常检测;机器学习;无监督学习;智能运维
中图分类号：
作者姓名：
邱连涛;李晓戈;胡飞雄;胡立坤;张东晨;马鲜艳
作者机构：
西安邮电大学计算机学院,西安710121;陕西省网络数据分析与智能处理重点实验室,西安710121;深圳腾讯计算机系统有限公司智能化运维,广东深圳518000;腾讯科技(上海)有限公司,上海200030
文献出处：
引用格式：
[1]邱连涛;李晓戈;胡飞雄;胡立坤;张东晨;马鲜艳-.日志多维度无监督异常检测算法)[J].小型微型计算机系统,2022(08):1668-1674
A类：
B类：
检测算法,系统运维,发现系统,异常行为,维护系统,系统稳定,异常检测方法,开发人员,快速定位,定位问题,保证系统,快速恢复,系统日志,记录系统,要数,数据来源,智能运维,日志系统,数据解析,日志解析,日志模板,概率分布,Sigma,单指,主成分分析方法,SPE,统计量,有限自动机,超级计算机,Blue,Gene,Hadoop,分布式文件系统,HDFS,日志数据,腾讯,系统数据,实验评估,测试数据,日志异常检测,无监督学习
AB值：
0.463265
相似文献
机标中图分类号，由域田数据科技根据网络公开资料自动分析生成，仅供学习研究参考。
