什么是你使用的最好的日志分析工具?

我正开始研究一个非常详细的日志logging的现有项目,日志是一个真正的痛苦经历。 你们有没有使用任何工具进行日志分析/parsing? 你能推荐一些function强大,容易定制和使用吗? 起初我以为我应该写一个工具来parsing日志,但我想也许这样的东西已经存在。 感谢您提前的帮助。

编辑:日志是自定义的 – 他们有一个设置的格式,但我不认为他们符合任何广泛使用的标准。 这就是为什么我需要一个可定制的日志parsing器。

来自Microsoft的Log Parser

免费,工作非常好。

LogExpert是目前为止我发现的最好的免费工具。

我们在这里使用Splunk。

它function非常强大,允许多个日志源,模板,过滤等等。它比“单用户”解决scheme稍微多一点,但是它们的安装时间是5分钟。

尝试回顾性日志分析器 – http://www.retrospective.ch

这不是一个免费的软件工具,但它相对便宜(58美元)。

它function强大,可定制,使用起来非常简单。 它还有一个广泛的日志格式检测algorithm,所以它应该处理你日志(date识别,行分割格式,列拆分格式等)

Log Parser是一个很好的工具。

你可能想在Codeplex上看看Visual Logparsing器 ,尽pipe看起来好像还没有做太多的工作。

这里有一个讨论Log Parser的论坛 。

另外,Mike Gunderloy在这里有一个非官方的FAQ,这里有一篇关于Coding Horror的好文章

你可以尝试Octopussy (这是我的项目)

这是一个日志分析/警报/报告解决scheme,以处理任何types的日志。 开始的时候非常复杂,但是之后它真的很强大。 它是完全可定制的,你有一个“日志向导”来创build新的parsing器。

对于IIS日志,我倾向于使用Microsoft Excel。 以空格分隔导入文件,删除标题行和#Fields:标签,然后使用AutoFilter函数根据需要对数据进行切片和切块。

SLCT – 简单的日志文件聚类工具自己计算出重现模式,并打印出一个简明的摘要。 快速查看一个没有任何语法分析器或语法的日志是很好的。

如果您打算使用LogParser,您可能会发现这篇文章很有价值。

目前正在尝试使用SED和MySQL。 SED用于解决语法级别问题并转换为CSV。 SED脚本花了几个小时(包括学习SED),但是我希望当然不难的部分是MySQL的分析。

我刚刚发现,没有可下载的工具能够永久分类命中,并始终包含/排除报告中的正确类别。

如果您正在考虑改进您的自定义日志格式,则需要考虑使用Xml布局的log4x。 记下NDC和MDC输出。 当然,你也需要切换到log4x。 在这种情况下,您的分析器将是电锯 ,但是您正在处理XML片段,因此自定义解决scheme也是可能的。

如果您需要Jakarta Commons-VFS支持的文件系统(例如,通过SSHencryption),Apache的Chainsaw V2可以使用LogFilePatternReceiver或VFSLogFilePatternReceiver分析(和尾部)文本日志文件。 请参阅http://logging.apache.org/chainsaw – “欢迎”选项卡中提供了一个示例configuration,以及帮助菜单中提供的一个简单教程。

XPOLog日志分析平台为Web服务器和应用程序日志提供报告,search,监控,统计,趋势,错误检测等functionwww.loganalysis.com

这是一个非常古老的问题 – 抱歉! 大多数工具似乎已经被提及 – 你可以看看Logscape–或者像ElasticSearch那样的DIY

您可以尝试IBM smartcloud Analytics – IBM提供的全新日志分析产品。 它有90天的免费试用期,function齐全。 http://www-01.ibm.com/software/tivoli/products/log-analysis/

欢呼Abhishek

模拟 …它的自由,快速和非常容易使用。

Perl的

编写自定义日志parsing器通常需要很短的时间。