北极星

搜索历史清空

  • 水处理
您的位置:电力风电风电运维技术正文

原始大数据——日志数据

2012-03-21 10:12来源:CIO时代网关键词:CIO风力发电机组日志数据收藏点赞

投稿

我要投稿

现在比较典型的日志数据文件看起来会是什么样子?

Campbell:日志数据文件名副其实是文件中的一堆行信息。它是可以阅读的文本文件。通常前面会加上日期戳,然后后面是你希望输入到日志行中的任意文本。有时候我们也把它成为临时数据,但是现实中许多时间日志文件是非常结构化的。它们有非常特殊的结构,因为是软件产生的日志文件本身。日志文件有非常广泛的用途,不同的计算机有许多种不同类型的日志。

我们认为许多公司今天并没有做太多日志数据管理和分析方面的工作,您同意这种说法吗?

Campbell:确实是这样。许多公司实际上都没有日志,但是他们即将开始记录日志,因为他们将需要为改善他们业务的健康状况而作。当然也有很多公司一直在做日志记录,尤其是SaaS,PaaS和IaaS类的公司以及那些服务的用户。

为什么您把事件日志文件称为是原始大数据呢?

Campbell:日志文件数据量是巨大的,通常是非常惊人的数量。你知道黑莓制造商RIM一天就产生大约38TB的日志文件数据吗?而在线游戏公司Zynga一天产生大约10TB的数据。这些公司在接下来几年里可能会发展到一天大约100TB的数据量,因为他们将宣布向公众提供产品,希望理解人们如何能更好地使用他们的产品。他们需要做好日志记录的准备。现在,他们使用时间大数据(全是事件序列数据),为了应用程序运营管理和决策的正常运行。他们还使用警告提醒和监控,以便在出现某些问题的时候他们可以提醒某人。

您可以给我再讲一个日志数据管理的案例吗?

Campbell:我总是会问人们他们用日志做什么,因为有数以百计甚至可能数以百万计的日志文件案例。曾经与某个人交流发现他实际上是想对散布在多个地区的所有风力发电机组记录日志,记录设备运转多快,以及指向了哪个方向。所有从这些计算机中产生的临时的,非结构化的数据,有时候也有结构化数据都要放到一个位置去。那就是我们要解决的一种问题。我们把所有信息集中放到一个地方,并使得它易于搜索,这样你就不必去无数个不同的服务器查看想想要查看的信息了。

投稿与新闻线索:陈女士 微信/手机:13693626116 邮箱:chenchen#bjxmail.com(请将#改成@)

特别声明:北极星转载其他网站内容,出于传递更多信息而非盈利之目的,同时并不代表赞成其观点或证实其描述,内容仅供参考。版权归原作者所有,若有侵权,请联系我们删除。

凡来源注明北极星*网的内容为北极星原创,转载需获授权。

CIO查看更多>风力发电机组查看更多>日志数据查看更多>