基于常规法则的大数据分析最佳实践

发布时间：2020-02-11 00:45:32 阅读：次来源：补偿器厂家

由于出现了新词汇、新技术、新产品和新提供商，“大数据”分析让人很陌生，但是经过检验的数据管理最佳实践方法一样能够在这个仍然属于新兴学科的领域发挥作用。

与各种商业智能(BI)和数据仓库一样，专家认为在开始进行大数据分析项目之前，清晰理解组织的数据管理需求和明确策略是非常重要的。大数据分析被广泛地进行讨论，而且各种行业的公司都充斥着新数据源和不断增多的信息。但是，在未明确这样做能够真正给公司带来什么价值之前，就投入大量的资源应用大数据技术，这就是所谓用户的最严重失误。

David Menninger是Ventana研究公司的一名分析师，他主要关注于BI、分析与信息管理技术。他认为不要在这个技术上表现得太激进，要先从业务角度着手，并且要与CIO、数据科学家和业务人员进行交流，一起确定业务目标和预期价值，然后再开始动手。

准确定义可用的数据和确定组织最佳利用这些资源的方式是整个过程中最关键的部分。Menninger指出，CIO、IT经理和BI人员需要确定所保留、聚集和使用的数据是什么，并且将它们与丢弃的数据进行比较。同时一定要考虑目前仍未涉及但可能会加入的外部数据源。

Menninger指出，即使公司不确定何时及如何应用大数据分析，尽早进行这种评估仍然是有好处的。此外，开始数据捕捉的过程能够帮助您准备好实现最终的跳跃。他说：“即使您不知道将使用它来做什么，也要先捕捉数据。否则，您就会失去一个机会，因为您没有足够的历史数据可以分析。”

大数据要从小开始

分析大数据集也一样要从小机会开始，然后再使用它们作为起点。随着公司不断地扩大分析的数据源和信息类型，以及开始创建最重要的分析模型，帮助他们发现结构化和非结构化数据的模式和相关性，他们需要注意那些对于预期业务目标而言最重要的结果。

Gartner公司的分析师Yvonne Genovese指出：“如果您最终只能寻找新的模式，而且它们毫无用处，那么您肯定遇到死角了。”

ComScore公司专门跟踪互联网使用，为企业客户提供Web分析和销售智能服务。它们很早就认识到需要某种大数据策略。但是，ComScore选取了一些非常有针对性的点，然后再慢慢建立自己的大数据分析项目。

ComScore的软件工程副总裁Will Duckworth说：“我们从小开始--提取各个数据流，再将它们传输到不同的系统。如果您无法达到一定的规模，您是无法一夜之间做到这一点的。”

鉴于公司处理的数据量，规模正是comScore重视的方面。早在2009年，当它一开始每天只采集到3亿条记录的时候--现在每天达到230亿条记录并仍在增长，Duckworth就开始寻找一些新系统和技术基础架构，以高效地完成comScore的数据处理。

不要忘记最终目标仍是大数据

通过利用开源Hadoop 技术和新型分析工具，Duckworth对开源环境进行了优化，这样SQL的业务分析人员便可以更容易地接受。他指出，在确定大数据分析实施计划时，公司一定要重视规模因素。

他解释说：“您一定要考虑到变化--从现在开始的半年内，您需要处理多少数据，您需要增加多少服务器，是否由软件来完成这些任务。人们并没有考虑到数据增长的程度，以及觖决方案部署到生产环境后的流行程度。”

在陷入大数据“新常态”之后，许多公司经常忽略的另一个方面是数据管理的“旧常态”仍然是有效的。

Gartner的另一位分析师Marcus Collins指出，“信息管理实践方法对于现在的大数据和以前的数据仓库都是一样重要的。即使是对于希望增加处理灵活性的公司而言，他们也要记住一点，信息是企业资产，应该一如继往地保持重视。”

(责任编辑：吕光)