大数据实施

在铺天盖地的宣传下，很多企业纷纷投身于大数据项目也就不足为奇了。尽管这一理念前景广阔，但现实是，超过半数的大数据项目最终都未能落地见效。而对于本地部署的大数据项目而言，大多数都以失败告终。

显然，大数据的理念与企业的成功落地之间存在巨大差距。造成这一差距的原因很简单：大数据的实施在多个层面都极具挑战性。如果你正考虑在企业内部应用大数据，以下是实施过程中必须注意的三大核心挑战。

1. Hadoop 平台。支撑所有大数据项目的基础技术是 Hadoop 分析平台。Hadoop 及其周边工具生态因能够处理海量结构化与非结构化数据、挖掘潜在价值、帮助企业构建竞争优势而备受追捧。尽管采用 Hadoop 能带来诸多好处，但本地部署 Hadoop 的难度极高却是不争的事实。

该软件不仅难以管理，对于不熟悉它的数据专业人员来说，这种相对较新的技术本身就是一大挑战。此外，Hadoop 通常需要耗费大量内部资源进行维护。结果就是，许多采用 Hadoop 的企业，最终将大部分资源投入到了技术本身，而非它们想要解决的大数据业务问题。

本地部署 Hadoop 的挑战如此之大，以至于近期一项针对数据从业者的调查显示：73% 的受访者认为，理解大数据平台是大数据项目面临的首要挑战。

2. 大数据本身。大数据项目的规模和需求会快速增长与变化。遗憾的是，许多采用本地 Hadoop 方案的企业，没有考虑到它们的数据存储与分析需求迟早会不断提升。因此，对于计划开展大数据项目的企业来说，必须意识到：所选方案必须能够按需弹性扩缩。

本地部署的 Hadoop 分析平台依赖通用服务器，这种物理环境会直接导致扩展困难、限制存储容量。要解决这些问题，就必须增加物理服务器，这不仅成本高昂、企业采购流程耗时，还会对项目造成干扰。此外，大数据的工作负载往往具有突发性，这让资源分配的预测变得十分困难。

虽然本地 Hadoop 或许适合你的企业，但如果你预计数据需求会持续增长，强烈建议考虑基于云的 Hadoop 方案。云端 Hadoop 能够更快速、更便捷地实现扩容，以应对不断增长的数据需求。

3. 大数据落地实施。大数据能否成功落地，很大程度上取决于是否拥有具备相应技能的合适人才。但随着大数据应用加速，这类人才越来越难寻觅。对于采用本地部署大数据方案的企业来说，情况尤为严峻。

这类方案通常需要一支专业团队：开发人员、数据工程师、数据科学家与分析师，他们必须具备识别可落地、能创造价值与竞争优势的洞察所需的知识与技能。组建这样一支团队既艰难又昂贵，而人才缺失往往会让项目在启动前就注定失败。

希望成功实施大数据项目、同时解决人才短缺问题的企业，可以考虑与大数据云服务商合作。许多云厂商会提供配套的培训资源，并承担大数据实施所需的大部分管理工作。

大数据实施的挑战是真实存在的，但其带来的价值同样吸引人的。那些为大数据需求选择了合适基础设施的企业，能够克服这些挑战，专注于解决真正的业务问题，并获得显著的竞争优势。