大数据：技术尚不成熟 人才严重匮乏

根据咨询师和IT经理的观点，“大数据”分析的最大挑战可以简单地归结为两个方面：1、技术尚未成且用户体验不佳;2、缺乏相关领域的技术人才储备。

许多大数据技术(如Hadoop MapReduce)都来自开源社区，由致力于研究高效处理大容量信息的互联网志愿者进行开发，如Google和Yahoo，其中包括结构化和非结构化数据。因此，大多数技术在成熟度和可访问性方面都不及传统数据库和数据管理套件，而且可用于帮助数据仓库和分析人员熟悉这些环境的补充分析工具还很有限。

Ron Bodkin是大数据分析咨询公司Think Big Analytics的CEO，他指出，所有这些技术的学习曲线都不平坦，有许多新技术和无文档的技术需要学习。大多数人都习惯于使用关系数据库管理系统，这是一种完全不同的数据存储和处理模式。

在管理和组织高度结构化的数据和SQL建模与报表制作上，虽然数据管理团队一般都具备良好的知识积累，但是这些常规技能并不适用于非结构化和扁平文件的大数据领域，其中命令行和NoSQL数据库技术 才是大多数新兴平台的核心构建模块。

comScore是一家Web分析提供商，近年来主要销售开发和实现大数据分析策略的智能服务。公司的软件工程副总裁Will Duckworth指出：“您必须着手准备。它现在还不是成熟的产品，还不能简单地购买、安装和运行在服务器上。您需要配备良好的系统管理员，以及掌握建立这些环境的实践方法。”

人才缺乏严重

大数据分析主要基于预言建模或未来趋势分析。但是，一般业务用户或者传统B数据分析师并不具备开发 预言分析应用程序模型的技能。此外，许多数据都处于原始形式，来源于Web活动日志或检测器等。因此，公司需要配备一些精通于统计和数学原理的骨干专家，他们要能够建立高级分析模型，发现趋势和隐藏的模式，使大数据真正发挥作用。

Forrester研究公司的首席分析师Brian Hopkins说：“您不仅需要能够实现价值的IT运营技能，而且我们现在最缺乏的大数据科学家——具备统计博士学位的人才。大部分数据是原始数据——它们不能直接读取和分析。处理这些原始信息的人员一定要具备一些特定的技能集，而且您需要在业务中引入这些人才。”

comScore公司的业务主要是通过大量的Web数据分析预测出客户趋势，许多分析用户都接受过预言建模培训，技术上足够理解特定查询对于整个系统性能的影响。然而，Duckworth指出，其他公司并不具备这样的条件。所以comScore在再次教育方面投入了许多时间和资金，帮助他们重新审视数据规模，而在他们建立模型和查询时投入时间考虑数据分区、负载规模等细节问题。

同时，公司还设计了考虑制衡的大数据系统。例如，如果有人试图运行可能破坏集群的查询，那么系统会发出提示，保证该用户完全知晓所执行任务的危害。Duckworth说：“基于规模效应，问题会传播得很快。”ComScore还引入了预打包应用程序，给它的Hadoop大数据分析环境增加了类似SQL的环境，因此它更容易被主流用户接受。

Zions Bancorporation是一家商业银行，它利用大数据技术对各种贷款业务进行建模和风险管理。在这家公司中，培训也是大数据分析策略的主要部分。但是，培训不仅仅是学习Hadoop技能，也不是统计学速成课。相反，要花费一定的时间和精力使技术团队成员适应新技术，使他们能够顺利过渡到全新的数据管理方式。

作为Zions的前任数据仓库、BI和分析高级副总裁，Clint Johnson指出：这是一种传统且保守的IT部门不愿意实现的新技术。您的系统管理员或数据库管理员一直以来的工作都是围绕一个特定的技术集，而此时您突然给他们强加一种新技术，并要求他们学习这种新技术。您必须面对这项新模型支持所带来的文化挑战。