云计算与大数据环境下的数据集成

随着企业业务的增长，伴随企业各类应用系统逐步启用，结果导致数据量几何级数的增长，传统的整合数据的方式正在受到挑战，于此同时，云计算及网上应用在企业内部产生各类结构化、非结构化数据，这些数据所蕴含的信息（尤其是非结构化数据）是传统分析工具无法捕捉的。本文主要阐述在企业信息化过程中，数据整合的能力建设所需要考虑的一些关键问题。

从根本来说，企业信息化的目的是为了降低沟通成本、提高工作效率、增强科学决策能力，从手段上是将分散、无序、无时效的数据变成有序、可分享、有时效、可追溯的数据，前者数据过渡到后者数据，就是无信息（或不可信信息）变成可信信息的过程。数据蕴含的信息有两类：1、交易信息，即某一条/或几条数据本身所包含的信息；2、统计信息，即数据集合所蕴含的规律性信息。下图表现了交易数据与统计数据的关系和传统架构方法，即ETL模型。

传统整合基本上是基于ETL模式，即从企业内部的信息系统中抽取（Extract），然后根据预先定义的方式转换（Transform），最后载入到企业的数据仓库（Load），大部分企业的ETL程序定义在每天晚上运行，这类的方法有以下问题：

1、数据仓库的数据不是实时的信息

2、如果内部信息系统数据量很大，ETL处理时间不可能按时完成。

3、数据仓库的信息无法快速反馈数据到基层处理商务的人员，图示1中红色打叉的部分。

4、ERP本身在多年数据积累后，事务处理与订单查询都会变慢。

5、无法处理大数据，ETL的整个数据处理过程都是建立在已知/预定义的模型之上的，也就是ETL无法发掘到数据集蕴含的未知规律。

a）结构化大数据，除上述第2点外，针对大数据的深度挖据分析能力（非简单根据预先设计的模型做数据转换），传统的系统架构中是无法完成的。

b）非结构化、半结构化大数据。非架构化数据从本质上来讲，是企业无法预先定义规则的数据类型，据IDC的一项调查报告中指出：企业中80%的数据都是非结构化数据，这些数据每年都按指数增长60%.传统的方式是无法计算统计非结构化大数据包含的新类型统计信息。

根据上述问题，企业信息系统的数据整合的目标需要满足以下条件：

1、提高数据的质量

低质量的数据带来的问题：

1.1统计数据会有误导，误导的数据直接结果很可能是企业战略决策错误。

1.2基层人员工作效率低下。由于基层人员不信任数据，就会产生额外的工作去核对并验证。由于数据不准确也会产生更多的操作性错误，如：发货地址错误，货款核对产生歧义等。这些都会带来大量的额外工作，根据2/8原理，80%的额外工作都缘于20%的错误。

1.3无法根据信息系统记录做更多的分析统计，如6 Sigma类似的项目将无数据基础，项目无法推进。

2、数据安全：由于各类中间件的应用、云计算集成环境的广泛普及，数据源需要提供更广泛的数据输出的能力，与此同时，数据保护能力需要更加完善，传统在应用软件层面的保护方式是无法满足此类需求
3、与“云计算”的集成能力：在云计算环境里，无论是基础数据还是交易数据，将不仅限于某一种应用系统中使用，甚至数据很可能需要跨越公司的防火墙，与外部的云计算环境集成。

4、大数据能力：举个典型的例子，企业使用web日志、社交媒体（social media,如微博）数据分析大量客户的偏好，同时使用企业与客户已经成交的交易记录，建立更好的预测模型，更直接有效的市场推广或更好的客户体验。而上述的web日志和社交媒体的数据都是非结构化的大数据。

5、高性能/满足实时的要求：举个典型的贸易公司为例，该公司需要根据客户以往的信用记录决定是否订货或发货，如果没有实时统计能力，此类的商业模型在执行起来会困难重重。越来越多的企业希望将部分的决策过程下放到执行层面的基层，基层的决策需要实时的统计结果、可追溯的决策结果。