分析至上 大数据项目部署的五大愿景(2)

愿景三：更简单的高级分析方法

开发算法和预测模型是专业数据科学家的工作，但是他们既数量稀少，又需要支付高额报酬。因此，人才短缺是大数据、分析和商业智能厂商开发机器学习方法的原因之一。在光学字符识别、垃圾邮件过滤和计算机安全威胁检测等应用程序中证实，机器学习使用的学习算法是数据本身训练而来的。如果展示该算法扫描成千上万个文本字符、未经请求的电子邮件消息、病毒程序和恶意软件等，的确能够找到更多实例。

随着机器学习的发展，训练模型还能继续在新的数据中学习。例如Amazon.com和Netflix公司利用算法发现顾客交易规律，并向他们推荐感兴趣的书或电影。每当新书或者电影发行时，这些公司可以利用算法洞察数据中的偏好模式，推荐给相关顾客。

Apache Mahout是全球领先的部署机器学习基础集群、分类、Hadoop协同过滤算法的项目，该技术同样是由R统计编程语言支持的。支持或嵌入机器学习技术的厂商还包括Alpine数据实验室、Birst、Causata、Lionsolver、Revolution Analytics等。

愿景四：实时分析

大数据分析上的另一个需求是实时性能。两家初创厂商正试图抓住这一机遇，分别是市场分析厂商Causata和实时Hadoop分析厂商HStreaming。

对于Causata而言，“实时”意味着在50毫秒以内作出决策。当你的顾客仍然在访问网站和手机客户端时，需要以这种速度更改内容、横幅广告和市场报价。Causata利用Hadoop的HBase NoSQL数据库进行存储，包括点击流、活动响应数据和CRM记录等与市场相关的数据。HBase并不擅长实时查询，因此Causata在专有查询引擎上运行基于Java的算法用以提升性能。

HStreaming所用的流处理技术类似于金融交易系统中的事件处理引擎，以及IBM(InfoSphere Streams)、Progress Software (Apama)、SAP (Sybase Aleri)、Tibco (Complex Event Processing)等技术。HStreaming能够直接从不间断数据源中提取数据，如视频监控摄像头、发射塔、传感器等。该技术还提供了一种提取、转换、加载(ETL)的形式，将数据存储在Hadoop中，用于随后的分析。HStreaming在视频监控、网络优化和移动广告领域拥有最多应用，在这三种场景下，实时洞察力和行动力是必须的。

与HStreaming采取不同的策略，Hadoop软件和服务提供商MapR宣布与Informatica成为合作伙伴，并将成为第一个也是唯一一个拥有实时能力的Hadoop软件发行商，能够在大数据平台中以接近实时的速度传送数据。MapR的Hadoop发行版的特色是无锁存储服务层，能够与Informatica消息传递软件共同运行，不断将大规模数据传送至Hadoop。结合即将推出的SQL-on-Hadoop选件，如MapR-favored Drill，大数据又将增加一个快速分析的选择。

愿景五：网络洞察力

社交网络为大数据贡献了规模性和多样性的数据，社交网络本身使用图形数据库和分析工具，通过研究“节点(nodes)”发现用户关系网。这些节点代表人、公司、地点等，而边缘(edges)代表各个节点中复杂的关系。

美国世纪投资公司利用图形分析预测公司基金投资的业绩，该公司使用的开源R统计编程语言和iGraph包由Revolution Analytics(分析力革命公司)提供软件和支持，由此创建的图形分析应用能够跟踪制造商和供应商之间的资金流。

如同苹果公司与其芯片和屏幕的供应商或者汽车制造商与其零部件供应商之间的关系。美国世纪投资公司结合这些采购关系的公共和私有数据，运用图形分析获得对供应商更清晰的认识，这些预测比基于公共财政报告数据的预测更准确。

其他支持图形分析的开源技术还有Neo4j，这是Neo Technologies公司开发和支持的一款图形数据库。Neo4j适用于IT和电信网络场景应对安全接入挑战、在主数据管理应用中观察数据之间关系的变化，以及在推荐引擎应用中根据好友的行为和关系计算客户的需求。除此之外，开源图形分析项目还包括Google Pregel和Apache Giraph，人们对图形分析的兴趣与日俱增。