您现在的位置:融合网首页 > 云计算 > 其他 >

大数据:技术尚不成熟 人才严重匮乏

来源:比特网 作者:佚名 责任编辑:admin 发表时间:2012-01-22 17:07 
核心提示:许多大数据技术(如Hadoop MapReduce)都来自开源社区,由致力于研究高效处理大容量信息的互联网志愿者进行开发,如Google和Yahoo,其中包括结构化和非结构化数据。

根据咨询师和IT经理的观点,“大数据”分析的最大挑战可以简单地归结为两个方面:1、技术尚未成且用户体验不佳;2、缺乏相关领域的技术人才储备。

许多大数据技术(如Hadoop MapReduce)都来自开源社区,由致力于研究高效处理大容量信息的互联网志愿者进行开发,如Google和Yahoo,其中包括结构化和非结构化数据。因此,大多数技术在成熟度和可访问性方面都不及传统数据库和数据管理套件,而且可用于帮助数据仓库和分析人员熟悉这些环境的补充分析工具还很有限。

Ron Bodkin是大数据分析咨询公司Think Big Analytics的CEO,他指出,所有这些技术的学习曲线都不平坦,有许多新技术和无文档的技术需要学习。大多数人都习惯于使用关系数据库管理系统,这是一种完全不同的数据存储和处理模式。

在管理和组织高度结构化的数据和SQL建模与报表制作上,虽然数据管理团队一般都具备良好的知识积累,但是这些常规技能并不适用于非结构化和扁平文件的大数据领域,其中命令行和NoSQL数据库技术 才是大多数新兴平台的核心构建模块。

comScore是一家Web分析提供商,近年来主要销售开发和实现大数据分析策略的智能服务。公司的软件工程副总裁Will Duckworth指出:“您必须着手准备。它现在还不是成熟的产品,还不能简单地购买、安装和运行在服务器上。您需要配备良好的系统管理员,以及掌握建立这些环境的实践方法。”

人才缺乏严重

大数据分析主要基于预言建模或未来趋势分析。但是,一般业务用户或者传统B数据分析师并不具备开发 预言分析应用程序模型的技能。此外,许多数据都处于原始形式,来源于Web活动日志或检测器等。因此,公司需要配备一些精通于统计和数学原理的骨干专家,他们要能够建立高级分析模型,发现趋势和隐藏的模式,使大数据真正发挥作用。

Forrester研究公司的首席分析师Brian Hopkins说:“您不仅需要能够实现价值的IT运营技能,而且我们现在最缺乏的大数据科学家——具备统计博士学位的人才。大部分数据是原始数据——它们不能直接读取和分析。处理这些原始信息的人员一定要具备一些特定的技能集,而且您需要在业务中引入这些人才。”

comScore公司的业务主要是通过大量的Web数据分析预测出客户趋势,许多分析用户都接受过预言建模培训,技术上足够理解特定查询对于整个系统性能的影响。然而,Duckworth指出,其他公司并不具备这样的条件。所以comScore在再次教育方面投入了许多时间和资金,帮助他们重新审视数据规模,而在他们建立模型和查询时投入时间考虑数据分区、负载规模等细节问题。

同时,公司还设计了考虑制衡的大数据系统。例如,如果有人试图运行可能破坏集群的查询,那么系统会发出提示,保证该用户完全知晓所执行任务的危害。Duckworth说:“基于规模效应,问题会传播得很快。”ComScore还引入了预打包应用程序,给它的Hadoop大数据分析环境增加了类似SQL的环境,因此它更容易被主流用户接受。

Zions Bancorporation是一家商业银行,它利用大数据技术对各种贷款业务进行建模和风险管理。在这家公司中,培训也是大数据分析策略的主要部分。但是,培训不仅仅是学习Hadoop技能,也不是统计学速成课。相反,要花费一定的时间和精力使技术团队成员适应新技术,使他们能够顺利过渡到全新的数据管理方式。

作为Zions的前任数据仓库、BI和分析高级副总裁,Clint Johnson指出:这是一种传统且保守的IT部门不愿意实现的新技术。您的系统管理员或数据库管理员一直以来的工作都是围绕一个特定的技术集,而此时您突然给他们强加一种新技术,并要求他们学习这种新技术。您必须面对这项新模型支持所带来的文化挑战。

(责任编辑:admin)
    • “扫一扫”关注融合网微信号

    免责声明:我方仅为合法的第三方企业注册用户所发布的内容提供存储空间,融合网不对其发布的内容提供任何形式的保证:不保证内容满足您的要求,不保证融合网的服务不会中断。因网络状况、通讯线路、第三方网站或管理部门的要求等任何原因而导致您不能正常使用融合网,融合网不承担任何法律责任。

    第三方企业注册用户在融合网发布的内容(包含但不限于融合网目前各产品功能里的内容)仅表明其第三方企业注册用户的立场和观点,并不代表融合网的立场或观点。相关各方及作者发布此信息的目的在于传播、分享更多信息,并不代表本网站的观点和立场,更与本站立场无关。相关各方及作者在我方平台上发表、发布的所有资料、言论等仅代表其作者个人观点,与本网站立场无关,不对您构成任何投资、交易等方面的建议。用户应基于自己的独立判断,自行决定并承担相应风险。

    根据相关协议内容,第三方企业注册用户已知悉自身作为内容的发布者,需自行对所发表内容(如,字体、图片、文章内容等)负责,因所发表内容(如,字体、图片、文章内容等)等所引发的一切纠纷均由该内容的发布者(即,第三方企业注册用户)承担全部法律及连带责任。融合网不承担任何法律及连带责任。

    第三方企业注册用户在融合网相关栏目上所发布的涉嫌侵犯他人知识产权或其他合法权益的内容(如,字体、图片、文章内容等),经相关版权方、权利方等提供初步证据,融合网有权先行予以删除,并保留移交司法机关查处的权利。参照相应司法机关的查处结果,融合网对于第三方企业用户所发布内容的处置具有最终决定权。

    个人或单位如认为第三方企业注册用户在融合网上发布的内容(如,字体、图片、文章内容等)存在侵犯自身合法权益的,应准备好具有法律效应的证明材料,及时与融合网取得联系,以便融合网及时协调第三方企业注册用户并迅速做出相应处理工作。

    融合网联系方式:(一)、电话:(010)57722280;(二)、电子邮箱:2029555353@qq.com dwrh@dwrh.net

    对免责声明的解释、修改及更新权均属于融合网所有。

    今日头条

    更多>>
    关于我们 - 融合文化 - 媒体报道 - 在线咨询 - 网站地图 - TAG标签 - 联系我们
    Copyright © 2010-2020 融合网|DWRH.net 版权所有 联系邮箱:dwrh@dwrh.net 京公网安备 11011202002094号 京ICP备11014553号