您现在的位置:融合网首页 > 云计算 > 应用 >

云计算是挖掘大数据价值的核心基础(2)

来源:cnbeta 作者:佚名 责任编辑:韩杰 发表时间:2014-04-29 10:54 
核心提示:第二个切入点我想会涉及到大数据的问题,运营商管道化,现在说智能管道,这里面大家都会体会到运营商管道的特征,或者我们从另一方面考虑管道的优势,在管道这里面我们实际上是可以去有所谓数据的集散地这样一个问

第二个切入点我想会涉及到大数据的问题,运营商管道化,现在说智能管道,这里面大家都会体会到运营商管道的特征,或者我们从另一方面考虑管道的优势,在管道这里面我们实际上是可以去有所谓数据的“集散地”这样一个问题。我们通过DPI的特征把大量数据保存下来,这些数据是金矿,这方面我们大数据的挖掘充分发挥商业价值。在这个领域我们运营商来说,有这么几个切入点。一个是来去改善用户体验,这一块主要是通过我们一些知识库,还有语音搜索技术,更好的去为用户服务,去智能的提供服务,这是前端。

但是我个人更重要看准后端的切入点,一个对市场决策方面,刚才提到有用户的业务行为数据,一些访问特征、消费行为,基于这样的数据我们可以去构建,去应用“爬虫”技术,海量的存储技术、分析技术,我们对它进行分析,给用户打标签,助力我们的市场营销以及市场决策行为。第三点是优化自己网络的服务质量。这块主要是通过我们的信用数据进行关联,使整个运营商提供更加油脂的服务,这是我们第二个重要的切入点,从大数据领域去切入,去提升我们企业真正的核心竞争力。前面我想跟大家分享的运营商怎么看云计算,运营商的优势跟切入点。

中国移动的云计算举措

首先是4G,我们已经发了4G的牌照,我想在座的很多人已经用了起来,其实他也是类似提供固网的体验,而且现在4G上来之后资费也是大幅下降。我们业界统计4G相比3G单位流量资费下降几十倍这么一个量级。所以它会极大的刺激人们这样一个信息消费的需求,由此也会更加推动运营商构建云计算的平台去支撑。中国移动来说,我们强调云管端的模式,大家比较常见的模式之下,我们有两个举措,一个是公众服务云,刚才提到重要的切入点之一,面向政企客户我们提供的在南方基地构建了公众云服务,提供云机组,云主机的服务,面向个人我们也有个人的服务,同时面向电子政务,还有一些教育,跟政府的合作我们也是开展比较紧密的合作。

第二个切入点是私有云,我们从集团层面也好,从各个省层面也好,目前在大力开展的一个工作就是各级私有云的建设,还有我们的大数据平台的构建。另一方面中国移动对于云计算研发方面,我们也是比较重视的。我本人来自云计算系统部的,我们属于研究院下面一个部所。这个部所有接近100人的规模,主要负责中国移动发展战略,基础规范的制定,还有自主研发的产品。今年我们就会专门成立一个苏州云计算研发中心,这个规模将会是3000人以上的规模。在苏州研发中心成立之后,我们可以在产品的一些架构设计研发方面有质的提高;另一方面整个研发体系之下,我们进一步探索研发如何与前端业务运营进行紧密的结合。我们可能选择某一些业务尝试研发运营一体化的模式来进行尝试。这是我们在自主研发方面今年很重要的一个举措。另外自主研发这方面大家会比较熟悉的,就是我们的“大云”计划,“大云”是我们中国移动自主研发的一个计划,这个起步是比较早,2007年起步,到今年也有将近7个年头了。基本上在2013年12月初的时候,移动互联网大会上我们发布了“大云”2.5的版本。我们可以看到“大云”基本上形成了一个覆盖IF、PaaS层面比较完整的产品体系。第一条产品线IS产品线,我们包括PC、EC,这里面是虚拟化的管理软件,下面有一些存储站,上面还有BC和EC。BC-oHest是类S3的对象存储,这里面非常适合于存储海量非结构化的数据,我们在南方用了300个节点去做,我们在里面先做了一些对象,做4、5亿存储的测试,我们性能和容量是相当不错的。对象存储来说现在数量级是非常庞大的,亚马逊S3已经是接近4万亿的规模了,但是它是一个多体系的架构。还有弹性块存储,EBS,这里面是对前面的虚机提供实体化存储空间。 第二个产品是PaaS,我们基于BSP的处理框架和数据化工具级等等。PaaS产品发展比较好的是分析型的,但是交易型PaaS是世界性难题,我们一个产品RDB展开初步摸索和尝试,因为现在分布式事务所,包括在分布表的情况之下去做生产改查是很难的题目,很容易导致不一致的问题,这一块我们先走一步,我们也积极做研究的尝试。当然后面还有我们集群管理软件做集群的管理、故障,这是我们自主研发体系。这个产品体系也是在我们公司内部得到比较广泛的应用。

我这里还想强调的是中国移动,在整个云计算的研发与应用过程中,是非常重视跟产业各方进行配合合作的。一个是有开源的合作,开源在云计算无论研发和合作是非常重要的平台,我们研发会注重借鉴这个平台,另一方面我们把一些成果积极布置下去。另外我们跟商业化的软件非常注重跟他们去配合,比如说我们也是跟SAP。SAP的性能分析数据库性能非常出色的,除了贵一点。但这块我们探讨比较流行混搭的模式,跟我们的体系进行混搭起来,一个平台是容量优化,处理大规模的变形化的一些处理。HANA是性能方面的优化,把实时率要求高的数据放到这里面去做,这样混搭架构体系之下我们积极做一些验证和产品的尝试,未来将会在集中化的数据仓库体系之下有一个广泛的应用。

开源方面我想多提一点,我们这里面建立了自己的开源社区。其实驱动力也是比较明显的,我们现在各个省公司,包括集团层面都建自己大数据平台,这一块面临非常多的选择,有很多版本,这些版本应用在现有的招标模式之下,一个项目一个项目建立起来的话,非常麻烦的一个数据模式,给我们后续省公司,以及省公司内部分享和运营带来很大的障碍和促进。这里我们考虑充分联合产业的力量去推一个适合我们运营商的版本,这个开源社区我们去年年底的时候已经正式发布了,这里有一个链接,大家可以上去访问。我们主要团结运营商和科研单位的力量去推动这样开源版本的建设。

讲完了开源以后再讲讲标准化。其实标准化这块我们中国移动也是很积极的态度去参与,去推动的。除了标准化也包括可信云的计划,可信云我们也是很积极参与的单位之一。标准化这里我刚才提到了,我们这里目前有两个主要在做的IS的标准化,咱们国家来说,我们重点参与了SOA云计算标准工作组,里面对于弹性计算和对象存储这两个最重要的标准化工作的制定。

我们产品研发过程中也会遵循这样的国家标准,而且会积极参与标准相关的一些测试的制定和具体的测试工作。我们要重复一下,标准化的工作我们还是需要去产业各方合作,共同去推动这样一个情况。前面讲了中国移动在总体的战略,自主研发方面的一些举措,下面结合大云的应用谈具体的案例。产品线应用在移动的内部包括外部做比较广泛的应用,比如大数据的分析,资源池的建设还有对外教育的支持上。一个是我们的公众服务云,公众服务云这里主要运用到核心产品,刚才提到BCEC和BC-oNest提供一些服务,目前我们在南方基地已经部署了1000个物理服务器的节点和规模,目前处在试商用的阶段。

下一步我们想在这个基础之上还进一步丰富在IS层面的一个服务,甚至跟厂商合作起来,我们会进行整合性的服务。我们客观上也必须承认,我们的服务确实处于刚起步,跟其他产品还是有一些差距的。第二个层面想举比较突出的运营商做的事情,就是大数据领域。大数据领域我们主要的切入点是几点,一个是ETL,ETL是从生产库里面数据调到分析库进行分析,传统我们是通过小型机ETL工具去实现,传统我们是ELT,到数据库再去操作,给主库压力非常大。现在很主要我们在中间建立一个集群,真正实现ETL中间的转化,然后加载到仓库,无论从性能还是减轻组合压力方面都有非常明显的效果。(责任编辑:韩杰)

  • “扫一扫”关注融合网微信号

免责声明:我方仅为合法的第三方企业注册用户所发布的内容提供存储空间,融合网不对其发布的内容提供任何形式的保证:不保证内容满足您的要求,不保证融合网的服务不会中断。因网络状况、通讯线路、第三方网站或管理部门的要求等任何原因而导致您不能正常使用融合网,融合网不承担任何法律责任。

第三方企业注册用户在融合网发布的内容(包含但不限于融合网目前各产品功能里的内容)仅表明其第三方企业注册用户的立场和观点,并不代表融合网的立场或观点。相关各方及作者发布此信息的目的在于传播、分享更多信息,并不代表本网站的观点和立场,更与本站立场无关。相关各方及作者在我方平台上发表、发布的所有资料、言论等仅代表其作者个人观点,与本网站立场无关,不对您构成任何投资、交易等方面的建议。用户应基于自己的独立判断,自行决定并承担相应风险。

根据相关协议内容,第三方企业注册用户已知悉自身作为内容的发布者,需自行对所发表内容(如,字体、图片、文章内容等)负责,因所发表内容(如,字体、图片、文章内容等)等所引发的一切纠纷均由该内容的发布者(即,第三方企业注册用户)承担全部法律及连带责任。融合网不承担任何法律及连带责任。

第三方企业注册用户在融合网相关栏目上所发布的涉嫌侵犯他人知识产权或其他合法权益的内容(如,字体、图片、文章内容等),经相关版权方、权利方等提供初步证据,融合网有权先行予以删除,并保留移交司法机关查处的权利。参照相应司法机关的查处结果,融合网对于第三方企业用户所发布内容的处置具有最终决定权。

个人或单位如认为第三方企业注册用户在融合网上发布的内容(如,字体、图片、文章内容等)存在侵犯自身合法权益的,应准备好具有法律效应的证明材料,及时与融合网取得联系,以便融合网及时协调第三方企业注册用户并迅速做出相应处理工作。

融合网联系方式:(一)、电话:(010)57722280;(二)、电子邮箱:2029555353@qq.com dwrh@dwrh.net

对免责声明的解释、修改及更新权均属于融合网所有。

今日头条

更多>>
关于我们 - 融合文化 - 媒体报道 - 在线咨询 - 网站地图 - TAG标签 - 联系我们
Copyright © 2010-2020 融合网|DWRH.net 版权所有 联系邮箱:dwrh@dwrh.net 京公网安备 11011202002094号 京ICP备11014553号