大数据不是忽悠 数据挖掘加云计算创造价值(2)

第二条说开放数据，尤其对于这种矿业公司，非常传统的公司来讲，开放这种公司数据是不可思议的事情。很多人认为这是公司吃饭的老本，就像可口可乐配方一样，是不是这样呢？很多采访人都说，其实没关系，你开放也可以，所谓的那些公司机密可能只是公司内部的工程师不愿意让自己丢丑的借口。实际情况是不是这样呢？不是的，因为在这之后，他们成功了，当时很多声音就说你把所有的矿产地质结构数据开放，也许可以发现更多的金子，但是他们没有这么干，他是在绝望的情况下开放的。所以，这个地方就有一个很大的矛盾，如果你开放了数据，集思广益，你能够创造价值。但是，你开放的同时，很多的机密数据也出去了，怎么解决这个机密和你开放中间的矛盾？这是一个很大的挑战。

说了这个故事想说什么呢？大数据是不是忽悠关键一条是能不能发现价值，如果在数据中发现不了价值，那就是忽悠;发现了价值，那就是创造了一个巨大的利润点。这个事情和我们无线城市、和我们中国移动有没有关系呢？我想是有的，这一张图实际上是我们3G一般的架构图，3G中间经过了很多的网络环节，每一个环节会产生大量的数据，我们这些数据都记录在哪里呢？日志里面、数据库里面等等，这些信息有没有用呢？有人说有，有人说没有，比如有人跟我讲，到这个数据之后，你可以看到任何一个地方可以看到城市什么地方是人比较多的地方，什么地方是人比较少的地方。假设你知道A和B关系很密切，你想干什么呢？他们可以告你侵犯隐私，所以这些大数据，尤其是网络运营商积淀下来的在数据中间，什么样的东西是有价值的，如何发现这些信息，实际上是一个艺术，是个经验，而不仅仅是个技术问题。所以，我刚才说了，我说我绝不忽悠、绝不骗人，其中有一条是我坚决说老实话。

回到刚才的问题，如果中国移动开放了所有的网络日志，这些大数据中什么样的信息是有价值的？我的回答是不知道，但是也许你可以开放这些数据，集思广益，让大家让全世界的神人们来帮你发现这些信息。接下去的问题是说你要开放一个数据，你要做一个平台，请问你的平台是怎么做的？这个我知道。这个是我们的一个假想图，但是不要以为我是纸上谈兵，我先卖一个关子。这个图最右边很简单，是一些分布式的云存储，说我们用一大堆便宜的服务器把中国移动、中国联通等等的大数据往里面一存，光有存储是不是够呢？是不够的，因为我们刚才说了，大数据是不是忽悠？关键问题在于你能不能发现其中的价值，发现其中的价值靠什么东西呢？靠中间的地方，算法，数据挖掘的算法，所以，你中间这个地方，你要有数据挖掘的算法加上云计算的并行计算。为什么要用并行计算？因为大数据的量太大了，你简单算的话，几个月也算不下来，时间就是价值的一部分，所以你要用并行计算加速数据的处理。最前面是什么？它是一个APP Stroe。那些开放以后来自外界的专家提供的不一定是最后的答案，但是他们完全可以提供很多很有价值的中间工具，中间的工具串联在一起，就极有可能促成发现最后的价值信息。所以，在我们中间就特别强调这个中间的工具，这就是我们APP Stroe的意义所在。云计算的平台第一是你的存储要便宜，你买一大堆垃圾的服务器，串在一起有一个非常漂亮的名称就叫云存储。

刚才我说的是技术架构，在这个技术架构里面，实际上牵扯到很多很多的人和物。首先，左边是说我们有很多数据来源。刚才我们举例说中国移动有网络日志，我们还有舆情分析等等，我们称之为数据来源。数据来源放进去之后，你要发现不了价值那就是垃圾，怎么才能发现呢？我刚才讲了，那是艺术、那是经验，靠很多人，其中最主要的一种人是教授、学者。那些人一天到晚看着文案想主意，然后他发现一种新的算法，应用开发商来应用，开发出一个很简单好用的应用，这个应用就是说我有一个功能性的东西，怎么才能让用户喜欢呢？我们需要一个产品设计师，你有了产品了，也能够推到市场，但是需要钱，谁来帮你做这个事呢？投资商进来，然后你有了产品为谁服务？三种人，最终消费者、企业、政府。所以，你要想促成这个大数据产业的繁荣，实际上就要团结很多人形成一个生态系统共同繁荣，其中最最主要的实际上是两条。第一个是扩大数据的来源，第二个是尽可能发现大数据中间的价值，抓住这两条，大数据产业就能繁荣。

这个实际上是说一个产业一个学界上的开放平台，叫KDD，这是洛杉矶分校搞的一个，在所有的数据应用中间，这个地方是被引用最高的。大数据样本很多人在捐，已经联系到中国移动、中国联通以及好几家银行，还有中国海关、中国政府部门，他们会提供一些数据的样本，什么叫样本呢？样本是说一个部分的区域，不是全国的，而且是经过处理的，把一些真实的信息去掉，保护隐私。所以，数据有了，接下去，我们刚才说这个数据平台，那是要钱的，现在钱也有了。这张照片是我周五刚刚拍的，在西二旗中关村软件园，右边旗杆这个地方的楼是北京市政府指定给云基地的，在云基地里面搞一个什么东西呢？叫集客共和国，GeekCafe，首先它是一个咖啡店，在里面干吗？交流思想，思想是碰撞出来的。第二个叫GeekShow，实际上是一个展厅，大家做出来产品模型可以去贩卖。第三个是GeekLab，大家可以坐下来在一起工作。我们搞这个东西干什么呢？我们实际上是想做一个实验，这个实验首先是发现了大数据有什么价值;第二个是团结这帮集客，这帮很牛的工程师，这帮人代表了能力;第三是一个不成熟的产品的原型。有了这三样之后，我们就可以把需求、研究、投资、产品、市场几样要素串联起来。所以，参与这个集客共和国的这些人，有学者、工程师、媒体、投资人，你开发一个东西，我们卖给大公司，由他开发产品，我们抽个 10%，15%GeekLab就可以养活了。