云计算时代 大数据与云计算和物联网之间的关系
大数据时代的到来,是全球知名咨询公司麦肯锡最早提出的,麦肯锡称:“数据,已经渗透到当今每一个行业和业务职能领域,成为重要的生产因素。人们对于海量数据的挖掘和运用,预示着新一波生产率增长和消费者盈余浪潮的到来。”
《互联网进化论》一书中提出“互联网的未来功能和结构将于人类大脑高度相似,也将具备互联网虚拟感觉,虚拟运动,虚拟中枢,虚拟记忆神经系统”,并绘制了一幅互联网虚拟大脑结构图。
根据这一观点,我们尝试分析目前互联网最流行的四个概念————-大数据,云计算,物联网和移动互联网与传统互联网之间的关系。
从这幅图中我们可以看出:
物联网对应了互联网的感觉和运动神经系统。
云计算是互联网的核心硬件层和核心软件层的集合,也是互联网中枢神经系统萌芽。
大数据代表了互联网的信息层(数据海洋),是互联网智慧和意识产生的基础。
包括物联网,传统互联网,移动互联网在源源不断的向互联网大数据层汇聚数据和接受数据。
作为数据存储巨头,大数据理念是,首先从“大”入手,“大”肯定是指大型数据集,一般在10TB规模左右。很多用户把多个数据集放在一起,形成PB级的数据量。同时从数据源来谈,大数据是指这些数据来自多种数据源,以实时、迭代的方式来实现。
物联网所需要感受的物件对象范围非常之宽,物联网收集数据,我们刚刚说虚拟东西也是物联网对象,我们看很多东西收集,如浏览器、搜索引擎、智能终端、游戏终端、GPS等,他通过大家日常网络留下痕迹和脚印获取大量的数据。
物联网产生大数据。美国人前几年医院一年产生500个数据,IMT1。4TB数据等各种的数据通过传感器产生,也有在网上直接产生的,我们现在处于大数据时代,物联网一分钟可以产生非常多的东西,苹果下载2万余次,一分钟会上传10万条新微博,全世界物联网上虚拟网络上,产生了大量的数据。
国外的这些公司数据量不一定有中国大,中国淘宝网在双十一一天创收10。5亿,新浪微博晚上有100万以上的响应请求,中国联通也进行大数据搜集,他们以前给用户每一个月发一个帐单,很多用户认为我没有上这么多,中国联通改制就详细记录客户的上网记录一秒钟83万条。
虚拟运行管理产生数据量更大,这个比较是美国,每天是80个,发动机引擎收据588,企业资源管理客户关系管理等现在是大数据,企业本身也是每时每刻产生大量数据。
2012年IDC公司指出在2005年由机器产生的数据占到数据总量的11%,2020增加到42%。比如说医疗,现在到医院看病都要CT,清晰度很高300多兆,一个病人CT影响往往多大两千幅,数据量已经到了几十个GB,如今中国大城市的医院每天门诊上完人,全国每年住院已经达到了两亿人次,按照医疗行业的相关规定,一个患者的数据通常需要保留50年以上。
物联网产生的大数据与一般的大数据有不同的特点。物联网的数据是异构的、多样性的、非结构和有噪声的,更大的不同是它的高增长率。物联网的数据有明显的颗粒性,其数据通常带有时间、位置、环境和行为等信息。物联网数据可以说也是社交数据,但不是人与人的交往信息,而是物与物,物与人的社会合作信息。
物联网的混搭将使物联网的数据变得更有用,将物联网感知的数据与通过社会媒体获得的数据结合,也就是人跟机器的社会联网,将使决策更科学。
与隐私与法律有关的特殊性,谁是物联网数据的拥有者,通过物联网可以控制家用电器。
最后,大数据助力物联网,不仅仅是收集传感性的数据,实物跟虚拟物要结合起来。今天北京交通堵塞,但是并不知道堵塞原因,如果政府发布消息和市民微博发布消息结合起来就知道发生什么事,物联网要过滤,过滤要有一定模式。
决策的时候还要考虑发布什么东西,会带来什么影响,最近有地震,他能预测60%地震,总有一天会说准。
物联网数据挖掘涉及到数据存储,从实物虚拟物获取存储,然后进行一些虚拟化和找出数据摘要,是要加标签的。
数据挖掘模式,合并压缩、清洗过滤、格式转换,法阶段数据分析、知识发现、可视化、数据阶段,关联规则,分类、聚类、序列、路径。因此后面工作更大更重要而且更难。
最近大家关注PM2.5,另外云南西北边、西川西南边干旱容易发生火灾,利用雷达、飞机可以搜集数据,也需要进行分析,然后产生判断。
在水面取样,通过卫星发出去,利用云计算、中心数据挖掘,河流的环境污染,数字化的模式,我们可以发现有的地方有环境污染,所污染本身需要异源数据,除了传感器、物联网数据有噪声的不干净的,所以需要多种数据的结合,历史数据的挖掘,然后进行分析预感、预警,所以数据后面的处理,食品现在也是大家所关注的,手机拍下来食品到后台去查,是哪个公司的食品,在什么地方生产,食品生产日期等等,包括食品安全不安全,营养成分怎么样,食品监控,运用后台数据等等。最近禽流感流行,怎么去监测,凡是产生流感病人在网上寻找,吃什么药好,哪个地方看病好,或者微博交流。
智能交通虚拟化和可视化。交通管理中心再大,也装不上所有的视频,因此10秒钟,这样看上去每时每刻只有能够监控很小一部分内容,通过软件把整条路上变成一个视频,再进一步我把所有马路都通过大数据软件后台分析组成图象,这图象像上海市领导人坐飞机俯视地面一样。所以这些都是后台数据分析。
大数据在社会管理上有很好的作用。美国纽约的警察分析交通用度与犯罪发生地点的关系有效改进治安。北京交通一卡通每天产生4千万条刷卡记录,地铁每天1千万人次,分析这些数据可改善城市交通状况。新加坡的公共交通部门十年来已经使用个人位置数据做交通需求的预测。荷兰的交通部门利用移动电话的定位功能预测汽车和行人的拥堵状况。
最后讲M2M的总量,全世界的M2M到2011年将有20亿,2020年180亿,预测2020年有500亿连接,主要是在消费电子和智能建筑两个领域,将占70%。
2011年M2M全市场为2000亿美元,2022年12000亿美元,三分之二收入来自设备与安装,三分之一来自服务,2020年最大的M2M市场在中国和美国,分别占20%和19%。
经济学人预测物联网所带来的产业价值将比互联网大30倍,物联网将成为下一个万亿元级别的信息产业业务。
2014年10月22-23日,第二届国际物联网暨传感技术与应用高峰论坛在杭州召开,参加论坛的100多位专家学者和1000多位企业代表、行业精英,将一起共话物联网联手大数据带来的前景。组委会为了适应国际合作的需求,还配备了专业的同声传译,保证交流无阻。