大数据时代的到来是颠覆性变化
“大数据”是“数据化”趋势下的必然产物!数据化最核心的理念是: “一切都被记录,一切都被数字化”,它带来了两个重大的变化:一是数据量的爆炸性剧增,最近两年所产生的数据量等同于2010年以前整个人类文明产生的数据量总和;二是数据来源的极大丰富,形成了多源异构的数据形态,其中非结构化数据所占比重逐年增大。
牛津大学互联网研究所Mayer-Schonberger教授指出,“大数据”所代表的是当今社会所独有的一种新型的能力——以一种前所未有的方式,通过对海量数据进行分析,获得有巨大价值的产品和服务,或深刻的洞见。我认为,这种“前所未有的”巨大价值和深刻洞见,并不仅仅来自于单一数据集量上的变化,而是不同领域数据集之间深度的交叉关联,姑且称之为“跨域关联”。譬如微博上的内容和社交关系,Flickr上的图片共享,手机通讯关系,淘宝上的购物记录等数据通过同一个用户关联起来;又如移动手机定位的移动轨迹,车载GPS的移动数据通过同一个地点关联起来。跨域关联是数据量增大后从量变到质变的飞跃,是大数据巨大价值的基础。
大数据会给整个社会带来从生活到思维上革命性的变化:企业和政府的管理人员在进行决策的时候,会出现从“经验即决策”到“数据辅助决策”再到“数据即决策”的变化;人们所接受的服务,将以数字化和个性化的方式呈现,借助3D打印技术和生物基因工程,零售业和医疗业亦将实现数字化和个性化的服务;以小规模实验、定性或半定量分析为主要手段的科学分支,如社会学、心理学、管理学等,将会向大规模定量化数据分析转型;将会出现数据运营商和数据市场,以数据和数据产品为对象,通过加工和交易数据获取商业价值;人类将在哲学层面上重新思考诸如“物质和信息谁更基础”“生命的本质是什么”“生命存在的最终形态是什么”等本体论问题……综上,大数据不是数据量的简单刻画,也不是特定算法、技术或商业模式上的发展,而是从数据量、数据形态和数据分析处理方式,到理念和形态上重大变革的总和——大数据是基于多源异构、跨域关联的海量数据分析所产生的决策流程、商业模式、科学范式、生活方式和观念形态上的颠覆性变化的总和。
大数据的战略地位
大数据被认为是继信息化和互联网后整个信息革命的又一次高峰。云计算和大数据共同引领以数据为材料,计算为能源的又一次生产力的大解放,甚至可以与以蒸汽机的使用和电气的使用为代表的第一次工业革命和第二次工业革命相媲美。与提升国家竞争力及国民幸福程度密切相关的重大战略都与大数据的分析和利用息息相关,包括与国家安全、社会稳定相关的尖端武器制造与性能模拟实验,群体事件和谣言的预警和干预;与国家科技能力相关的等离子即高能粒子实验分析,纳米材料及生物基因工程;与国民经济繁荣相关的经济金融态势感知与失稳预测,精准营销与智能物流仓储;与环境问题相关的全球气候及生态系统的分析,局部天气及空气质量预测;与医疗卫生相关的个性化健康监护及医疗方案,大规模流行病趋势预测和防控策略;与人民幸福生活相关的个性化保险理财方案,智能交通系统等等。数据储备和数据分析能力将成为未来新型国家最重要的核心战略能力。
2012年3月29日,美国政府宣布了“大数据研究和发展倡议”,来推进从大量的、复杂的数据集合中获取知识和洞见的能力。2012年5月,我国召开第424次香山科学会议,这是我国第一个以大数据为主题的重大科学工作会议。中国计算机学会、通信学会等于2012年分别成立了“大数据专家委员会”。2012年9月13日,北京航空航天大学联合英国爱丁堡大学、英国利兹大学、香港科技大学、美国宾夕法尼亚大学、美国亚利桑那州立大学、加拿大渥太华大学等共同组建大数据科学与工程国际研究中心。2012年12月13日,在“中关村大数据日”活动会上,由宽带资本、百度、用友、中国联通、联想集团、北京大学、北京航空航天大学、阿里巴巴、腾讯等企业、高校共同发起成立了大数据产业联盟,并在中关村云基地揭牌成立大数据实验室,该实验室以大数据产业孵化基金形态成立,致力于推动学术界大数据创新科技成果产业化以及为相关产业引导注入大数据科技元素。