专业的信息化与通信融合产品选型平台及垂直门户
注册 登陆 设为首页 加入收藏
首页 企业新闻 招标信息 行业应用 厂商专区 活动 商城 中标信息

资讯
中心

新闻中心 人物观点
厂商专区 市场分析
行业
应用
政府机构 能源产业 金融机构
教育科研 医疗卫生 交通运输
应用
分类
统一协作 呼叫客服 IP语音 视频会议 智能管理 数据库
数字监控 信息安全 IP储存 移动应用 云计算 物联网

TOP

实施数据湖泊之前请先“试水”
2016-07-19 15:26:12 来源:TechTarget中国 作者:【
关键词:湖泊 数据集市 Pentaho
 
现今,数据湖泊在IT行业掀起了波澜。数据湖泊是将数据存储与数据管理关联,提供关于数据的分析功能——这种功能通常是其他分析系统的独立功能,如数据仓库或数据集市,作为数据梳理流程的一部分。

  现今,数据湖泊在IT行业掀起了波澜。数据湖泊是将数据存储与数据管理关联,提供关于数据的分析功能——这种功能通常是其他分析系统的独立功能,如数据仓库或数据集市,作为数据梳理流程的一部分。

  例如,数据仓库的提取、转化与加载预处理器将消费日志,这些日志记录了某个系统到达或插入某“操作数据存储”的时间。

  但现今产业中,数据湖泊似乎至少有两个定义。一是源于存储公司,认为数据湖泊是磁盘存储基础设施,用于源数据的存储。另一个,主要由市场驱动,混合许多通常未混合的数据。根据我的定义,没有产商在销售全扩展的数据湖泊——相反,人们利用Hadoop来混合数据并自主研发的工具来访问数据。

  作为初始供应商向现实世界实验抛出的炒作课题,用户发现数据中心集市的最佳实践并不适用于数据湖泊。为避免早期用户的错误,需要专注于数据湖泊的温和实现,而不是超大规模。

  以下是在数据湖泊工作中的最佳实践。

  请记住数据湖泊适用于探索

  数据湖泊实现应该是实现企业扩展某个已存在分析的探索方式。数据湖泊中增加的数据类型来大部分来自于实时数据——例如,用户事务日志——实时分析系统一般不会提供长周期的分析功能。大多数现有的分析工具不足以提供应用程序行为的真实画像。数据仓库,“纯”Hadoop和其他数据管理方案可能导致重要数据丢失。

  大数据分析系统提供商Pentaho公司首席技术官James Dixon在自己的博客上举了个例子:数据仓库这样的系统无法获得用户在购买流程中的每一步操作,但事务日志里有。类似购买流程这样的设计对某些数据架构师来说看似简单,但每步骤都可能有数分钟甚至几小时的滞后。

  通过发现流程中的滞后,用户可以开始部署数据湖泊来绘制用户画像、购买相关的事务。探索型的分析很重要,也会影响到企业整体的分析能力,因为目前还不清楚在更深入分析客户日志时间戳后,会不会有什么新发现。

  数据集市、数据湖泊和数据仓库之间的区别?

  数据集市是数据仓库的变体。数据仓库存储了跨越整个组织、周期较长的数据报告与分析。多个数据集市大致相当于数据仓库,通常服务于分公司的各自IT环境中。可以将多个数据集市并入一个数据仓库,也可以是松耦合的数据集市。

  整合是数据湖泊实施的关键

  完全整合数据湖泊与企业的其他数据架构十分重要,包括数据治理与主数据管理。了解哪些数据类型对数据仓库或数据集市重要,或者那些原始表单中的数据是正确与一致的。实施数据治理实践,避免分析有缺陷的数据。

  数据湖泊要看长远

  数据湖泊拥有潜力。但在找不到比这个更好的长期数据分析方案,无法获得更多有价值的信息之前,数据湖泊也可能只是个时髦用语。

  Dixon关于时间序列与间距问题分析的数据仓库案例,只是在没有考虑“坏”数据的情况下,通过简单统计分析告诉我们一些信息。由于数据湖泊实施可能发现过去分析中隐藏的关键“指数”,任何企业都值得一试。从长远来看,还是需要实验与平衡数据湖泊与整体信息架构之间关系。

      

责任编辑:admin
免责声明:以上内容转载互联网平台或企业单位自行提供,对内容的真实性、准确性和合法性不负责,Voipchina网对此不承担任何法律责任。

】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部

上一篇延长数据中心设备使用年限?这些..
下一篇诺丁汉为满足当地需求新建一个数..

热门文章

图片主题

最新文章

相关文章

广告位

Copyright@2003-2009 网络通信中国(原VoIP中国) 版权所有
联系方式:503927495@qq.com
  京ICP备05067673号-1 京公网安1101111101259