欢迎访问发表云网!为您提供杂志订阅、期刊投稿咨询服务!

虚拟化模型驱动的分布式数据湖构建方法研究

谭景信; 刘玉龙; 李慧娟 华北计算技术研究所; 北京100083
数据虚拟化   模型驱动   数据湖   分布式  

摘要:提出了适应工商联业务服务对象分布广、类型多、不确定性强等特点的虚拟化模型驱动的分布式数据湖构建方法,给出了分布式数据湖的整体架构设计,定义了适应分散、碎片化数据收集场景的数据虚拟化模型和模型驱动下的数据库间协作流程;通过构建虚拟化的全局数据索引网络,实现边缘数据库节点、二级区域数据库节点和中央数据库节点的库间路由和协调一致,形成去ETL化和去中心化的辐射型分布式数据湖,缓解了集中式数据湖构建方法所存在的数据更新时效性差、存储需求量大、频繁搬运大量数据耗费大量带宽、经济性差等诸多问题。对比测算表明,所提方法既满足了工商联分析业务对大数据的需求,又很好满足了实时处理业务对鲜活数据的需要,减少了数据搬运成本,提升了经济性。

简介:《计算机科学与探索》(CN:11-5602/TP)是一本有较高学术价值的大型月刊,自创刊以来,选题新奇而不失报道广度,服务大众而不失理论高度。颇受业界和广大读者的关注和好评。

注:因版权方要求,不能公开全文,如需全文,请咨询杂志社

计算机科学与探索

北大期刊 下单

关注 17人评论|0人关注
服务与支持