• 收藏
  • 加入书签
添加成功
收藏成功
分享

云存储与感知网数据管理融合

崔聪颖 贾树文 杨婷婷
  
江苏广播电视报·新教育
2023年10期
1.海口经济学院 海南省海口市 571100 2.三亚学院 海南省三亚市 572000

打开文本图片集

摘要:物联网与云计算机的融合不仅符合数据流业务流程处理的需要,也是向用户提供智能化服务的必然要求。物联网解决物与物之间的互联,主要完成数据采集等基础工作。物联网中的超大规模数据流要求匹配强大的信息处理中心。云计算通过将大量网络连接的计算资源统一管理和调度,具有处理能力强、成本低的特点,适合承担海量数据处理工作。因此,云计算平台是物联网的数据处理中心,物联网是云计算的数据供给方。

关键词:云存储;物联网;管理融合

一、云存储数据存储管理

云存储属于云计算分支中的最新技术,它是一种通过网络上的存储设备,与各种应用软件相配合,将数据进行收集并进行处理的一种存储技术,其目标是为用户提供对外的数据业务接入,并为用户提供数据服务的系统。云存储的优势在于它的价格更便宜,可扩展性更好,可以广泛地应用到各种领域。按照用户的需要,云存储分为公用模式、私有模式和混合模式三种。公用模式以保存比较稳定的资料、保证多个使用者的存取、并为使用者提供多样化的储存服务。

二、感知网数据管理

感知网络具有显著混杂性的网络模型,其通过分析用户的,将存储信息通过存储节点实现网络感知和控制策略的自动化存储,使得网络存储管理的效率很高,降低企业网络运维成本,这是未来网络发展的趋势。借鉴其网络自动化的理念,将其概念拓展至业务层面,助力物联网从“互联”到“智联”,再到“云存储物联”,打造敏捷的云端物联网系统。由于缺少统一资源调度方式,虽然感知网络的优势可以提升业务感知功能效率,但是资源利用率低,需要云存储的“云端存储持”,统一管理,解决网络存储之间的鸿沟,对构建新型云端物联网体系架构具有指导意义。

三、感知网与物联网融合打造云端物联网

感知网是物联网的重要组成部分。它主要完成物理世界的数据采集,并将感知信息上传至数据处理中心。物联网环境下异构的、混杂的超大规模数据流对数据处理中心的性能提出严格要求。

云计算通过将分布式、大规模、廉价的计算资源通过一定方式统一管理和调度,形成“计算资源池”向用户提供按需服务。它可以为物联网的数据处理中心提供高效的计算、海量的存储服务,为泛在链接的物联网提供网络引擎和支撑。

无论是在感知网中还是云计算中,数据管理均是信息处理的前提和基础,因此具有十分重要的意义,是当前的研究热点,也一直是研究难点。图1是云计算与感知网映射示。从图1中可以发现两者之间具有网络组织结构、节点功能相似等共同特点,这为两者融合提供了前提和基础。

图2是云计算与感知网中数据产生和服务对比示。该图表明云计算和感知网中的数据管理除数据产生位置不同外,在指令传输方向、客户端与存储空间分离等方面有诸多相同点。因此,两类技术可以相互借鉴。

(一)加速云计算与物联网的全面融合。

物联网与云计算机的融合不仅符合数据流业务流程处理的需要,也是向用户提供智能化服务的必然要求。物联网解决物与物之间的互联,主要完成数据采集等基础工作。物联网中的超大规模数据流要求匹配强大的信息处理中心。云计算通过将大量网络连接的计算资源统一管理和调度,具有处理能力强、成本低的特点,适合承担海量数据处理工作。因此,云计算平台是物联网的数据处理中心,物联网是云计算的数据供给方。

另外,物联网是一种类云计算网络平台。具有一定存储容量的节点形成的分布式网络与云存储中节点组织形式十分相似。具有计算和处理功能的节点组成的物联网与云计算平台中的节点均具有一定智能性。通过以上定性分析可以看出,云计算与物联网的融合具有可行性。

(二)提高感知网中存储资源的利用率。

感知网具有显著的异构性、混杂性和超大规模等特点。标量感知器、矢量感知器、Sink节点等多类型感知器和容量各异的存储节点使得感知网中节点存储资源的差异性大。由于缺少统一的资源调度方式,因此,存储资源利用率低。

云存储中的“存储资源池”通过统一管理、归口调度,实现根据单个节点物理硬盘空间自适应的存入适量数据。

因此,利用云存储技术可根据感知网中数据大小、属性、所属事件分类的不同,以资源利用率为目标函数,自适应的进行数据存储,达到提高存储资源利用率的目的。

(三)增强感知网中数据管理的可靠性。

感知网中节点的易失效性、信道的不稳定性常常导致数据存储的不可靠,甚至丢失等不足。

在云存储环境中,多副本备份冗余机制、故障诊断和服务迁移机制、一致性校验机制等数据管理可靠性保障方案能确保云计算中数据的完整性和可靠性。

因此,引入云存储中的可靠性保障机制有助于提升感知网数据存储的可靠性。

(四)延长感知网的生命周期。

感知网中热区存储节点负载过量、敏感数据高频访问等负载不均衡等问题非常普遍,常常导致网络生存时间过短,而且难以优化。

云存储通过存储虚拟化、集中化管理等中间件,将工作量均匀分配到不同,采用了内存结点,降低了内存的“瓶颈”结点,提高了内存的性能。因此,云存储中资源管理中转中间件、负载均衡机制有助于延长感知网生命周期。

四、可行性数据管理方法

针对感知网的特性约束,许多学者提出了一些有效的数据管理方法。代表方法有:

EHS协议使用了基于平面的多层次阈值隐藏策略和基于网格的扩展虚拟网格隐藏策略。解决以数据为中心存储热点问题。在高密度节点的网络中,节点需维护的face_node表较大,因此通信开销较大。

DIM协议通过保留本地特性的地域哈希功能,将具有相近特性的事件存放在邻近地区,通过建立k-d 树索引实现多维属性查询。它有效地解决了多属性范围查询问题,但查询范围只局限于子区域且不适合非均匀分布的网络。

DIMENSIONS协议利用数据压缩和索引技术,支持由粗到细的多分辨率数据查询和访问。数据存储过程实际是对数据集进行时空处理的过程,因此计算复杂。但各个层次只存储小波系数,大大节约了存储空间。树型的层级结构要求查询必须从根节点开始,可能导致网络能耗分布不均匀,顶层节点构成网络的瓶颈。

DIFS协议采用了基于定位哈希和分层指数的方法,以四叉树型结构为基础构建了指数结构来支持高效的范围查询。它首先构建索引层次结构,节点存储的索引值范围越小则节点覆盖的地理范围越大。相对于 DIMENSIONS, DIFS层级架构的优点是:存在多个根数和任意位置的查询问题。

TSAR将数据分成源数据和元数据两部分,并将它们分别存放在本地和附近的代理节点上。利用 ISG (Interval Skipp Graph)技术,构建多个 Agent节点间的全球分布索引,实现对多个 Agent的时空查询和范围查询。虽然该指数具有良好的鲁棒性,但很难维持数据的一致性。

Scoop协议由基站根据根据数据产生速率、查询发生速率和网络拓扑变化等信息,来计算出数据的最优存储位置,并对存储位置进行动态调整。达到减少通信代价、提高查询速度的目标。它适合于多基站和多查询的小规模感知网环境,但是基站负荷较大,且扩展性差。

DCAAR协议是DIM和Scoop方案的结合。该算法采用了一种新的方法,即构建一棵属性-关联结构树,对多个特征进行有效的指派,保证了多个特征与多个特征之间的指派。DCAAR算法具有快速、高效、低成本等特点,但其不足之处是需要知道其搜索结果的概率分布,因此不适合于随机搜索。

Combs协议是对Cross-line的改进协议。它们的共同点是在经过的路径上保留副本。相比于Cross-line采用单径传播方式,Combs通过多径传播方式增大数据传播路径和查询请求传播路径相交的概率。显然,Combs的数据(或查询请求)传播的开销明显比Cross-line大。Double Ruling用圆弧曲线传播方式存储或查询来代替Combs和Cross-line采用直线传播方式。该策略优点是:(1)距离敏感;(2)便于数据聚合;(3)双环结构能够保证良好的健壮性。

表3是以数据中心存储的数据管理协议比较。从该表中可以看出,现有数据管理协议主要集中于对原始数据和数据属性的管理,但忽略了对数据所属“事件”的管理。在感知网提供数据服务时,数据本身、数据属性和数据所属“事件”三种信息对数据查询、更新和管理均十分重要。因此,基于(事件,属性,数据)的三元结构组更有助于满足基于属性的数据查询和基于事件的数据查询。

五、云存储与感知网数据管理融合的基础和挑战

在云计算中,海量的数据处理系统需要大量的、低成本的、海量的、大规模的、高效率的存储系统。将分散的、低可靠性的、分散的、可扩展的数据集中到一个统一的、高可靠的数据中心,进而为客户提供云计算服务。

感知网中数据存储是由大量成本低、存储空间有限、可靠性差的大规模节点组成。它通常采用以数据为中心的方式,形成分布式数据库,向用户提供数据服务。

表4是云存储与感知网数据管理对比。从该表中可以看出,云存储与感知网数据管理均具有节点规模大、节点可靠性差等共同特点。另外,从图2中也可以看出,云存储和感知网中数据服务也具有很多相似之处。表4同时还表明云存储与感知网数据管理之间还存在通信方式、节点供能方式相异等特点。

总之,从图2云计算与感知网的映射关系图、表4云存储与感知网数据管理对比中发现两者具有融合的前提和基础。从两者的差异性、尤其是感知网自身的约束性特点可以发现两者融合极具挑战性。

参考文献:

[1]王庆波等.虚拟化与云计算.北京:电子工业出版社,2009.

[2]李建中,李金宝,石胜飞.感知器网络及其数据管理的概念、问题与进展.软件学报.2003,14(10):1717-1727.

[3]田敬,代亚非. P2P 持久存储研究综述.软件学报.2007,18(6):1379-1399.

[4]陈康,郑纬民.云计算:系统实例与研究现状.软件学报.2009(5):1337-1348.

[5]付雄,王汝传,邓松.无线感知器网络中一种能量有效的数据存储方法.计算机研究与发展.2009,46(12):2111-2116.

[6]彭绍亮,李姗姗,彭宇行等.无线感知器网络中一种实时高效的数据存储和查询方法.通信学报.2008,29(11):128-138.

[7]孙大洋,刘衍珩,王爱民.一种基于能耗度量的融合树构建算法.计算机研究与发展.2008,45(1):104-109.

[8]李贵林,高宏.感知器网络中基于环的负载平衡数据存储方法.软件学报.2007,18(5):1173-1185.

[9]蔚赵春,周水庚,关佶红.无线感知器网络中数据存储与访问研究进展.电子学报.2008,36(10):2001-2010.

[10]Sheng B, Li Q, Mao W. Data storage placement in sensor networks. Proc of MobiHoc ’06.2006:344-355.

[11]梁小满,马行坡.无线传感器网络数据存储技术研究进展.计算机应用研究-2009

[12]郑瑾.无线传感器网络分布式数据管理关键技术研究.中国博士学位论文.2010

[13]廖志涛.云计算环境下面向数据密集型应用的数据布局探究.数字技术与应用.2011

[14]张鸿辉,刘伟,李永强.应用于电网企业的云存储访问控制增强策略.计算机应用与软件.2014

[15]王德政,申山宏,周宁宁.云计算环境下的数据存储.计算机技术与发展-2011

[16]洪嘉捷.云存储技术在视频监控中的应用研究.通讯世界.-2017

[17]包文意.基于关键字高效的公钥加密搜索体制研究与应用.中国优秀硕士学位论文全文数据库.2016

[18]许金海.基于无线传感网络的数据存储技术研究.中国优秀硕士学位论文全文数据库.2016

[基金项目]本文系三亚市院地科技合作项目:云存储在感知网数据管理中的关键技术研究,(项目编号:2017YD27)。

[作者简介]

崔聪颖(1987.06),女,汉,吉林省白山市,首都体育学院2010级硕士研究生,海口经济学院讲师,三亚学院讲师,主要研究方向为计算机网络教育等。

贾树文(1987.04),男,海南省三亚市,三亚学院,高级工程师,主要研究方向为云计算多媒体安全等。

杨婷婷(1981.12)女,海南省海口市,三亚学院,讲师,主要研究方向为云计算信息安全等。

*本文暂不支持打印功能

monitor