欢迎访问发表云网!为您提供杂志订阅、期刊投稿咨询服务!

云计算数据论文大全11篇

时间:2022-04-04 18:05:49

云计算数据论文

云计算数据论文篇(1)

二、大数据与云计算对会计信息化的推进

(一)大数据拓展了会计信息化的资源利用范围。

随着数字化、软件和处理能力的发展,对可利用的数据的范围进行了进一步的扩大,企业必须敏感地认识到不同类型的信息通过深加工后能给企业带来怎样的财富,更要掌握哪些信息可以通过信息化技术和软件的进步来实现。大数据时代,会计信息化不再只针对会计作业上产生的数据进行分析,而且云计算是世界各大搜索引擎及浏览器数据收集、处理的核心计算方式,因此可以通过云计算将零散的数据整合在一起,提炼其有价值的信息,再将这些信息与传统的会计信息融合,挖掘被忽视的重要信息,提高会计管理决策能力和企业管理水平,这样就能从行业中脱颖而出。

(二)促进了会计信息化成本降低。

传统的会计信息化需要企业自身投入大量的基础设施建设,同时还要考虑硬件与软件的升级和维护,这方面是阻碍会计信息化发展的重要原因,特别是对中小企业的发展。而大数据与云计算融合后,用户可以根据自己的利用资源的多少和时间的长短付费,不再需要前期大量的工作和资金投入。这样,企业也能将重点放在自身的发展上,增强竞争优势。

(三)提高了会计信息化的效率。

传统的会计信息化受到时间和地域等条件的限制,这样信息交流不及时,可能错过稍纵即逝的机会,尤其是竞争激烈的大环境下,信息获取的及时性更加重要的。在大数据时代的背景下,提供云计算的会计信息化系统只需通过互联网就能随时随地的实现与客户的沟通,及时地掌握所需的信息。同时,云计算强大的计算能力,可以更快地形成所需的各项指标,管理者能更快的了解企业的经营状况并识别潜在的风险。

三、大数据和云计算对会计信息化的挑战

(一)会计信息化共享平台发展滞后。

目前,企业信息化逐步在向社会信息化发展,各企业在加工处理自己的会计信息时会形成这个行业整体的信息流。通过会计信息化共享平台,各企业可以随时知道自己的企业在整个行业或地区的地区和影响力,了解自己的强势和弱势,不断强化自己的优势并弥补自己的不足,实现动态地对公司的持续改善管理。这一平台需要在云计算的基础上发挥作用,而云计算供应商要求能够满足不同用户、不同地域和不同业务规则的需求,所以对其适应性、扩展性以及灵活性要求比较高。我国在这方面起步比较晚,国内的云计算平台建设滞后,使云会计这种新型会计信息化发展面临很大的阻碍。

云计算数据论文篇(2)

自2006年亚马逊推出弹性计算云(Elastic Compute Cloud)服务和Google首席执行官埃里克・施密特首次提出云计算概念之后,我国也掀起了一股强劲的云技术热潮。云计算是在分布式系统、网络计算等发展的基础上提出的一种新型计算模型,是一种新兴的共享基础架构的方法[1]。云计算的广泛应用无疑会对档案管理带来前所未有的影响,档案机构和档案学界正在积极开展云计算应用于档案管理的相关研究。

1 文献统计数据及分析

笔者在中国知网()的中国期刊全文数据库、中国学位论文全文数据库和中国会议论文全文数据库检索题名包括“云计算+档案”、 “云技术+档案”和“云档案馆”的文献(检索时间为2014-3-12),删除其中新闻报道性和重复性的论文后,共检索出78篇论文。

1.1 时间分布。这78篇相关论文的时间分布如表1所示:

由表1可见,我国档案学界对云计算的研究始于2009年,2009年后开始引起学者较多关注,到2013年掀起一个较小的研究高潮(2013年发表相关论文共33 篇),但是依据百度和Google的搜索结果,尚未出版云计算应用于档案管理的相关著作。

1.2 主题分布。上述78篇论文,其研究的主题可以分为理论研究(介绍云计算的概念、特点、优势,应用的可行性、问题及对策等)、具体应用(研究云计算在档案业务环节的具体运用,如备份、整合与共享、利用与服务、云档案馆等)、系统和平台构建(研究基于云计算的系统和服务平台架构、服务模式等)和应用的安全性。78篇论文的主题分布如表2:

从研究的主题来看,目前档案界对云计算的理论和应用设想方面的研究占主导,分别占全部论文的43.6%和44.9%。但是,基于云计算的系统、服务平台构建的研究论文只有5篇,对于如何用技术手段来实现“云”并没有系统深入的研究。

1.3 作者机构分布。各研究主题的作者机构分布见表3:

从表3可以看出,78篇研究论文作者中有22篇来自高等院校的档案院系,占全部论文的28.2%。26篇论文作者来自其他机构,约占33.3%,其他机构包括高校除档案院系和档案馆室的其他院系和部门、事业单位、军队档案馆等。从表中数据看,高等院校的研究者倾向于研究云计算在档案业务环节的具体应用,而其他机构的研究者更注重理论研究和云计算在人力资源档案、会计档案、健康档案等领域的应用与实现。

2 主题分析

2.1 云计算的概念和特点。田雷提出:“云计算是一种网络服务方式,提供了IT服务的一种交付和使用模式,用户可以通过网络租用或免费获取所需服务。”他还提出目前云计算的三个服务层次:基础设施即服务、平台即服务、软件即服务[2]。黄正鸿认为,云计算旨在通过网络(互联网和内部网)以按需、易扩展的方式获得所需的硬件、平台、软件及服务等资源。其特点可以归纳为:资源池;按需、自助;快速弹性;广泛的网络访问;可度量的服务[3]。陈康明认为,云计算是基于网格计算、分布式计算、并行计算、效用计算、网络存储、虚拟化、负载均衡等已有网络技术发展起来的一种基于互联网络的服务信息共享模式。云计算的特点是:数据存储更加可靠、安全;资源的合理分配;先进技术理念带来的以用户为中心的个性化服务[4]。

2.2 云计算在档案领域应用的可行性分析。刘永提出,云存储在技术、管理和经济上已经具备了数字档案存储的基本条件。云存储技术是分布式文件系统技术、网格技术、集群应用等技术的集成,后三种技术在理论和实践上都逐渐成熟。云存储将分散在各地的数字信息集中存储,各档案馆(室)可以根据需求来申请适当的存储空间,降低了资金投入[5]。朱悦华、何丽萍、丁建萍认为,云计算时代“云档案”的实现具有较为完备的云计算理论基础、较为成熟的云计算技术条件、较为低廉的云计算经济成本和较为完善的云计算实践环境[6]。

2.3 云计算在档案管理中的应用优势。文杰提出了云计算在数字档案馆应用中的四大优势:确保档案服务器的可靠运行,降低服务器的出错概率;降低相关的维护费用;扩展了信息资源共享范围;丰富的终端设备[7]。彭小芹、程结晶结合云计算的特点提出云计算在档案领域的应用优势,即可靠、安全的数据存储;方便、快捷的云服务;强大的计算能力;诸多技术的集合体;经济效益;个性化;以用户服务为中心[8]。祝庆轩、桑毓域、方昀提出了云档案馆模式的优点:有利于政务信息公开;有利于统一全国各地区档案工作标准;有利于节省软硬件投资;有利于减少对计算机人才的依赖[9]。

2.4 云计算应用面临的问题和对策。黄正鸿提出云计算技术本身存在的一些问题,如标准问题、版权纠纷问题、数据隐私问题、安全问题、软件许可证问题、网络传输、用户使用习惯问题等[10]。陈康明认为,云计算应用面临的首先就是信息安全问题;其次是执行的国际标准问题。对策是完善基础设施建设;制定安全监测环节和相关技术;制定监督和管理机制[11]。文杰认为,云计算应用面临的问题主要有资源的选择问题;协议和接口问题;数据安全问题。对策包括加强人才队伍建设;完善基础设施建设;制定相关政策规范云计算标准;提供基础建设的统一监控、管理和控制;加强安全检测[12]。

2.5 云计算在档案领域的应用设想

2.5.1 云计算在档案存储、共享与服务中的应用设想。田雷提出可以通过“基础设施即服务”整合档案行业的服务器、存储器等设备,部署“云计算”环境,向各级档案部门提供基础设施服务[13]。陶水龙提出了基于云存储技术的档案数字资源的云备份和多套多地的档案数字资源备份数据存放策略,建立了云备份系统架构及其运行机制[14]。吕元智提出了国家档案信息资源“云”共享服务模式,将分散的国家档案信息资源通过云服务平台组织起来,形成一个个档案信息资源服务“云”[15]。祝庆轩、桑毓域等提出档案馆馆际云服务,将档案馆电子文件信息置于云中心,用户可以利用云计算技术检索云档案馆“虚拟资源池”[16]。卞昭玲、李俐颍等提出通过云存储解决档案信息的存储、档案信息的收集问题,同时可以共享档案信息 [17]。

2.5.2 云计算在专门档案领域内的应用研究。廖玉玲提出了基于云计算的建设工程档案全过程监管模式的系统方案[18]。刘振鹏、卞昭玲等提出了基于云计算的区域电子健康档案服务系统[19]。邓岚提出运用云计算技术搭建国家综合减灾信息管理与服务系统,并分析了云计算技术在灾害档案信息管理中的应用优势和障碍[20]。

2.6 基于云计算的数字档案管理系统和平台构建。程春雨提出国家开放档案信息资源共享利用系统应采用两级部署方式,分别部署在中央云中心和50个国家综合档案馆。中央云中心应用系统开发主要包括档案信息资源整合系统、平台管理系统、国家开放档案信息资源共享利用门户网站;省节点应用系统开发主要包括省节点档案信息资源整合系统和基础工具包软件[21]。程结晶提出要构建统一的云存储平台,采用虚拟化技术,开发基于“元数据”访问的分布式数字档案数据访问接口,构建完整的云服务平台来实现数字档案资源的访问服务、请求认证服务、安全数据传输服务和快速资源搜索和资源发现服务[22]。郑光辉提出了基于云计算技术的数字档案利用系统设计方案,详细描述了基于云计算的档案信息资源整合系统、云平台管理系统及开放数字档案利用门户设计方案[23]。蔡学美提出云计算数字档案馆系统主要是由云计算数字档案管理应用程序、数字管理节点、计算机专用网络、安全防火墙、公用和私有的硬件设施等构成[24]。朱悦华、何丽萍等提出构建“云档案”资源共享系统,其系统理论模型由资源层、管理中间件层和服务层等三层构成[25]。

2.7 云计算应用的安全性。徐华、薛四新等提出云数字档案馆安全保障体系应包括防御系统、监控系统、容灾备份系统、应急响应系统和技术支撑系统,通过安全法规体系、安全组织体系、安全管理制度体系、安全人员培养和培训体系来保证[26]。崔海莉、张惠达提出将档案信息管理系统推入云的基础设施上,服务中断、数据失真、敏感信息泄露是可能遭遇的技术风险,组织策略、准入退出机制是可能遭遇的管理风险[27]。

3 问题与展望

3.1 问题。首先,研究内容重理论轻技术。当前对于云计算基础理论的研究较多,关于如何运用技术手段实现其具体应用的研究较少。78篇论文中只有5篇从技术角度阐释了云计算应用于档案领域的具体实现方式。应用设想相关论文仅仅止步于“设想”,对具体应用及如何实现其应用轻描淡写,缺乏技术因素。

其次,研究缺乏实践基础。相对于云技术在其他领域的快速实现,传说中的云档案馆、档案云尚未付诸实施,对于云技术的应用需求也没有实际调研,因此,大多数研究缺乏一定的实践基础。

3.2 展望

3.2.1 研究内容。首先,对云计算的应用研究应更多关注档案资源的共享与服务。云计算的精神内核在于资源的共享。在全新的云计算模式下,研究者应站在整个国家档案资源共享和利用的角度谋划“云”,探寻如何利用云计算技术更加科学地整合和共享全国档案信息资源,并向公众提供高效快捷的信息服务。其次,适当扩展研究内容,构成完整的研究体系,例如,云计算环境下传统的档案管理模式和管理策略是否发生变化?云计算在档案部门有效应用应具备哪些条件?“云”之间如何交互协同?云计算的行业标准研究等。最后,与国外相关研究相比,国内研究应更注重云计算在档案领域的实际应用与技术实现。

3.2.2 研究方法。加强实证研究和案例研究。云计算对档案领域而言本质上是一种技术手段,技术最关键的问题是应用与实现。因此,应当加强云技术应用的实证研究,以及以某一地区或某一项目为对象的案例研究。

*本文系国家档案局科技项目“数字档案资源云存储策略研究”(项目编号:2012-X-34)和河南省软科学研究计划项目“河南省非物质文化遗产档案资源共享平台构建研究”(项目编号:142400410786)的阶段性研究成果。

参考文献:

[1]中国云计算喧嚣过后冷思考[EB/OL]. [2014-03-20].http:///286/12798786.shtml.

[2][13]田雷.云计算在档案领域的应用[J].北京档案,2011(5):24~25.

[3][10]黄正鸿.云计算在档案信息化领域的应用启示[J].中国档案,2011(5):61~63.

[4][11]陈康明.云计算在档案管理中的应用[J].云南档案,2012(5):27~29.

[5]刘永,刘坤锋.论数字档案云存储[J].档案管理,2013(5):14~18.

[6][25]朱悦华,何丽萍,丁建萍.“云档案”信息资源共享系统研究[J].浙江档案, 2012(6):52~53.

[7][12]文杰.基于云计算的数字档案馆建设研究[J].档案与建设,2011(1):46~49.

[8]彭小芹,程结晶.云计算环境中数字档案馆服务与管理初探[J].档案学研究 ,2010(6):71~75.

[9][16]祝庆轩,桑毓域,方昀.基于云计算的档案信息资源共享模式研究[J].兰台世界,2011(7):8~9.

[14]陶水龙.档案数字资源云备份策略的分析与研究[J].档案学通讯,2012(4):12~16.

[15]吕元智.国家档案信息资源“云”共享服务模式研究[J].档案学研究,2011(4):61~64.

[17]卞昭玲,李俐颍,刘振鹏.云计算在档案信息共享中的应用[J].兰台世界,2011(7):16~17.

[18]廖玉玲.基于云计算的建设工程档案全过程监管模式可行性研究[J].档案学通讯,2013(6):74~78.

[19]刘振鹏,王坤瑞,卞昭玲等.基于云计算的区域电子健康档案服务系统研究[J].档案学通讯,2012(4):17~20.

[20]邓岚.云计算技术在灾害档案信息管理中的应用探讨[J].中国减灾,2011(8):32~33.

[21]程春雨.云计算模式下的开放档案共享利用平台建设[J].中国档案,2013(12):64~67.

[22]程结晶.云技术中数字档案资源共享与管理体系的构建[J].中国档案,2013(1):66~68.

[23]郑光辉.使用云计算技术创造开放数字档案利用新模式[J].档案学研究,2013(5):46~50.

[24]蔡学美.档案云技术应用于档案信息化建设[J].办公自动化,2012(6):14~17.

云计算数据论文篇(3)

中图分类号:C37文献标识码: A

0 绪论

云计算是一种新近提出的计算模式,是分布式计算、并行计算和网格计算的发展。在各大企业以及学术界的共同推动下,在大数据时代,云计算融合物联网将进一步推动数据价值的挖掘,促进产业爆发。

1 云计算

1.1对云的定义

云计算是一种按使用量付费的模式,这种模式提供可用的、便捷的、按需的网络访问,进入可配置的计算资源共享池(资源包括网络,服务器,存储,应用软件,服务),这些资源能够被快速提供,只需投入很少的管理工作,或与服务供应商进行很少的交互。

1.2云计算的基本原理

通过使计算分布在大量的分布式计算机上,而非本地计算机或远程服务器中,企业数据中心的运行将更与互联网相似。

1.3云计算的特点

1.3.1虚拟化

云计算支持用户在任 意位置使用各种终端获取服务。

1.3.2极其廉价

“云”的特殊容错措施使得可以采用极其廉价的节点来构成云。所以云计算造价低廉。

1.3.3高层次的编程模型

用户通过简单学习,就可以编写自己的云计算程序,在“云”系统上执行,满足自己的需求。

1.3.4高可靠性

“云”使用了数据多副本容错、计算节点同构可互换等措施来保障服务的高可靠性。

1.3.5按需服务

“云”是一个庞大的资源池,你按需购买;云可以像自来水,电,煤气那样计费。

2云计算的体系架构

2.1 核心服务层

基础设施即服务层(IaaS)、平台即服务层(PaaS)、软件即服务层(SaaS)。

IaaS提供硬件基础设施部署服务,为用户按需提供实体或虚拟的计算、存储和网络等资源。

PaaS是云计算应用程序运行环境,提供应用程序部署和管理服务。

SaaS是基于云计算基础平台所开发的应用程序。

2.2服务管理层

服务管理层对核心服务层的可用性、可靠性和安全性提供保障。云计算服务提供商需和用户进行协商,并制定服务水平协议(SLA),使得双方对服务质量的需求达成一致。

2.3用户访问接口层

用户访问接口层实现了云计算服务的泛在访问,通常包括命令行、web服务、web门户等形式。

3云计算的关键技术

3.1数据存储技术

为保证高可靠和经济性,云计算采用分布式存储的方式来存储数据,采用冗余存储的方式来保证存储数据的可靠性。云计算的数据存储技术主要有GFS和HDFS。

GFS是一个管理大型分布式数据密集型计算的可扩展的分布式文件系统。使用廉价的商用硬件搭建系统并向大量用户提供容错的高性能的服务。GFS系统由一个Master和大量块服务器构成。Master存放文件系统的所有元数据。在GFS文件系统中,采用冗余存储的方式来保证数据的可靠性。为了保证数据的一致性,对于数据的所有修改需要在所有的备份上进行。GFS与传统分布式文件系统的区别在于将写操作控制信号与数据流区分开。

3.2数据管理技术

BigTable是一个很庞大的表,它将所有数据都作为对象来处理,形成一个巨大的表格。有很多Google的应用程序建立在BigTable之上,基于BigTable模型实现的Hadoop Hbase也在逐渐发挥作用。

是一个稀疏的、多维的和排序的Map,每个单元格由行关键字、列关键字和时间戳来进行三维定位。在任意时刻每个Tablet只被分配到Tablet服务器。依靠一个master服务器监视子表server的负载情况,根据所有子表服务器的负载情况进行数据迁移。

4 结语

云计算的出现给人们的生活带来很大的便捷,使用某个软件时无需耗费大量的资金进行购买,而是利用云上虚拟机,以租赁的方式进行使用。在各大企业和各大高校的推动下,云计算具有十分广阔的发展前景。

参考文献

[1]张金玉.狄卫华基于云平台的建设工程项目招标评标模式的探讨[期刊论文]-项目管理技术 2013(5)

云计算数据论文篇(4)

引言

第一次工业革命浪潮让高楼大厦林立,第二次工业革命浪潮让分散郊区发展,第三次工业革命浪潮带来了数字技术与数字革命(Alvin Toffler,2006),他让我们变成一堆数字(Stephen Baker,2009)。第三次工业革命颠覆了很多从前习以为常的理论与概念,也让已经选择好的经济发展路径开始面临瓶颈(朱晓明,2012)。第三次工业革命时代被称为“大云平移”时代,即大数据、云计算、平台与移动互联网时代,其中尤以云计算最为抢眼。从数字技术与数字革命的角度来看,云计算将让数字科学家渗透到日常生活的每个领域,他们正面临新的挑战,不仅要描述网络用户的品味与嗜好,而且要洞悉人类不断变化的心情(Stephen Baker,2009)。云计算正在从一个热门的IT 概念扩展为“云空间”、“云搜索”、“云浏览”、“云服务”、“云平台”、“云社区”等终端应用(郁德强,2012)。

在云计算的平台上,一种基于云计算的新型服务外包模式―云外包正在逐渐成为服务外包领域发展的趋势,并且日益受到业界有关人士的重视。Joseph A. Schumpeter(1942)认为经济创新是对经济结构的一种创造性破坏,经济创新使经济结构不断革命化、不断地破坏旧结构、不断地创造新结构。按照Joseph A.Schumpeter的观点,云计算及云外包就是第三次工业革命浪潮带来的最新的创造性破坏。那么这种创造性破坏将会给人类生活带来哪些“破坏”呢?目前的答案模糊而不明确,随着这朵“云”的飘逝,清晰的答案或许就在不远的前方。

本文在阐述云外包内涵的基础上,较为全面地扫描了云外包发展现状,然后对云外包的研究文献进行了综述,最后展望了云外包的发展趋势,并扼要进行了相关讨论。希望通过本文的研究,能够为我国云外包的发展提供借鉴和帮助。

云外包的内涵

“云”(Cloud)是一个虚拟的形象比喻,指的是一些大型的计算资源,比如一些大型服务器集群,这些集群资源可以实行自我维护和自我管理功能,具体包括大型计算服务器集群、大型存储服务器集群与宽带资源等。

“云计算”(Cloud Powered Computing)旨在提高云端的大数据处理能力,指的是将各种计算本领、数据存储、网络虚拟化、电脑负载均衡等基本电脑功能与现行复杂网络技术融合在一起,借助SaaS(Software as a Service,SaaS,软件即服务)、PaaS(Platform as a Service,PaaS,平台即服务)、IaaS(Infrastructure as a Service,IaaS,设施即服务)等先进的商业模式为市场终端客户提供强大的数据计算、数据挖掘、数据处理等服务的一种应用计算技术,它是一个完全虚拟化的计算资源提供仓库,也是一种全新的动态计算资源提供理念。一些专家形象地把它比喻成一个大数据处理仓库,在这个大数据处理仓库中,所有的电脑都可以实行自我管理和自我维护资源功能,可以自动安装程序软件与开启响应,还可以动态地分配与再分配、部署与再部署、配置与再配置资源以及回收资源。

专家将云计算界定为具有以下几个典型特征:能够自动地监控计算仓库中各种资源,并根据设定的程序自动地分配资源;用户可通过真实的界面操作虚拟的计算资源,简单而有效;管理成本较低,而且当扩展的架构另外新增资源时,需要额外增加的管理费用极少;计算资源数据库中可以共享计算资源,而且完全按照用户需求将资源分配与再分配等;各种电脑可以兼容应用,而且同时支持个体消费者以及市场大型商业应用。

“云外包”(Cloud Powered Outsourcing)是一种基于云计算资源与平台的新型服务外包模式,由软件云、平台云、设施云及处于云端的各种终端服务组成(郁德强等,2012)。鼎韬咨询公司认为云外包模式应该包括三个基本层面,如图1所示:一是基于云平台的外包服务,即云计算+SaaS软件服务云模式;二是基于云模式的外包,即云计算+PaaS的平台服务云模式;三是基于云理念的外包,即云计算+IaaS设施服务云模式。综上所述:云外包=(SaaS+ PaaS+ IaaS)×服务。一般来说,云外包的基本服务对象可分为服务云、运营云与行业云三类。服务云即大众化云模式的外包服务,可为普通大众用户提供基于云计算资源平台的较为完整的应用外包服务。运营云即企业私有化云模式外包服务,主要针对一些企业内部提供基于云计算资源平台的具体外包服务。行业云为上述两者云外包模式结合的外包服务,即既可对行业内部提供全线资源整合的云外包服务,又可对行业外部提供全部流程的云外包服务。

云外包的发展现状

服务外包3.0时代被称为云外包时代。云外包领域的先行者有Amazon、Google、IBM、Microsoft、Yahoo、Salesforce、Facebook、Youtube、Myspace等众多知名公司。Amazon利用EC2与S3等技术为用户提供云外包服务。Google推出GDrive为用户提供最新云外包服务,另外其搜索引擎有超过100万台服务器构建了云计算资源仓库,为用户源源不断地24小时提供云服务。IBM为用户提供蓝云计算平台服务。Microsoft推出SkyBox、SkyLine、SkyMarket等云外包服务。2008年以来,IBM已在我国建立多家云计算服务中心,对用户提供云外包服务。2009年阿里巴巴建立了首家基于电子商务平台的云计算中心,为电子商务企业提供云外包服务。中国移动完成云计算中心试验,正在向物联网的云外包进军。其他还有瑞星、江民、金山、奇虎360、卡巴斯基等多家软件科技企业都为互联网用户提供基于云安全的外包服务。

2010年5月的《国务院关于加强培育和发展战略性新兴产业的决定》中,明确将云计算确定为战略性新兴产业的重点发展项目,并提出加强云计算的研发和推广云计算的示范效应。2010年10月国家发改委联合工业和信息化部印发《关于做好云计算服务创新发展试点示范工作的通知》,批准设立我国首批云计算五大示范城市,分别为北京、上海、杭州、深圳、无锡。2010年与2011年两年时间,我国各地特别是服务外包基地城市纷纷开建云计算中心相关项目,具体如表1所示。

诚如前文所述,人们习以为常的理论与概念将会被新的云服务模式改变。基于云计算平台的云外包已经悄然改变着我们的日常生活。比如一些业务从传统的收费模式到现行的免费模式的改变。现在免费模式在一些平台行业已成为一种普遍现象。银行、软件科技公司、移动通讯公司、第三方互联网支付公司等提供的云服务包括交易平台服务、媒体平台服务、支付平台服务、软件平台服务等,他们通过免费模式吸引着大量顾客,为企业其他的业务争取到了难以想象的消费群体。数字技术与互联网时代决定着云外包业务将走入一个快速发展的飞跃时期。

云外包的研究理论

在中国全文期刊数据库输入“云”这个关键词,搜索到的直接与间接的研究文献不少,见表2所示。

在中国全文期刊数据库输入“云计算”关键词,搜索到的直接与间接的研究文献不算多,见表3所示。通过梳理不难发现,这些研究文献主要分为以下三个方面:第一,介绍云计算的概念以及描述云计算平台与传统IT平台的差异;第二,描绘云计算的未来前景;第三,介绍云计算与服务外包的关系以及利用云计算平台的益处。可以看出,学术界对云计算的研究目前还处于一种探索的状态,文献研究也没有出现涌现现象。

实际的状况是,学术界对云外包理论研究的步伐节奏完全赶不上企业对云外包探索的速度。在中国全文期刊数据库输入“云外包”关键词,搜索到的学术研究的文献仅有4篇,具体见表4与表5所示。即使在外文期刊数据库以及国外一些知名大学的图书馆电子数据库里进行搜索,也几乎没有与云外包的直接研究文献。在Baidu以及Google搜索引擎上也查询不到相关研究文献,但是企业关于云外包的热情介绍倒是不少,其中较为著名的研究报告为鼎韬咨询公司的《服务在云端―“云外包”概念白皮书》,遗憾的是该报告也只是泛泛对云外包做了介绍,并没有做更深层次的研究。

随着云外包这种服务外包新模式快速发展以及企业对云外包的大力推崇,学术界对云外包的关注度将会逐渐升温,届时能够掌握与收集到的云外包相关数据也会越来越多,越来越丰富,因此,本文认为未来关于云外包的理论研究可能会从多个角度展开。

云外包的发展趋势

从几个知名咨询公司对云外包未来发展前景的预测我们可以略知一二。Merrill Lynch保守预测今后3-5年内,全球云外包市场规模可能超过950亿美元;Gartner预测更为乐观,认为2013年全球云外包市场规模就会达到1500亿美元;IDC预计未来3-5年全球云外包市场规模将增长3倍以上,到2013年底,全球云外包的开支占整个IT外包领域的开支比例将达到1/3;Mckinsey & Company预计到2015年全球将有850亿美元用于云外包领域(鼎韬公司,2010)。虽然各机构预测数字不一,但是折射出的是大家对云外包市场的乐观而统一的认知―云外包市场发展潜力巨大。

第三次工业革命下的云外包将使得企业虚拟化成为常态。这些企业通过云外包一方面将非核心业务向全球进行发包,另一方面通过外包云与众包获得专业化资源服务。在云外包模式下,企业将服务部署在云端,不论是ITO(Information Technology Outsourcing,ITO,信息技术外包)、BPO(Business Process Outsourcing,BPO,业务流程外包)、KPO(Knowledge Process Outsourcing,KPO,知识流程外包)等都可利用云外包平台为用户提供个性化服务。

未来的云外包发展趋势可能集中在以下四个方面:

第一,SaaS模式云外包服务将通过专业化的云平台为用户提供零公里对接服务,它改变了传统意义上的人力资源外包、行政实务外包、金融财务外包等业务外包模式,提供即需即用式的基于流程开发与应用外包的云服务。

第二,PaaS模式云外包服务将通过专业化的云数据程序开发为用户提供互动式服务,它改变了传统意义上的软件开发外包、软件测试与维护外包等业务外包模式,提供协同式的基于数据挖掘、数据处理与数据管理外包的云服务。

第三,IaaS模式云外包服务将通过大型服务器、存储器等为用户提供基础,它改变了传统意义上的IT基础设施服务外包、IT技术服务外包等业务外包模式,提供基于硬件网络与远程基础设施虚拟管理外包的云服务。

第四,在云外包模式下,全球若干企业或是个人都可挤进云服务的快车道,他们将一起为云用户提供云服务与创造云价值,这改变了传统意义上的单一主体接包与发包模式,提供基于全球无边界的爆炸式众包模式云服务。

结论与讨论

综上所述,“云”的出现创造了一种新的服务外包模式―云外包模式,这种基于云计算平台的新型服务外包模式将成为引领服务经济时代的流行工具,成为深受用户喜爱的价值创造的日常手段。本文剖析了云外包的内涵,对云外包的研究理论进行了文献梳理,并展望与分析了云外包未来可能的发展方向。需要注意的是,在全球一片“云”笼罩之下,企业必须要有清醒的认识,那就是云外包模式还不十分成熟,尚存在不少问题亟待确认与解决,主要问题如下:

第一,在云外包模式下,企业经营与管理者们的传统理念是否已经转变为云理念,能否对传统服务与云服务结合的IT环境进行协调管理;第二,在云外包模式下,各云服务提供商能否提供规范的云外包服务,云服务提供商原先的传统系统能否适应现行的大数据云平台,能否承受海量数据存储与海量信息备份的压力;第三,由于云的边界是动态变化的,甚至是无界的,随着数据在云中的飘忽迁移,安全方案必须相应地动态与虚拟,即实现按需安全,因此迫切要求建立一套新的共享资源的安全方法;第四,云外包的服务性能依赖于延伸服务链中的每一个组成部分,包括数据仓库、虚拟网络、其他云服务提供商、用户终端硬软件设备等,这根链条是否动态兼容与匹配;第五,在云外包模式下,世界已经是平的,那么云端的知识产权保护与信息安全管理措施能否跟上,用户的云平台上的数据能否得到保密,万一信息泄露如何更快更好地处置等。

此外,云外包发展还面临着两个关键制约瓶颈:一是云数据使用,二是云用户能动性。云数据使用包括用户对云数据的处理权甚至涉及到国家信息安全,单靠云计算技术不能解决云数据使用问题,还需要配套制订相关的法律法规与政策,以及建立云用户和云服务提供商之间的信任。还有一个就是云用户的能动性,在云环境中,用户使用的云计算仓库的资源与数据,都是高度自动化的,云计算仓库会对资源与数据进行动态配置与部署,天长日久会逐渐降低云用户的能动性,甚至可能会影响到人口的综合素养与国家的经济发展。

最后需要指出的是,学术界对云外包的研究还处于原始的摸索阶段,鉴于缺少云外包发展的相关数据,因此目前的研究文献都是以一些定性分析为主,缺少对云外包的产生机制、动因与相关绩效的定量分析,特别是云外包的契约关系、云外包的规章制度、云外包的知识产权、云外包的信息安全与云外包模式的综合管理等研究还处于真空状态。未来进一步的研究将会从这几方面有序展开。

1.Alvin Toffler.黄明坚等译.The Third Wave[M].中信出版社,2006

2.Stephen Baker.张新华等译.The Numerati[M].中信出版社,2009

3.朱晓明.第三次工业革命及其战略思考[J].服务外包研究,2012(8)

4.郁德强等.一种基于云计算的服务外包模式:云外包[J].情报理论与实践,2012(8)

5.Joseph A. Schumpeter. Capitalism, Socialism and Democracy [M].Johns Hopkins University Press,1993.

云计算数据论文篇(5)

中图分类号:TP393 文献标识码:A 文章编号:1009-3044(2012)30-7196-03

云计算服务供应商以专业的数据资源组织与分配,低成本建立大型数据中心,使得云计算在商务活动中获得广泛认同。规模经济的发展增加了云计算服务供应商的收益,也降低了用户的成本。云计算的即时服务模式使得服务供应商通过统计复用实现优化资源利用,更让用户通过动态标度避免了资源预留空间的费用支出。然而,安全问题也迎面而来,许多学者、公司决策者以及政府工作人员认为安全问题成为提速与推广云计算的明显阻碍[1]。对于许多关键业务级运算,云计算会由于种种问题而显得不可取,例如:服务可用性、数据保密以及荣誉命运共享问题等等。另有一些人批评“云计算”一词含义太广[2]。事实上,云计算包含了如“软件即服务”的既成模式,而这种随需而变的计算工具的基本概念则可以追溯到早分时系统[3]。与此同时,缺乏统一的定义也一定程度上阻碍了对云计算安全问题的讨论。本文鉴于云计算出现的安全问题,首先梳理了术语定义问题,其次对安全问题进行了分类,最后这些问题进行多对视角的讨论。

1 云计算的定义

缺乏明确的、被广泛接受的定义成为云计算研究的一大问题。“云计算”一词是个不断演化的术语,其定义更大程度上来源于应用领域,而不是学术领域。“云计算”定义面过宽招致批评,有人批评其“包括了一些所做之事”[1]。而在定义的准确性上斤斤计较又转移了人们对于其核心技术问题的注意力。本节将简单给与云计算一个定义,该定义将贯穿全文。早期系统框架云计算研究,《Above the Clouds: A Berkeley View of Cloud Computing》将其定义为包括作为服务在互联网上的应用软件以及促进这些服务运作的数据中心硬件与系统软件[1]。云计算的关键特征包括虚拟无限硬件资源、消除预先承诺以及按需支付资源使用的能力。该项白皮书一经发表,大量的对云计算的定义以及研究报告接踵而来。其中由美国国家标准与技术研究院(NIST)的一条最为显眼。该定义范围较广,几乎涵盖了所有云计算研究中采用的通行术语,为NIST指导云计算安全问题打下了基础。其他一些定义大都采用相近的框架。欧洲网络信息与安全机构也承载了这一理念,对云计算的定义如出一辙,大同小异[3]。根据NIST给出的定义,云计算的关键特征包括按需自助服务、宽带接入、资源池化、快速弹性以及与工具相当的计量服务。云计算有三种服务模式:软件服务模式(SaaS)——允许用户控制应用程序配置;平台服务模式(PaaS)——允许用户可以主机环境;基础构架服务模式——允许用户控制除数据中心基础构架之外的其他构架。另外,云计算还具有四种调度模式:公有云模式——对大众或大型企业集团开放;社区云——服务若干组织机构;私有云——仅限于单个组织机构;混合云——混合以上几种模式。鉴于NIST的广义定义综合了诸多人们关心的问题,以及该定义演化的连续性,本文将在余下的讨论中沿用这一定义的内涵。

2 新安全问题评判

本节评判云计算中出现的所谓“新”与“旧”的安全问题,从而确认何种问题对云计算的安全威胁模型构成最大挑战。

2.1 “旧”安全问题

云计算的广泛应用带来了经常性安全事故。事实上,许多归为“云安全”问题的事故属于传统网络应用与数据联机问题,如网络钓鱼、故障停机、数据丢失、密码失窃与主机易感染僵尸网络等问题。推特网络钓鱼属于传统网络安全隐患,现已摇身一变成为云计算安全隐患。近来,知名的亚马逊云服务中发现僵尸网络事件尤为显眼,反映出云计算服务器的运行安全与与传统企业数据存在同样的隐患。学术界举办的ACM云计算安全研讨会和ACM计算机与安全通信会议(CCS)对云计算安全颇有研究。当前,有关云计算安全问题发表的论文,如针对网络安全[4:13]、数据外包[5:18]、虚拟机[6:34]问题进行讨论的论文,也反映出学术界一贯的研究路线。这些论文除少部分外大都表现出研究课题的综合交叉性,而不是仅仅着眼于云安全。2009年在美国举办国际黑帽技术大会致力于云计算安全漏洞利用问题的讨论,认为安全漏洞利用成为延伸的安全隐患。例如,用户名暴力破解软件、Debian OpenSSL利用工具在云计算中和在僵尸网络中会同样运行[7]。社交工程攻击利用漏洞,给恶意虚拟机镜像一个类似官方的命名,如f“edora_core”[7],引诱亚马逊弹性计算云(EC2)用户运行恶意虚拟机镜像。虚拟主机漏洞问题依然存在[8],如同随机数生成机制缺乏足够的熵从而薄弱一样。

2.2 “新”安全问题

最近有研究发现,尽虽然使用云计算较僵尸网络更为昂贵,但是云计算比僵尸网络更易获得黑客们的“青睐”。僵尸网络市场易面临“柠檬市场”的信息不对城问题,即由于缺乏信任、无法确认货物质量导致货物成交量最小[8]。如此一来,黑客们就会溢价在云计算网络中寻找更为可靠的服务。在云计算网中,络僵尸网络比在传统网络中更容易关闭。因为云计算引入共享数据环境,所以会引发意外旁通道被动侦测信息与隐蔽信道主动发送数据[9]。暴露出来的弱点有:将攻击虚拟机当作目标虚拟机置于相同的物理机上,而后在两个虚拟机之间构建旁通道,编入SSH击键计时攻击[10]。另一个新问题来自于荣誉命运共享,会产生不同影响。正面的影响是:只要保证网络生态系统的安全最佳实践,云用户有可能从大云服务供应商对安全性的专注中获益;负面的影响是:单个破坏者就能中断许多用户。例如,垃圾邮件群发曾破坏EC2,导致国际反垃圾邮件组织(Spamhaus)将很大比例的EC2 IP地址列入黑名单,引发主要服务中断。此外,黑客运用云计算网络的价格低廉,例如,将在PC机上原本耗时1.3天暴力破解作业放到云计算网络中,耗时仅仅一分钟,需添加200加大实例,每次利用只需两美元(参考2010年的价格)。自垃圾邮件群发事件后,如果有人想从EC2上发送电子邮件,则必须填写申请表格(.

[2] Fowler G,Worthen B.The internet industry is on a cloud-whatever that may mean[N].Wall Street Journal,2009.3.26.

[3] Corbató F J,Vyssotsky V A.Introduction and overview of the multics system[J].IEEE Ann. Hist. Comput.,1992,14(2):12–13.

[4] Vikram K,Prateek A,Livshits B.Ripley: automatically securing web 2.0 applications through replicated execution[C]//CCS ’09: Proceedings of the 16th ACM conference on Computer and communications security.

[5] Bowers K D,Juels A,Oprea A.Hail: a high-availability and integrity layer for cloud storage[C]//CCS ’09: Proceedings of the 16th ACM conference on Computer and communications security.

[6] Wei Jinpeng, Zhang Xiaolan,Ammons G,etal.Managing security of virtual machine images in a cloud environment[C]//CCSW ’09: Proceedings of the ACM workshop on Cloud computing security.

[7] Meer H,Arvanitis N,Slaviero M.Clobbering the cloud[C]//Black Hat USA 2009.

[8] Kortchinsky K.Cloudburst-a VMware guest to host escape story[C]//Black Hat USA 2009.

云计算数据论文篇(6)

关键词 :电子政务;平台建设;云计算;数据存储

引言

云计算是互联网发展的重要阶段,云计算技术的出现极大的提高了互联网资源的使用效率,为数据的计算、存储提供了赖以支撑的技术基础。云计算的发展为大数据的进一步应用提供了充足的条件,广泛应用于企业、社会、个人生活的各个方面。本文主要介绍云计算在电子政务平台建设上的应用。

自从云计算的理念被提出来,它已成为全球互联网产业的重要话题与趋势,云计算的广泛应用也受到越来越多的专家学者的高度重视。如陈全、邓倩妮从不同角度给出了云计算的定义并总结出云计算技术的特点及关键技术,而且对云计算和其他超级计算进行了比较;罗军舟从资源共享的角度定义了云计算,并对资源服务做出了解释,具体介绍了云计算的体系架构以及关键技术,并对云计算未来的发展前景进行了展望;吕元智详细说明了云计算在电子政务信息资源共享领域的意义,并进行了可行性分析,然后给出了构建基于云计算的电子政务信息资源共享系统的思路;林崇责则主要侧重于电子政务云平台的架构和功能规则,对基于云计算的电子政务平台画出总体框架图。中国电子信息产业发展研究院详细阐述了基于云计算的电子政务公共平台的顶层设计,并对如何建设平台服务提出了意见;章泽昂强调了建设一个平台的架构及运作模式;张慧从系统的角度分析了构建一个平台的几个步骤;陆海虹分析了构建基于云计算的电子政务平台的意义,从设计原则、结构框架及具体设计等方面对电子政务云平台建设进行了阐述。可见,目前针对云计算的研究成果还是比较多,各专家学者从不同的角度对云计算的应用做了研究,但是并没有对云计算在电子政务平台建设方面做出系统性的分析或者给出具体的建设方案。因此本文将从建立基于云计算的电子政务平台的必要性入手,详细说明基于云计算的电子政务建设的可行性及具体的应用构架。

1、云计算概述

1.1 云计算简介

云计算的定义至今为止仍没有统一,不同的组织专家往往关注于云计算的不同方面,给出不同的定义。目前已有超过25种关于云计算的定义。例如,美国知名顾问咨询公司Gartner认为,云计算是一种利用Internet,为海量用户提供高扩展性、高可靠性的计算方式。美国国家标准与技术实验室对云计算的定义是:“云计算是一种利用云互联网定制IT资源共享池,并根据使用量付费的模式,其中IT资源包括网络、服务器及应用服务;这些IT资源只需要很少的管理和交互工作就能做出快速的部署和响应。随着云计算应用领域的发展和应用范围的扩展,云计算的相关定义还在不断更新。

在电子政务应用领域,政府将税收、桥梁、道路、审批等职能通过数据交换连接到服务云中,并且通过云计算实现各自的资源共享。云计算将政府整合在一起,公民上网不需要单独与税务局和内政局打交道,为公民提供一站式服务,云计算让这种一站式服务进一步突破了时间和空间的限制。

1.2 云计算核心技术及应用

根据云计算的服务类型可将云计算分为三种服务模型,分别是:软件即服务层(SaaS)、平台即服务层(PaaS)、基础设施即服务层(IaaS)。下面将简略介绍一下各服务模型所涉及到的核心技术。

(1)平台管理技术

平台管理技术能够有效利用数量庞大并且分布广泛的服务器,为整个系统提供不间断的服务,并且它能够协调各个服务器,使业务开通和部署更加协同化、便捷化,同时利用智能化、自动化的手段及时发现并恢复系统故障,实现大规模系统的可靠运营。

(2)虚拟化技术

通过虚拟化技术可实现软件应用的封装,用户根据自己的需求,利用虚拟化技术实现服务器的私有化,实现资源的按需分配。它还可以将若干资源整合到一个虚拟机里,实现资源的有效利用,提高服务器的利用率。

(3)海量数据分布存储与数据管理技术

云计算处理的是分散在互联网中海量数据,因此,管理大量的数据需要用到数据管理技术。海量数据存储即要考虑数据的存储性能,又要保证其可靠性和可用性,因此采用的是分布式的存储方式。

谷歌的非开源的GFS(Google File System)和Hadoop开发团队开发的GFS的开源实现HDFS(Hadoop Distributed FileSystem)是云计算的海量数据分布存储主要技术。HDFS的数据存储技术应用于雅虎、英特尔的“云”计划等IT厂商。谷歌的BigTable是数据管理技术的标志性应用。

(4)编程模型

云计算上的编程模型应该尽量简单,让用户能够轻松地编写适合自己目的的简单程序。

目前有代表性的是Google开发的Map-Reduce。Map-Reduce模式由Map(映射)、Reduce(化简)两个阶段组成,先运行Map函数,对数据块进行运算,生成数据集合,然后将处理后的数据集合保存在Map函数节点上,再通过Reduce程序读取并合并中间结果(如图1)。

1.3 构建基于云计算的电子政务平台的必要性

近几年,随着云计算技术的发展,将云计算应用到电子政务平台建设中,推动了电子政务向更高层次的发展。目前电子政务存在着信息安全、资源共享费用高、办公效率低等问题,而云计算技术的运用能有效地解决电子政务中存在的问题,因此构建基于云计算的电子政务平台十分必要。

(1)云计算有助于保证信息安全。在云计算模式中,电子政务的数据可以集中存储在安全可靠的数据存储中心,电子政务各部门可以规定数据共享级别,并交由数据中心的管理员对其进行统一管理、严格执行。这样可以大大降低资源共享安全风险,从而有效保证信息安全。

(2)云计算有助于减少建设成本。在云计算模式中,用户通过终端设备获取自己需求的知识、信息、服务,硬件的配置和更新则由云服务提供商提供。运用云计算技术建设电子政务平台,有效减少了建设成本。

(3)云计算有助于维持电子政务均衡发展。在云计算模式下,电子政务平台可以整合、完善现有的电子政务业务系统,还可以支撑今后更多的新业务。信息化水平欠发达的地区及部门借助该电子政务平台能够在一定程度上推进信息化建设进程,确保电子政务实现均衡发展。

(4)云计算有助于满足电子政务的个性化需求。在云计算模式下,为电子政务提供了一个全方位高效的交互环境,政府各部门能够及时了解用户要求,为用户提供个性化服务,利用微博、微信、百科等服务,提升个性化服务水平,从而有效满足用户的个性化需求。

2、基于云计算的电子政务平台建设

2.1 可行性分析

云计算为信息化建设提供了难得的机遇,基于云计算的电子政务平台建设率先迈出非常重要的一步。可行性分析如下:

(1)理论基础分析

从理论基础上来看,构建基于云计算的电子政务平台是科学可行的。目前在理论层面已形成了较为完备的支撑体系,美国国家标准与技术研究所(NIST)于2009年7月提出并了被广泛接受的云计算定义。另一方面,近年来电子政务有众多的理论研究成果,如朱宇、邵波、陆海虹、林崇责、罗海驰等都发表了相关论文。

(2)技术条件分析

对于提供云计算服务的计算机来说,不得不实时地处理来自大量用户的处理请求和业务应用程序的运行结果。这样的处理,可以通过虚拟化和分散处理两种技术来实现。目前,国内外众多专家和IT机构已形成了一些具有代表性的技术方案体系。如Amazon提供的云服务Amazon Web Services;用友提供的全方位云服务。从技术条件上来看,构建基于云计算的电子政务平台是切实可行的。

(3)实践环境分析

云计算服务市场发展迅猛,某些原理具有很高的一致性,Google、Amazon、saleforce.com、微软公司都在积极的研究和部署云计算,并且他们的云战略在一定程度上取得了成功。

如亚马逊于2006年推出了AWS服务,帮助其他公司利用亚马逊数据中心的设备去运行网络应用;另外,我国也在积极开展云计算的研究,中国电子学会专门成立了“云计算专家委员会”,为云计算的推广应用提供了有利的实践环境。

(4)经济成本分析

从经济成本上来看,构建基于云计算的电子政务平台是可行的。云计算将政府部门服务器所担负的任务交给有数万台服务器集群所构成的巨大数据中心来负担,这样一来设备的运用和管理所花费的总开销会大幅度消减。这样,就形成了支持云计算低价格服务的结构。另外,云服务提供商负责服务器的日常维护,节省了维护费用以及时间成本。云计算的压倒性低价格打破了传统的费用体系。

2.2 建设原则

目前,云计算技术应用到各个领域的势头迅猛发展,但是由于起步比较晚,国内的技术水平不够发达,在电子政务领域还没有形成统一的标准及完全可遵循的建设模型。结合我国电子政务平台建设实际情况及其他学者的论著,总结出一些建设基于云计算的电子政务平台的基本原则。

(1)掌握全局,详尽计划。

了解并掌握当前电子政务业务发展情况,做好总体规划,分阶段多目标的完成平台建设。

(2)高效整合现有资源,效益最大化。

有效整合现有的硬件、软件资源,对现有资源充分利用,确保达到效益的最大化。

(3)做好前期论证及试点。

在具体构建工作过程中,进行前期的论证及试点,及时总结经验教训,确保基于云计算技术的电子政务平台构建工作稳步推进。2.3 应用构架

建设基于云计算的电子政务平台结构基本包含资源管理层、虚拟层、应用管理层、业务表现层。图3给出了建设云计算化的电子政务平台的基本结构,但是这个结构并不是一成不变的,而是根据实际应用需要、硬件设施情况以及软件技术不断更新的。具体包括:

(1)资源管理层,包括资源池层以及物力资源层两部分,负责数据资源和数据整合(访问、提取、过滤、综合);

(2)虚拟层,主要有虚拟服务器及虚拟网络两部分构成;

(3)应用管理层,是基于云计算的电子政务平台的关键所在,主要包括协同政务与决策支持、政务应用系统,具体负责各种软件服务、系统功能以及网站网页;

(4)业务表现层,主要负责因特网、政务内网以及政务外网之间的业务往来。

结构详见图2所示。

3、结束语

基于云计算的电子政务平台是未来电子政务平台构建的基础,它向各级政府提供节约化、智能化、一站式的电子政务服务。本文提出了一种构建基于云计算的电子政务平台的总体框架结构,利用这个平台,政府各部门可以提高其行政效率和工作质量,可以均衡电子政务发展水平,保障信息的安全性。

参考文献:

[1] 陈全,邓倩妮.云计算及其关键技术[J].计算机应用,2009,29(9):2562-2567.

[2] 罗军.云计算:体系构架与关键技术[J].通信学报,2011,32(7):3-21

[3] 吕元智.基于云计算的电子政务信息资源共享系统建设研究[J].信息系统,2010,33(4):106-109.

云计算数据论文篇(7)

一、云计算和大数据理论概述

1.1云计算理论分析

云计算是一种较为先进的技术,它发展时间还比较的短,但其发展速度十分的快,受到广泛的关注。云计算本质上还是属于网络计算模式,可以为多个网络用户提供效率高、可靠性好的计算服务。并且云计算具有超高的运算量,基本上可以达到每秒10万亿次的运算量,可以有效的满足智能手机、平板电脑等设备所需要的运算和存储需要。

1.2大数据理论概述

大数据的发展时间相较于云计算,时间更短,还处于分析和试用阶段,其应用的范围还比较有限。并且对于大数据的理论分析还有待完整,还没有形成统一的理论认知,可以将大数据简单的理解为传统的工具和方法无法处理和分析的数据。同时大数据还具有以下的特点:一是,大数据的显著特点就是大。这里主要指两方面的内容,一方面指的是数据存储量非常的大;另一方面指的是计算量大。这也是大数据区别其他处理工具的最显著特点;二是,大数据的工作效率高。在运用大数据的过程中,可有效的提高数据信息的存储、传输效率,甚至在有的工程中大数据还实现了实时处理分析.三是,大数据信息种类十分的丰富,既包含了结构化的数据表,也包含了半结构、非结构化的文本、视屏以及图像等多种信息,同时大数据之间还存在较多的信息交互行为。

二、云计算和大数据之间的关系分析

大数据与云计算都是较为新兴的数据处理技术,两者既具有共通性,也存在明显的差异。首先,云计算和大数据之间的共同特征:云计算和大数据都具有较大的数据运算和存储功能,并且都是以计算机网络技术为基础进行的。并且大数据和云计算在数据存储、传输以及数据分析方面具有较多的交集。其次是云计算和大数据之间存在的较大差异表现:云计算应用的主要范围是在IT资源以及各种应用上,在降低企业IT部署成本方面具有显著优势。云计算的问世对企业的IT架构产生了重大的影响;大数据的功能与云计算先比具有较大的不同,大数据主要是对自己所存储的数据进行深入的分析和挖掘。大数据的应用使企业的业务架构发生了重大的变革。综上分析可知,云计算本质上还是处于工具的定位,而大数据是云计算的进一步发展和深入。大数据的主要功能是深入的分析和处理大量数据信息,云计算则是以计算机互联网为技术依托,使管理、存储的数据资源不断的扩大。大数据的主体是数据资源,而云计算的主体是计算机资源和应用能力。大数据在海量的数据分析中充分发现数据的潜在价值,云计算则是提高IT部署能力,减低成本。

三、云计算与大数据结合对通信行业发展带来的影响分析

目前,云计算和大数据已经被广泛的应用到社会的众多行业中,其中对通信行业的发展更是起到了极大的推动作用。并且云计算和大数据相结合更是加快了我国现代通行运用商的转型,为我国通信行业的发展带来新的契机。

3.1对客户端的要求不断的降低

目前,4G移动网络已经成为手机通信主体,智能手机的功能不断增多,各种应用客户端层出不穷,手机功能不断的强化。但是,手机与电脑还存在较大的差距,许多应用软件还是无法在手机中使用,这也严重制约了我国现代通信业发展。但是将云计算和大数据相融合的技术共同的应用到移动通信设备中,对用户端的要求将不断的降低,用户不在依靠本地存储功能,也不用安装较多的应有软件,只需要进行简单的出入和输出,就能通过“云”获得更多的信息资源。

3.2实现高质量的网络服务和客户分析

目前,移动互联网技术在人们的生产生活中占据重要的位置,并且其应用得到了普及,带来可大量的信息数据,增加了通信运营的存储难度。但是大数据的有效应用可以有效解决这一难题,并且还可以对这些存储数据进行深入的分析,提高移动网络的管理水平,使网络服务质量得到有效的保证。

云计算数据论文篇(8)

一、云计算基本概念

近些年,云计算这一概念在行业内被普遍提及,也随之为这一技术带来了巨大的发展。维基百科()对云计算的定义如下:一种基于互联网的计算机新方式,通过互联网上的异构、自治的服务为个人和企业用户提供按需即取的计算。分析这一概念我们可以了解到,在互联网时代,计算能力已经成为了一种“商品”在进行销售,它就像我们日常生活中的水电、煤气一样,价格便宜,使用方便。目前,国内外的互联网商业巨头纷纷推出自己的云计算平台,如google、微软、IBM、亚马逊等,并将其作为未来发展的重要战略之一。因此,针对云计算的研究不仅是互联网时代业界技术发展的重要趋势,也具有十分重要的应用价值。

二、云计算的体系结构

云计算是一个革命性的举措,它不仅带来了IT模式的变化,也引发了IT服务的变革。在云计算时代,数据是自己的,而对于数据的计算、处理等操作,都可以交给云计算数据中心进行。云计算平台可以看成是一个强大的“云”网络,不仅将众多并发的网格计算和服务连接起来,还利用虚拟化技术对每一个服务器能力进行拓展,这样就通过云计算平台使得各自的资源整合起来,拥有超级计算和存储能力。从总体上看,云计算由三个基础部分组成:基础设施,网络和终端。

三、云计算的关键技术

云计算是以数据为中心的一种数据密集型的超级计算方式,它在数据存储和管理、编程模式和虚拟化等方面都具有自身独特的技术。

(一)数据存储和管理。云计算的数据一般采用分布式方式进行存储和管理。为了保证数据的高吞吐率、可靠性及高利用率,冗余存储的方式也时常采用。此外,鉴于云计算中对数据读取和分析的频率高于数据更新频率,云计算系统的数据管理常采用列存储的数据管理模式---将表按列划分后存储。

(二)编程模式。在云计算系统的编程实现过程中,应当尽可能的简单化。究其原因,主要是因为简单化的编程模式能够为基于云计算服务的开发人员提供便利,可以帮助他们在进行后台并行执行和任务调度时获得相对透明的流程,进一步得帮忙他们专心于业务逻辑。

(三)虚拟化技术。虚拟化技术是云计算有别于一般并行计算的根本性特点,也是云计算中的一个关键技术。采用虚拟机技术对云计算资源进行管理具有以下几点优势:移动性、独立性和高整合性。

四、云计算中的网络拓扑设计

云计算作为基于互联网的商业计算模型,其后端的网络拓扑结构十分复杂。对云计算系统中后端大量的服务器进行有效地组织和管理一直是云计算研究中重要的方面,这是保证云计算系统稳定运行的关键。和一般的企业网络、公网相比,云计算网络结构的特点有以下几方面不同:

(一)云计算系统后端网络的复杂程度远远大于一般公司的网络,因此,合理高效的网络拓扑结构是云计算系统中的关键,其主要的作用在于为网络中数据传输的畅通和稳定提供保证。

(二)云计算系统网络内部的数据流量大,主要由于系统主要面向大量的用户和大规模的业务处理。同时,还可能会有服务等级区分度较大的问题。

(三)云计算系统的中网络需要保证高稳定性,这主要是由于用户所有业务及数据都依赖云来开展。

(四)云计算系统需要有良好的可扩展性。云计算系统的规模较大,不可能一次性建设完成,而且用户规模会随服务的增加持续扩大,因此,如果没有良好的可扩展性很难满足要求。

图 1. 云系统后端网络结构示意图

云计算系统中整个网络的效率、稳定性和复杂度由核心交换层的网络拓扑结构决定。显而易见的,如果核心交换节点直接两两相【摘 要】本文的出发点为云计算的网络需求,针对云计算系统中的网络拓扑结构特点进行研究与分析,提出了云计算系统中网络拓扑结构的基本思想――由中心的主干交换部分和树状子网组成;并给出了相应的实现解决思路。

【关键词】云计算 网络拓扑设计 算法实现

连,由此形成的全连通网络抗稳定性是最优的,网络的畅通性也能够得到保证。但是,这样拓扑结构的网络其建设和维护的成本较高,各个核心交换节点中的路由和管理复杂度极高。另一方面,直接以各自交换节点为根生成最小生成树也可以构建网络,这样的网络拓扑结构相对简单,成本低,但是其稳定性较差,容易造成网络的不连通。

因此,一种合理且有效的方式可以简化为如图1所示的结构。通过对该网络抽象化,将需要研究的问题突出显示,即抽象化每一个子网为一个节点,给每个节点附上交换能力、子网流量和地理位置信息等特性。此时,针对网络主干拓扑结构的设计问题就可以表示为如何在已知若干节点容量、地理位置信息和可能流量等信息的前提下,将这些节点互相连接并形成一个冗余小、网络架设开销小的网络拓扑。

针对云计算网络拓扑设计已有众多研究者进行了深入的研究和讨论,该问题可以表示成图论中的一个数学模型:即抽象化云计算系统中的网络节点和所有可能的链路,表示为图论中图的顶点和边,抽象化带宽、延时、链路长度等表示为图的边权重。

本文针对云计算系统后端网络的特点,给出了云计算网络拓扑结构组成---主干交换部分为中心和树状子网为结构。通过将该问题抽象化为数学模型,并求解该抽象化问题,能够有效地计算出云计算系统的网络拓扑结构。

参考文献:

[1]邓自立, 云计算中的网络拓扑设计和Hadoop平台研究,[D].中国科学技术大学. 2009. 学位论文

云计算数据论文篇(9)

中图分类号:TP393 文献标识码:A DOI:10,3969/J.issn.1003-6970.2013.03.001

本文著录格式:[1]郭平,刘波,沈岳,农业云大数据自组织推送关键技术综述[J].软件,2013,34(3):1-6

0 引言

随着物联网、云计算、下一代互联网等新一代信息技术的快速发展和信息内容的日益增长,“信息过载”问题愈来愈严重,推荐系统(recommender systems)被认为可以有效的缓解此难题,帮助用户从海量数据中发现感兴趣信息,满足个性化需求。

近年来,我国在农业个性化知识服务服务领域从本体论、语义网、知识工程角度开展了广泛的研究,成果主要体现在三个方面:以搜索引擎为代表的知识检索系统,需回答大量预设问题进行知识推理的专家系统,特定领域应用系统,它们在各自的场合都发挥了积极作用。然而知识检索系统不能满足用户个性化需求,专家系统的应用很难普及,特定领域应用开发成本高和重用难度大。物联网与数据挖掘云服务提供知识服务云实现物理世界的“感知控”,知识服务云的研究主要集中在制造和图书情报领域,云环境下的农业个性化知识服务的研究尚处于起步阶段,主要集中在服务模式的构建与展望。

本文是对科技部科技支撑课题“农村农业信息化关键技术集成与示范”(2011BAD21803)与“农村物联网综合信息服务科技工程”(2012BAD35800)研究成果的总结,也是对农业云推荐系统研究的升华。

1 农业云大数据自组织区域推送的提出

1.1 农业信息资源特点

我国自“十一五”时期以来,农业农村信息化发展取得了显著成效,主要表现在农业农村信息化基础设施不断完善、业务应用深入发展、物联网技术在农业中逐步推广应用等方面。从中央到省,市、县建立了“三农”综合信息服务平台,涉农企业、组织和科研院所也积极搭建了各具特色的农业信息服务平台,目前正向乡镇村发展。农村信息员队伍及以农业综合信息服务站和农业合作社为代表的农村信息服务机构发展迅速,“三电合一”、“农民信箱”、“农村热线”等信息服务模式应用深入。云计算利用海量的存储能力把农业信息资源形成高度集成和虚拟化的计算资源一“农业知识聚合云”,支持用户在任意位置、使用各种终端方便获取信息,但由于农业领域生态区域性和过程复杂性及农业区域发展不平衡和农民文化的多层次性也带来了“信息过载”、“资源隐晦”“资源迷向”等问题。

1.2 农业云环境下大数据自组织区域推送

物联网和云计算背后是大数据,在云计算模式下,用户不确定的、智能的交互,个性化需求更加多元化,信息交互行为更加频繁;在大量用户通过社会标注达成共识的过程中,逐渐形成不同社区,涌现出群体智能,形成“农业用户兴趣社交云”。利用云的海量存储、群体涌现智能、强大的计算能力和物联网感知控优势,可以提供面向用户复杂分析计算,实现业务重点由面向应用和资源的传统信息服务,转变为基于对海量农业知识进行动态划分,有目的、主动、定制、自组织推送给有需求的农业用户,为农业用户提供实时性、个性化知识服务,指导农业生产过程。

首先以Hadoop+MapReduce+HBaSe分布式框架为处理平台,对“农业用户兴趣社交云”,融合用户兴趣偏好和社交网络进行建模,将这些多元用户信息充分融入推送系统会更好产生推荐结果;将推荐对象“农业知识聚合云”按农业知识高维性、多样性、多层次性特征分类聚类为各种知识块静态和动态元数据;通过智能算法推荐和社会网络推荐为用户发现个性化内容;根据用户的地理位置、用户服务的评价以及云基础服务提供商信息将预测值最高的服务推送给用户实现与物理世界的互动(如图1)。

从以上分析可知,农业云大数据自组织区域推送的关键技术有用户兴趣模型、推荐对象模型,推荐算法、数据挖掘四个部分,以下分别对这几项技术进行论述。

1.2.1 用户兴趣模型

用户兴趣建模是个性化服务技术的基础和核心,包括数据收集、模型表示、模型学习与模型更新。用户兴趣建模的方法有很多,常用的有向量空间模型、神经网络、遗传算法、用户一项目评价矩阵、基于案例的表示、基于本体论的表示、基于加权关键词的表示,基于社会网络的表示等。几乎每种表示形式都是以一种私有形式进行知识表示,此外一些表示技术还依赖于模型学习,如广泛使用的基于向量空间模型的表示与TF-IDF学习技术联系在一起。表示形式的私有性和对学习技术的依赖性阻碍了用户模型在系统间的共享,这种共享对于减少用户建模工作量,提高推荐算法启动效率具有重要意义。因此开发独立于模型学习技术的通用用户模型表示技术是目前研究中热点,基于语义网和社交网络的用户模型在这方面表现了优势。

用户的兴趣或需求会随时间、情景发生变化,结合长期和短期兴趣及兴趣的变化用户兴趣建模的重点,目前的更新机制很难及时跟踪用户兴趣的变化,有更好的学习效率和动态变化适应能力的建模是未来的重要研究方向,国内外大量的文献对此展开了研究,遗忘函数、时间窗、用户兴趣的漂移特性等被提出。

在湖南农业云中,基于呼叫中心、互联网,手机报、手机短信,电视广播等用户在多应用系统中形成的兴趣偏好和社交网络特征,提出“农业用户兴趣社交云”建模思路:以图论模型表示用户“兴趣图”数据和“社交图”数据,根据经典的局域世界演化理论,综合考虑实际情况中用户之间的多重关系和关系的强弱程度,以用户之间相似度为节点连接概率因素,生成动态多维网络,进行用户数据的挖掘和更新;结合农业本体,在多维社交网络的基础上,将基于农业本体的区域用户兴趣融合在云计算平台上进行处理。

1.2.2 推荐对象模型

推荐本质上是将推荐对象的特征与用户的兴趣偏好进行推荐计算,所以推荐对象的描述和用户的描述密切相关。推荐系统应用不同领域,它推荐的对象也就各不相同,目前,湖南农业云主要是文本性数据;不同的对象,特征也不相同,目前没有一个统一的标准来进行统一描述,主要有基于内容、分类、聚类的方法。

基于内容的方法是从对象本身抽取信息表示对象,常见的是向量空间模型,使用最广泛的是加权关键词矢量方法进行特征选取,使用TFIDF计算每个特征的权值。向量空间模型对模型中的特征词进行权重估计(TF-IDF)过程中不考虑特征词之间的相关性,直接用特征词作为维度构建文档向量,降低了文档向量对文档概念表达的准确性以及对不同类型文档的区分能力。

基于分类的方法是把推荐对象放入不同类别,把同类文档推荐给对该类文档感兴趣的用户。主要有两种,一种是基于知识工程的方法,使专家的类别知识直接编码为分类规则,正确率和召回率高,但工作量大;近期研究最多的是另一种一机器学习,根据训练样本集建立分类器,方法有很多,常见的有概率分类、贝叶斯回归分析、决策树分类器、决策规则分类器、Rocchio分类器、神经网络分类器、支持向量机(SVM)、分类器融合、Boosting分类器、k最近邻方法(KNN)等。

研究文本聚类的最初目的是为了提高信息检索的查全率和查准率,近年来,文本聚类用于自动产生文本的多层次的类,并利用这些新生成的类对新文本进行效率较好的归类,已经提出了大量的文本聚类算法。传统的聚类算法在处理高维和海量文本时效率不很理想。针对这样的问题,将聚类分析与计算智能理论,并行计算、云计算等相结合,设计出高效的并行聚类算法,己经成为一个比较流行的研究思路。

在湖南农业知识云数据模型中,将能更好反映特征词相关性的超图模型引入,将文档中提取的特征项表示为图中节点,特征词条之间的关系构成图中边,用边上权值表示相关联特征项之间共现程度。通过对文本图模型K最近邻划分实现降维降噪的粗粒度数据切片;对切片后数据反映用户兴趣如地域、时间、诉求等多维度特征的智能聚类,实现细粒度的聚合与分割。

“农业知识聚合云”模型算法建立在基于MapReduce处理的大规模图上,得到各种知识块静态和动态元数据。

1.2.3 推荐算法

推荐算法是整个推荐系统中核心部分,大量的论文和著作都关注了这个方面。目前,基本包括以下几种:基于内容过滤推荐、协同过滤推荐、基于关联推荐、基于知识推荐、基于效用推荐、基于网络结构推荐、基于聚类推荐、基于社会网络分析推荐、混合型推荐等。通过对众多推荐算法进行比较分析,各种算法都有优缺点(如表1):

各种推荐方法都有各自的优缺点,在实际问题中采用多种策略进行混合推荐,主要有两种混合思路:推荐结果混合和推荐算法混合。目前大部分的推荐算法都是混合推荐算法,主要还是以协同理论为核心,再配合其他算法的优点或交叉学科的理论来改善推荐的质量。另外基于社会网络个性化推荐算法研究是一个趋势,基于社会网络的推荐是协同过滤的延伸,通过考察结点之间(用户和用户之间或产品之间)的相关性和结点之间的信任度可以获得比一般协同推荐更高推荐效果,如文献提出将社会网络关系结合到推荐算法中。纵观国内外在推荐算法上的研究,主要集中在基于用户显性评分数据的协同过滤算法上,对基于非显性评分行为数据场景下的研究却显得有点不足。目前在扩展性问题上学术研究不是很具有针对性,主要集中在通过各种交叉学科中的方法来对用户进行聚类或对行为数据进行降维、压缩等缩短推荐的项目集或减少计算量,从而提升算法的性能;有关基于云平台上的推荐算法研究目前主要集中于协同过滤算法MapReduce化。而实际应用中,己出现利用分布式集群解决算法扩展性方法,如Google News的推荐算法就是部署在分布式环境下,从而满足海量数据下的推荐服务。

根据农业云大数据自组织区域推送实际情况将推荐结果和推荐算法混合,提出“三层推荐”策略:在丰富的知识块云元数据基础上,将知识块属性和用户兴趣行为基于频繁模式的知识关联撮合推荐;通过复杂网络聚类算法识别一个用户多个社区兴趣,融合“兴趣图”和“社交图”协同过滤推荐,突破算法推荐的局限性,让用户信任的朋友圈子为其发现和推荐内容,取得社交推荐的时效性和算法推荐的长尾性之间的互补,从而针对每个社区成员提供精准个性化推荐;根据基础设施服务供应商、用户所在的地理位置以及用户对服务可用性评价值的相似性等,将大量用户云终端聚类为一定数量的社区,提高云端推送服务的有效性,最终形成通过大众参与,支持云间变换,集电信网、广播电视网、互联网合一的自组织区域推送,较有效地处理一般推荐算法中存在的稀疏性、冷启动以及大规模实时计算的问题。

1.2.4 云计算下个性化数据挖掘

数据挖掘采用了多种领域中的思想,包括来自统计学的抽样、估计、假设检验以及人工智能、模式识别和机器学习的搜索算法、建模技术和学习理论。随着数据挖掘的不断发展,也采用了包括最优化、进化计算、信息论、信号处理、可视化、信息检索、云计算、并行计算等技术。与传统的数据挖掘相比,云计算下的个性化数据挖掘的目标,就是通过云计算中心,向用户提供针对其即时演化需求的数据挖掘SaaS(Software as aService,软件即服务)服务,其基础问题主要为:对于用户不同的数据挖掘需求以及针对用户特点进行个性推荐的建模和表征;数据挖掘算法适应云计算的并行分布式化;使数据挖掘的结果和算法能够支持云间变换并形成一种面向用户、即时组合的、变粒度的云服务,其中数据挖掘的云服务化是研究的难点。

(1)云计算下个性推荐的建模和表征

云下的个性推荐建模和表征与传统上个性化推荐明显的不同在于海量异构大数据和用户间群体涌现的社交网络,它们本质上形成了多个顶点的大规模图。云计算可以为大规模个性化提供技术支撑,云服务本身也有大规模个性化定制应用需求,目前研究两者结合的文献还很少,张泽华从计算资源的角度基于复杂系统理论对云计算联盟体系结构进行建模,并基于蚁群优化算法和复杂系统理论进行了负载均衡研究;郭昱就有效处理客户需求信息该如何选择与分布云计算平台中的关键节点问题,提出了基于云计算的大规模定制客户需求模型。赵东杰对复杂网络、数据挖掘与群体智能有效结合进行了探索研究。农业云大数据自组织推送通过“农业知识聚合云”分解的静态、动态知识元数据和“农业用户兴趣社交云”形成的兴趣图、社交图基于用户行为和知识元数据的关联撮合,通过人工智能和社交圈子帮助用户发现内容,实现搜索和推荐的无缝结合,为智能个性化推荐实现“内容找人”愿景。

(2)算法并行分布式与高性能计算

对于大规模数据的处理,典型系统结构大致分为三类:基于MapReduce模型的分布式并行处理系统、基于BSP模型的分布式并行处理系统和分布式图数据库系统。数据挖掘算法现在的发展趋势是基于云计算的并行数据挖掘,它的同一个算法可以分布在多个节点上,多个算法之间是并行的,多个资源实行按需分配,而且分布式计算模型采用云计算模式,数据用DFS或者HBASE,编程模式采用MapReduce这种方式。Bhaduri等整理了一个十分详尽的并行数据挖掘算法文献目录,包含了关联规则学习、分类、聚类、流数据挖掘四大类分布式数据挖掘算法,同时还包括分布式系统、隐私保护等相关的研究工作。

2 基于云计算推荐系统研究的重点、难点与热点

2.1 云环境下用户偏好获取安全与可信问题

推荐系统中,用户数据集的数量和质量问题,影响用户模型的精确度、可用性,导致问题的根本原因在于用户对隐私和安全的考虑。而云环境下,数据的安全与隐私是用户非常关心的问题。既能得到准确用户信息而提高推荐系统性能,又能有效保护用户信息同时检测并能预防推荐攻击(一些不法的用户为了提高或降低某些对象的推荐概率,恶意捏造用户评分数据而达到目的)将是未来推荐系统的一个重要研究方向。

2.2 模型过拟合问题

过拟合现象是指系统推荐给用户的对象与用户刚刚看过的不是太相似或者太不相关。过拟合(过学习)的问题本质上来自于数据的不完备性,这在实际应用中是无法完全避免的。在于兴趣偏好获取方式或隐私等原因使用户没有对足够多类别的对象进行评价。目前解决的主要方法是引入随机性,使推荐算法收敛到全局最优或者逼近全局最优,关于既要保证推荐的多样性,又不能与用户看过的对象重复或毫不相关这一问题的研究是推荐系统研究的一个难点和重点。

2.3 稀疏性与冷启动问题

稀疏性和冷启动问题困扰推荐系统很长时间了,前者的解决办法主要过滤和降维。目前针对冷启动问题提出了一些解决方法,主要分为两大方面,一是直接利用传统协同过滤的评分数据结合特定的方法进行解决,二是新用户或新项目的内容属性信息与传统的协同过滤评分数据相结合的方法进行改善冷启动问题。稀疏性与冷启动问题一直是推荐系统研究的一个难点和重点。

2.4 数据挖掘的结果和算法智能服务化

将数据挖掘算法融入针对海量用户的使用记录和计算资源间协作进行优化组合,利用这些特性通过大众参与的交互作用,提高云间服务的智能性、有效性将是大数据时代推荐系统研究的一个制高点。将数据挖掘任务及其实现算法服务化,通过SaaS方式向云计算中心索取所需的相应的数据挖掘,这可能是目前突破数据挖掘专用软件使用门槛过高、普通大众难以触及、企业用户使用成本太大、挖掘算法和结果难以实时得到评价和相应修改等问题的最有希望的解决方案之一,也是数据挖掘走向互联网大众、走向实用化的重要的一步。

2.5 大数据处理与增量计算问题

目前对大数据的研究仍处于一个非常初步的阶段,半结构化和非结构化数据给传统的数据分析带来巨大挑战,尤其算法如何快速高效地处理推荐系统海量和稀疏的数据成为迫在眉睫的问题。当产生新的数据时,算法的结果不需要在整个数据集上重新进行计算,而只需考虑增量部分,对原有的结果进行微调,快速得到准确的新结果,是增量计算的理想状态。但一般而言,随着信息量的增多,算法的误差会累积变大,最终每过一段时间还是需要利用全局数据重新进行计算。一个特别困难的挑战是如何设计一种能够保证其误差不会累积的算法,也就是说其结果与利用全部数据重新计算的结果之间的差异不会单调上升,要达到这种程度,还有很长的路要走。

结束语:

随着新一代信息技术的快速发展和信息内容的日益增长,搭载在云计算平台的自组织区域推送具有它天然的优势:云的海量存储使得推荐系统能有效获取训练数据;云的分布式计算能力提供了较高的响应能力;海量用户的使用记录和计算资源问大众参与的交互涌现,最终形成自组织优化组合的智能个性化云推送。因此,农业云自组织区域推送具有重要的研究意义和广阔的应用前景,对云环境下其他领域的个性化推送应用具有借鉴意义,但目前存在大量问题需要进行深入细致的研究。

参考文献

[1]孟祥武,胡勋,王立才,张玉洁,移动推荐系统及其应用[J],软件学报,2013,24(1):91-108

[2]杨涛,基于本体的农业领域知识服务若干关键技术研究[D],上海:复旦大学计算机科学技术学院博士论文,2011,1-50

[3]杨晓蓉,分布式农业科技信息共享关键技术研究与应用[D],北京:中国农业科学院博士学位论文,2011,3-35

[4]赵春江,农业智能系统[M],北京:科学出版社,2009,1-210,

[5]何清,物联网与数据挖掘云服务[J],智能系统学报,2012,7(3):1-5,

[6]黄卫东,于瑞强,共享学习模式下知识服务云平台的构建研究[J],电信科学,2011,12:6-11

[7]丁静,杨善林,罗贺,丁帅,云计算环境下的数据挖掘服务模式[J],计算机科学,2012,39(6):217-219,237

[8]邓仲华,钱剑红,陆颖隽,国内图书情报领域云计算研究分析[J],信息资源管理学报,2012,2:10-16

[9]胡安瑞,张霖,陶飞,罗永亮,基于知识的云制造资源服务管理[J]同济大学学报(自然科学版),2012,40(7):1093-1101

[10]程功勋,刘丽兰,林智奇,俞涛,面向用户偏好的智能云服务平台研究[J],中国机械工程,2012,23(11):1318-1323,1336

[11]刘波,方逵,沈岳,可重构的农业知识服务模式研究[J]农机化研究,2011,36(11):66-70

[12]赵星,廖桂平,史晓慧,陈诚,李文圃,物联网与云计算环境下的农业信息服务模式构建[J],农机化研究,2012,4:142-147

[13]郭永田,中国农业农村信息化发展成效与展望[J],电子政务,2012,02-03:99-106

[14]李道亮,中国农业农村信息化发展报告(2011)[M],北京:电子工业出版,2012,87-150

[15]钱平,郑业鲁,农业木体论研究与应用[M],北京:中国农业科学技术出版社,2006,1-100

[16]吴丽花,刘鲁,个性化推荐系统用户建模技术综述[J],情报学报,2006,25(2):55-62

[17]李珊,个性化服务中用户兴趣建模与更新研究[J],情报学报,2010,29(1):67-71

[18]王国霞,刘贺平,个性化推荐系统综述[J],计算机工程与应用,2012,48(7):66-76

[19]王巧容,赵海燕,曹健,个性化服务中的用户建模技术[J],小型微型计算机系统,2011,32(1):39-46

软件杂志欢迎推荐投稿:http:///

[20]张华清,动态多维社会网络中个性化推荐方法研究[D],济南:山东师范大学硕士学位论文,2012,16-31

[21]丹,面向跨系统个性化服务的用户建模方法研究[J]_情报杂志,2012,31(6):156-161

[22]邓夏玮,基于社交网络的用户行为研究[D],北京:北京交通大学硕士学位论文,2012,4-43

[23]马尧,基于多维用户特征建模的个性化社交搜索引擎的设计与实现[D],广州:华南理工大学硕士学位论文,2012,12-55

[24]陈恩红,徐童,田继雷,杨禹,移动情景感知的个性化推荐技术[J],中国计算机学会通讯,2013,9(3):19-24

[25]Jong Hwa Kima,b,,Hyun JoonLeeb,Extraction of user profile based on workflow and information flow[J],Expert Systems with Applications,2012,39(5):5478-5487

[26]南智敏,钱松荣,引入漂移特性的用户兴趣模型优化研究[J],微型电脑应用,2012,28(3):30-32

[27]郭新明,弋改珍,混合模型的用户兴趣漂移算法[J],智能系统学报,2010,5(2):181-184

[28]程显毅,朱倩,文本挖掘原理[M],北京:科学出版社,2010,9-45 [29]李涛,推荐系统中若干关键问题研究[D],南京:南京航空航天大学博士学位论文,2009,31-80

[30]姜伦,模糊聚类算法及其在中文文本聚类中的研究与实现[D],哈尔滨:哈尔滨理工大学硕士学位论文,2010,18-48

[31]冯汝伟,谢强,丁秋林,基于文本聚类与分布式Lucene的知识检索[J],计算机应用,2013,33(1):186-188

[32]陶红,周永梅,高尚,一种基于语义相似度的群智能文本聚类的新方法[J]计算机应用研究,2012,29(2):482-532

[33]孟海东,刘小荣,基于聚类分析的图模型文档分类[J]计算机应用与软件,2012,29(1):117-174,229

[34]饶君,张仁波,东呈晓,吴斌,基于MapReduce的大规模图挖掘并行计算模型[J],应用科技,2012,39(3):56-60

[35]于戈,谷峪,鲍玉斌,王志刚,云计算环境下的大规模图数据处理技术[J],计算机学报,2011,34(10):1753-1767

[36]吕善国,吴效葵,曹义亲,基于网络结构的推荐算法[J]_实验室研究与探索,2012,31(7):278-280,368

[37]周佳,罗铁坚,一种基于内容关联的学术资源协同推荐算法[J],中国科学院研究生院学报,2013,30(1):117-123

[38]唐晓波,张昭,基于混合图的在线社交网络个性化推荐系统研究[J]情报理论与实践,2013,36(2):91-95

[39]王立才,孟祥武,张玉洁,上下文感知推荐系统[J],软件学报,2012,23(1):1-20

[40]刘建国,周涛,汪秉宏,个性化推荐系统的研究进展[J],自然科学通报,2009,19(1):1-15

[41]许海玲,吴潇,李晓东,阎保平,互联网推荐系统比较研究[J]软件学报,2009,20(2):350-362

[42]孙冬婷,何涛,张福海,推荐系统中的冷启动问题研究综述[J],计算机与现代化,2012,5:59-63

[43]张亮,基于聚类技术的推荐算法研究[D],成都:电子科技大学硕士学位论文,2012,7-18

[44]Liu, F.,Lee, H.J. Use of social network information to enhance collaborative filterinperformance.Expert[J] Systems with Applications. 2010, 37(7):4772-4778.

[45]Jiang, J., Lu, J., Zhang, G., Long, G. Scaling- Up Item-Based CollaborativeFiltering Recommendation Algorithm Based on Hadoop[C].2011 IEEE World Congress onServices.IEEE[A]. 2011, 490-497.

[46]周源,基于云计算的推荐算法研究[D],成都:电子科技大学硕士学位论文,2012,26-64

[47]吕雪骥,基于云计算平台的智能推荐系统研究[D],合肥:安徽大学硕士学位论文,2012,25-43

[48]刘晨,改进的聚类挖掘算法对网络自助出版“长尾”文本的推荐应用[D],上海:复旦大学硕士学位论文,2011,10-19

[49]陈桂生,张海粟,刘玉超,云计算下的个性化数据挖掘服务[EB/OL],[2011-2-28]中国人工智能学会通讯,http://www,/contents/50/119,html

[50]张泽华,云计算联盟建模及实现的关键技术研究[D],昆明:云南大学博士学位论文,2012,26-114

[51]郭昱,吴清烈,基于云计算的大规模定制客户需求响应模型及其节点的选择与分布[J],系统工程理论与实践,2011,31(增刊2):1-6

[52]赵东杰,张海粟,韩言妮,杨海涛,何宇,基于网络化数据挖掘的群体智能研究方法[C],Proceedings of 2010 The 3rdInternational Conference on Computational Intelligence andIndustrial Application(Volume 9).IEEE[A].2010,239-243.

[53]AnandRajaraman,Jeffrey David Ullman著,王斌译,互联网大规模数据挖掘与分布式处理[M],北京:人民邮电出版社,2012,1-253

[54]Bhaduri K, Das K, Liu Kun, et al. Distributed data mining bibliography[EB/OL]. [2011-01-03]. http:// cs. umbc. edu/~hillol/DDMBIB/

云计算数据论文篇(10)

近年来,区域数字档案馆的建设将成为档案学领域发展趋势之一,我国区域数字档案馆的建设还处在起步阶段,高层次的区域数字档案馆的建设还有待进一步发展。云计算理论和技术在众多领域中的逐渐应用成熟,为解决区域数字档案馆在基础设施、文献资源、信息服务的开展等诸多方面指明了方向。将云计算应用到区域数字档案馆建设,逐步整合档案管理的理论和业务知识、档案数据到云计算架构体系中,将体现出更深层次的价值。

一、云计算时代数字档案馆的困境与挑战

我国数字档案馆在建设实践过程中,档案信息资源在各级档案馆之间出于离散状态,离互联互通有很大距离。信息技术的发展推动档案数据用户需求的个性化、动态化,造成档案信息服务与用户需求之间产生巨大冲突。一方面,现代信息技术要求档案馆管理人员不断更新业务知识及工作思想,提高创造力;另一方面,档案馆需要不断升级网络通讯设施,提高安全保障措施,互联网中任何不确定的攻击都威胁着数字档案馆基础设施和信息资源的安全。

数字档案馆一旦采用云计算服务,就具备易用、安全、共享等技术特点,进而改变了档案数据服务与管理的方式,克服了目前档案管理工作中的诸多弊端。因而数字档案馆的现实需求与云计算的技术特点相吻合,将云计算的技术优势运用于数字档案馆的数据管理和用户的动态需求服务中,对档案馆事业的进步必将会产生巨大的推动力。

二、区域数字档案馆采用云计算服务的定位

(一)数字档案馆建设需求分析

在云计算模式下,数字档案馆从自建业务管理系统转向购买相对标准的信息服务。云计算适合基层档案机构,首先,其是档案管理系统中相对薄弱的节点,社会信息化渗入到工作的各个方面,传统思维和业务处理方式阻碍力量小,比较适合彻底的改造。其次,基层档案馆的业务管理系统相对简单,进行标准化建设,没有太大阻力。再次,数字档案馆建设的推行能够提升整个档案领域业务及管理的标准化、规范化,尤其有益于基层档案机构。最后,云计算服务本身就是一个国际标准的实施和应用的外部环境。

云计算运用于基层档案机构只是数字档案馆采用云计算服务的第一步,区域数字化档案馆之间的互联互通才是最关键的环节。区域数字档案馆服务中心利用云计算的开放共享技术优势,将标准化的公用共享服务构建云端,对各区域内的各档案机构提供的服务接入,同时,基层档案馆和机构对专用的业务系统进行自行建设。总体上,实施云计算数字档案馆能节约资源建设成本,提高档案服务质量,推进档案行业领域工作的标准化程度,为区域档案管理的互联互通打下坚实的基础。

(二)数字档案馆的云计算运用模式

数字档案馆云计算运用模式的选择,档案机构的业务系统和辅助支持系统必须厘清。档案核心业务系统运行着大部分核心数据,系统的稳定性和可靠性事关整体服务质量。档案馆辅助支持系统与其它行业的辅助支持系统相类似,与业务关系不大,一般可交给第三方来维护。本文认为区域云数字档案馆,有以下两种运用形式:

(1)档案业务系统。本系统是基层档案机构的业务系统,一般运行在机构内部,由档案机构的信息管理部门来负责。区域数字档案馆云计算平台中的档案管理信息系统等,直接存储了区域内档案的相关信息,数据的安全性和重要性极其重要,中心档案馆对其具有完全的控制权。云计算区域数字档案业务管理系统,通过各级档案机构的相互关联,实现了档案信息的共享,提高了档案服务信息的效率。

(2)辅助支持系统。云计算平台适用于对业务数据保密性要求不高的业务,辅助支持系统正好适合这个特点,同时也可充分有效利用云计算平台的动态拓展的技术及服务,减少档案馆在基础设施和管理维护成本。如图1,的电子邮件系统,办公自动化系统等可由云计算服务提供商来维护,从而,档案管理机构获得高质量的软件服务与维护。

通过档案馆主营业务系统和辅助支持系统的分析,数字档案馆采用云计算技术来优化服务平台是比较现实的选择。实施云计算,一方面,满足了档案数据数据安全性的要求;另一方面,加深了现有计算机及网络通信设施的耦合性,对接了相关法律法规的约束等。

三、区域数字档案馆云计算服务平台实现方案

区域数字档案馆云计算共享服务平台的建设,在云计算技术理论的指导下,将分散的档案信息资源通过第三方云服务平台组织起来,形成一个个档案信息资源服务“云”,进而提高数字档案馆云计算共享效率。

(一)区域数字档案馆云计算平台的构建

档案管理业务执行标准的统一,是区域数字档案管理系统的前提,由档案管理机构架设“档案云”,往“档案云”上传输和读取档案数据就可以了,同时,可以根据不同的用户体验,提供电脑、手机等多种接入方式。档案业务的数据交换、存储、查找、共享等是由云计算服务提供商的云服务来完成。同时,可因新增用户的需要,在“档案云”里进行动态调整。图2是利用云计算的区域数字档案系统设计思想。

按照区域数字档案系统数据的组成、分布、形式分类,将区域档案在云计算服务中的存储架构设计为私有云、公共云、第三方云三大要素,两个云层,见图3。核心业务系统的云存储管理机制,利用各种云的服务接口和技术,实现区域数字档案信息资源的整合利用。

私有存储云存在于档案信息服务机构内部,特别是大型档案馆和第三方服务机构,其服务只对机构内部的用户开放。同时,提供技术手段整合离散存储节点的档案数据,满足区域档案存储交换的实时响应。设计专用数据通道,便于私有存储云其它两类存储云进行数据交换。第三方存储云一般是有大型云计算服务提供商建设的商业存储云。如果档案管理机构的数据不涉及保密性要求,私有存储云的数据可转移到第三方存储云中,一方面,部分数字档案馆自身不具备信息处理部门或者信息处理能力不强;另一方面,部分私有云中的数据为半结构化、非结构化性质,有些数据对独立存储交换有特殊的要求,档案馆如果独立处理,成本高、难度大。因而,私有云数据转移到第三方存储云中,可实现更好的数据备份、灾难恢复等功能。

公共存储云是外部云层,用户通过适当的授权认证后,利用公共存储云提供的接口,与公共存储云进行直接数据交换,方便快捷地获取数字化档案数据。区域数字档案馆在公共存储云中构建数据交换接口和机制,有效处理私有存储云和第三方存储云的数据交换需求。

(二)云计算服务的部署与运维

1.云计算服务部署方案

区域数字档案馆将现有的信息技术基础架构与服务完全迁移、部署到云计算服务过程中面临着诸多挑战和困难,分步骤实现是比较好的选择。

构建云计算数据服务中心,首先借助云计算的技术,根据档案管理业务地域性的特点,进行基础设施和数据资源的分布式、层次化部署;其次针对档案业务系统的技术性和安全性要求,对存储资源池、服务器的资源池进行合理调整;最后,针对用户个性化服务、外部环境、增值等需求,构建内部的基础架构云。

在云计算架构的具体部署中,可利用云计算管理配置工具,如Hadoop/VMware等,云计算数字档案馆对外提供开放的基础设施。云计算的SOA的基础架构可以容纳多种服务,通过SOA的服务注册功能,档案业务管理正好可以注册于其中,同时,可以利用SOA基础架构提供的动态管理功能,优化服务模式;用户根据需求,从SOA的档案数据资源池中获取个性化的服务。档案云计算中心管理人员可通过服务调用接口使用服务,监视服务的运行状况。区域档案云计算部署方案如图4。

2.云计算服务运维方式

采用云计算服务的区域数字档案馆架构方式的转变,同时也促使档案管理系统的业务服务模式发生转变。随着档案馆业务管理系统中计算机和通信技术的不断应用,区域数字档案馆的各类信息资源需要得到稳定的安全保障,云计算商业化的服务模式为用户提供了部署和应用运维系统的技术和途径,彻底改变了以往信息资源的运维服务模式,降低工作量和成本。

区域数字档案馆云计算服务,使得运维方式发生巨大改变。首先,采用云计算服务的数字档案馆监控云覆盖范围的故障隐患,是以云端的各种服务工具为依托,这些工具根据信息技术的进步而更新,因而它的运维就变得相对主动。其次,当面临新机构和新用户时,只是在网络系统上增加监视软件接口的数据参数,对于整个资源系统的控制,没有太大的变化,因而变得相当简单。再次,云计算资源运维服务把数据、业务系统集中于云端,大幅降低了运维成本。

云计算提供商通过监控系统安全、完善日常维护和数据备份等提供服务运维。服务提供商根据档案馆业务需求扩展平台的服务范围;服务提供商随时紧跟技术领域的进步,拓展云计算的服务能力以适应档案馆的发展,使得区域数字档案馆的服务能力与时代的发展及用户个性化的动态需求相匹配。

四、结束语

区域数字档案馆建设采用云计算技术的相关工具和技术,还处于理论研究中,具体实践应用还有待发展。对于数字档案馆核心业务的服务与管理,只有充分把握云计算服务的理论、技术、服务等特征,选择性地引入数字档案领域,才能进一步提升区域数字档案馆的服务能力。

参考文献

[1]惠嘉琪.整合档案资源促进区域共享[J].档案与建设,2008(1).

[2]刘振鹏,张宁.云计算技术在档案馆中的应用探讨[J].兰台世界(下半月),2010(8).

[3]吕元智.国家档案信息资源“云”共享服务模式[J].研究档案学研究,2011(4).

[4]陶水龙.基于云计算的区域性数字档案馆建设研究[J].中国档案,2013(2).

云计算数据论文篇(11)

21世纪以来,计算机广泛应用到社会生活生产中,使计算机技术理论成为当代重要的学科之一。计算机各个逻辑器件的不断更新,推动了电子技术的飞速发展,我们已经进入了超大规模集成电路的时代。而随着微电子技术的发展,直接带动了计算机系统结构的革新,使计算机技术的最新理论和方法得以应用。计算机已从以前单一计算的装置变革成为计算机网络、并行分布式计算机系统和多计算机系统等多种高性能的系统。

1人工智能技术理论研究

人工智能是用人工的方法和技术模仿、延伸和扩展人的智能,实现某些“机器思维”。具体来说,就是研究如何使机器具有能听、会说、能看、会写、能思维、会学习、能适应环境变化、能解决各种实际问题的一门学科。

1.1人工智能的应用和发展现状

人工智能技术包含自动定理证明、问题求解、自然语言处理、人工智能方法、程序语言和智能数据检索系统及自动程序设计等等。目前,人工智能的应用领域主要有以下几个方面:一是问题求解。就是人工智能程序自主地知道如何思考解决的问题,会像人类一样进行独立地思考。二是逻辑推理与定理证明。这是人工智能研究时间最久的领域之一,也是一个极其重要的论题。逻辑推理与定理证明不仅需要有根据假设进行演绎的能力,而且许多非形式的工作。三是自然语言处理。自然语言的处理是人工智能技术应用与实际领域的典范,当前的主要课题是:如何使计算机系统以主题和对话情景为基础,生成和理解自然的语言,应用到人们的日常生活中,例如:汽车的语音导航系统,手机的语音输入系统等。四是智能信息检索技术。信息获取和检索技术已成为当代计算机科学与技术研究中迫切需要破解的命题,将人工智能技术应用于这一领域是人工智能走向广泛实际应用的契机与突破口。

1.2目前人工智能发展的瓶颈

人工智能学科的发展曲折,面临不少难题,主要有以下几个方面:一是研究方法不足。由于目前人类对人本身脑部结构和大脑工作模式认识的不完全,导致无法真正实现对人脑运行的模拟。二是机器翻译存在困难。机器翻译所面临的主要问题是构成句子的单词和歧义性问题。要消除歧义性就需要结合原文的上下文来对句子进行分析,从而寻找该语句在上下文中的准确意义。

1.3人工智能未来发展的展望

人工智能具有十分巨大的发展潜力,在各种新科技的出现层出不穷,人工智能将来的发展将不可限量。一是构建智能计算机,代替人类从事脑力劳动。将人类从繁杂的脑力劳动中解放出来,从而极大的提高运算速度和效率。二是计算机的自然语言处理。它是未来计算机科学领域与人工智能领域中的重要研究方向和发展趋势。随科研人员的艰苦努力,在自然语言处理领域已取得了令人瞩目应用成果,不久将会有许多产品出现在众多领域。三是计算机的自主继续学习。目前科学家正在研究如何使计算机模拟或实现人类的学习行为,自主的增长新知识或技能。这是一个新的发展趋势,虽然目前还没取得显著的实质性成果,但随着研究的深入,许多新的学习方法出现在人们的视野中。

2云计算与数据库技术理论研究

云计算与数据库是源于计算机科技所诞生一种信息储存模式。云计算与数据库是通过将信息资料进行抽象虚拟化的一个过程,主要通过将网络上存在的资源进行虚拟化处理,供被服务方作统计研究使用,经过云计算与数据库技术处理后的网络资料就会产生商业价值,有利于企业和个人对所其所需的材料进行有偿或无偿的使用。

2.1云计算与数据库国内外发展现状

随着经济社会的迅猛进步,我国越来越重视云计算的应用,政府部门也结合中国实际,为云计算的基础建设提供了资金投入与环境保障,并且在国家重点科研技术部门设立了直接负责云计算的发展与开发活动的专业部门。据报道,2016年我国在云计算与数据库建设方面投入资金10亿美元左右。由此可见,云计算与数据库的应用为人们的生活与工作带来了更为高效、更为优质的服务。而聚焦国外的发展显示,云计算与数据库技术所储存的相关信息资料已经达到了全世界数据资源的20%,能够充分的为人们提供高效优质的资料信息。而云计算自身的安全应用也为更多的企业和个人提供了更优质的服务类型,有利于全球经济的持续健康稳定发展。

2.2云计算与数据库发展存在的问题

实现云计算与数据库系统面临着诸多挑战,系统的标准化工作还需要更进一步的研究,还有一系列有待解决的问题。最重要的就是数据的安全和隐私问题。用户数据存储在云端,如何保证用户的数据不被非法访问和泄露。同时系统本身的可扩展性、可用性、可靠性、可管理性等都是要重点解决的问题。云计算在缩短单机密集数据处理任务时,对于传输到云端上的信息处理是否安全抱有质疑,若处理不当,将会对云计算的发展产生一定负面影响。当今,计算机和移动网络的发展,使计算机技术理论应用到社会生活的各个方面,对当今最新的人工智能技术、云计算与数据库技术等方面的发展现状进行研究,对于整个世界的科技与经济发展都有着决定性的作用,计算机技术的发展也必将更好地改善人们的生活方式和生产模式,更好地为人类服务。

参考文献: