Private cloud computing system based on dynamic service adaptable to
large.scale data processing
WANG Zhu1*, MEI Lin2, LI Lei2, ZHAO Tai.yin1, HU Guang.min1
1. Key Laboratory of Optical Fiber Sensing and Communication Ministry of Education,University of Electronic Science and Technology of China,
Chengdu Sichuan 611731, China;
2. Geophysical Exploration Company, Chuanqing Drilling Engineering Company Limited, Chengdu Sichuan 610213, China
Abstract:
In order to deal with problem in private cloud environment caused by computing tasks with large amount of data, intensive computing and complex processing, an implementation of private cloud system based on dynamic service was proposed on basis of public cloud computing and the characteristic features of private cloud environment, which was able to adapt large-scale data processing. In this implementation, computing tasks were described by job files, processing workflows were constructed dynamically by job logic, service requests were driven by data streams and the large-scale data processing could be reflected more efficiently in MapReduce parallel framework. Experiment results shows that this implementation offers a high practical value, can deal with computing tasks with large amount of data, intensive computing and complex processing correctly and efficiently.
In order to deal with problem in private cloud environment caused by computing tasks with large amount of data, intensive computing and complex processing, an implementation of private cloud system based on dynamic service was proposed on the basis of public cloud computing and the characteristics of private cloud environment, which was able to adapt large.scale data processing. In this implementation, computing tasks were described by job files, processing workflows were constructed dynamically by job logic, service requests were driven by data streams and the large.scale data processing could be reflected more efficiently in MapReduce parallel framework. The experimental results show that this implementation offers a high practical value, can deal with computing tasks with large amount of data, intensive computing and complex processing correctly and efficiently.
Key words:
cloud computing; private cloud computing; data.flow driven; dynamic service; parallel computing
0 引言
与传统的企业数据中心相比，私有云［1］可以支持动态灵活的基础设施，降低信息技术（Information Technology,IT）架构的复杂度，使各种IT资源得以整合和标准化。鉴于其在数据安全、服务质量、资源管理等方面的优势，同时还可以和现有IT系统无缝集成，因此越来越受到企业的关注。
石油勘探行业业务复杂，专业应用软件多样，其计算任务具有数据量大、计算密集、流程复杂等特点，对计算资源和存储资源要求严格。特别是近年来，随着全球油气资源的日益紧张以及各行业对石油资源的巨大需求，导致勘探开发力度逐步扩大，随之而来的是企业生产设备的快速膨胀和各类应用的大量部署。由于缺乏对资源部署的统一规划，导致异构的计算资源和存储资源难以进行有效整合与扩展，造成资源浪费、管理困难、运维成本高昂等弊端。虽然利用存储域网络（Storage Area Network, SAN）构建共享存储架构、建立集群统一作业管理系统、创建资源管理平台等技术在一定程度上可以缓解资源利用率低、管理维护复杂等问题，但依然难以实现资源的全面共享，不便于基础设施的扩展与服务部署［2］。如何有效整合这些资源，与现有IT系统无缝集成，为数据量大、计算密集、流程复杂的计算任务提供灵活、高效的系统解决方案成为企业亟待解决的问题。
针对上述问题，本文参考云计算的相关理论与技术，结合石油勘探行业的业务特点，提出了一种适应大规模数据处理的动态服务私有云系统。该私有云系统利用企业已有的刀片服务器［3］、磁盘阵列［4］（Redundant Arrays of Inexpensive Disks，RAID）等基础设施构建私有云基础架构［5-6］，根据业务特点搭建计算服务平台，为用户提供一个统一、高效、安全、可靠的高性能计算环境和管理方式。
1 动态服务私有云系统研究
1.1 私有云系统框架
公有云计算［7-8］为公众提供开放的云服务，其平台内部已高度整合，以Google云计算系统［9］为例包括：数据存储技术（Google File System, GFS）、数据管理技术（BigTable）、分布式锁服务（Chubby）、编程模型和任务调度模型（MapReduce）等组件。对于企业来说，通过实现这些完整的功能组件来构建私有云，将花费巨大的人力成本和软件成本。
私有云系统往往是在企业现有基础实施上改进和升级实现。采用基础设施已有的功能组件替代公有云计算平台的部分组件，能够极大地减少人力成本和软件成本，降低开发难度。对此本文参考云计算架构［10］，并结合私有云环境特点，构建了一套适应私有云环境的系统架构，如图1所示。
1）最上层是客户端。客户端采用基于图形用户界面（Graphical User Interface, GUI）的友好用户模式，用户可以创建提交作业、监控作业运行状态和查看作业日志文件。
2)中间层为平台层。提供服务部署、节点管理；作业管理调度、数据流驱动；统一的进程间通信（Inter.Process Communication, IPC）机制、数据库等功能。
3)底层是基础架构层。提供软硬件虚拟化、高速以太网络等。 (责任编辑：南粤论文中心)转贴于南粤论文中心: http://www.nylw.net(南粤论文中心__代写代发论文_毕业论文带写_广州职称论文代发_广州论文网）
- 毕业论文定制
南粤论文中心提供本科/研究生/博士毕业论文，从提纲，开题到后期免费修改,免费指导答辩等 ，联系人：魏老师，电话：13450375436。 - 代写代发职称论文
南粤论文中心提供职称论文代写，报告总结，演讲致辞,心得体会,党团辅导等代写服务并推荐发表省级,国家级,核心杂志包发。联系QQ:631069747。
适应大规模数据处理的动态服务私有云系统
来源：网络(转载) 作者：汪竹 梅林 李磊 赵太 发表于：2012-04-14 13:34 点击：次
【关健词】云计算；私有云计算；数据流驱动；动态服务；并行处理
为适应私有云环境下数据量大、计算密集、流程复杂的计算任务需求，借鉴公有云计算的相关理论与技术，结合私有云环境的特点，提出了一种适应大规模数据处理的动态服务私有云系统实现方案。该方案使用作业文件描述计算任务，以作业逻辑结构动态构建处理工作流程；通过数据
顶一下
(0)
0%
踩一下
(0)
0%
版权声明：因本文均来自于网络，如果有版权方面侵犯,请及时联系本站删除.
