基于智能体服务的云计算架构研究分析论文

基于智能体服务的云计算架构研究分析论文（共2篇）

1.基于智能体服务的云计算架构研究分析论文 篇一

关键词：云资源,熵值法,时间序列,系统架构,容量评估

1 引言

云计算架构分为Iaa S、Paas、Saa S三个层次, 其中基础设施即服务 (Iaa S) 作为云计算架构的基础, 在云计算架构中发挥着至关重要的作用, 而虚拟化技术则是对Iaa S的最好支撑。近年来国内越来越多的大型企业都在进行本企业的云计算构建, 其中私有云是这些企业的首选。目前私有云的建设主要还是集中在资源虚拟化建设使用阶段, 由于私有云为企业或组织自建平台, 用于支持本企业或组织的运营和发展需求, 对于云平台资源的使用和业务特点各有不同。

在企业私有云的构建过程中, 对云资源的管理成为了企业首要解决的问题, 目前业界已有一系列的相关产品和应用, 如:VMWare v Sphere、微软的Hyper-V、Amazon EC2 等, 这些产品都不同程度的实现了对云资源的管理, 包括物理资源和虚拟资源。在云资源中, 虚拟资源将占很大的比例, 随着云计算的不断推广, 可能比例还会呈上升趋势。通过对这些虚拟化产品的研究, 其管理对象主要还是以虚拟机为主, 包括虚拟机的创建、收回, 虚拟机迁移、调度等功能, 实现资源的动态平衡, 提高资源利用率。

这些主流的虚拟化产品虽然已经实现了资源的调度和动态调配, 但是, 一方面这种调整是基于虚拟机迁移技术, 在不改变虚拟机配置的基础上实现;另一方面基于这种动态资源调整可能会对系统安全、稳定等方面产生影响。因此, 本文将提出一种结合业务系统架构, 建立一套基于主流虚拟机迁移技术的云资源容量评估模型, 对云资源容量进行动态评估, 基于评估结果来制定资源调整策略是一种比较安全的方案。

2 相关工作

目前, 还没有一种基于系统架构的合理、安全的资源动态调配评估方案, 相关研究有:VMWare v Sphere, 通过DRS+DPM技术, DRS用于动态调整主机负载, 自动将负载较重的的虚拟机通过VMotion迁移到负载较轻的主机上, 达到集群中主机资源的负载均衡。DPM会将群集层以及主机层容量和运行在群集中的虚拟机所需要的容量做比较。然后, DPM会根据比较的结果, 将负载较轻的虚拟机进行集中化, 释放闲置资源, 达到资源的有效利用。此方法是一种简单、高效的解决方案, 虽然解决了资源的动态调配, 但虚拟机的资源配置并未发生变化, 当业务系统的资源需求超过承载该系统的虚拟机资源时, 这种方式是无法满足的;同时没有结合业务系统特点, 对于资源的分配仍有很大的调整空间。

文献提出在整体资源受限条件下的多任务多资源同时调配的全局优化调配模式;文献采用远程缓存和虚拟机迁移两种技术进行虚拟资源动态调配;文献提出了一种基于熵优化和动态加权负载评估的多目标优化评估机制;文献提出了负载均衡模型框架, 对虚拟机负载情况和虚拟机集群负载情况进行量化评估, 实现了虚拟机集群负载的均衡和弹性的伸缩。

既有的文献多侧重于对虚拟机的静态或动态虚拟化资源调整, 来满足资源弹性伸缩的目的, 这种方式虽然实现了资源的动态调配, 但是太过于注重资源本身, 而忽略了每个应用系统之间的差异。对于应用系统而言, 其架构就决定了系统是否具备可扩展性的特征, 传统的紧耦合型系统架构大多只能支持系统的纵向扩展, 即通过调整资源配置来实现扩展;而目前流行的SOA松耦合型系统架构, 这种架构的特点是能够支持业务变化的灵活性, 在能够支持纵向扩展的基础上, 也能够支持系统的横向扩展, 即通过调整资源数量来满足系统对资源的需求。

因此, 本文对云资源调配策略的研究, 借鉴文献中对虚拟机集群的负载情况的量化评估方法, 对系统负载进行评估;通过时间序列方法, 预测下一个业务周期的变化情况, 结合SOA松耦合型系统架构, 针对应用系统特点制定安全、有效的资源调整策略。既实现了资源的有效利用、减少能源消耗, 也提高了资源调整的安全性、保障了用户服务质量 (Qo S) 。

3 基于系统架构的虚拟资源动态调配

本文研究的云资源动态调配是基于松耦合的SOA系统架构, 假设云资源池中的物理资源无限大。一方面, 随着业务系统的运行, 数据量的增加和业务的扩展, 原来申请的系统资源将逐渐不能满足系统的需求, 这种情况向系统并入新的资源来满足系统日益增长的需求;另一方面, 每个业务系统运行过程中都有其业务运行周期, 如:业务周期分为高、中、低。不同的业务周期对资源消耗也不尽相同, 这就需要根据业务周期的变化来判断需要增加资源还是释放资源。

基于此架构, 我们定义‘服务单元’的概念, 一个服务单元由一台或多台虚拟机构成, 并具备独立的服务能力。假设每台虚拟机的配置都相同。

3.1 基于熵值法的资源评估模型

3.1.1 资源评估指标

一般我们将CPU使用率、内存利用率、磁盘使用率、网络使用率作为负载数据指标, 这些指标都会对虚拟机的性能产生至关重要的影响。我们在此提出综合指标‘资源利用率’, 来代表某个虚拟机或服务单元以及应用系统的整体资源负载情况。

3.1.2 资源负载评估模型

根据业务系统逻辑构成层次, 将系统架构分为服务器层、服务单元层、系统层。系统资源负载评价采用自下而上的评价思路, 上层资源负载可通过判断下层负载获得;下层的变化最终影响和决定上层状态。系统资源负载评价过程如图1 所示。

(1) 服务单元资源负载评估。记衡量资源使用情况的指标有p项, 服务单元内有m个虚拟机, 系统虚拟机总数为n, 共采集了t个时刻的指标数据。

(1) 熵权法计算指标权重。

样本数据为当前时刻全部虚拟机的采集指标, 样本容量为n, 即样本包含n个虚拟机的指标数据, 指标数量为p。模型最终输入如下:

其中Xi为指标i的样本值, xij为第i个虚拟机第j个指标的取值。

不同指标的数量级和量纲可能有所不同, 需要进行标准化处理以消除数量级和量纲的影响。

对于越大越好的指标, 作如下转换:

对于越小越好的指标, 作如下转换:

为了便于理解, 记处理后的数据仍为xij。

计算第j项指标下第i个虚拟机占该指标的比重:

计算第j项指标的熵值:

其中k>0, ln为自然对数, ej>0, 式中常数k与样本容量n有关:

计算第j项指标的差异系数, 对于第j项指标, 指标值xij的差异越大, 对方案评价的作用越大, 熵值就越小, 则:gj越大指标越重要。

求各个指标的权数:

得到的指标权重向量记为W:

(2) 资源利用率评估。

记为第k个虚拟机第i个指标在时间点j的取值, 则虚拟机指标数据集合为:

Lk表示虚拟机k上指标的采集数据集合。

服务单元的数据集合为单元内所有虚拟机的数据集合, 记为:

不同的任务对资源的要求不同, 同时虚拟机的配置性能也可能不同, 因此引入权重因子, 记为虚拟机k的权重, 则虚拟机权重的集合可以表示为:

经过第一个步骤的计算, 得到指标权重向量如下:

定义虚拟机k在j时刻的负载, 并描述虚拟机实时的负载状态:

定义虚拟机k在指标i上的负载能力为表示虚拟机k在指标i的取值上限 (如:CPU使用率小于75% 正常, 则该值为75%) , 则指标i负载能力Ri为:

单元在时间点j时指标i的负载率为实际负载对负载能力的占比, 计算公式为:

其中

表示虚拟机在时刻j对资源i的实际使用率, 即实际负载。

最终可以得到服务单元在时刻j对资源的使用率为:

实际应用中, 资源使用情况是在一定区间内波动, 不可能总是达到资源100% 利用, 因此可以根据业务情况划定区间进行分级, 定义业务系统资源正常使用区间为[a, b], 其中b为上限, a为下限:S>b:过载;S ∈ [a, b]:正常;S<a:空闲。

(2) 业务系统资源负载评估。在该业务分析中, 各个单元中的服务器配置相同, 因此系统级资源利用率的整体情况用单元的平均使用率表示。

记单元数量为N, 单元h的使用率为Sh, 系统资源利用率记为Rate, 则:

Rate按区间分级:过载、正常、空闲。

[ 说明]:对于系统资源利用率Rate的分级, 可以根据用户实际需要定义一个范围值, 认为系统资源利用率在这个范围时, 系统资源使用最优。

3.2 基于时间序列的资源预测模型

要实现云资源的动态调整, 我们就必须了解什么时候调整。每个线上业务系统都有其业务运行周期, 有日频度、月频度, 也可能还有年频度, 系统业务平稳时, 不会出现大的波动, 只有当业务发生变化的时候, 才会出现大的波动, 因此, 调整的时间选择应该在上一个业务周期结束下一个业务周期到来之前进行调整, 这样才具有预先调整的意义, 否则事后调整可能可能已经对系统运行造成了严重影响。

根据大量历史数据, 应用差分自回归滑动平均预测模型 (时间序列) , 结合业务时间窗口, 预测下一个业务周期的数据, 掌握下一个业务周期数据的变化情况。

3.3 基于系统架构的容量评估模型

一个业务系统在运行过程中, 如果用户量超过系统的最大承载量时, 系统对资源的需求会增大, 系统的性能会降低, 甚至出现宕机的风险;同时系统的硬件资源负载超过一定范围后, 也会影响系统性能, 导致系统变慢或宕机。在此, 我们排除应用本身的性能、应用软件的性能以及系统接口相关性能等因素, 通过系统应用性能和系统资源性能两个方面来判定是否要进行资源调整。

首先, 建立系统应用性能基线和系统资源性能基线;其次, 通过预测模型预测系统应用性能指标和系统资源性能指标, 通过预测数据与基线数据的对比, 来确定是否需要进行资源调整;最后, 结合业务系统架构, 找到服务单元与系统应用性能指标和资源性能指标之间的关系, 结合业务周期预测结果, 得出具体的调整量。

3.3.1 建立性能性能基线

根据3.2 章节的时间序列模型构建系统应用性能基线和系统资源性能基线, 其中系统资源性能基线中的资源利用率指标由3.1 章节的基于熵值法的资源评估模型进行评估。

3.3.2 资源调整评估

判断一个系统是否资源过盛或闲置的判断依据如下: (1) 当预测的在线用户数或资源利用率有任何一个超过限制 (最大支持在线用户数或资源使用率) , 则都需要调整 (增加资源) 。 (2) 当预测的资源利用率低于标准资源利用率最小值时, 则需要进行调整 (资源释放) 。

将系统平均响应时间和系统资源利用率分别使用S和R表示, 将资源利用率的标准范围用[a, b] 表示。预测的下一个业务周期的在线用户数为U’, 预测的系统资源利用率为R’。

业务系统对资源的使用情况存在以下几种情况:

(1) 资源不足:使用性能测试方法中的负载测试和压力测试方法, 在系统平均响应时间和系统资源利用率在运行性能参数的范围内, 测试出系统支持的最大用户数, 我们用U表示。

根据判断依据, 当R’>R (b) 或U’>U时, 需要进行资源调整, 调整策略为:增加资源。

(2) 资源过盛:在系统平均响应时间在指定的范围内, 只要资源利用率小于标准最小值, 那么就需要考虑释放资源, 这时与在线用户数的多少无关。

根据判断依据, 当R’<R (a) 时, 需要进行资源调整, 调整策略为:释放资源。

(3) 资源满足:在线用户数和资源利用率都在标准值范围时, 则不进行调整。

根据判断依据, 当S<5 并且R’∈ [a, b] 时, 则不需要进行资源调整。

3.3.3 资源调整策略

N0:表示当前服务单元数量

Nt:表示未来t时刻服务单元数量

M:表示调整的服务单元数量

(1) 增加资源情况分析。

Umax:表示系统最大支持在线用户数或最大并发量

那么, 每个单元的服务能力我们用P表示:P=U/N

Ut:表示下一个业务周期在线用户数预测值或系统并发量预测值。

那么, 需要至少增加的单元数量为:

当M出现小数时, 考虑到我们调整的都是服务单元, 因此应该调整为整数, 向上取整。

(2) 释放资源情况分析。

Rmax:表示资源利用率上限

Rmin:表示资源利用率下限

M:表示调整的服务单元数量

Rt:表示下一个业务周期在系统资源利用率预测值

Mmax:最多需要释放的单元数量为:

Mmin:最少需要释放的单元数量为:

如果Mmax, Mmin出现小数, 同样采用取整, 因为此时是释放资源, 因此向下取整。

4 总结

云计算虚拟化技术为资源池中基础设施的管理带来极大的便利, 但与此同时也对资源管理者提出了新的挑战, 如何解决云计算服务的虚拟机动态部署与调度过程中的动态资源管理问题, 实现资源的负载均衡、提高资源利用率成为了需要研究的课题。本文提出了一种基于系统架构的虚拟资源动态评估模型, 通过该模型, 可对负载过高的虚拟资源进行迁移或补充, 对资源负载过低的资源进行释放, 实现负载均衡、提高了资源利用率、有效减少能耗的目的, 基于该模型制定资源调整策略是一种较为安全、可靠的解决方案。

参考文献

[1]尹敬齐.受限条件下云资源的全局优化调配研究[J].计算机测量与控制, 2013.

[2]王志钢, 汪小林, 罗英伟.云计算架构下的深层次动态资源调配[J].集成技术, 2012.

[3]左利云, 曹志波, 董守斌.云计算虚拟资源的熵优化和动态加权评估模型[J].软件学报, 2013.

[4]朱志祥, 许辉辉, 王雄.基于云计算的弹性负载均衡方案[J].西安邮电大学学报, 2013.

[5]周文煜.虚拟化集群资源调度机制研究[JD].中国科技大学, 2012.

[6]李爱国, 厍向阳.数据挖掘原理、算法及应用[M].西安:西安电子科技大学出版社, 2012.

2.云计算背景下的云存储服务研究 篇二

摘 要：随着计算机技术的不断发展与进步，数据计算已经从传统计算模式逐渐向云计算过渡，云计算的发展产生了云存储技术，它向用户提供如同云状的广域网和互联网服务。本文从云计算入手，针对云存储技术，以基本概念、系统架构及发展趋势三个方面进行论述，便于读者进行深入分析与探究。

关键词：云计算；云存储；华为云存储服务

中图分类号： TP393 文献标识码： A 文章编号： 1673-1069（2016）21-114-2

1 云计算与云存储的概念

1.1 “云”的概念

“云”是一种较为抽象的概念，依据互联网对“云”的解释，“云”是一种比喻的说法，“云”在过去的描述中通常用来表示电信网，后来也用来表示互联网和底层基础设施的抽象概念。这种抽象的技术可以使云计算的运算能力高达每秒10万亿次，其规模足以模拟核爆炸、预测全球范围内的气候变化和当前国际社会市场的发展趋势。

1.2 云计算的概念

计算机网络技术的逐渐发展，产生了一种新的计算模式——“云计算”。它的特点是其计算能力可以通过商品的形式在企业或个人间进行流通，而且它可以通过互联网进行传输。究其根本，云计算的计算模式就是将用户所有的数据存储在云端，利用云端数据中心对数据的存储计算能力，最大程度满足不同用户的存储需求。

1.3 云存储概念

云计算的概念进行延伸和发展形成了云存储概念，它是基于云计算而提出的一个新的存储概念，在互联网存储技术发展的过程中，云存储采用集群应用、网络技术或分布式文件系统等功能。它充分利用网络中现存不同类型的存储设备，通过用户终端所使用的应用软件将它们集结起来，共同为用户提供数据存储及业务访问能力。

2 网络硬盘与云盘

2.1 网络硬盘

U盘的普及在很大程度上解决了部分存储问题，但此类固态存储介质终究无法满足所有用户的存储需求，网络硬盘的产生解决了这一问题，它是一种由各大互联网公司推出的针对企业或个人的在线存储服务。网络硬盘可以向用户提供文件存储、访问、备份、共享等功能，用户可以合理管理文件，甚至可以将网络硬盘视为一个放在网络上的移动硬盘或U盘，在可以连接互联网的地方，用户就可以对网络硬盘里的文件进行管理和编辑，允许用户实时查看，无需随身携带，避免了丢失带来的问题。

2.2 云盘

云盘是基于互联网云技术的产物，云技术的应用为企业或者个人提供信息储存、读取和下载等服务，保障了用户信息的安全和稳定，并支持对数据的海量存储。用户无需将资料存储在实体磁盘并随身携带，只需接入互联网，便可将自己存储在云端的数据读取出来。云盘是新一代按需付费的存储服务，它支持用户对数据文件灵活处理，从而防止成本失控，并能满足用户对不断变化的业务重心所形成的多样化需求。

■

3 云计算与云存储的架构

3.1 云计算架构

云计算搭建的架构大致分成三个阶层：应用程序、平台与基础设施，并由此分别提供三种型态服务：

①软件即服务（SaaS）

该阶层由处于云端的应用程序提供各种SaaS，用户可以直接使用浏览器的云端应用程序，在不需要下载或安装任何程序的前提下，获得相应的功能与服务。

②平台即服务（PaaS）

PaaS用于向用户提供运算平台或解决方案的服务，它以云端基础硬件设施资源为基础，支持云端应用所使用的不同类型的功能，以此向用户提供整合的API。

③基础设施即服务（IaaS）

IaaS是将运算、存储及网络等资源转化为标准化服务，这种云端基础架构向内外部使用者提供数据存取服务，并借助虚拟化技术来完成服务器整合所需的基本工作。

3.2 云存储架构

云存储处于云计算架构的存储部分，在底层IaaS、中层PaaS直至顶层SaaS都有所体现，它将底层IaaS存储资源网络化，从而搭建出一个网络存储系统，向用户提供存储服务。简而言之，云存储可以理解为存储即服务（Storage as a Service）。

云存储的核心是存储层，它由分布在不同存储介质的各类型存储设备组成，这些设备可以通过虚拟化技术进行集中化管理。在管理系统的协作下，管理者可以进行所有存储设备的远程监控、排座等日常作业；而其中最为困难的部分是应用中介层，它与云计算的PaaS层相近，且必须实现不同存储设备间的协同运作才能向用户提供单一的整合服务。

下图是一个简易的云存储架构图，图中存储节点存放用户的数据文件，控制节点用作数据文件的索引，同时控制存储节点间容量大小及负载的均衡，云存储的架构便由这两部分组成。具备各种协议的客户端服务于相应的网络，并有控制端PC管理存储节点。

3.3 云存储改进方向

纵观当下数据文件的指数级形式增长现状，云存储必当成为数据存储发展的主要趋势，要将各种搜索、应用技术和云存储紧密相结合起来，就需要云存储技术从安全性、便携性以及对数据访问等方面进一步改进与完善。

①安全性。安全性是阻碍企业云存储全面发展的问题之一，针对云存储用户而言，云存储的安全性通常需要从商业元素和技术方面来考虑。但依据现今的用户需求来看，他们渴望获得更高的安全水平，有些用户对云存储技术的安全需求甚至高于他们自身架构所能提供的安全水平，即便如此，国内云存储软硬件厂商也尽其所能来满足如此高且不现实的安全要求，构建出的数据中心在安全性上高于多数企业的数据中心。

②便携性。多数用户在存储数据时会考虑其便携性，一般状况下，大型云存储服务供应商可以向用户提供最好的解决方案，它的存储效果与本地最好的传统存储模式相同，甚至有些云存储服务供应商可以将用户所需的数据集传送到用户所选择的任何实体媒介或是专门的存储设备。

③数据访问。当用户执行大规模数据请求或者数据恢复操作时，云存储是否可以向用户提供足够的数据访问性成了众多用户的疑虑。计算机技术的发展使得云存储服务供应商能将大量数据传送到多种不同类型的存储媒介上，其传输速度之快堪比文件复制、粘贴等操作。

4 华为云存储

4.1 华为云存储概况

华为云存储服务的发展经历了中国云存储发展的自研之路、国产之路、民族之路三大过程，它为用户提供容易获取、使用的云存储服务。华为云存储服务致力于向用户提供简单、经济、高效、安全的存储产品和解决方案，能够优化企业的IT应用，降低企业的存储成本。

纵观华为公司近几年在云存储服务上所获得的成就，造就了华为公司成为国产存储品牌第一、全国最大、研发创新能力最强的存储厂商。这些成就的获得取决于华为公司做到了在存储研发方面的投入全国第一，华为公司拥有全套存储核心技术，在硬件平台、系统软件及应用软件方面均能满足用户对存储产品的刚性需求。

4.2 华为云存储服务

华为公司提供的云存储服务是一个基于对象的存储服务，用户能海量、安全、高可靠、低成本的存储数据文件，只需接入互联网，进入浏览器便可通过REST接口或Web管理界面对用户自身存储的数据进行科学管理和高效使用。

5 结束语