時間：2023-08-03 16:10:11
序論：在您撰寫云計(jì)算的基礎(chǔ)架構(gòu)時，參考他人的優(yōu)秀作品可以開闊視野，小編為您整理的7篇范文，希望這些建議能夠激發(fā)您的創(chuàng)作熱情，引導(dǎo)您走向新的創(chuàng)作高度。
關(guān)鍵詞：云計(jì)算 基礎(chǔ)構(gòu)架 結(jié)構(gòu) 層次
中圖分類號：TP393.08 文獻(xiàn)標(biāo)識碼：A 文章編號：1007-9416（2013）06-0241-02
云計(jì)算技術(shù)被認(rèn)為是繼個人電腦 、互聯(lián)網(wǎng)之后的“第三次互聯(lián)網(wǎng)革命”，誕生伊始就得到廣泛關(guān)注和重視。下面我們從云計(jì)算的概念、類型和基礎(chǔ)架構(gòu)三個方面來進(jìn)行探討。
1 云計(jì)算的概念
云計(jì)算是利用本地或遠(yuǎn)程服務(wù)器（集群）的分布式計(jì)算機(jī)為互聯(lián)網(wǎng)用戶提供服務(wù)（包括計(jì)算、存儲、軟硬件等服務(wù)），它是對分布式處理、并行處理和網(wǎng)格計(jì)算及分布式數(shù)據(jù)庫的改進(jìn)處理、融合和發(fā)展。
通俗的講，云計(jì)算是一種全新的網(wǎng)絡(luò)服務(wù)方式，將傳統(tǒng)的以桌面為核心的任務(wù)處理轉(zhuǎn)變?yōu)橐跃W(wǎng)絡(luò)為核心的任務(wù)處理，利用互聯(lián)網(wǎng)實(shí)現(xiàn)自己想要完成的一切任務(wù)處理，使網(wǎng)絡(luò)成為傳遞服務(wù)、計(jì)算力和信息的綜合媒介，真正實(shí)現(xiàn)按需計(jì)算，多人協(xié)作。通過云計(jì)算的大規(guī)模應(yīng)用，未來計(jì)算資源或許像電和水那樣可隨時獲取，并按使用量進(jìn)行計(jì)費(fèi)。
2 云計(jì)算的類型
從部署方式來說，云計(jì)算可以分為私有云、公有云和混合云。公有云是互聯(lián)網(wǎng)上所有用戶都可以使用。私有云則是一種專有的云環(huán)境，是針對一個組織單獨(dú)構(gòu)建的互聯(lián)網(wǎng)服務(wù)，該組織擁有基礎(chǔ)設(shè)施，可以在此基礎(chǔ)設(shè)施上部署應(yīng)用程序，并對數(shù)據(jù)、安全性和服務(wù)質(zhì)量提供有效控制。混合云，也可稱為虛擬私有云，它提供的服務(wù)運(yùn)行在一個公共的云基礎(chǔ)設(shè)施之上，但通過虛擬專用網(wǎng)（VPN）限制對它的訪問。
IaaS，指的是將硬件設(shè)備等基礎(chǔ)資源封裝成服務(wù)供用戶使用，在此環(huán)境中，硬件及網(wǎng)絡(luò)資源可以被劃分成一個個的邏輯計(jì)算單元，IaaS管理工具可以保證多個邏輯單元協(xié)同工作起來。
PaaS，是對資源的抽象層次更進(jìn)一層，它提供用戶應(yīng)用程序的運(yùn)行環(huán)境。
SaaS，是將某些特定應(yīng)用軟件功能封裝成服務(wù)。
3 云計(jì)算的基礎(chǔ)架構(gòu)
云計(jì)算充分利用網(wǎng)絡(luò)和計(jì)算機(jī)技術(shù)實(shí)現(xiàn)資源的共享和服務(wù)，解決云進(jìn)化、云控制、云推理和軟計(jì)算等復(fù)雜問題，其基礎(chǔ)構(gòu)架可以用云計(jì)算體系結(jié)構(gòu)、服務(wù)層次則和技術(shù)層次來描述。
3.1 云計(jì)算體系結(jié)構(gòu)
云計(jì)算平臺是一個強(qiáng)大的“云”網(wǎng)絡(luò)，連接了大量并發(fā)的網(wǎng)絡(luò)計(jì)算和服務(wù)，可利用虛擬化技術(shù)擴(kuò)展每一個服務(wù)器的能力，將各自的資源通過云計(jì)算平臺結(jié)合起來，提供超級計(jì)算和儲存能力。云計(jì)算體系結(jié)構(gòu)如圖：（見圖1）
云用戶端：提供云用戶請求服務(wù)的交互界面，也是用戶使用云的入口，用戶通過WEB瀏覽器可以注冊、登錄及定制服務(wù)、配置和管理用戶。
服務(wù)目錄：云用戶在取得相應(yīng)權(quán)限（付費(fèi)或其他限制）后可以選擇或定制的服務(wù)列表，也可以對已有服務(wù)進(jìn)行退訂的操作，在云用戶端界面生成相應(yīng)的圖標(biāo)或列表的形式展示相關(guān)的服務(wù)。
管理系統(tǒng)和部署工具：提供管理和服務(wù)，能管理云用戶，能對用戶授權(quán)、認(rèn)證、登錄進(jìn)行管理，并可以管理可用計(jì)算機(jī)資源和服務(wù)，接收用戶發(fā)送的請求，根據(jù)用戶請求并轉(zhuǎn)發(fā)到相應(yīng)的應(yīng)用程序，調(diào)度資源智能地部署資源和應(yīng)用，動態(tài)的部署、配置和回收資源。
資源監(jiān)控：監(jiān)控和計(jì)量云系統(tǒng)資源的使用情況，以便做出迅速反應(yīng)，完成節(jié)點(diǎn)同步配置、負(fù)載均衡配置和資源監(jiān)控，確保資源能順利分配給合適用戶。
服務(wù)器集群：虛擬的或物理的服務(wù)器，由管理系統(tǒng)管理，負(fù)責(zé)高并量的用戶請求處理、大計(jì)算量處理、用戶WEB應(yīng)用服務(wù)，云數(shù)據(jù)存儲時采用相應(yīng)數(shù)據(jù)切割算法，采用并行方式上傳和下載大容量數(shù)據(jù)。
用戶可通過云用戶端從列表中選擇所需的服務(wù)，其請求通過管理系統(tǒng)調(diào)度相應(yīng)的資源，并通過部署工具分發(fā)請求、配置WE應(yīng)用。
3.2 云計(jì)算服務(wù)層次
云計(jì)算的服務(wù)層次是根據(jù)服務(wù)類型即服務(wù)集合來劃分，體系結(jié)構(gòu)中的層次是可以分割的，即某一層次可以單獨(dú)完成一項(xiàng)用戶的請求而不需要其他層次為其提供必要的服務(wù)和支持。
3.3 云計(jì)算技術(shù)層次
服務(wù)接口：統(tǒng)一規(guī)定了在云計(jì)算時代使用計(jì)算機(jī)的各種規(guī)范、云計(jì)算服務(wù)的各種標(biāo)準(zhǔn)等，用戶端與云端交互操作入口，可以完成用戶或服務(wù)注冊，對服務(wù)的定制和使用。
服務(wù)管理中間件：在云計(jì)算技術(shù)中，中間件位于服務(wù)和服務(wù)器集群之間，提供管理和服務(wù)即云計(jì)算體系結(jié)構(gòu)中的管理系統(tǒng)。對標(biāo)識、認(rèn)證、授權(quán)、目錄、安全性等服務(wù)進(jìn)行標(biāo)準(zhǔn)化和操作，為應(yīng)用提供統(tǒng)一的標(biāo)準(zhǔn)化程序接口和協(xié)議，隱藏底層硬件、操作系統(tǒng)和網(wǎng)絡(luò)的異構(gòu)性，統(tǒng)一管理網(wǎng)絡(luò)資源。
虛擬化資源：指一些可以實(shí)現(xiàn)一定操作，具有一定功能，但其本身是虛擬而不是真實(shí)的資源，如計(jì)算池、存儲池和網(wǎng)絡(luò)池、數(shù)據(jù)庫資源等，通過軟件技術(shù)來實(shí)現(xiàn)相關(guān)的虛擬化功能，包括虛擬環(huán)境、虛擬系統(tǒng)、虛擬平臺。
物理資源：主要指能支持計(jì)算機(jī)正常運(yùn)行的一些硬件設(shè)備及技術(shù)，可以通過現(xiàn)有網(wǎng)絡(luò)技術(shù)和并行技術(shù)、分布式技術(shù)將分散的計(jì)算機(jī)組成一個能提供超強(qiáng)功能的集群用于計(jì)算和存儲等云計(jì)算操作。
4 結(jié)語
云計(jì)算作為下一代IT的發(fā)展趨勢，在我國得到了充分的推動和蓬勃的發(fā)展，但我們必須看到，由于國內(nèi)在云計(jì)算領(lǐng)域?qū)诵募夹g(shù)的掌握不足，目前國內(nèi)所建設(shè)的云計(jì)算中心，更多的投入是在硬件建設(shè)的部分，缺乏在基礎(chǔ)軟件設(shè)施層面對云計(jì)算模式的支持。同時信息系統(tǒng)和網(wǎng)絡(luò)設(shè)備使用的關(guān)鍵芯片、核心軟件和部件絕大部分依賴進(jìn)口，存在著安全隱患?？傊m然云計(jì)算的發(fā)展還存在著諸多的問題，但作為一種新型的互聯(lián)網(wǎng)服務(wù)和計(jì)算模型。它展示了越來越強(qiáng)大的生命力，涉及了各行各業(yè)方方面面的人們，并將最終徹底影響和改變改我們的生活。
參考文獻(xiàn)
關(guān)鍵詞：政府 云計(jì)算 虛擬化 架構(gòu)
自2007年云計(jì)算概念提出以來，云計(jì)算產(chǎn)業(yè)鏈在中國發(fā)展至今已初具規(guī)模，特別是企業(yè)私有云市場，雖然還沒有出現(xiàn)一個在云計(jì)算市場擁有絕對優(yōu)勢的拳頭產(chǎn)品，但百家爭鳴，百花齊放的局面正預(yù)示著云計(jì)算的建設(shè)正脅潮涌之勢而來。在繼一些大型IT企業(yè)之后，越來越多的政府開始走向云，并且有更多的應(yīng)用在向云靠攏。截止到2012年，已經(jīng)有北京、上海、成都、杭州、青島和西安等城市在政府應(yīng)用云平臺方面進(jìn)行了積極的探索，總結(jié)出了一些成功的經(jīng)驗(yàn)。在大家熱烈討論云計(jì)算技術(shù)能帶來什么豐碩成果的同時，就政府云計(jì)算基礎(chǔ)架構(gòu)的建設(shè)方式在業(yè)界也未形成一個相對一致的說法。但眾所周知，一個高效穩(wěn)定的基礎(chǔ)架構(gòu)平臺對于其上的應(yīng)用和業(yè)務(wù)運(yùn)營是至關(guān)重要的，而搭建這樣一個基礎(chǔ)架構(gòu)的成本也是必須考慮在內(nèi)的。
首先我們先來談?wù)勈褂米钇毡榈膞86架構(gòu)，廉價、開放、標(biāo)準(zhǔn)化、簡單易用，x86所具備的這些優(yōu)點(diǎn)使其成為了眾多云計(jì)算用戶的最佳構(gòu)架選擇。目前，決大多數(shù)的大規(guī)模云的構(gòu)建也都是基于x86架構(gòu)的，例如亞馬遜、微軟、Google、百度、阿里巴巴等。但是，使用最多就是最好的嗎？也不盡然，x86在人才資源、總體成本上是有優(yōu)勢，但一旦大規(guī)模部署后，由于單臺服務(wù)器的性能問題，只能依靠大規(guī)模來實(shí)現(xiàn)計(jì)算能力和存儲擴(kuò)展，這樣相應(yīng)的就會帶來一些管理和穩(wěn)定性方面的問題。由于x86架構(gòu)服務(wù)器系統(tǒng)的穩(wěn)定性不如小型機(jī)系統(tǒng)，因此還需要有完善的備份和容錯方案。這些都是x86在云計(jì)算架構(gòu)中不可避免的問題，而這些問題的解決方式只能依靠第三方來進(jìn)行。作為x86架構(gòu)的忠實(shí)擁躉，VMware或許是能解決這些問題的最好方式。畢竟在x86平臺虛擬化市場上，VMware的占有率超過了85%，而作為VMware虛擬化和云計(jì)算的核心系統(tǒng)平臺，vSphere已經(jīng)成為虛擬化平臺的一個事實(shí)上的標(biāo)準(zhǔn)。2012年7月13日，VMware正式云基礎(chǔ)架構(gòu)套件，這標(biāo)志著VMware從虛擬化向云計(jì)算的全面轉(zhuǎn)型，其中的VMware vShield安全解決方案對云計(jì)算環(huán)境提供了全面的保護(hù)方案，但能否實(shí)現(xiàn)預(yù)期的效果，還有待市場的檢驗(yàn)?？傊瑇86平臺對于缺少更多技術(shù)支持的部門而言是不錯的選擇，首先平臺搭建相對快捷簡單、易于維護(hù)，其次又可以保持構(gòu)架的靈活性和可擴(kuò)展性。
相對分布式的x86架構(gòu)而言，以IBM的Power架構(gòu)為首的集中式構(gòu)架方式在關(guān)鍵性核心業(yè)務(wù)上有著更大的可靠性及穩(wěn)定性優(yōu)勢。很多人認(rèn)為，政府部門沒有那么多像很多大型企業(yè)那樣的對計(jì)算性能和技術(shù)支持要求較高的業(yè)務(wù)，Power架構(gòu)的優(yōu)勢有時候得不到體現(xiàn)。其實(shí)不然，隨著政務(wù)信息化的推進(jìn)，這幾年很多大規(guī)模的政府部門應(yīng)用系統(tǒng)陸續(xù)上線，這些業(yè)務(wù)應(yīng)用系統(tǒng)涉及的人員范圍、地域范圍都很大，影響面也很廣，而且業(yè)務(wù)也相對單一，對于這類重點(diǎn)業(yè)務(wù)，Power架構(gòu)將是不錯的選擇，它能更好的滿足業(yè)務(wù)的RAS（可靠性、可用性、穩(wěn)定性）要求。Power架構(gòu)所提供的虛擬化環(huán)境所使用的是IBM自己的PowerVM虛擬化軟件，這在系統(tǒng)穩(wěn)定性方面就有先天的優(yōu)勢，其先進(jìn)的自動化管理功能，可以使資源池達(dá)到良好的利用，最終形成自適應(yīng)、自服務(wù)的云計(jì)算基礎(chǔ)架構(gòu)。除了這些關(guān)鍵性業(yè)務(wù)，對數(shù)據(jù)庫領(lǐng)域而言Power架構(gòu)也具有更大的I/O吞吐量和穩(wěn)定優(yōu)勢，尤其是基于關(guān)系型數(shù)據(jù)庫的關(guān)鍵應(yīng)用。如果我們在x86架構(gòu)的橫向擴(kuò)展出現(xiàn)瓶頸時，再考慮向Power上進(jìn)行遷移，遷移所付出代價恐怕不止是新建一套Power虛擬機(jī)那么簡單了。當(dāng)然，Power架構(gòu)對云計(jì)算人才的要求是很高的，但是相對于那種大規(guī)模的x86云平臺，維護(hù)它所需要的人力資源卻少很多。就好比用一個在AIx系統(tǒng)及虛擬化方面技術(shù)很強(qiáng)的人維護(hù)1臺Power計(jì)算機(jī)和用10個技術(shù)一般的人維護(hù)10臺x86服務(wù)器一樣，到底那種方式更節(jié)約成本，更能很好的實(shí)現(xiàn)管理就只能靠自己判斷了。
我們都知道，云計(jì)算的最終目的是整合IT資源及應(yīng)用，使其發(fā)揮更大的效能。在政府部門也一樣，龐大的IT資源不僅耗資耗能巨大，對其很好的管理也是一個麻煩的問題。就筆者所在的單位而言，光服務(wù)器設(shè)備就有80多臺，加上為之服務(wù)的網(wǎng)絡(luò)及存儲設(shè)備就足足填滿了一個200平方的機(jī)房。 在進(jìn)行虛擬化改造建設(shè)之前，我們就單位信息化應(yīng)用的現(xiàn)狀分析，發(fā)現(xiàn)服務(wù)器架構(gòu)存著機(jī)器部分老化，故障率偏高；系統(tǒng)可用性、兼容性差；系統(tǒng)結(jié)構(gòu)復(fù)雜；運(yùn)行成本高；電力資源緊張；維護(hù)工作量大等等問題。
為了解決以上問題，我們決定使用虛擬化技術(shù)打造單位的云平臺?？紤]到單位這種已經(jīng)存在大量業(yè)務(wù)應(yīng)用的情況，我們在建設(shè)云計(jì)算平臺過程中采取了循序漸進(jìn)，避開關(guān)鍵業(yè)務(wù)，在不斷探索過程中逐步推進(jìn)的方式。根據(jù)如今政府的情況，一般都是自購服務(wù)器、各自有自己的信息中心負(fù)責(zé)運(yùn)維。很多部門為了保證業(yè)務(wù)的正常運(yùn)行，都花費(fèi)很大的資金在容災(zāi)備份之上，這當(dāng)中存在著諸多的浪費(fèi)，很多高端的服務(wù)器及存儲設(shè)備其實(shí)只用到了很少一部分的硬件系統(tǒng)資源，為了提高服務(wù)器的利用率，利用這部分高端硬件搭建云計(jì)算環(huán)境是對資源充分利用的一個好辦法。比如我們先可以利用原有的IT資源，搭建相對簡單的x86的云架構(gòu)，在這個過程中會遇到一些無法繞過的問題，比如數(shù)據(jù)遷移、數(shù)據(jù)的隔離和控制等等，通過一些具體實(shí)踐，我們可以同時積累部分云計(jì)算的人才和經(jīng)驗(yàn)，為今后全面推行云計(jì)算打下基礎(chǔ)。在關(guān)鍵性業(yè)務(wù)上， 我們可以直接部署IBM Power架構(gòu)，其實(shí)Power并不像很多人想象的那么高深，IBM為了幫助用戶快速構(gòu)架基于Power的云平臺，推出了從應(yīng)用出發(fā)的解決方案以提升用戶在應(yīng)用部署、日常維護(hù)方面的易操作性。不過，不能否認(rèn)的是，相比x86，Power平臺在后期維護(hù)、管理上還是要更難一些，需要更加專業(yè)的管理人員。我們的數(shù)據(jù)庫系統(tǒng)就是利用兩臺IBM小機(jī)進(jìn)行Power架構(gòu)的部署，實(shí)施期間，AIX系統(tǒng)及Power虛擬化軟件確實(shí)讓人頭疼不已，但一旦部署成功，其I/O大吞吐量，高穩(wěn)定性的特點(diǎn)也確實(shí)為用戶帶來了全新的體驗(yàn)。
對于云計(jì)算基礎(chǔ)架構(gòu)，套用一句老話：沒有最好，只有最合適。這點(diǎn)在政府機(jī)構(gòu)也同樣適用。不管是x86還是Power架構(gòu)，其實(shí)通用才是云平臺最核心的要求，只有滿足了能夠?qū)④浖渴鹪诓煌挠布拖到y(tǒng)上的要求，這才是真正意義上的云計(jì)算平臺。
參考文獻(xiàn)：
（中國民用航空華東地區(qū)空中交通管理局 上海 200335）
摘 要 鑒于傳統(tǒng)構(gòu)架的協(xié)同決策（CDM）系統(tǒng)不能適應(yīng)民航事業(yè)快速發(fā)展，提出建立基于云計(jì)算平臺的CDM系統(tǒng)。
首先概述了云計(jì)算的基本概念和主要特征，并總結(jié)了云計(jì)算的關(guān)鍵技術(shù)和基本架構(gòu)。之后，研究了對云計(jì)算拓?fù)湓O(shè)計(jì)算法，在樹形拓?fù)浣Y(jié)構(gòu)的基礎(chǔ)上對三種算法進(jìn)行了比較和選擇，確定方案為merge-MST。最后，完成云計(jì)算平臺的初步總體設(shè)計(jì)，并搭建仿真測試平臺，測試結(jié)果證明所設(shè)計(jì)的云計(jì)算CDM系統(tǒng)具有較好的性能。
關(guān)鍵詞 民航，協(xié)同決策系統(tǒng)，云計(jì)算
中圖分類號：TP392 文獻(xiàn)標(biāo)識碼：A
doi:10.3969/j.issn.1674-7933.2015.04.004
*基金項(xiàng)目：上海市2013 年“ 科技創(chuàng)新行動計(jì)劃”信息技術(shù)領(lǐng)域項(xiàng)目（13511504700） 。
作者簡介：葉云斐，1984 年生，本科，助理工程師，主要從事及研究領(lǐng)域：航空計(jì)算機(jī)信息管理，Email ：leaves616@126.com ；
陳曉建，研究生，高級工程師；
陳偉青，本科，工程師；
谷葉，研究生，助理工程師。
0 引言
近年來我國民航事業(yè)快速發(fā)展，航班延誤現(xiàn)象愈發(fā)嚴(yán)重。中國民用航空局的《2013年民航行業(yè)發(fā)展統(tǒng)計(jì)公報》顯示： 2013年不正常航班占比27.66%，旅客投訴率較2012年增長13.66%。華東區(qū)域經(jīng)濟(jì)發(fā)展迅速，人口密度大，以全國1/9的空域面積承載著1/3的航班流量，問題尤為顯著。以發(fā)展的眼光看問題，有必要依靠各方可靠、全面、實(shí)時的信息，采用高效合理的航班排序、放飛算法，充分利用空域時隙資源，協(xié)同決策（CDM）的概念應(yīng)運(yùn)而生。
民航華東空管局CDM系統(tǒng)于2012年12月上線運(yùn)行，系統(tǒng)基礎(chǔ)數(shù)據(jù)多，計(jì)算量大，對軟硬件資源要求高。以上海虹橋、浦東兩個機(jī)場為例，每天就有5 000多架航班起落，涉及空域航路點(diǎn)300~400個，各航路點(diǎn)又分3~4個高度層；在此基礎(chǔ)上，CDM系統(tǒng)必須結(jié)合實(shí)時的流量控制、氣象預(yù)報等信息反復(fù)計(jì)算調(diào)整，且任何時刻的航班重新規(guī)劃都會影響到一整條航路上與之相關(guān)的所有航班，使計(jì)算量成倍增加。隨著航空流量的逐年增加，CDM系統(tǒng)計(jì)算量也以指數(shù)方式快速增長。
現(xiàn)有系統(tǒng)采用傳統(tǒng)架構(gòu)設(shè)計(jì)，不能滿足前瞻性設(shè)計(jì)要求。理想的CDM系統(tǒng)架構(gòu)應(yīng)具有虛擬化、易擴(kuò)展、按需部署、高靈活性、高可靠性、高性價比的特點(diǎn)。本文提出一種基于云計(jì)算的CDM系統(tǒng)構(gòu)架，利用自動拓?fù)湓O(shè)計(jì)算法（merge-MST）設(shè)計(jì)網(wǎng)絡(luò)拓?fù)?，采用Hadoop開源管理軟件實(shí)現(xiàn)任務(wù)調(diào)度，最后通過仿真手段驗(yàn)證了該方案的可行性和適用性。
1 現(xiàn)有民航CDM系統(tǒng)的不足
協(xié)同決策是一種技術(shù)手段，更是一種基于資源共性和信息交互的多主體（空管、機(jī)場、航空公司等）聯(lián)合協(xié)作運(yùn)行模式。華東空管局CDM系統(tǒng)從各個參與單位引接實(shí)時航班數(shù)據(jù)，建立塔臺電子進(jìn)程單系統(tǒng)、A-CDM系統(tǒng)、飛行計(jì)劃處理系統(tǒng)等，并形成三大客戶端——流量管理客戶端、塔臺客戶端和公司機(jī)場客戶端，系統(tǒng)構(gòu)成如圖1所示。
`該系統(tǒng)基于傳統(tǒng)的關(guān)系型數(shù)據(jù)庫，以塔臺電子進(jìn)程單為例，架構(gòu)示意圖如圖2所示。盡管其成熟度高、可靠性好，但隨著數(shù)據(jù)量逐漸增大，數(shù)據(jù)范圍逐漸拓寬，其存儲和查詢效率已不能滿足需求。
2 云計(jì)算平臺及其架構(gòu)設(shè)計(jì)
2.1 定義和特點(diǎn)
云計(jì)算是一種新的計(jì)算模式，由分布式計(jì)算、并行計(jì)算和網(wǎng)格計(jì)算的發(fā)展而來。其后臺大量采用虛擬機(jī)，并通過互聯(lián)網(wǎng)形成資源池。這些虛擬資源可以根據(jù)不同的負(fù)載動態(tài)重新配置，快速并以最小的管理代價提供服務(wù)[1]。從用戶角度看，云計(jì)算具有可靠的存儲技術(shù)和嚴(yán)格的權(quán)限策略，可為客戶提供安全可靠的數(shù)據(jù)存儲中心；對用戶端的設(shè)備要求低，支持手機(jī)、平板電腦等無線通信設(shè)備；可實(shí)現(xiàn)不同設(shè)備間的數(shù)據(jù)、應(yīng)用共享。
從硬件的角度看，云計(jì)算高度靈活，可按需投入或釋放硬件資源，從而提高整體利用率。2.2 類型
云計(jì)算按其服務(wù)層次分為三類[2]，如圖3所示：
1)基礎(chǔ)設(shè)施即服務(wù)（IaaS，infrastructure as a service）
在虛擬化技術(shù)的支持下，利用廉價計(jì)算機(jī)實(shí)現(xiàn)大規(guī)模集群運(yùn)算能力，同時按需配置，為用戶提供個性化的基礎(chǔ)設(shè)施服務(wù)。此類型的典型代表有亞馬遜云計(jì)算AWS（Amazon Web Services）、IBM藍(lán)云等。
2) 平臺即服務(wù)（PaaS，platform as a service）
提供的服務(wù)是開發(fā)環(huán)境，允許用戶使用中間商提供的設(shè)備開發(fā)自己的程序。此類型的典型代表有GoogleApp Engine（GAE）等。
3) 軟件即服務(wù)（SaaS，software as a service）
通過Internet直接提供運(yùn)行在云計(jì)算設(shè)備上的應(yīng)用程序。用戶無需考慮基礎(chǔ)設(shè)施及軟件授權(quán)等內(nèi)容。此類型的典型代表有Salesforce公司的CRM服務(wù)、ZohoOffi ce、Webex等。
2.3 關(guān)鍵技術(shù)
云計(jì)算作為一種集群計(jì)算和服務(wù)模式，運(yùn)用了多種計(jì)算機(jī)技術(shù)，以編程模型、數(shù)據(jù)存儲管理、虛擬化最為關(guān)鍵。
1) 編程模型
Google提出的Map-Reduce[3]是一種流行的云計(jì)算編程模式，Map（映射）程序?qū)?shù)據(jù)分割成不相關(guān)的數(shù)據(jù)塊，Reduce（化簡）程序則將將數(shù)據(jù)處理的中間結(jié)果進(jìn)行歸并，如圖4所示。Map-Reduce可將海量異構(gòu)數(shù)據(jù)的分析處理工作分解成任意粒度的子任務(wù)，并允許在多個計(jì)算節(jié)點(diǎn)之間進(jìn)行靈活的數(shù)據(jù)調(diào)度，此外，程序員無需關(guān)心數(shù)據(jù)塊的分配和調(diào)度，該部分工作由平臺自動完成。
2) 數(shù)據(jù)存儲管理
云計(jì)算采用分布式的方法存儲和管理數(shù)據(jù)，并利用冗余存儲保證數(shù)據(jù)的可靠性，常用技術(shù)有Google的GFS及Hadoop團(tuán)隊(duì)的HDFS[4]，其中后者是前者的開源實(shí)現(xiàn)。
GFS系統(tǒng)架構(gòu)如圖5所示，整個系統(tǒng)節(jié)點(diǎn)分三類：Client（客戶端）是GFS提供給應(yīng)用程序的訪問接口、Master（主服務(wù)器）是管理節(jié)點(diǎn)， Chunk Server（數(shù)據(jù)塊服務(wù)器）則負(fù)責(zé)具體工作。Chunk Server可有多個，每個Chunk對應(yīng)一個索引號（Index）。作為對比，HDFS體系結(jié)構(gòu)如圖6所示。
云計(jì)算的數(shù)據(jù)管理需滿足大規(guī)模海量數(shù)據(jù)的計(jì)算和分析，大多采用列存儲的數(shù)據(jù)管理模式?，F(xiàn)有技術(shù)中最主流的是Google的BigTable，Google對BigTable給出了如下定義：BigTable是一種為了管理結(jié)構(gòu)化數(shù)據(jù)而設(shè)計(jì)的分布式存儲系統(tǒng)，這些數(shù)據(jù)可以擴(kuò)展到非常大的規(guī)模。此外，Hadoop團(tuán)隊(duì)也開發(fā)了類似BigTable的開源產(chǎn)品HBase和Hive。
3) 虛擬化技術(shù)
虛擬化技術(shù)是云計(jì)算區(qū)別于一般并行計(jì)算的根本性特點(diǎn)，其實(shí)質(zhì)是實(shí)現(xiàn)軟件應(yīng)用與底層硬件相隔離，把物理資源變成邏輯可管理資源。目前云計(jì)算中虛擬化技術(shù)主要包括將單個資源劃分成多個虛擬資源的裂分模式，也包括將多個資源整合成一個虛擬資源的聚合模式。根據(jù)對象又可分為存儲虛擬化、計(jì)算虛擬化、應(yīng)用級虛擬化等等。
將虛擬化的技術(shù)應(yīng)用到云計(jì)算平臺，使得云計(jì)算具有靈活的進(jìn)程遷移方式，更有效的使用主機(jī)資源，在部署上也更加靈活。
2.4 架構(gòu)設(shè)計(jì)
云計(jì)算體系結(jié)構(gòu)的特點(diǎn)包括：設(shè)備眾多、規(guī)模大、采用虛擬機(jī)技術(shù)、任意地點(diǎn)、多種設(shè)備匯集，并可以定制服務(wù)質(zhì)量等等。文獻(xiàn)[5]提出了一種面向市場應(yīng)用的云計(jì)算體系結(jié)構(gòu)，如圖7所示：
1) 用戶：用戶可以在任意地點(diǎn)提交服務(wù)請求；
2) SLA資源分配器：充當(dāng)云后端和用戶之間的接口，包括服務(wù)請求檢測和接納控制模塊、計(jì)價模塊、會計(jì)模塊、VM監(jiān)視器模塊、分發(fā)器模塊和服務(wù)請求監(jiān)視器模塊；
3) 虛擬機(jī)（VMs）：為實(shí)現(xiàn)在一臺物理機(jī)上的多個服務(wù)提供最大彈性的資源分配；
4) 物理設(shè)備：包括服務(wù)器、存儲設(shè)備及路由器等。
基于云計(jì)算平臺的華東CDM系統(tǒng)還處于初步研究階段，采用本架構(gòu)進(jìn)行初步設(shè)計(jì)及仿真驗(yàn)證。
3 云計(jì)算網(wǎng)絡(luò)拓?fù)湓O(shè)計(jì)
云計(jì)算系統(tǒng)后端的網(wǎng)絡(luò)由大量服務(wù)器組成，分布廣泛，復(fù)雜度高。要保證數(shù)據(jù)的暢通傳輸，需要設(shè)計(jì)一個合理高效的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)。
首先，為保證管理擴(kuò)展和維護(hù)的方便，將云計(jì)算系統(tǒng)分成多個子網(wǎng)，各子網(wǎng)采用樹形拓?fù)浣Y(jié)構(gòu)，如圖8所示。在此基礎(chǔ)上，把每個子網(wǎng)看成一個節(jié)點(diǎn)，各個節(jié)點(diǎn)具備流量、交換能力、地理位置等屬性，將云計(jì)算網(wǎng)絡(luò)拓?fù)涑橄蟪蓤D論數(shù)學(xué)模型。如何連接各個節(jié)點(diǎn)，才能即滿足冗余度要求，又盡可能降低網(wǎng)絡(luò)架設(shè)花銷已被證明為NP-hard[6][7]，故只能求解近似最優(yōu)解。此類問題的解法有兩種，一種是在限定網(wǎng)絡(luò)花銷的情況下最大化網(wǎng)絡(luò)的抗毀能力[8]，另一種是在保證網(wǎng)絡(luò)一定抗毀能力的條件下盡可能減小花銷[7]，本文按照后者進(jìn)行設(shè)計(jì)。
在圖論領(lǐng)域，該問題可簡化為求解特定連通度k時最小生成子圖的問題，本文主要考慮基于圖論的k-FOREST算法[9]、merge-MST算法[10]和啟發(fā)式算法TEA[7]。通過理論推導(dǎo)，三種算法的時間復(fù)雜度如表1所示，其中TMST=O(m?logm)或O(n2),m代表圖邊數(shù)，n代表點(diǎn)數(shù)。
本文
參考文獻(xiàn)[11]的仿真手段對三種算法進(jìn)行比較，考慮7、10、15、25個節(jié)點(diǎn)的場景，得到平均邊數(shù)和平均花銷的比較示意圖如圖9、10所示。
通過比較可看出，在節(jié)點(diǎn)數(shù)目較少時TEA算法表現(xiàn)最佳，但隨著節(jié)點(diǎn)數(shù)目增多性能迅速下降；在節(jié)點(diǎn)數(shù)多于20個時，則是merge-MST算法更優(yōu)。
考慮到CDM系統(tǒng)規(guī)模龐大，僅華東區(qū)域就需要計(jì)算機(jī)點(diǎn)80~100個，故選取merge-MST進(jìn)行網(wǎng)絡(luò)架構(gòu)的設(shè)計(jì)。
4 總方案設(shè)計(jì)
基于云計(jì)算架構(gòu)的CDM系統(tǒng)，依托中心節(jié)點(diǎn)、區(qū)域節(jié)點(diǎn)和業(yè)務(wù)集中節(jié)點(diǎn)，整合分布的物理資源，形成統(tǒng)一的可調(diào)配的邏輯資源。總方案結(jié)構(gòu)如圖11所示。包括基礎(chǔ)設(shè)施、虛擬資源層、信息共享云平臺層，應(yīng)用層以及貫穿始終的安全層和管理層。
1) 基礎(chǔ)設(shè)施層：既包括支持民航CDM系統(tǒng)運(yùn)行所必需的基礎(chǔ)設(shè)施，也包括行業(yè)內(nèi)可整合入CDM系統(tǒng)的其他設(shè)施。
2) 虛擬資源層：采用云計(jì)算技術(shù)，整合分布的硬件資源，形成資源池，靈活調(diào)配提供服務(wù)。
3) 云平臺層：涵蓋管理底層資源、支撐上層應(yīng)用的各個軟件和模塊，包括平臺管理、負(fù)載均衡、中間件、業(yè)務(wù)流程管理軟件等等。
4) 應(yīng)用層：將CDM系統(tǒng)功能進(jìn)行最后一步封裝后提供給用戶。
5) 安全層：負(fù)責(zé)整個CDM系統(tǒng)的安全。
6) 管理層：管理整個CDM系統(tǒng)運(yùn)行配置，包括資源管理、網(wǎng)絡(luò)監(jiān)控、部署管理、內(nèi)容管理以及用戶管理等，監(jiān)控硬件、軟件等多個層次，提高整體運(yùn)行效率。
5 系統(tǒng)測試與應(yīng)用
為驗(yàn)證所設(shè)計(jì)方案的可行性，并測試方案性能，本文搭建了測試環(huán)境，針對CDM系統(tǒng)多項(xiàng)業(yè)務(wù)進(jìn)行了測試。
CDM系統(tǒng)主要業(yè)務(wù)涵蓋協(xié)同決策系統(tǒng)、流量管理系統(tǒng)、統(tǒng)一飛行計(jì)劃處理系統(tǒng)和塔臺電子進(jìn)程單系統(tǒng)。其中協(xié)同決策系統(tǒng)為頂層系統(tǒng)；流量管理系統(tǒng)幫助最大限度利用空中交通服務(wù)的容量；統(tǒng)一飛行計(jì)劃處理系統(tǒng)負(fù)責(zé)接收、處理和飛行計(jì)劃；塔臺電子進(jìn)程單系統(tǒng)則協(xié)助塔臺管制員管制飛機(jī)的起降。
5.1 硬件環(huán)境
云計(jì)算集群設(shè)有3個master節(jié)點(diǎn)，18個slave節(jié)點(diǎn)，各節(jié)點(diǎn)均是基于X86架構(gòu)的PC機(jī)。PC機(jī)配置如表2所示。
所有測試主機(jī)均連接在千兆網(wǎng)絡(luò)中，網(wǎng)絡(luò)環(huán)境中不存在其他設(shè)備，干擾因素可忽略不計(jì)。
5.2 軟件環(huán)境
測試采用Hadoop團(tuán)隊(duì)開發(fā)的開源軟件，版本如表3所示。
5.3 測試結(jié)果
通過編寫程序，在測試環(huán)境中進(jìn)行電報處理、雷達(dá)軌跡處理、氣象與情報處理、橋位信息處理、航班信息、數(shù)據(jù)查詢以及協(xié)同航班處理等壓力測試，平均日最大處理?xiàng)l目數(shù)量如表4所示。
測試結(jié)果表明：云計(jì)算平臺計(jì)算能力強(qiáng)，能夠彌補(bǔ)現(xiàn)有民航CDM系統(tǒng)的不足，可滿足華東地區(qū)CDM系統(tǒng)前瞻性設(shè)計(jì)要求。
6 結(jié)束語
本文針對華東地區(qū)巨大的航班吞吐量，提出了一套基于云計(jì)算平臺的CDM系統(tǒng)設(shè)計(jì)方案。通過測試驗(yàn)證，該系統(tǒng)架構(gòu)具備良好的計(jì)算能力和業(yè)務(wù)處理能力，使用靈活，更滿足系統(tǒng)安全可靠、成本低、易拓展的需求。
基于云計(jì)算的華東空管CDM系統(tǒng)是現(xiàn)有CDM系統(tǒng)的發(fā)展方向，將在2015年開始詳細(xì)設(shè)計(jì)。
參考文獻(xiàn)
Vaquero L, Rodero-Marino L.Caceres J. et al. A break in theclouds: towards a cloud defi nition[J]. SIGCOMM ComputerCommunication Review. 2009,3(1): 50-55.
UC Berkeley 可靠自適應(yīng)分布式系統(tǒng)實(shí)驗(yàn)室, 姚宏宇譯. 云端之上——Berkeley對云計(jì)算的看法. 2009.
J. Dean, S. Ghemawat, MapReduce: Simplified DataProcessing on Large Cluster[C], OSDI’04, Sixth Symposiumon Operating System Design and Implementation, SanFrancisco, CA, December, 2004.
Sanjay Ghemawat, Howard Gobioff, Shun-Tak Leung.The Google File System[C]. Proceedings of 19th ACMSymposium on Operating Systems Principles. 2003, 37(5):20~43.
R. Buyya, C.S. Yeo, S. Venugopal, Market-OrientedCloud Computing: Vision, Hype, and Reality for DeliveringIT Services as Computing Utilities [C], The 10th IEEEInternational Conference on High Performance Computingand Communications.
S. Pierre, G. Legault, A Genetic Algorithm for DesigningDistribute Computer Network Topologies[J], IEEE Trans.Man, Systems, and Cybernetics, 28(2), 1998: 249-258.
E. Szlachcic, Fault Tolerant Topological Design for ComputerNetworks[C], Proceedings of the international Conferenceon Dependability of Computer Systems, DepCos-RELCOMEX’06.
F.M. Shao, X. Shen, and P.H. Ho. Reliability Optimization ofDistributed Access Networks with Constrained Total Cost[J],IEEE Trans. Reliability, 2005,54:412-430.
H. Nagamochi, T. Ibaraki, A linear-time algorithm for fi ndinga sparse k-connected spanning subgraph of a k-connectedgraph [J], Algorithmica 7, 1992, (7): 583-596.
【關(guān)鍵詞】云計(jì)算；電力數(shù)據(jù)中心；基礎(chǔ)架構(gòu)；關(guān)鍵技術(shù)
信息集成作為消除電力企業(yè)信息的孤島，它使信息可以實(shí)現(xiàn)共享，并且可以為其提供進(jìn)行決策支持的關(guān)鍵技術(shù)，而數(shù)據(jù)中心是實(shí)現(xiàn)信息集成的重要前提，在其中具有非常重要的學(xué)術(shù)價值以及應(yīng)用價值。數(shù)據(jù)中心也是在近期內(nèi)一直被廣泛關(guān)注和研究的重點(diǎn)，也是電力企業(yè)在對研制智能電網(wǎng)以及規(guī)劃智能電網(wǎng)的過程中面臨的重要的問題。為了順利的實(shí)現(xiàn)信息共享和系統(tǒng)集成應(yīng)用，電力企業(yè)在現(xiàn)階段正大力的構(gòu)建智能電網(wǎng)系統(tǒng)中心和電力調(diào)度系統(tǒng)中心完全統(tǒng)一的數(shù)據(jù)平臺，企業(yè)信息平臺以及配電網(wǎng)系統(tǒng)的信息集成平臺等。
1 現(xiàn)存的電力數(shù)據(jù)中心
現(xiàn)存的電力數(shù)據(jù)中心具有的功能主要包含獲取數(shù)據(jù)、管理數(shù)據(jù)、存儲數(shù)據(jù)以及訪問數(shù)據(jù)等。數(shù)據(jù)獲取層可以對營銷管理、協(xié)同辦公、安全生產(chǎn)、物資管理、人力資源、項(xiàng)目管理以及綜合管理等業(yè)務(wù)數(shù)據(jù)進(jìn)行提取和轉(zhuǎn)換，使其可以被轉(zhuǎn)換成為規(guī)范的、科學(xué)的基礎(chǔ)數(shù)據(jù)，并把這些數(shù)據(jù)合理有效的加載到數(shù)據(jù)庫。對數(shù)據(jù)進(jìn)行儲存的管理層需要ETL數(shù)據(jù)庫，從而逐漸的形成具有多維度分析的核心數(shù)據(jù)，并把這些數(shù)據(jù)合理有效的儲存在數(shù)據(jù)庫，從而順利的實(shí)現(xiàn)對數(shù)據(jù)編碼和元數(shù)據(jù)的管理。數(shù)據(jù)訪問層的主要職責(zé)是在展示界面的過程中為其提供統(tǒng)一的、有效的數(shù)據(jù)，進(jìn)而讓統(tǒng)計(jì)查詢、分析聯(lián)機(jī)決策輔助以及挖掘數(shù)據(jù)等功能得以順利的實(shí)現(xiàn)。
各個電力公司以及直屬單位的數(shù)據(jù)都需要按照國家電網(wǎng)公司所規(guī)定的特殊設(shè)計(jì)，在完全滿足基礎(chǔ)功能與關(guān)鍵指標(biāo)的前提下，按照自身的生產(chǎn)安全和設(shè)備管理等一些特殊的業(yè)務(wù)特征以及需求進(jìn)行建設(shè)。由于各省的電力系統(tǒng)間一直具有著很大的差異，在對數(shù)據(jù)中心進(jìn)行建設(shè)時，電力系統(tǒng)的一些特殊軟件（網(wǎng)絡(luò)、環(huán)境調(diào)節(jié)、存儲、電力、服務(wù)器以及監(jiān)控等）之間不可避免的具有很大的差別。除此之外，在對軟件設(shè)施、硬件設(shè)施以及數(shù)據(jù)安全等進(jìn)行系統(tǒng)的維護(hù)和管理的過程中還必須要選用不同的管理技術(shù)，隨著管理工具的不斷增加以及管理設(shè)計(jì)存在缺陷，所以就導(dǎo)致了缺乏管理經(jīng)驗(yàn)和管理過程復(fù)雜等問題的出現(xiàn)，這樣就導(dǎo)致在對數(shù)據(jù)中心進(jìn)行維護(hù)和管理時成本較高。
2 基于云計(jì)算的電力數(shù)據(jù)中心
2.1 電力系統(tǒng)云計(jì)算數(shù)據(jù)中心的基礎(chǔ)架構(gòu)
選用云計(jì)算的技術(shù)對現(xiàn)存的電力數(shù)據(jù)中心進(jìn)行改善，構(gòu)建出逐漸向智能電網(wǎng)發(fā)展的新型的電力數(shù)據(jù)中心。在基礎(chǔ)的設(shè)施層，利用虛擬機(jī)監(jiān)視器和虛擬化平臺對一些相關(guān)的硬件設(shè)備（存儲設(shè)備、網(wǎng)絡(luò)設(shè)備和服務(wù)器）實(shí)行虛擬化，對相關(guān)的電力公司和直屬企業(yè)間存在著差異的設(shè)施給予屏蔽，把虛擬機(jī)當(dāng)成單位對其進(jìn)行全面的、科學(xué)的自動化管理，主要包括了抽象資源、管理安全、管理負(fù)載、部署資源以及監(jiān)控資源等，它既能讓資源利用率有所提升，還能夠使相關(guān)的管理維護(hù)人員對服務(wù)器等系統(tǒng)和硬件設(shè)施等管理工作得以徹底的擺脫，一定要認(rèn)真的對系統(tǒng)業(yè)務(wù)以及虛擬機(jī)進(jìn)行維護(hù)，從而讓數(shù)據(jù)中心的管理工作以及維護(hù)工作得到簡化。
2.2 實(shí)時遷移
在電力數(shù)據(jù)中心，服務(wù)器是非常關(guān)鍵的硬件設(shè)施，它的資源利用效率對電力數(shù)據(jù)中心具有的性能有著直接的影響。通過對其進(jìn)行調(diào)查研究可知，目前企業(yè)數(shù)據(jù)中心的大量x86服務(wù)器僅運(yùn)行一個應(yīng)用，而CPU的利用率則為百分之五到百分之二十之間。通過可靠性以及性能以及對其進(jìn)行考慮，現(xiàn)存的數(shù)據(jù)中心業(yè)務(wù)系統(tǒng)大多數(shù)都是運(yùn)行在不同的服務(wù)器上的，例如，項(xiàng)目管理系統(tǒng)以及綜合管理系統(tǒng)都運(yùn)行在自己獨(dú)立的服務(wù)器上，但是服務(wù)器自身具備著資源利用效率很低的弊端。在新型的電力數(shù)據(jù)中心，對服務(wù)器進(jìn)行虛擬化，使單一的服務(wù)器通過進(jìn)行虛擬化，被分為很多虛擬機(jī)，從而使服務(wù)器資源利用的效率得到提高。
在使服務(wù)器的利用效率得到提高的同時，應(yīng)該把性能開銷以及可靠性的問題解決。對可靠性進(jìn)行解決的有效手段為采取隔離的手段，在服務(wù)器上具有若干個虛擬機(jī)實(shí)例的基礎(chǔ)上，必須確保每個虛擬機(jī)之間是完全被隔離的，換句話說，就是如果其中的某個虛擬機(jī)遭受崩潰，不會影響到其他的虛擬機(jī)，使之可以從故障中及時有效的得到恢復(fù)，從而使服務(wù)器資源利用的效率得到提高。
3 云計(jì)算電力數(shù)據(jù)中心的遷移策略
對電力數(shù)據(jù)中心進(jìn)行設(shè)計(jì)和建設(shè)的過程是非常重要的系統(tǒng)工程。目前的數(shù)據(jù)中心都是利用國家電網(wǎng)公司的規(guī)定進(jìn)行統(tǒng)一的設(shè)計(jì)建設(shè)的，但是因?yàn)槊總€地方的系統(tǒng)業(yè)務(wù)應(yīng)用、信息化水平以及成熟程度之間的差異，讓電力數(shù)據(jù)中心在建設(shè)的過程中自身具備著獨(dú)特的特征，虛擬化技術(shù)也慢慢的被引入到一些電力數(shù)據(jù)中心，初步具有了云計(jì)算的能力，但是大多數(shù)的電力企業(yè)依舊停留在以往傳統(tǒng)的數(shù)據(jù)中心水平，遠(yuǎn)遠(yuǎn)不能達(dá)到智能電網(wǎng)中全新的數(shù)據(jù)中心對大量的數(shù)據(jù)儲存、高可靠性、可伸縮性、高效計(jì)算以及高可用性的需求。
提出了現(xiàn)存電力數(shù)據(jù)云計(jì)算中心通過分階段對其進(jìn)行遷移的策略，以此對其得以平穩(wěn)過渡進(jìn)行保障。第一，對所有的電力公司以及公司總部的數(shù)據(jù)中心進(jìn)行系統(tǒng)的升級，使其能夠慢慢的升級到云節(jié)點(diǎn)。虛擬化電力數(shù)據(jù)中心的基礎(chǔ)設(shè)施，使服務(wù)器的可拓展性、可用性以及彈性得到提升，對其進(jìn)行系統(tǒng)的升級以及改造，讓它可以成為建立在云計(jì)算基礎(chǔ)上的數(shù)據(jù)中心，也就是人們所說的云節(jié)點(diǎn)。第二，對系統(tǒng)中的所有云節(jié)點(diǎn)進(jìn)行連接，使其形成電力公司的私有云。全部的電力數(shù)據(jù)中心在構(gòu)建成可用性高以及可拓展的云節(jié)點(diǎn)以后，需要把全部的云節(jié)點(diǎn)進(jìn)行有效的連接，從而形成具有多中心性能的私有云。
4 結(jié)語
本文通過研究和分析虛擬化服務(wù)器、實(shí)時遷移以及Hadoop等關(guān)鍵的技術(shù)，提出了電力企業(yè)云計(jì)算數(shù)據(jù)的整體架構(gòu)，設(shè)計(jì)出了構(gòu)建在Hadoop基礎(chǔ)之上的電力數(shù)據(jù)云計(jì)算中心平臺，使之可以與新一代數(shù)據(jù)中心在發(fā)展過程中的趨勢相適應(yīng)，并完全滿足智能電網(wǎng)的要求。云計(jì)算作為一種新型的技術(shù)，其虛擬化、資源管理、體系結(jié)構(gòu)以及數(shù)據(jù)存儲等問題還需要進(jìn)一步的對其進(jìn)行研究。
參考文獻(xiàn)：
[1]潘毅,周京陽,李強(qiáng),米為民,樊濤.基于公共信息模型的電力系統(tǒng)模型的拆分與合并[J].電力系統(tǒng)自動化,2003(15).
[2]王志南,吳文傳,張伯明,何云良,孫宏斌,汪皓,徐文.基于IEC 61970的CIS服務(wù)與SVG的研究和實(shí)踐[J].電力系統(tǒng)自動化,2005(22).
[3]孫澤鋒.云計(jì)算在電網(wǎng)企業(yè)的應(yīng)用與信息安全[A].中國通信學(xué)會信息通信網(wǎng)絡(luò)技術(shù)委員會2011年年會論文集（上冊）[C].2011.
關(guān)鍵詞： 云計(jì)算； 橋梁安全與健康監(jiān)測； 數(shù)據(jù)中心； 數(shù)據(jù)管理技術(shù)
中圖分類號：TP391 文獻(xiàn)標(biāo)志碼：A 文章編號：1006-8228（2013）12-18-04
Basic architecture and data management technology of bridge safety and health
monitoring data center based on cloud computing
Tu Huimin1，2， Wu Jufeng1，2
（1. Wuhan Bridge Science Research Institute（BSRI） Ltd.MBEC， Wuhan， Hubei 430034， China；
2. Key laboratory of bridge structure and health of Hubei province）
Abstract： With the development of bridge safety&health monitoring data center （BSHM-DC） technology， the monitoring data is increased rapidly in exponential speed， which requires the data storage and management technology of data center to be more intelligent and efficient. In this paper， the data management technology and developing trend of BSMS-DC is put forward firstly. After illustrating the basic architecture of BSHM-DC on the basis of cloud computing， the selections of key devices and related software are discussed. Lastly， its application expectation of BSHM-DC is prospected.
Key words： cloud computing； bridge safety &health monitoring （BSHM）； data center（DC）； data management technology
0 引言
橋梁安全與健康監(jiān)測系統(tǒng)是通過在橋梁的關(guān)鍵部位布置高可靠性和耐久性的各類傳感器，對結(jié)構(gòu)內(nèi)力、變形、動力特性、環(huán)境狀況進(jìn)行實(shí)時監(jiān)測，獲取橋梁在營運(yùn)期內(nèi)受各種荷載作用下的結(jié)構(gòu)響應(yīng)，通過理論計(jì)算和規(guī)范值與實(shí)測值的對比、分析，實(shí)現(xiàn)結(jié)構(gòu)異常響應(yīng)報警、結(jié)構(gòu)營運(yùn)安全性評估、結(jié)構(gòu)損傷識別等。由于該系統(tǒng)7*24小時不間斷檢測，所采集的數(shù)據(jù)量飛速增長。在面對多座橋梁監(jiān)測系統(tǒng)集成管理的情況下通常采用直聯(lián)式數(shù)據(jù)存儲方式，其數(shù)據(jù)的存儲能力、數(shù)據(jù)管理難度、數(shù)據(jù)安全，以及存儲資源的利用等，都難以滿足系統(tǒng)設(shè)計(jì)需求。
云計(jì)算可以滿足新一代數(shù)據(jù)中心對網(wǎng)絡(luò)、存儲和計(jì)算的業(yè)務(wù)需求，并能提供豐富的應(yīng)用服務(wù)，是新一代數(shù)據(jù)中心的核心要素[1-2]。本文通過引入云計(jì)算的基礎(chǔ)架構(gòu)，建立了基于云計(jì)算的橋梁安全與健康監(jiān)測數(shù)據(jù)中心，將分散在全國各地的監(jiān)測系統(tǒng)數(shù)據(jù)進(jìn)行集中可靠的存儲與管理，并通過云計(jì)算數(shù)據(jù)中心向用戶提供高效、安全的服務(wù)。
1 橋梁安全與健康監(jiān)測數(shù)據(jù)中心建設(shè)的現(xiàn)狀
隨著在役橋梁安全與健康監(jiān)測建設(shè)的發(fā)展，橋梁安全與健康監(jiān)測系統(tǒng)中海量數(shù)據(jù)的存儲與有效利用日顯重要，并成為在役系統(tǒng)普遍關(guān)注的一個重點(diǎn)。一個中等橋梁安全與健康監(jiān)測系統(tǒng)數(shù)據(jù)日增長量在3GB/天左右，一年有1.1TB增量的數(shù)據(jù)，數(shù)據(jù)的維護(hù)管理主要依賴系統(tǒng)管理員定期執(zhí)行，數(shù)據(jù)管理的實(shí)施方式難以統(tǒng)一。隨著數(shù)據(jù)量的增加，數(shù)據(jù)管理工作量、管理難度及管理成本成倍增加，數(shù)據(jù)也得不到有效利用。
橋梁安全與健康監(jiān)測數(shù)據(jù)中心引入云計(jì)算，可將業(yè)務(wù)數(shù)據(jù)和應(yīng)用在公有云和私有云之間同步，當(dāng)數(shù)據(jù)中心構(gòu)建的私有云出現(xiàn)故障，應(yīng)用可以無縫遷移到公有云中。通過云計(jì)算將分散在全國各地的業(yè)務(wù)系統(tǒng)數(shù)據(jù)通過INTERNET進(jìn)行集中存儲與管理，可向橋梁技術(shù)研究者提供數(shù)據(jù)共享服務(wù)分析橋梁健康監(jiān)測海量數(shù)據(jù)；橋梁管理單位即使不具備橋梁專業(yè)技術(shù)知識也可以在任何地方、任何時間監(jiān)測到橋梁的實(shí)際運(yùn)營狀況，獲得橋梁健康監(jiān)測報告及橋梁營運(yùn)安全性評估等服務(wù)并實(shí)時反饋專家意見，大大提高了橋梁管養(yǎng)效率。
基于云計(jì)算的橋梁安全與健康監(jiān)測數(shù)據(jù)中心建設(shè)分兩部分，一部分是集成中心，另一部分是分散在全國各地的分中心。集成中心的數(shù)據(jù)增長量在10GB/天，分中心的數(shù)據(jù)增長量在3GB/天左右，增長量會隨著業(yè)務(wù)量的增加而增加。集成中心利用云計(jì)算技術(shù)對服務(wù)器、存儲、網(wǎng)絡(luò)等IT資源進(jìn)行虛擬化，將所有的IT資源放在一個資源池中并進(jìn)行動態(tài)資源管理，對IT資源進(jìn)行監(jiān)管和云管理。當(dāng)資源池中分配給某個橋梁安全與健康監(jiān)測系統(tǒng)的資源出現(xiàn)故障或者該系統(tǒng)獲得的資源不夠用的時候，云管理平臺會自動分配給它新的資源，從而保證系統(tǒng)7*24小時不間斷運(yùn)行。
分中心的數(shù)據(jù)通過公共Internet網(wǎng)絡(luò)與集成中心組成云網(wǎng)絡(luò)，數(shù)據(jù)進(jìn)行同步，在集成中心對數(shù)據(jù)進(jìn)行異地容災(zāi)備份。集成中心有兩份數(shù)據(jù)，一份數(shù)據(jù)面向橋梁安全與健康監(jiān)測系統(tǒng)（數(shù)據(jù)庫A），一份數(shù)據(jù)是完全備份數(shù)據(jù)（數(shù)據(jù)庫B）。我們主要考慮如何優(yōu)化實(shí)時數(shù)據(jù)讀取和歷史數(shù)據(jù)查詢。數(shù)據(jù)庫B中保留所有數(shù)據(jù)，數(shù)據(jù)庫A只保留最近1周的數(shù)據(jù)；業(yè)務(wù)系統(tǒng)實(shí)時讀取的是數(shù)據(jù)庫A中的數(shù)據(jù)，而查詢一周之前的數(shù)據(jù)就讀取數(shù)據(jù)庫B中的數(shù)據(jù)。
圖1 分中心數(shù)據(jù)庫結(jié)構(gòu)與操作
2 關(guān)鍵技術(shù)
云計(jì)算（Clouding Computing）由Google、Amazon等公司于2006年首先提出，它是一種利用互聯(lián)網(wǎng)實(shí)現(xiàn)隨時隨地、按需、便捷地訪問共享資源池（如計(jì)算設(shè)施、存儲設(shè)備、應(yīng)用程序等）的計(jì)算模式[3]。我國政府高度重視對云計(jì)算的發(fā)展，把其列為重點(diǎn)發(fā)展的戰(zhàn)略性新興產(chǎn)業(yè)[4-5]，云計(jì)算技術(shù)的應(yīng)用已成為國內(nèi)外的熱點(diǎn)研究問題[6-8]。
基于云計(jì)算的橋梁安全與健康監(jiān)測數(shù)據(jù)中心的建設(shè)所需專業(yè)涉及面較廣，如橋梁專業(yè)、網(wǎng)絡(luò)通信專業(yè)、計(jì)算機(jī)專業(yè)等。本節(jié)著重討論其在計(jì)算機(jī)領(lǐng)域內(nèi)實(shí)現(xiàn)云計(jì)算數(shù)據(jù)中心的關(guān)鍵技術(shù)。
2.1 虛擬化技術(shù)
虛擬化技術(shù)能讓所有計(jì)算元件在虛擬的基礎(chǔ)上運(yùn)行，是實(shí)現(xiàn)云計(jì)算數(shù)據(jù)中心不可缺少的功能。通過把有限的固定的資源根據(jù)不同需求進(jìn)行重新規(guī)劃以達(dá)到最大利用率的思路，在IT領(lǐng)域就叫虛擬化技術(shù)[9-10]（Virtual Technology）。這種解決方案能在很大程度上優(yōu)化資源、節(jié)約成本。虛擬化技術(shù)包括計(jì)算虛擬化技術(shù)、網(wǎng)絡(luò)虛擬化技術(shù)、存儲虛擬化技術(shù)。系統(tǒng)虛擬化前后的特點(diǎn)如表1所述。
表1 虛擬化前后特點(diǎn)比較
[虛擬化前＼&虛擬化后＼&每臺主機(jī)一個操作系統(tǒng)＼&每臺主機(jī)上運(yùn)行多個虛擬機(jī)，每個虛擬機(jī)一個操作系統(tǒng)
＼&每臺主機(jī)上運(yùn)行多個程序，可能造成沖突
＼&多個程序可分別在運(yùn)行在多個虛擬機(jī)上，應(yīng)用程序相對獨(dú)立的運(yùn)行空間，避免沖突
＼&每臺主機(jī)配一個存儲，存儲資源得不到有效利用，且一旦存儲出現(xiàn)單點(diǎn)故障，數(shù)據(jù)可能丟失
＼&多個虛擬機(jī)共享存儲，當(dāng)一臺主機(jī)出現(xiàn)故障時，會自動分配其他主機(jī)上的硬件資源給故障主機(jī)的應(yīng)用程序＼&硬件成本高，且配置和管理困難＼&虛擬機(jī)獨(dú)立于硬件運(yùn)行，可動態(tài)資源分配，新程序的部署工作只需要幾分鐘，有效節(jié)約硬件和維護(hù)成本
＼&]
目前虛擬化技術(shù)的產(chǎn)品主要有EMC的 VMware虛擬化產(chǎn)品，Microsoft的Virtual Server， Sun的Virtual Box，以及Ctrix公司的Xen Server和Xen，占市場份額最大的是EMC的 VMware虛擬化產(chǎn)品。
2.2 數(shù)據(jù)存儲技術(shù)
基于云計(jì)算的橋梁安全與健康監(jiān)測數(shù)據(jù)中心需要滿足大數(shù)據(jù)管理的需求，為大量橋梁管理者提供服務(wù)并且為橋梁研究者提供大數(shù)據(jù)分析功能。數(shù)據(jù)安全可靠存儲是實(shí)現(xiàn)大數(shù)據(jù)管理分析的基礎(chǔ)。
數(shù)據(jù)存儲系統(tǒng)從物理結(jié)構(gòu)來看，底層主要是磁盤，通過光纖、串口線等與磁盤后的板卡和控制器相連。目前最常用的存儲方式有DAS（直接連接存儲）、SAN（存儲區(qū)域網(wǎng)絡(luò)）和NAS（網(wǎng)絡(luò)附加存儲）。直連存儲（DAS）是直接通過SCSI線纜或者光纖直接連接到服務(wù)器上。存儲區(qū)域網(wǎng)絡(luò)（SAN）是通過網(wǎng)絡(luò)方式連接存儲設(shè)備和應(yīng)用服務(wù)器，目前常用的SAN結(jié)構(gòu)根據(jù)連接介質(zhì)不同而分為FC SAN和IP SAN。網(wǎng)絡(luò)附加存儲（NAS）是將網(wǎng)絡(luò)存儲設(shè)備直接放在網(wǎng)絡(luò)上提供文件共享服務(wù)。這三種技術(shù)優(yōu)缺點(diǎn)如表2所示。
表2 DAS、SAN、NAS數(shù)據(jù)存儲系統(tǒng)技術(shù)優(yōu)缺點(diǎn)
[特征＼&DAS＼&SAN＼&NAS＼&安裝難易度＼&較難＼&較難＼&很容易＼&集中管理＼&難＼&專用軟件＼&基于網(wǎng)絡(luò)＼&擴(kuò)展性＼&低＼&高＼&中＼&數(shù)據(jù)共享＼&難＼&通過軟件實(shí)現(xiàn)＼&內(nèi)部實(shí)現(xiàn)＼&處理能力＼&強(qiáng)＼&強(qiáng)＼&視網(wǎng)絡(luò)情況而定＼&備份＼&傳統(tǒng)方式＼&服務(wù)器不參與＼&多種方案＼&容災(zāi)＼&基于服務(wù)器＼&端對端及多點(diǎn)容災(zāi)＼&端對端方案＼&安全＼&中＼&高＼&低＼&]
目前主要存儲廠商的FC SAN存儲可以實(shí)現(xiàn)8Gbit/S的傳輸速率，但費(fèi)用較高，所以中大型數(shù)據(jù)中心建設(shè)中還是處于領(lǐng)先地位。但是隨著IP SAN技術(shù)的發(fā)展，較高的性價比使FC SAN存儲逐漸擴(kuò)大了在市場的份額。
2.3 動態(tài)資源管理
云計(jì)算的資源包括存儲資源、計(jì)算資源、網(wǎng)絡(luò)資源、基礎(chǔ)設(shè)施資源以及其他資源[2]。當(dāng)應(yīng)用云計(jì)算時，面對大量設(shè)備和相關(guān)技術(shù)，如何有效整合各種資源并實(shí)施動態(tài)資源管理是實(shí)現(xiàn)云計(jì)算的關(guān)鍵。云計(jì)算動態(tài)資源管理系統(tǒng)的基本功能，是接受資源請求，合理地調(diào)度相應(yīng)的資源并且把特定的資源分配給資源請求者，使請求資源的業(yè)務(wù)得以運(yùn)行。它能跨資源池智能動態(tài)調(diào)整計(jì)算資源，使IT與業(yè)務(wù)優(yōu)先級對應(yīng)，動態(tài)提高系統(tǒng)的管理效率。
云計(jì)算的動態(tài)資源管理必須處理好存儲架構(gòu)問題，解決資源部署、監(jiān)控和調(diào)度策略等問題。在VMware虛擬化產(chǎn)品中，DRS（vsphere Distributed Resources Scheduler）可以根據(jù)每一個虛機(jī)的實(shí)際運(yùn)行情況，適時地對內(nèi)存、CPU、網(wǎng)絡(luò)的消耗進(jìn)行動態(tài)調(diào)整，將其平均分配到DRS集群的每一臺主機(jī)上面。動態(tài)分配依靠VMotion實(shí)現(xiàn)，所以，VMotion是DRS的先決條件。
3 云計(jì)算數(shù)據(jù)中心實(shí)現(xiàn)
基于云計(jì)算的橋梁安全與健康監(jiān)測數(shù)據(jù)中心實(shí)現(xiàn)了數(shù)據(jù)中心服務(wù)器、網(wǎng)絡(luò)、存儲虛擬化及負(fù)載均衡，其基礎(chǔ)架構(gòu)拓?fù)鋱D如圖2所示。
整個方案通過兩路6核服務(wù)器配合后端IP SAN存儲技術(shù)，并采用云計(jì)算虛擬化技術(shù)來實(shí)現(xiàn)橋梁安全與健康實(shí)時監(jiān)測。在云計(jì)算操作系統(tǒng)軟件的支持下，將3臺兩路6核服務(wù)器組建HA集群，并配合DRS及VMotion等高級功能，實(shí)現(xiàn)業(yè)務(wù)的連續(xù)性，減少計(jì)劃內(nèi)宕機(jī)時間，有效地提高資源利用率。
3.1 計(jì)算系統(tǒng)設(shè)備及軟件實(shí)現(xiàn)
計(jì)算系統(tǒng)設(shè)備主要是指服務(wù)器，服務(wù)器的選擇上主要考慮的是服務(wù)器的性能，滿足五年內(nèi)橋梁安全與健康監(jiān)測業(yè)務(wù)的需要，主要計(jì)算能力由3臺兩路6核服務(wù)器擔(dān)任。
而計(jì)算系統(tǒng)虛擬化的實(shí)現(xiàn)主要是利用軟件將服務(wù)器虛擬化。目前主流的、最具代表性的虛擬化軟件是VMware的Vsphere軟件。
本方案采用3臺企業(yè)級兩路服務(wù)器（HP Enterprise Server）作為核心數(shù)據(jù)庫平臺。該服務(wù)器能滿足數(shù)據(jù)庫應(yīng)用的高可用性、可恢復(fù)性，并具有錯誤檢測及消除單點(diǎn)故障的功能。采用數(shù)據(jù)庫雙機(jī)方案也增強(qiáng)了應(yīng)用的可擴(kuò)展性，滿足業(yè)務(wù)不斷增長的需要。由于該型服務(wù)器采用全新的因特爾快速互聯(lián)通道互聯(lián)架構(gòu)配合因特爾志強(qiáng)E5系列處理器及SAS 6Gbps高性能磁盤控制器，使系統(tǒng)聯(lián)機(jī)處理性能提升2.5倍以上，數(shù)據(jù)庫性能提升3倍以上，更加適用于基礎(chǔ)架構(gòu)、數(shù)據(jù)庫核心應(yīng)用。
3.2 存儲設(shè)備及數(shù)據(jù)管理軟件
在保障客戶應(yīng)用的前提下，存儲將成為一個必須受到關(guān)注的核心環(huán)節(jié)，因此雙控制器、多處理器和高可靠光纖8Gb存儲成為首選，這能有效保障業(yè)務(wù)的物理穩(wěn)定特性。出于數(shù)據(jù)安全備份的考慮，配置大存儲容量6TB存儲空間服務(wù)器作為虛擬機(jī)的備份服務(wù)器，可以保證在光纖存儲故障時或維護(hù)時的業(yè)務(wù)連續(xù)性，并對客戶的應(yīng)用數(shù)據(jù)也做到了統(tǒng)一備份。為了保障業(yè)務(wù)運(yùn)行的高性能、可持續(xù)性和可擴(kuò)展性，我們選擇了IP-SAN的存儲模式，通過串口線連接磁盤與控制器。云計(jì)算計(jì)算節(jié)點(diǎn)服務(wù)器通過交換機(jī)連接存儲設(shè)備，實(shí)現(xiàn)數(shù)據(jù)鏈路的高品質(zhì)性能保障。
在數(shù)據(jù)的統(tǒng)一備份處理上，基于虛擬機(jī)文件駐留在共享SAN存儲上，可以使用存儲區(qū)的映像來備份虛擬機(jī)文件，這樣做不會在運(yùn)行虛擬機(jī)的云計(jì)算計(jì)算節(jié)點(diǎn)主機(jī)上引起任何額外的負(fù)載。統(tǒng)一備份功能可以滿足縮短虛擬機(jī)的備份時間，移除客戶應(yīng)用服務(wù)器上的備份工作負(fù)載，以及從中央服務(wù)器中執(zhí)行備份的工作。其工作流程是從運(yùn)作中的主機(jī)上剝離磁盤，將磁盤鏈接到專用的統(tǒng)一備份服務(wù)器上，然后備份磁盤中適當(dāng)?shù)奈募?，此時原始主機(jī)仍能看到該磁盤并能正常工作。通過有效利用虛擬機(jī)存儲區(qū)的映象文件，高效地保障客戶數(shù)據(jù)安全。
3.3 網(wǎng)絡(luò)設(shè)備
云計(jì)算數(shù)據(jù)中心網(wǎng)絡(luò)需實(shí)現(xiàn)雙鏈路可靠冗余連接、負(fù)載均衡，充分考慮網(wǎng)絡(luò)的可管理性。本方案采用兩臺DLINK交換機(jī)實(shí)現(xiàn)設(shè)備冗余，同時通過實(shí)現(xiàn)網(wǎng)絡(luò)虛擬化來保證網(wǎng)絡(luò)策略安全，使之不受虛擬機(jī)位置遷移的影響。
3.4 云平臺管理
云管理平臺是負(fù)責(zé)整個數(shù)據(jù)中心的資源池管理、是實(shí)現(xiàn)IAAS的關(guān)鍵環(huán)節(jié)。本方案采用VMware公司的Vcenter軟件，與其他的管理軟件相比，該軟件的使用為IT管理者大大降低了云計(jì)算虛擬環(huán)境管理的難度。
該云平臺是目前最強(qiáng)大的虛擬環(huán)境管理平臺，它能提高在虛擬基礎(chǔ)架構(gòu)每個級別上的集中控制和可見性，無論是幾十臺還是幾千臺虛擬機(jī)，都能集中、簡單地管理。它可以通過使用向?qū)Щ蛘吣０?，在幾分鐘?nèi)創(chuàng)建新的虛擬機(jī)或主機(jī)，最大限度地減少錯誤和停機(jī)；它還可以借用DRS（vsphere Distributed Resources Scheduler） 持續(xù)監(jiān)控各個資源池的使用情況。此外，借助vCenter API和.NET可實(shí)現(xiàn)vCenter Server和其他工具的集成，并且支持在vSphere Client中嵌入自定義插件，為管理IT環(huán)境提供選擇自由。
4 結(jié)束語
目前，基于云計(jì)算的橋梁安全與健康監(jiān)測數(shù)據(jù)中心建設(shè)還處在初級階段，隨著橋梁安全監(jiān)測技術(shù)和云計(jì)算技術(shù)的發(fā)展，云計(jì)算數(shù)據(jù)中心會逐漸形成系統(tǒng)化、網(wǎng)絡(luò)化的全國性的橋梁安全與健康監(jiān)測平臺。該平臺能面向所有橋梁行業(yè)的客戶，提供存儲空間及橋梁安全與健康監(jiān)測服務(wù)；同時還能根據(jù)存儲的大量橋梁相關(guān)數(shù)據(jù)，進(jìn)行數(shù)據(jù)挖掘及數(shù)據(jù)分析，在橋梁學(xué)術(shù)研究方面具有重要意義。
基于云計(jì)算的數(shù)據(jù)中心建設(shè)是一個復(fù)雜的系統(tǒng)工程，本文著重從橋梁安全監(jiān)測數(shù)據(jù)中心的關(guān)鍵技術(shù)方面闡述了系統(tǒng)基礎(chǔ)架構(gòu)，以及關(guān)鍵設(shè)備和軟件的選型，希望能為其他行業(yè)數(shù)據(jù)中心的建設(shè)提供一些參考。
參考文獻(xiàn)：
[1] 林小村.數(shù)據(jù)中心建設(shè)與運(yùn)行管理[M].科學(xué)出版社，2010.
[2] 劉鵬.云計(jì)算[M].電子工業(yè)出版社，2011.
[3] MELL P， GRANCE T. The NIST Definition of Cloud Computing[R].
National Institute of Standards and Technology， SP800-145， Gaithersburg：U.S Dept. of Commerce，2011.
[4] 國家科學(xué)技術(shù)部.中國云科技發(fā)展"十二五"專項(xiàng)規(guī)劃[EB/01].
/tztg/201209/W020120918516104069531.doc，2012
[5] 工業(yè)和信息化部電信研究院.云計(jì)算白皮書（2012）[M].工業(yè)和信息化
部電信研究院，2012.
[6] 田冠華，孟丹，詹劍鋒.云計(jì)算環(huán)境下基于失效規(guī)則的資源動態(tài)提供
策略[J].計(jì)算機(jī)學(xué)報，2010.33（10）：1859-1872
[7] 朱仕村，張宇峰，張立濤，朱曉文，胡云輝.面向長大橋梁結(jié)構(gòu)健康監(jiān)測
物聯(lián)網(wǎng)的云計(jì)算[J].現(xiàn)代交通技術(shù)，2011.8（1）：24-27
[8] 孟凡立，徐明，張慰.基于云計(jì)算的高校數(shù)據(jù)中心設(shè)計(jì)與實(shí)現(xiàn)[J].現(xiàn)代
教育技術(shù)，2012.22（3）：99-103
[9] 楊望仙，朱定局，謝毅，范朝冬.虛擬化技術(shù)在云計(jì)算中的研究進(jìn)展[J].
先進(jìn)技術(shù)研究通報，2010.4（8）：5-10
關(guān)鍵詞：銀行業(yè)務(wù) ；批處理流程；Hadoop MapReduce ；云計(jì)算
中圖分類號：TP302文獻(xiàn)標(biāo)識碼：A文章編號文章編號：16727800（2013）0010000104
作者簡介：趙曦（1971-），男，博士，上海金融學(xué)院信息管理學(xué)院副教授，研究方向?yàn)榛ヂ?lián)網(wǎng)金融應(yīng)用。
0引言
隨著大型商業(yè)銀行業(yè)務(wù)規(guī)模的擴(kuò)大和信息技術(shù)的發(fā)展， 數(shù)據(jù)中心已經(jīng)成為大型商業(yè)銀行業(yè)務(wù)系統(tǒng)與數(shù)據(jù)資源進(jìn)行集中業(yè)務(wù)處理的樞紐，匯集了規(guī)模化的IT計(jì)算、存儲和網(wǎng)絡(luò)資源。
銀行主要承擔(dān)本外幣儲蓄、信用卡、對公存貸款業(yè)務(wù)，銀行匯票及聯(lián)行業(yè)務(wù)，國際結(jié)算和外匯買賣，代收代付等業(yè)務(wù) [1]。銀行業(yè)以網(wǎng)絡(luò)和信息技術(shù)作為其業(yè)務(wù)處理的核心支撐，形成了前端業(yè)務(wù)信息采集、中端數(shù)據(jù)交換和數(shù)據(jù)中心處理“分布采集、集中處理”模式。隨著業(yè)務(wù)量的增加和金融新產(chǎn)品的涌現(xiàn)，業(yè)務(wù)管理和信息處理“大集中”后對流程處理效率、系統(tǒng)擴(kuò)展性和數(shù)據(jù)存儲可靠性提出了更高的要求。金融行業(yè)特別是銀行業(yè)在處理在線聯(lián)機(jī)業(yè)務(wù)（online transaction）的同時，還需要處理大量的離線批處理業(yè)務(wù)（batch processing），如影像文件處理、票據(jù)結(jié)算、外匯清算、薪資、各類報表，批處理業(yè)務(wù)具有數(shù)據(jù)量大、占用計(jì)算資源多、限時處理完成的特點(diǎn)，銀行信息中心通常要配備足夠的資源在特定時間段（夜間、周末、月末）進(jìn)行批量業(yè)務(wù)數(shù)據(jù)處理。如何提高批處理業(yè)務(wù)能力、合理配置計(jì)算資源是銀行信息中心不斷要面對的挑戰(zhàn)。
以計(jì)算資源和服務(wù)虛擬化為核心的云計(jì)算架構(gòu)和技術(shù)得到了廣泛的認(rèn)同，正在成為IT產(chǎn)業(yè)和信息化應(yīng)用系統(tǒng)架構(gòu)的發(fā)展趨勢，實(shí)踐表明，基于云計(jì)算架構(gòu)的系統(tǒng)在資源利用、服務(wù)效率、運(yùn)行成本及能源消耗方面具有明顯的優(yōu)勢。
本文提出了一種應(yīng)對批量業(yè)務(wù)流程處理的優(yōu)化方法，基本原理是將業(yè)務(wù)流程的任務(wù)節(jié)點(diǎn)進(jìn)行分解和分類，形成流程隊(duì)列和若干可以進(jìn)行并行處理分類任務(wù)隊(duì)列，使用Hadoop MapReduce并行計(jì)算框架進(jìn)行并行處理，MapReduce提供的資源調(diào)度和容錯機(jī)制能夠有效提高業(yè)務(wù)處理系統(tǒng)的可擴(kuò)展性和穩(wěn)定性。模擬實(shí)驗(yàn)表明，流程任務(wù)分解優(yōu)化方法比通常的以流程為處理單元的方式具有一定的優(yōu)勢，可以在云計(jì)算環(huán)境下分組處理具有共同特征的計(jì)算和操作任務(wù)，實(shí)現(xiàn)優(yōu)化資源調(diào)配，提高批量業(yè)務(wù)處理的效率。
1批處理業(yè)務(wù)流程優(yōu)化
批量業(yè)務(wù)處理是指一組遵循同一處理流程的重復(fù)操作，而涉及的業(yè)務(wù)流程是一組將輸入轉(zhuǎn)化為輸出的相互關(guān)聯(lián)或相互作用的活動，活動之間不僅有嚴(yán)格的先后順序限定，而且活動的內(nèi)容、方式、責(zé)任等也都必須有明確的安排和界定，以使不同活動在不同角色之間進(jìn)行交接成為可能，批量處理業(yè)務(wù)流程活動之間的轉(zhuǎn)移不需要人工干預(yù)。處理流程中的活動根據(jù)數(shù)據(jù)處理的要求和特點(diǎn)進(jìn)行設(shè)計(jì)，如先進(jìn)行數(shù)據(jù)核對，然后進(jìn)行計(jì)算，最后進(jìn)行賬戶操作，每個活動會產(chǎn)生臨時數(shù)據(jù)。為了提高處理能力和資源使用效率，流程活動設(shè)計(jì)盡可能遵循以下幾個原則：
①獨(dú)立于其它流程和活動，可進(jìn)行重復(fù)操作；②使用較少類別的計(jì)算資源，CPU、網(wǎng)絡(luò)、存儲；③能夠進(jìn)行并行處理。
圖1示意了批量流程處理的原理，銀行信息中心在每個批處理周期安排若干批處理的規(guī)劃，配置計(jì)算資源，啟動和監(jiān)控批處理過程。每個批處理中包括對應(yīng)同一處理流程的批量處理任務(wù)。
銀行信息中心根據(jù)資源配置情況，安排批處理規(guī)劃中的批處理執(zhí)行，可以做到并行處理，以滿足處理時限的要求，每個批處理分配固定的或虛擬化的資源（服務(wù)器、CPU、存儲、外設(shè)），當(dāng)現(xiàn)有資源不能滿足批處理要求時，則需要不斷增加資源。這種以批處理流程為單位來決定資源配置的模式（圖2）不一定能夠確保資源的高效使用，如：需要大量CPU計(jì)算的流程同時配置I/O性能較高的資源，造成I/O資源的浪費(fèi)。經(jīng)過分析，可以通過優(yōu)化批處理業(yè)務(wù)流程和操作來進(jìn)行改進(jìn)（圖3），以進(jìn)一步提高資源的使用效率。
以優(yōu)化流程任務(wù)作為并行計(jì)算單元，形成批量處理任務(wù)隊(duì)列，根據(jù)任務(wù)操作的類型來分配最適合的資源，理論上提高了資源配置的精細(xì)程度，有助于提高資源使用效率。
2基于MapReduce的批處理優(yōu)化計(jì)算
為了驗(yàn)證提出的以流程任務(wù)為基礎(chǔ)配置資源的批處理運(yùn)算架構(gòu)（圖3），我們搭建了Hadoop/MapReduce并行計(jì)算實(shí)驗(yàn)環(huán)境，通過模擬批處理業(yè)務(wù)，對兩種資源配置模式進(jìn)行比較。
Hadoop[6]云計(jì)算平臺的核心由HDFS分布存儲和映射機(jī)制及MapReduce并行計(jì)算架構(gòu)組成，具有開放性、穩(wěn)定性和擴(kuò)展性方面的優(yōu)勢，成為了云計(jì)算研究和應(yīng)用的重要平臺之一，其架構(gòu)與提出的批處理流程優(yōu)化模型吻合程度高。
MapReduce[8]通過兩個函數(shù)Map和Reduce提供并行計(jì)算框架， 將計(jì)算任務(wù)（Job）分解為可以進(jìn)行獨(dú)立和并行計(jì)算操作集合（Tasks），提交給Map函數(shù)處理，而Reduce函數(shù)收集、整理、排序Map函數(shù)的計(jì)算結(jié)果。其基本功能是按一定的映射規(guī)則將輸入的 （k1，v1）鍵值對轉(zhuǎn)換成另一個或一批list（k2，v2）對輸出，而Reduce將一個或多個Map輸出的list（k2，v2）轉(zhuǎn)換為新的鍵值對list（k3，v3），作為任務(wù)計(jì)算的輸出[2]。
一種基于C++的腳本語言和解釋器封裝了實(shí)現(xiàn)上述功能的基本功能函數(shù)，用來描述任務(wù)的執(zhí)行操作。根據(jù)上述模擬批次規(guī)劃和流程節(jié)點(diǎn)類型，得出計(jì)算隊(duì)列表。
硬件計(jì)算架構(gòu)使用5臺Ubantu Linux服務(wù)器提供Hadoop MapReduce并行計(jì)算平臺，1個NameNode和4個DataNode，網(wǎng)絡(luò)環(huán)境為100M局域網(wǎng)，通過SSH實(shí)現(xiàn)服務(wù)器之間的連接、控制和HDFS數(shù)據(jù)復(fù)制，流程和任務(wù)隊(duì)列管理程序運(yùn)行在NameNode上，Map和Reduce實(shí)現(xiàn)分布在DateNode上。圖7所示為流程優(yōu)化模擬架構(gòu)。
平臺模擬了以業(yè)務(wù)流程為處理單元和任務(wù)分解優(yōu)化兩種計(jì)算架構(gòu)，使用同樣的模擬流程和數(shù)據(jù)，同時檢測了當(dāng)一個DateNote服務(wù)器宕機(jī)時的任務(wù)容錯機(jī)制和性能，表4匯總模擬運(yùn)行的比較數(shù)據(jù)。
圖7Haddop MapReduce流程優(yōu)化模擬系統(tǒng)架構(gòu)
流程最短處理時間指流程任務(wù)按照關(guān)鍵邏輯路徑執(zhí)行需要的累計(jì)時間，當(dāng)一個任務(wù)處理完成后才能激活后續(xù)節(jié)點(diǎn)任務(wù)。以流程為單位的隊(duì)列處理模式在4個DataNode平均分配流程，每個DataNode處理的流程數(shù)量幾乎均等，資源的使用率也相同。任務(wù)優(yōu)化分解方法形成了7個任務(wù)隊(duì)列，DateNode資源分配按照優(yōu)先資源對照表3進(jìn)行。
流程平均處理時間指進(jìn)入流程隊(duì)列到所有任務(wù)處理完畢的時間，包括等待和任務(wù)處理時間，資源使用差異指CPU和I/O在高度使用和過度空閑的比例關(guān)系。
根據(jù)實(shí)驗(yàn)平臺記錄的運(yùn)行數(shù)據(jù)，在同樣的批處理流程和硬件架構(gòu)條件下，使用業(yè)務(wù)流程分解優(yōu)化的并行計(jì)算能夠處理更多的事務(wù)（320min對比430min），資源的使用效率得到提高（54%對比31%），即使考慮到流程分解和多個任務(wù)隊(duì)列管理的額外開銷，運(yùn)行結(jié)果還是表明了所提出方法的優(yōu)勢，為進(jìn)一步深入研究和完善提供了基礎(chǔ)。
3結(jié)語
銀行批處理“大集中”后，其數(shù)量和規(guī)模不斷擴(kuò)大，銀行信息中心不斷面臨IT資源優(yōu)化和靈活配置的挑戰(zhàn)，一方面要提升IT架構(gòu)的資源數(shù)量和技術(shù)水平，另一方面要優(yōu)化批處理的模式來更有效地利用IT資源（計(jì)算、存儲、網(wǎng)絡(luò)、I/O）。
云計(jì)算技術(shù)的研究和應(yīng)用成為了IT產(chǎn)業(yè)發(fā)展的一個重要方向，基于云計(jì)算架構(gòu)的系統(tǒng)在資源利用、服務(wù)效率、運(yùn)行成本及能源消耗方面具有明顯的優(yōu)勢。云計(jì)算架構(gòu)的出現(xiàn)也引發(fā)了在信息系統(tǒng)設(shè)計(jì)、功能開發(fā)和維護(hù)服務(wù)的巨大變化。作為以信息化技術(shù)作為重要支撐的銀行業(yè)，正在逐步嘗試和分享云計(jì)算帶來的各種優(yōu)勢。本文在此背景下，提出了一種針對銀行批處理業(yè)務(wù)的優(yōu)化流程分解方法。
業(yè)務(wù)流程分解優(yōu)化方法通過對流程任務(wù)分組，可以為實(shí)時處理大批量流程的應(yīng)用領(lǐng)域（銀行、證券、保險、電子商務(wù)）提高處理效率，MapReduce原理為流程節(jié)點(diǎn)處理提供了并行計(jì)算框架，其調(diào)度和容錯機(jī)制可以實(shí)現(xiàn)系統(tǒng)計(jì)算資源的高擴(kuò)展性和穩(wěn)定性。模擬實(shí)驗(yàn)表明，本文介紹的基于并行計(jì)算的優(yōu)化流程分解方法比以整個批量處理流程為處理單元的方法在效率、架構(gòu)和靈活性方面具有一定的優(yōu)勢。下一個階段，擬將該方法進(jìn)一步完善，在銀行等典型批處理業(yè)務(wù)應(yīng)用領(lǐng)域進(jìn)行深化和拓展。
參考文獻(xiàn)：
[1]李得仁.銀行批量業(yè)務(wù)后臺集中處理模式的實(shí)現(xiàn)[J].中國金融電腦 ，2012（11）.
[2]李成華.MapReduce：新型的分布式并行計(jì)算編程模型[J].計(jì)算機(jī)工程與科學(xué)， 2011（3）.
[3]楊志豪.一種適應(yīng)數(shù)據(jù)與計(jì)算密集型任務(wù)的私有云系統(tǒng)實(shí)現(xiàn)研究[J].計(jì)算機(jī)應(yīng)用研究 ， 2011（2）.
[4]易小華.面向MapReduce的數(shù)據(jù)處理流程開發(fā)方法[J].計(jì)算機(jī)科學(xué)與探索，2011（2）.
[5]DEAN J， GHEMAWAT S. MapReduce： simplified data processing on large clusters[J].Communications of the ACM，2008， 51（1）： 107113.
[6]Welcome to Hadoop MapReduce[EB/OL].http：///mapreduce/.
【關(guān)鍵詞】云計(jì)算；云基礎(chǔ)架構(gòu)；虛擬化技術(shù)；分布式存儲系統(tǒng)；并行編程模型
1.引言
自新千年IT業(yè)引入云計(jì)算概念以來，通過廣大的市場需求及雄厚的技術(shù)支持，大規(guī)模云計(jì)算系統(tǒng)已成為當(dāng)今IT業(yè)發(fā)展的主流。實(shí)現(xiàn)云計(jì)算的基礎(chǔ)是實(shí)現(xiàn)云計(jì)算系統(tǒng)基礎(chǔ)架構(gòu)。一個云計(jì)算系統(tǒng)的優(yōu)秀與否，關(guān)鍵在于其基礎(chǔ)架構(gòu)是否能夠穩(wěn)定、高效地完成各項(xiàng)任務(wù)。本文試圖結(jié)合相關(guān)資料，對云基礎(chǔ)架構(gòu)及其效能進(jìn)行分析、定義及具體闡述，為下一步研究提供有力參考。
2.云計(jì)算簡介
云計(jì)算的迅猛發(fā)展與廣大的市場需求和強(qiáng)大的技術(shù)支撐密切相關(guān)。首先，隨著IT業(yè)的迅猛發(fā)展，各IT運(yùn)營商都形成了各自龐大的服務(wù)器集群。如何實(shí)現(xiàn)現(xiàn)有集群的重新整合以降低運(yùn)維成本，提高效率成為運(yùn)營商考慮的首要問題；另外，IT市場的迅猛發(fā)展也要求各運(yùn)營商提供更加穩(wěn)定、快捷的服務(wù)。其次，分布式系統(tǒng)、虛擬化技術(shù)的不斷發(fā)展完善，使得服務(wù)集群性能的快速提升成為可能。所以，在上述兩方面原因的相互作用下，云計(jì)算得到了前所未有的發(fā)展。
目前，不同公司對云計(jì)算有著不同的理解和實(shí)現(xiàn)方式。通過對現(xiàn)有云計(jì)算系統(tǒng)的分析及對相關(guān)資料的研究[1—5]，本文認(rèn)為云計(jì)算是以商業(yè)需要為出發(fā)點(diǎn)，將數(shù)量龐大的服務(wù)器集群整合成為分布式的資源池，通過虛擬化技術(shù)、Web2.0技術(shù)將資源池強(qiáng)大的計(jì)算能力、存儲能力和構(gòu)建在其基礎(chǔ)之上的各類應(yīng)用以按需計(jì)費(fèi)的形式從不同的層次（Infrastructure、Platform、Application）租賃給用戶的一種新型網(wǎng)絡(luò)運(yùn)營模式。
由上述定義可得到云計(jì)算體系結(jié)構(gòu)如圖1。
由圖可知，云計(jì)算基礎(chǔ)架構(gòu)位于云計(jì)算系統(tǒng)的底層，它為云計(jì)算系統(tǒng)的出色運(yùn)營提供了有力的支持。
3.云計(jì)算基礎(chǔ)架構(gòu)
3.1 云計(jì)算基礎(chǔ)架構(gòu)的定義
目前，業(yè)界及學(xué)術(shù)界對云計(jì)算基礎(chǔ)架構(gòu)還沒有一個統(tǒng)一的定義利標(biāo)準(zhǔn)。各IT運(yùn)營商均根據(jù)自身的實(shí)際情況，以各自的理解定義和實(shí)現(xiàn)云計(jì)算基礎(chǔ)架構(gòu)的部署。理工大學(xué)教授劉鵬在其著作《云計(jì)算》中提出：云基礎(chǔ)架構(gòu)及管理層由數(shù)據(jù)中心與云基礎(chǔ)架構(gòu)、安全產(chǎn)品、基礎(chǔ)架構(gòu)和運(yùn)營管理三大部分組成[3]。作為虛擬化技術(shù)的龍頭，Vmware公司在談到其云基礎(chǔ)架構(gòu)層產(chǎn)品時說道：云計(jì)算基礎(chǔ)架構(gòu)是指通過虛擬化技術(shù)將傳統(tǒng)數(shù)據(jù)中心轉(zhuǎn)變?yōu)樵苹A(chǔ)架構(gòu)并在其之上創(chuàng)建云，將IT基礎(chǔ)架構(gòu)作為服務(wù)交付給客戶使用[6]。Lenk等人在其文章談及云計(jì)算基礎(chǔ)設(shè)施層時也指出：云基礎(chǔ)架構(gòu)可劃分為基礎(chǔ)設(shè)施服務(wù)和資源集兩大部分，其中資源集可分為虛擬資源集和物力資源集；而基礎(chǔ)設(shè)施服務(wù)又分為高級基礎(chǔ)設(shè)施服務(wù)、基本基礎(chǔ)設(shè)施服務(wù)、計(jì)算服務(wù)、存儲服務(wù)和網(wǎng)絡(luò)服務(wù)[7]。
通過對現(xiàn)有云基礎(chǔ)架構(gòu)以及對相關(guān)文獻(xiàn)資料的研究，本文認(rèn)為云計(jì)算基礎(chǔ)架構(gòu)是指由硬件資源（PC服務(wù)器、磁盤陣列、路由器、交換機(jī)及相關(guān)配套設(shè)備）組成，通過虛擬化技術(shù)、分布式并行技術(shù)整合形成的用以直接對外提供存儲、計(jì)算服務(wù)或作為基礎(chǔ)設(shè)施為上層云計(jì)算應(yīng)用提供存儲、計(jì)算能力支撐的一種高效、可靠并且具有良好擴(kuò)展性的底層分布式系統(tǒng)。
3.2 云計(jì)算基礎(chǔ)架構(gòu)的分類
通過分析研究現(xiàn)有云計(jì)算系統(tǒng)及相關(guān)[8—12]，本文認(rèn)為云基礎(chǔ)架構(gòu)按照服務(wù)的對象可分為基礎(chǔ)型云基礎(chǔ)架構(gòu)和外向型云基礎(chǔ)架構(gòu)：基礎(chǔ)型云基礎(chǔ)架構(gòu)指主要向運(yùn)系統(tǒng)上層提供計(jì)算、存儲資源服務(wù)的云基礎(chǔ)架構(gòu)，基礎(chǔ)型云基礎(chǔ)架構(gòu)的代表系統(tǒng)有：TFS、GFS、Cassandra、KIDC；外向型云基礎(chǔ)架構(gòu)指直接向用戶提供計(jì)算、存儲資源服務(wù)的云基礎(chǔ)架構(gòu)，外向型云基礎(chǔ)架構(gòu)的代表系統(tǒng)有：IBM Ensembles、Amazon EC2、Amazon S3、HyperCloud、Megastore。
3.3 云基礎(chǔ)架構(gòu)的結(jié)構(gòu)體系
通過對當(dāng)前業(yè)界主流云基礎(chǔ)架構(gòu)系統(tǒng)的分析和對相關(guān)學(xué)術(shù)成果的研究，可以看出云基礎(chǔ)架構(gòu)的作用是通過將物理資源轉(zhuǎn)化為虛擬資源池，實(shí)現(xiàn)對資源的監(jiān)控、調(diào)度和管理以達(dá)到為上層應(yīng)用和用戶提供彈性的計(jì)算和存儲資源的目的。云基礎(chǔ)架構(gòu)結(jié)構(gòu)框架如圖2。
由此本文將云基礎(chǔ)架構(gòu)分為以下五個層次：
1）物理層是指搭建、部署云基礎(chǔ)架構(gòu)所需的物理設(shè)備和配套環(huán)境。起作用時為云基礎(chǔ)架構(gòu)提供基本的物力資源，并保持物理設(shè)備的可靠性。
2）虛擬層是指通過虛擬化技術(shù)解除實(shí)現(xiàn)方式、地理位置或底層物理配置對計(jì)算機(jī)資源的限制，打破上層與物力資源之間的耦合關(guān)系，形成統(tǒng)一的虛擬資源。虛擬層的作用是為上層提供可靠且能夠靈活按需分配的虛擬資源。虛擬層由虛擬計(jì)算資源、虛擬存儲資源和虛擬網(wǎng)絡(luò)資源組成。
3）數(shù)據(jù)層是指對云基礎(chǔ)架構(gòu)內(nèi)運(yùn)行的客戶數(shù)據(jù)進(jìn)行基本操作和管理的層次。數(shù)據(jù)層主要包含兩個部分，既數(shù)據(jù)處理與數(shù)據(jù)管理。
4）管理層是整個云基礎(chǔ)架構(gòu)中的一個抽象層次。它對云基礎(chǔ)架構(gòu)的各類資源進(jìn)行監(jiān)控，根據(jù)實(shí)際負(fù)載狀況對資源進(jìn)行管理和調(diào)度并且根據(jù)上層需求對資源進(jìn)行快速部署，以保證云基礎(chǔ)架構(gòu)高效運(yùn)行。云基礎(chǔ)架構(gòu)管理層主要由資源監(jiān)控、負(fù)載管理、資源部署和安全管理四個部分組成。
5）服務(wù)層是指為上層云計(jì)算應(yīng)用調(diào)用云基礎(chǔ)架構(gòu)計(jì)算、存儲資源預(yù)留的接口和對用戶使用云基礎(chǔ)架構(gòu)計(jì)算、存儲資源提供的交互界面。服務(wù)層對云基礎(chǔ)架構(gòu)效能的影響體現(xiàn)在服務(wù)層各類接口的通用性上。因?yàn)榉?wù)層接口與上層的松耦合性能夠減小底層云基礎(chǔ)架構(gòu)對上層應(yīng)用的限制，從而提高云基礎(chǔ)架構(gòu)自身的可用性。
3.4 云基礎(chǔ)架構(gòu)實(shí)現(xiàn)的主要技術(shù)
3.4.1 虛擬化技術(shù)
虛擬化是表示計(jì)算機(jī)資源的一種抽象方法。通過虛擬化，可以簡化基礎(chǔ)設(shè)施、系統(tǒng)和軟件等計(jì)算機(jī)資源的表示、訪問和管理，并為這些資源提供標(biāo)準(zhǔn)的接口來接受輸入和提供輸出[2]。通過虛擬化技術(shù)，可以實(shí)現(xiàn)在一臺服務(wù)器上運(yùn)行多個虛擬機(jī)，從而提供服務(wù)器的效率。由于絕大部分PC產(chǎn)品均屬于X86架構(gòu)，所以本文論述的虛擬化技術(shù)主要指X86架構(gòu)的虛擬化技術(shù)。當(dāng)前X86虛擬化技術(shù)的主流產(chǎn)品是VMware的VMware vSphere。
vSphere主要用于服務(wù)器的虛擬化，即在一臺物理服務(wù)器上運(yùn)行多臺虛擬機(jī)，以次達(dá)到服務(wù)器整合和優(yōu)化的目的。vSphere的核心是ESX架構(gòu)，它可分為兩部分：Service Console和VMKernel。其中前者提供管理服務(wù)，后者提供虛擬化能力。
隨著虛擬化技術(shù)在云計(jì)算中發(fā)展中的作用越來越重要，對虛擬化技術(shù)的研究也成為熱點(diǎn)。對虛擬資源的管理便是熱點(diǎn)之一，[13]提出將VM模型集成到資源管理框架里，利用兩極調(diào)度將VM的管理集成至批調(diào)度器里，以次為用戶提供調(diào)度服務(wù)。
當(dāng)前如Amazon EC2等云計(jì)算產(chǎn)品大多是以虛擬機(jī)的形式為用戶提供計(jì)算能力，但對于虛擬機(jī)的具體配置，需要用戶手動完成，因此虛擬化技術(shù)在自適應(yīng)方面還需要進(jìn)一步研究。
3.4.2 分布式存儲系統(tǒng)
隨著IT業(yè)的發(fā)展，網(wǎng)上交易、網(wǎng)上檢索等系統(tǒng)所要處理的數(shù)據(jù)量越來越大。如何利用最低的資源成本創(chuàng)造最高的運(yùn)行效率成為各大運(yùn)營商考慮的首要問題。因此研發(fā)人員開發(fā)完成了一系列分布式存儲系統(tǒng)，為云計(jì)算提供了強(qiáng)有力的后盾。
分布式存儲系統(tǒng)研發(fā)目的是為云基礎(chǔ)架構(gòu)提供高效、海量的數(shù)據(jù)存儲能力。各大運(yùn)營商在搭建自己的云基礎(chǔ)架構(gòu)前都會開發(fā)自己的分布式存儲系統(tǒng)如Google的GFS分布式文件系統(tǒng)。Google的GFS（Google File System）[14]是Google研發(fā)完成的作用于底層的分布式文件系統(tǒng)。GFS的作用是為大規(guī)模分布式應(yīng)用系統(tǒng)提供強(qiáng)大的數(shù)據(jù)存儲服務(wù)。GFS的核心設(shè)計(jì)思路是將系統(tǒng)故障當(dāng)作一種常態(tài)來處理，實(shí)現(xiàn)這一思路的技術(shù)主要是提供多個副本進(jìn)行操作。在接口方面GFS除提供基本的Creat、Delete、Open、Close、Read、Write外還提供Snapshot和記錄追加兩項(xiàng)操作。Snapshot以最低的開銷創(chuàng)建一個文件或目錄副本，記錄追加則保證多客戶同時對文件進(jìn)行數(shù)據(jù)追加時的原子性和正確性。
GFS含有一個主控服務(wù)器（Master）和多個塊服務(wù)器（Chunk Server）。一份文件由設(shè)備經(jīng)接口，會被分為有限個數(shù)據(jù)塊（每個數(shù)據(jù)塊64MB）。此外，每個數(shù)據(jù)塊都會產(chǎn)生一個元數(shù)據(jù)（
當(dāng)前分布式存儲系統(tǒng)已成為云基礎(chǔ)架構(gòu)重要組成之一。在學(xué)術(shù)界，對分布式存儲系統(tǒng)的研究逐漸成為熱點(diǎn)。[11]提出并實(shí)現(xiàn)了一種對等結(jié)構(gòu)分布式存儲系統(tǒng)NDSS，該系統(tǒng)取消了類似GFS中主控服務(wù)器的中心節(jié)點(diǎn)，而是利用分布式共享內(nèi)存（DSM，Distributed Shared Memory）實(shí)現(xiàn)了數(shù)據(jù)一致性模塊，利用分布式共享位圖（DSB，Distributed Shared Bitmap）限制了多個節(jié)點(diǎn)對信息的同時訪問，解決了同步訪問控制問題。以此在對等節(jié)點(diǎn)中完成了中心節(jié)點(diǎn)的主要功能。從測試結(jié)果看，NDSS系統(tǒng)的整體性能優(yōu)于有中心節(jié)點(diǎn)的YNS系統(tǒng)[10]。
目前，云基礎(chǔ)架構(gòu)中著名的分布式存儲系統(tǒng)還有Google的Bigtable分布式存儲系統(tǒng)和Amazon的Dynamo分布式數(shù)據(jù)存儲中心[11]等。它們雖然為云基礎(chǔ)架構(gòu)提供了強(qiáng)大的動力，但仍有改進(jìn)之處。
3.4.3 并行編程模型
并行編程模型是云計(jì)算中的一個重要概念。它是指系統(tǒng)為高效并行處理海量數(shù)據(jù)而設(shè)定的一組數(shù)據(jù)處理規(guī)則。研發(fā)人員為了解決輸入數(shù)據(jù)的并行計(jì)算、分發(fā)數(shù)據(jù)等問題提出了并行編程模型的概念。
MapReduce是Google公司開發(fā)的一種新的抽象模型，也是當(dāng)前起主導(dǎo)作用的編程模型。它的設(shè)計(jì)思路來源于函數(shù)式編程語言的映射和簡化操作[1]。MapReduce的核心思想是將數(shù)據(jù)邏輯列表通過Map函數(shù)處理成為鍵值對集（），經(jīng)過排序?qū)⒕哂邢嗤琄ey值的鍵值對放在一起后通過Reduce函數(shù)將具有相同Key值的鍵值對的Value值進(jìn)行合并。
當(dāng)前對并行編程模型的研究大多以在MapReduce的基礎(chǔ)上提出改進(jìn)方案為主。在文獻(xiàn)[15]中。Zaharia等人根據(jù)MapReduce建立在系統(tǒng)同構(gòu)的假設(shè)基礎(chǔ)上，提出了LATE（Longest Approximate Time to End）調(diào)度算法。通過新型調(diào)度算法的改進(jìn)使得MapReduce在異構(gòu)環(huán)境下運(yùn)行。
雖然現(xiàn)行并行編程模型為云計(jì)算提供了強(qiáng)大的技術(shù)支持，在某些具體情況的適用性上還需進(jìn)一步的完善。
4.結(jié)論與展望
當(dāng)前對云基礎(chǔ)架構(gòu)的研究主要集中在業(yè)界IT運(yùn)營商，在學(xué)術(shù)界對云計(jì)算基礎(chǔ)架構(gòu)的研究主要集中在單個技術(shù)性能的改進(jìn)與提高上，明確提出云計(jì)算基礎(chǔ)架構(gòu)概念，并進(jìn)行整體性理論分析研究相對較少。本文通過分析研究現(xiàn)有云計(jì)算基礎(chǔ)架構(gòu)實(shí)例及相關(guān)文獻(xiàn)資料，提出了云計(jì)算基礎(chǔ)架構(gòu)定義，指出：云計(jì)算基礎(chǔ)架構(gòu)是指由硬件資源（PC服務(wù)器、磁盤陣列、路由器、交換機(jī)及相關(guān)配套設(shè)備）組成，通過虛擬化技術(shù)、分布式并行技術(shù)整合形成的用以直接對外提供存儲、計(jì)算服務(wù)或作為基礎(chǔ)設(shè)施為上層云計(jì)算應(yīng)用提供存儲、計(jì)算能力支撐的一種高效、可靠并且具有良好擴(kuò)展性的底層分布式系統(tǒng)。根據(jù)云計(jì)算基礎(chǔ)架構(gòu)定義，預(yù)計(jì)在今后的一段時間內(nèi)，對云計(jì)算基礎(chǔ)架構(gòu)的研究會朝著以下幾個方面進(jìn)行：
1）更加高效的數(shù)據(jù)交互體驗(yàn)。云計(jì)算基礎(chǔ)架構(gòu)為上層應(yīng)用提供存儲與計(jì)算能力，在此過程中必然會存在基于請求的數(shù)據(jù)交互過程。而數(shù)據(jù)交互的速度會直接影響用戶對云計(jì)算應(yīng)用的操作體驗(yàn)。所以對高效的數(shù)據(jù)交互地研究會成為未來云計(jì)算基礎(chǔ)架構(gòu)的研究重點(diǎn)。
2）更穩(wěn)定的系統(tǒng)運(yùn)行過程。云計(jì)算基礎(chǔ)架構(gòu)位于云計(jì)算系統(tǒng)的底層，其運(yùn)行的穩(wěn)定與否直接關(guān)系到整個云計(jì)算系統(tǒng)的運(yùn)作。盡管當(dāng)前已有多種技術(shù)手段（資源監(jiān)控技術(shù)、同步復(fù)制技術(shù)，心跳檢測技術(shù)等）來確保云計(jì)算基礎(chǔ)架構(gòu)的穩(wěn)定性。但是這些技術(shù)手段任然存在自身消耗資源過大、檢測周期與負(fù)載變化不適應(yīng)等問題。而這些問題也會在今后的云計(jì)算基礎(chǔ)架構(gòu)的研究中得到解決。所以系統(tǒng)的穩(wěn)定性也將是云計(jì)算基礎(chǔ)架構(gòu)研究的重點(diǎn)之一。
3）更靈活的系統(tǒng)擴(kuò)展。隨著數(shù)據(jù)量的增加，云計(jì)算基礎(chǔ)架構(gòu)不得不面臨系統(tǒng)擴(kuò)展的問題。而實(shí)時變化的數(shù)據(jù)交互量，使得云計(jì)算基礎(chǔ)架構(gòu)在擴(kuò)展的同時更加注重擴(kuò)展的靈活性。系統(tǒng)的擴(kuò)展意味著資源的擴(kuò)充，而系統(tǒng)擴(kuò)展后的資源合理分配是體現(xiàn)靈活系統(tǒng)擴(kuò)展的重要部分。當(dāng)前盡管各類云基礎(chǔ)架構(gòu)都在努力統(tǒng)一和規(guī)范各自系統(tǒng)擴(kuò)展接口并改進(jìn)資源分配方式，但資源分配是否能夠與負(fù)載變化同步依然是問題的實(shí)質(zhì)和仍未解決的問題。而這也是云計(jì)算發(fā)展的基本出發(fā)點(diǎn)和立足點(diǎn)。所以，靈活的系統(tǒng)擴(kuò)展能力是云計(jì)算基礎(chǔ)架構(gòu)未來的重要研究方向。
綜上所述，云計(jì)算基礎(chǔ)架構(gòu)是一個具有現(xiàn)實(shí)意義并充滿挑戰(zhàn)的新興領(lǐng)域，它的發(fā)展將對云計(jì)算發(fā)展產(chǎn)生巨大的推進(jìn)作用，而云計(jì)算基礎(chǔ)架構(gòu)也會在未來的發(fā)展中扮演越來越重要的角色。
參考文獻(xiàn)
[1]陸嘉恒等.分布式系統(tǒng)與云計(jì)算[M].北京：清華大學(xué)出版社，2011.5.
[2]吳朱華.云計(jì)算核心技術(shù)剖析[M].北京：人民郵電出版社，2011.5.
[3]劉鵬.云計(jì)算[M].北京：電子工業(yè)出版社，2011.7.
[4]Tim Mather，Subra Kumaraswamy，Shahed Latif著.云計(jì)算安全與隱私[M].北京：機(jī)械工業(yè)出版社，2011.5.
[5]朱近之.智慧的云計(jì)算[M].北京：電子工業(yè)出版社， 2011.4.
[6]VMware and Cloud Computing：An Evolutionary Approach to an IT Revolution.
[7]A.Lenk，M.Klems，J.Nimis，S.Tai.What is Inside the Cloud？An Architectural Map of the Cloud Landscape.http：///portal/web/csdl/doi/10.1109/CLOUD.2009.5071519.
[8]房晶，吳昊，白松林.云計(jì)算安全研究綜述[J].電信科學(xué)，2011，27（4）：37—42.
[9]陳丹偉，黃秀麗，任勛益.云計(jì)算及安全分析[A].計(jì)算機(jī)技術(shù)與發(fā)展，2010，20（2）：99—102.
[10]張建勛，古志民，鄧超.云計(jì)算研究進(jìn)展綜述[A].計(jì)算機(jī)應(yīng)用研究，2010，27（2）：429—433.
[11]吳英，謝廣軍，劉景.對等結(jié)構(gòu)的分布式存儲系統(tǒng)設(shè)計(jì)與研究[A].計(jì)算機(jī)工程與應(yīng)用，2006，42（4）：135—139.
[12]王剛，劉曉光，劉景.網(wǎng)絡(luò)軟RAID的設(shè)計(jì)與實(shí)現(xiàn)[J].計(jì)算機(jī)研究與發(fā)展，2000，37（增刊）：81—83.
[13]FREEMANT T，KEAHEY K.Flying low：simple lease with workspace pilot [C].//Proc of the 14th International Conference on Parallel Processing.
[14]GHEMAWAT S，GOBIOFF H，LEUNG S.The Google file system[C].//The Proceedings of the 19th Symposium on Operating Systems Principles，Lake Georage，New York，2003.
