序論：在您撰寫大數(shù)據(jù)應(yīng)用論文時(shí)，參考他人的優(yōu)秀作品可以開闊視野，小編為您整理的1篇范文，希望這些建議能夠激發(fā)您的創(chuàng)作熱情，引導(dǎo)您走向新的創(chuàng)作高度。

大數(shù)據(jù)應(yīng)用論文:醫(yī)療衛(wèi)生系統(tǒng)中大數(shù)據(jù)的應(yīng)用

摘要：近年來醫(yī)療衛(wèi)生信息化發(fā)展迅速，醫(yī)療衛(wèi)生領(lǐng)域也迎來了大數(shù)據(jù)時(shí)代的潮流。簡述了醫(yī)療衛(wèi)生系統(tǒng)中數(shù)據(jù)資源現(xiàn)狀，分析了通過大數(shù)據(jù)平臺構(gòu)建臨床決策支持系統(tǒng)、提高醫(yī)藥產(chǎn)品研發(fā)效率、疾病監(jiān)控防治等方面的應(yīng)用前景。

關(guān)鍵詞：大數(shù)據(jù)；醫(yī)療衛(wèi)生系統(tǒng)

1數(shù)據(jù)管理問題

醫(yī)療數(shù)據(jù)是持續(xù)、大量增長的大數(shù)據(jù)。根據(jù)估算，中國一個(gè)中等城市50年所積累的醫(yī)療數(shù)據(jù)量就會達(dá)到10PB級。并且，隨著時(shí)間的推移和業(yè)務(wù)系統(tǒng)的不斷升級換代，醫(yī)療數(shù)據(jù)模式的一致性也無法保證。因此，每天都會有大量的數(shù)據(jù)持續(xù)不斷地導(dǎo)入?yún)^(qū)域醫(yī)療數(shù)據(jù)中心，并且每當(dāng)有數(shù)據(jù)模式的更改，相關(guān)的歷史數(shù)據(jù)也需要做相應(yīng)的調(diào)整。由于醫(yī)療數(shù)據(jù)是多種數(shù)據(jù)源數(shù)據(jù)的匯總，醫(yī)療數(shù)據(jù)是關(guān)系復(fù)雜的多維數(shù)據(jù)。醫(yī)療數(shù)據(jù)的多維度多粒度為各種信息服務(wù)的多角度多層次分析提供了可能，但同時(shí)也為大數(shù)據(jù)分析帶來了挑戰(zhàn)。Hadoop基于開源分布式數(shù)據(jù)處理平臺，通過特殊的方式組織網(wǎng)絡(luò)級數(shù)據(jù)，可以解決數(shù)據(jù)存儲水平擴(kuò)展的挑戰(zhàn)。利用MapReduce并行處理批量事務(wù)的能力，從多個(gè)數(shù)據(jù)源（主要是醫(yī)療機(jī)構(gòu)的各個(gè)業(yè)務(wù)系統(tǒng)）抽取數(shù)據(jù)、轉(zhuǎn)換格式、并導(dǎo)入基于HBase的數(shù)據(jù)存儲模型。使用Hadoop進(jìn)行多維分析，利用數(shù)據(jù)平臺中多維數(shù)據(jù)非結(jié)構(gòu)化的特征，將大量冗余的維度信息整合到事實(shí)表中，可以在冗余維度下靈活地改變問題分析的角度。并結(jié)合Hadoop,MapReduce強(qiáng)大的并行化處理能力，無論分析中的維度增加多少，開銷并不顯著增長，不會顯著影響分析的性能。

2大數(shù)據(jù)應(yīng)用

2.1構(gòu)建臨床決策支持系統(tǒng)

臨床決策支持系統(tǒng)可以提高工作效率和診療質(zhì)量。通過分析疾病的模式和趨勢，臨床決策支持系統(tǒng)分析醫(yī)生輸入的條目，比較其與醫(yī)學(xué)指引不同的地方，從而提醒醫(yī)生防止?jié)撛诘腻e(cuò)誤，如藥物不良反應(yīng)。通過部署這些系統(tǒng)，醫(yī)療服務(wù)提供方可以降低醫(yī)療事故率和索賠數(shù)，尤其是那些臨床錯(cuò)誤引起的醫(yī)療事故。共享的醫(yī)療大數(shù)據(jù)分析技術(shù)將使臨床決策支持系統(tǒng)更智能，首先，大數(shù)據(jù)中心存儲的海量、高維和非結(jié)構(gòu)化的數(shù)據(jù)能夠被檢索，由于對非結(jié)構(gòu)化數(shù)據(jù)的分析能力的日益加強(qiáng)，從而獲取更多的決策支持信息。比如可以使用圖像分析和識別技術(shù)，識別醫(yī)療影像(X光、CT、MRI)數(shù)據(jù)，結(jié)合患者的電子病歷信息，得到輔助的治療信息?；蛘咄诰蜥t(yī)療文獻(xiàn)數(shù)據(jù)建立醫(yī)療專家數(shù)據(jù)庫和醫(yī)學(xué)知識倉庫，為醫(yī)生提供一個(gè)決策和清單，在錄入癥狀和檢驗(yàn)結(jié)果后，做是非判斷等集合算法，根據(jù)不同病種，建立決策樹算法，逐漸得出診斷結(jié)果和治療方案，為醫(yī)生的臨床操作提供建議，防止醫(yī)生忽略可能存在的罕見疾病，防止誤診。此外，臨床決策支持系統(tǒng)還可以使醫(yī)療流程中大部分的工作流流向護(hù)理人員和助理醫(yī)生，將常規(guī)的醫(yī)生問診程序化和模式化，結(jié)合檢驗(yàn)化驗(yàn)等技術(shù)手段，醫(yī)生只需參與最后的決策和治療環(huán)節(jié)。使醫(yī)生從耗時(shí)過長的簡單咨詢工作中解脫出來，從而提高治療效率。

2.2提高醫(yī)藥產(chǎn)品研發(fā)效率

2.2.1預(yù)測建模

醫(yī)藥公司在新藥物的研發(fā)階段，可以通過數(shù)據(jù)建模和分析，確定最有效率的投入產(chǎn)出比，從而配備最佳資源組合。模型基于藥物臨床試驗(yàn)階段之前的數(shù)據(jù)集及早期臨床階段的數(shù)據(jù)集，盡可能及時(shí)地預(yù)測臨床結(jié)果。評價(jià)因素包括產(chǎn)品的安全性、有效性、潛在的副作用和整體的試驗(yàn)結(jié)果。通過預(yù)測建?？梢越档歪t(yī)藥產(chǎn)品公司的研發(fā)成本，在通過數(shù)據(jù)建模和分析預(yù)測藥物臨床結(jié)果后，可以暫緩研究次優(yōu)的藥物，或者停止在次優(yōu)藥物上的昂貴的臨床試驗(yàn)。除了研發(fā)成本，醫(yī)藥公司還可以更快地得到回報(bào)。通過數(shù)據(jù)建模和分析，醫(yī)藥公司可以將藥物更快推向市場，生產(chǎn)更有針對性的藥物，有更高潛在市場回報(bào)和治療成功率的藥物。

2.2.2提高臨床試驗(yàn)設(shè)計(jì)的統(tǒng)計(jì)工具和算法

使用統(tǒng)計(jì)工具和算法，可以提高臨床試驗(yàn)設(shè)計(jì)水平，并在臨床試驗(yàn)階段更容易地招募到患者。通過挖掘病人數(shù)據(jù)，評估招募患者是否符合試驗(yàn)條件，從而加快臨床試驗(yàn)進(jìn)程，提出更有效的臨床試驗(yàn)設(shè)計(jì)建議，并能找出最合適的臨床試驗(yàn)基地。比如那些擁有大量潛在符合條件的臨床試驗(yàn)患者的試驗(yàn)基地可能是更理想的，或者在試驗(yàn)患者群體的規(guī)模和特征二者之間找到平衡。

2.2.3臨床實(shí)驗(yàn)數(shù)據(jù)的分析

分析臨床試驗(yàn)數(shù)據(jù)和病人記錄可以確定藥品更多的適應(yīng)癥和發(fā)現(xiàn)副作用。在對臨床試驗(yàn)數(shù)據(jù)和病人記錄進(jìn)行分析后，可以對藥物進(jìn)行重新定位，或者實(shí)現(xiàn)針對其他適應(yīng)癥的營銷。實(shí)時(shí)或者近乎實(shí)時(shí)地收集不良反應(yīng)報(bào)告可以促進(jìn)藥物警戒(藥物警戒是上市藥品的安全保障體系，對藥物不良反應(yīng)進(jìn)行監(jiān)測、評價(jià)和預(yù)防)?；蛘咴谝恍┣闆r下，臨床實(shí)驗(yàn)暗示出了一些情況但沒有足夠的統(tǒng)計(jì)數(shù)據(jù)去證明，現(xiàn)在基于臨床試驗(yàn)大數(shù)據(jù)的分析可以給出證據(jù)。

2.3基于大數(shù)據(jù)的疾病監(jiān)控防治

大數(shù)據(jù)的使用可以改善公眾健康監(jiān)控。首先，隨著移動(dòng)互聯(lián)網(wǎng)現(xiàn)在的不斷發(fā)展，越來越多的用戶開始選擇把業(yè)務(wù)和使用習(xí)慣都轉(zhuǎn)移到了移動(dòng)端，那么，在基于海量數(shù)據(jù)用戶搜索的社交APP以及LBS等技術(shù)層面，可以建立結(jié)合原有疾病監(jiān)控系統(tǒng)中的流行疾病法定報(bào)告數(shù)據(jù)、流行疾病病例，結(jié)合疾病、環(huán)境數(shù)據(jù)，及時(shí)發(fā)現(xiàn)并繪制出流行病風(fēng)險(xiǎn)地圖。在基于搜索數(shù)據(jù)和LBS數(shù)據(jù)方面，分析不同時(shí)空尺度人口流動(dòng)性、移動(dòng)模式和參數(shù)進(jìn)一步結(jié)合病原學(xué)、人口統(tǒng)計(jì)學(xué)、地理、氣象和人群移動(dòng)遷徙、地域之間等因素和信息，建立流行病時(shí)空傳播模型，確定流感等流行病在各流行區(qū)域間傳播的時(shí)空路線和規(guī)律，得到更加準(zhǔn)確的態(tài)勢評估、預(yù)測。并且，通過醫(yī)療云和大數(shù)據(jù)中心，公共衛(wèi)生部門可以通過覆蓋全國的患者電子病歷數(shù)據(jù)庫，分析疾病的模式和趨勢快速檢測大規(guī)模傳染性疾病進(jìn)行全面的疫情監(jiān)測，并通過集成疾病監(jiān)測和響應(yīng)程序，快速采取措施進(jìn)行響應(yīng)。這基于大數(shù)據(jù)的疾病監(jiān)控防治能使傳染病感染率降低，衛(wèi)生部門可以更快地檢測出新的傳染病和疫情。通過提供準(zhǔn)確和及時(shí)的公眾健康咨詢，將會大幅提高公眾健康風(fēng)險(xiǎn)意識，同時(shí)也將降低傳染病感染風(fēng)險(xiǎn)。大數(shù)據(jù)共享在疾病監(jiān)控防治中可以做到以下幾點(diǎn)：

（1）提前確定一定規(guī)模的未知疾病，為疫情控制爭取時(shí)間。傳統(tǒng)檢測無法監(jiān)測到任何沒有臨床癥狀的病例的，這些經(jīng)驗(yàn)在醫(yī)院的臨床經(jīng)驗(yàn)中都是空白。但大數(shù)據(jù)可以通過醫(yī)院的共享信息以及搜索監(jiān)控指定地區(qū)的用戶的頻繁搜索關(guān)鍵詞，可以檢測到某個(gè)地區(qū)已經(jīng)出現(xiàn)的疫情。比如不明原因的肺炎，某地餐館讓多少人出現(xiàn)嘔吐腹瀉等異常狀況等，然后再通過與疾病控制中心的病毒庫中的病毒分析，尋找吻合的病毒，進(jìn)行比對分析將其找出，為判斷疾病贏取時(shí)間。建立大數(shù)據(jù)中心后，疾病預(yù)防可以真正在第一時(shí)間內(nèi)去判斷出疫情的病毒源，進(jìn)而為控制爭取時(shí)間。疾病監(jiān)控防治的目的是及時(shí)制止其傳播的范圍，而大數(shù)據(jù)則是目前唯一的也是最佳的途徑。

（2）判斷人員流向，控制疫情。在疫情發(fā)生后，雖然國家可以第一時(shí)間控制住當(dāng)?shù)匾咔?，但是人員流動(dòng)則是無法控制的。利用大數(shù)據(jù)的監(jiān)控分析就能監(jiān)測到傳染源區(qū)人員的主要流向目的地，疾控中心可以拿出對應(yīng)的醫(yī)療技術(shù)和對應(yīng)的治療藥品以及疫苗來防治，第一時(shí)間趕到相應(yīng)地點(diǎn)，實(shí)施接種疫苗，這樣一來就減少了盲目的廣撒網(wǎng)式的全面布局情況，通過大數(shù)據(jù)分析的提供人員流動(dòng)數(shù)據(jù)，讓控制疫情在效率上大幅度提升。

（3）傳播動(dòng)力學(xué)模型建立。擁有了大數(shù)據(jù)的全面監(jiān)控后，疾控中心也就有了更多的實(shí)踐支持，就可以開始真正從實(shí)踐中建立有關(guān)疫情的復(fù)雜動(dòng)態(tài)網(wǎng)絡(luò)的傳播動(dòng)力學(xué)。

作者:林青 單位:西安培華學(xué)院

大數(shù)據(jù)應(yīng)用論文:4G移動(dòng)網(wǎng)絡(luò)的大數(shù)據(jù)與云計(jì)算技術(shù)應(yīng)用

摘要：

本文通過對云計(jì)算以及4G網(wǎng)絡(luò)的定義和特點(diǎn)進(jìn)行分析，提出了在4G移動(dòng)網(wǎng)絡(luò)平臺上采用云計(jì)算技術(shù)處理城市智能交通系統(tǒng)中的大數(shù)據(jù)問題，主要是結(jié)合二者的優(yōu)勢分析智能交通系統(tǒng)的功能，并加以實(shí)現(xiàn)，這將給緩解交通壓力、提高行車效率等提供便利。最后對未來智能交通系統(tǒng)開發(fā)與應(yīng)用進(jìn)行展望。

關(guān)鍵詞：4G網(wǎng)絡(luò)；大數(shù)據(jù)；云計(jì)算；智能交通；交通云

隨著人們生活水平的提高，汽車逐漸進(jìn)入到普通家庭，這無疑對道路交通的要求也越來越高，為提高道路行車效率，迫切需要建設(shè)一個(gè)高性能的智能交通系統(tǒng)（IntelligentTransportationSystems，ITS），以滿足大家的需求。

1智能交通系統(tǒng)的概念

智能交通系統(tǒng)（IntelligentTransportationSystems，ITS）指的是建立在較完善的基礎(chǔ)設(shè)施之上，將先進(jìn)的信息技術(shù)、計(jì)算機(jī)處理技術(shù)、數(shù)據(jù)通訊傳輸技術(shù)、電子傳感技術(shù)及電子控制技術(shù)等有效組合在一起，并運(yùn)用于整個(gè)交通運(yùn)輸管理體系中，從而能夠在大范圍、全天候發(fā)揮作用，建立起的一種準(zhǔn)確、實(shí)時(shí)、高效的綜合運(yùn)輸和管理系統(tǒng)[1]。依據(jù)智能交通系統(tǒng)的概念，我們可以看出，為了解決社會不斷增加的交通需求與有限的道路資源之間的矛盾，使有限的道路資源能被充分利用，提高人們的出行效率，保障人們出行安全，智能交通系統(tǒng)作為信息、通信、傳感與控制技術(shù)綜合運(yùn)用的產(chǎn)物，能給人們帶來便捷。但目前，我國城市交通仍面臨著許多嚴(yán)重問題，如成都，作為西南地區(qū)的一個(gè)大型城市，雖然其承載能力越來越強(qiáng)，路網(wǎng)體系也日趨完善，但隨著汽車保有量的強(qiáng)勁增長，道路供需關(guān)系依然非常嚴(yán)峻。據(jù)成都市交管局?jǐn)?shù)據(jù)顯示，截至2014年3月，成都地區(qū)的汽車保有量突破268.59萬輛大關(guān)，中心城區(qū)突破114.18萬輛，這個(gè)數(shù)據(jù)僅次于北京。而且成都已月均增2萬新車，并持續(xù)了62個(gè)月。一天就會產(chǎn)生數(shù)百億條GPS數(shù)據(jù)，而車牌識別信息、交通監(jiān)控視頻信息等數(shù)據(jù)量更大，交通相關(guān)的數(shù)據(jù)量也早以從TB級躍升到PB級[2]，因此，如果要實(shí)現(xiàn)對城市道路的交通流量信息、交通狀況、交通違法行為等的全面監(jiān)測，特別是承擔(dān)在交通高峰期采集、處理及分析大量的實(shí)時(shí)監(jiān)測數(shù)據(jù)的工作，整個(gè)平臺的運(yùn)行壓力將會非常巨大，大數(shù)據(jù)（bigdata）就此產(chǎn)生，大數(shù)據(jù)分析交通除了流量及車輛的相關(guān)信息外，還必須包括路面情況、天氣、突發(fā)情況、周邊環(huán)境等諸多因素，傳統(tǒng)的交通數(shù)據(jù)分析法已很難有效處理如此龐大的數(shù)據(jù)的問題。城市智能交通應(yīng)具備的特點(diǎn)和需求分析如下。

1.1數(shù)據(jù)信息海量化

整個(gè)城市的交通行為主體作為城市智能交通的分析對象，海量數(shù)據(jù)必然成為固有特性。

1.2應(yīng)用負(fù)載變化大

城市交通流特性呈現(xiàn)出區(qū)域關(guān)聯(lián)性強(qiáng)，隨時(shí)間變化大的特點(diǎn)，系統(tǒng)需要根據(jù)實(shí)時(shí)的交通流數(shù)據(jù)，做出全面采集、分析、處理等。而傳統(tǒng)的智能交通方案由于無法在全局上統(tǒng)籌，往往會因此陷入彼此孤立的情形。

1.3高穩(wěn)定性和高可用性

只有要求城市智能交通系統(tǒng)具有高可用性和高穩(wěn)定性，才能更好地、更快捷地提供暢通、安全、高品質(zhì)的行程服務(wù)，以保障交通運(yùn)輸?shù)母甙踩?、高時(shí)效和高準(zhǔn)確性，讓政府、社會和公眾感覺到方便。而目前的很多方案中，由于各生產(chǎn)廠商繁雜、設(shè)備類型眾多、質(zhì)量參差不齊，而國內(nèi)也缺乏統(tǒng)一的標(biāo)準(zhǔn)，這樣不僅系統(tǒng)維護(hù)成本高，而且也很難做到保持智能交通系統(tǒng)的高穩(wěn)定性。

1.4數(shù)據(jù)共享需求

目前，正在建設(shè)中的智能城市交通系統(tǒng)，大量的終端設(shè)備出自不同的廠商或不同平臺，這樣就形成了許許多多的信息孤島，彼此間很難實(shí)現(xiàn)共享數(shù)據(jù)。這在很大程度上影響了系統(tǒng)功能的充分實(shí)現(xiàn)，智能交通系統(tǒng)在硬件、接口上應(yīng)做的統(tǒng)一，從而使行業(yè)信息資源的全面整合與共享成為智能交通發(fā)揮整體方案優(yōu)勢、整體統(tǒng)籌資源、統(tǒng)一協(xié)調(diào)的基礎(chǔ)。

1.5信息實(shí)時(shí)處理性能要求高

隨著城市交通的擁堵日趨嚴(yán)重，人們在出行時(shí)要求能隨時(shí)隨地通過熟悉的方式獲取所需的出行計(jì)劃和實(shí)時(shí)的出行信息，因此，未來的智能交通需要滿足高效性、實(shí)時(shí)性的要求。

2大數(shù)據(jù)與云計(jì)算技術(shù)對智能交通系統(tǒng)的影響與應(yīng)用

云計(jì)算（cloudcomputing）是將計(jì)算任務(wù)分布在大量互聯(lián)的計(jì)算機(jī)構(gòu)成的資源池上，使各種應(yīng)用系統(tǒng)能夠根據(jù)需要獲取存儲空間、計(jì)算力和各種軟件服務(wù)，該資源池被稱為“云”。“云”是指一些可以自我管理和維護(hù)的虛擬計(jì)算資源，通常包括寬帶資源、計(jì)算服務(wù)器、存儲服務(wù)器等大型服務(wù)器集群[3]。而云計(jì)算（cloudcomputing）是一種基于互聯(lián)網(wǎng)平臺的計(jì)算方式，為計(jì)算資源提供全新的計(jì)算模式，其服務(wù)方式可動(dòng)態(tài)、伸縮且虛擬化，云計(jì)算技術(shù)還會將所有的計(jì)算資源匯集在一起，并通過軟件實(shí)現(xiàn)對資源的自動(dòng)高效管理。這使用戶能更加專注于自己的業(yè)務(wù)，無需為繁瑣的處理細(xì)節(jié)感到煩惱。云計(jì)算技術(shù)之所以能有效處理和應(yīng)對交通數(shù)據(jù)量大、可用性高、穩(wěn)定性要求高、信息實(shí)時(shí)處理要求高、應(yīng)用負(fù)載波動(dòng)大、數(shù)據(jù)共享需求大等問題，并能實(shí)現(xiàn)應(yīng)用的靈活性，高效整合資源，降低運(yùn)維成本和總能耗，很大程度上是源于其自身的高可靠性、彈性擴(kuò)容性好、快速部署及按需服務(wù)的特性。云計(jì)算技術(shù)以其高度的信息部署、優(yōu)異的擴(kuò)展性以及自動(dòng)化IT資源調(diào)度，成為解決智能交通面臨的問題的關(guān)鍵技術(shù)手段，成為一種全新概念的信息服務(wù)模式，有助于智能交通系統(tǒng)的快速實(shí)現(xiàn)。建設(shè)基于“云計(jì)算”的智能交通系統(tǒng)，要實(shí)現(xiàn)交通信息的動(dòng)態(tài)采集、分析、處理及，并及時(shí)向用戶提交動(dòng)態(tài)交通信息，報(bào)告路況動(dòng)態(tài)變化信息，指導(dǎo)用戶出行計(jì)劃，規(guī)劃用戶行車線路，從而有效提前進(jìn)行分流擁堵流量，從而提高交通通行效率[4]。其具體應(yīng)用如下。

（1）城市中的車、人或設(shè)備等每個(gè)交通終端節(jié)點(diǎn)，均可以實(shí)時(shí)地通過交通云得到基于整個(gè)城市交通信息智能分析后提供的服務(wù)。

（2）通過綜合整個(gè)城區(qū)的交通流信息及汽車的運(yùn)行計(jì)劃信息，每個(gè)交通信號燈都得到高效控制，并在面控、立體多維的基礎(chǔ)上進(jìn)行相關(guān)預(yù)測；城市交通引導(dǎo)系統(tǒng)也可以與交通信息個(gè)性化服務(wù)進(jìn)行無縫結(jié)合。

（3）為了更智能地提高交通運(yùn)行效率，拓展一個(gè)智能交通信息服務(wù)市場，運(yùn)營商要相應(yīng)地通過手機(jī)基站定位，向用戶提供實(shí)時(shí)的交通信息服務(wù)，這些信息與交通控制、引導(dǎo)相結(jié)合。隨著移動(dòng)通信網(wǎng)絡(luò)的發(fā)展，從早期的2G網(wǎng)絡(luò)到3G網(wǎng)絡(luò)，再發(fā)展到當(dāng)前的4G移動(dòng)通信網(wǎng)絡(luò)，4G網(wǎng)絡(luò)使圖像視頻傳輸更加穩(wěn)定，決策也更具有時(shí)效性，并為智能交通系統(tǒng)提供了更多應(yīng)用的可能，移動(dòng)網(wǎng)絡(luò)在智能化交通信息系統(tǒng)中的運(yùn)用日趨嫻熟、準(zhǔn)確，使智能交通系統(tǒng)真正、全面、高效地服務(wù)于社會，為緩減交通壓力做出了更大的貢獻(xiàn)。移動(dòng)網(wǎng)絡(luò)技術(shù)還有效地為智能交通系統(tǒng)的發(fā)展提供了新的發(fā)展思路。

34G移動(dòng)網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)的核心技術(shù)及優(yōu)點(diǎn)

3.14G移動(dòng)網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)的核心技術(shù)

4G移動(dòng)網(wǎng)絡(luò)體系結(jié)構(gòu)從下往上可分為物理網(wǎng)絡(luò)層、中間環(huán)境層、應(yīng)用網(wǎng)絡(luò)層。正交頻分復(fù)用（OFDM）技術(shù)是這一代移動(dòng)通信網(wǎng)絡(luò)的核心技術(shù)，該技術(shù)可以為用戶提供速率高、時(shí)延小的數(shù)據(jù)交換服務(wù)，能達(dá)到下行50Mbit/s與上行100Mbit/s的峰值速率。OFDM技術(shù)特點(diǎn)包括：具有良好的抗噪聲性能及抗多信道干擾能力，可擴(kuò)展網(wǎng)絡(luò)結(jié)構(gòu)。

3.24G移動(dòng)網(wǎng)絡(luò)的優(yōu)點(diǎn)

3.2.1通信速度高、靈活性好4G移動(dòng)通信系統(tǒng)速率可以高達(dá)到l00Mbps，甚至是150Mbps。由于4G網(wǎng)絡(luò)不僅是面向手機(jī)，還面向智能手表、控制器、眼鏡等移動(dòng)智能終端設(shè)備，這些終端設(shè)備極大豐富了人們的生活，使通信變得更加靈活多樣。

3.2.2系統(tǒng)兼容性好未來的4G移動(dòng)網(wǎng)絡(luò)要面向全球發(fā)展，可以預(yù)測4G移動(dòng)網(wǎng)絡(luò)一定會開放出更多標(biāo)準(zhǔn)化的接口，并與全世界各種網(wǎng)絡(luò)進(jìn)行高速通訊、互聯(lián)。

3.2.3網(wǎng)絡(luò)采用寬頻譜4G移動(dòng)網(wǎng)絡(luò)的每個(gè)信道會占有100MHz的頻譜，是3G移動(dòng)網(wǎng)絡(luò)的20倍左右。

3.2.4通訊費(fèi)用低目前，很多3G移動(dòng)網(wǎng)絡(luò)用戶之所以能方便地過渡到4G移動(dòng)網(wǎng)絡(luò)進(jìn)行通信，是因?yàn)?G移動(dòng)網(wǎng)絡(luò)與3G移動(dòng)網(wǎng)絡(luò)的兼容性較好，且4G移動(dòng)網(wǎng)絡(luò)的系統(tǒng)采用靈活的操作方式。在加上4G移動(dòng)網(wǎng)絡(luò)通訊費(fèi)用相對較低，為4G移動(dòng)網(wǎng)絡(luò)的快速部署創(chuàng)造了條件。

3.2.5網(wǎng)絡(luò)通信質(zhì)量高4G移動(dòng)網(wǎng)絡(luò)通信時(shí)代是高質(zhì)量通信的時(shí)代，與3G移動(dòng)網(wǎng)絡(luò)通信技術(shù)相比，4G移動(dòng)網(wǎng)絡(luò)通信技術(shù)將在很大程度上提升大數(shù)據(jù)的交互、處理能力，特別是跟云計(jì)算技術(shù)的結(jié)合，大大提高了效率，4G移動(dòng)網(wǎng)絡(luò)讓廣大人們擁有了前所未有的、便捷的移動(dòng)網(wǎng)絡(luò)交互體驗(yàn)，面對越來越復(fù)雜的網(wǎng)絡(luò)環(huán)境，通信質(zhì)量也得到了較好的保障，4G移動(dòng)網(wǎng)絡(luò)通信也能滿足3G移動(dòng)網(wǎng)絡(luò)通信尚不能覆蓋的區(qū)域。

4基于云計(jì)算的智能交通的關(guān)鍵技術(shù)

上述的需求，使大數(shù)據(jù)與云計(jì)算技術(shù)成為城市智能交通系統(tǒng)的重要支撐。為了有效地將云計(jì)算技術(shù)與跟4G網(wǎng)絡(luò)相結(jié)合，提升信息傳遞的準(zhǔn)確性和可達(dá)性，還需解決以下幾個(gè)主要技術(shù)問題。

4.1最優(yōu)路徑規(guī)劃問題

云計(jì)算技術(shù)在智能交通系統(tǒng)中的另一個(gè)重要應(yīng)用是智能交通系統(tǒng)中的最優(yōu)路徑規(guī)劃，它在各類應(yīng)急系統(tǒng)及車輛路徑導(dǎo)航系統(tǒng)中具有重要作用。智能交通最優(yōu)路徑規(guī)劃是以交通運(yùn)行數(shù)據(jù)為基礎(chǔ)，在云計(jì)算數(shù)據(jù)中心對各交通影響因素進(jìn)行分析、處理和判斷后，再通過短訊、車載終端、GIS電子地圖等各類終端幫助信息，為道路的使用人員提供最優(yōu)路徑，引導(dǎo)信息及各類實(shí)時(shí)交通幫助服務(wù)信息，以提高車輛的通行效率及行車安全。

4.2智能交通流預(yù)測與出行引導(dǎo)問題

基于云計(jì)算的智能交通流預(yù)測與出行引導(dǎo)可通過物聯(lián)網(wǎng)對交通流量數(shù)據(jù)進(jìn)行實(shí)時(shí)采集，對這些數(shù)據(jù)進(jìn)行分析和快速處理，以便對道路交通流進(jìn)行實(shí)時(shí)動(dòng)態(tài)判別和準(zhǔn)確預(yù)測，從而正確指導(dǎo)用戶出行，這樣必須建立起智能交通流量采集數(shù)據(jù)庫及非結(jié)構(gòu)化的數(shù)據(jù)庫。

4.3智能交通事故預(yù)警處理問題

道路交通中的突發(fā)事故嚴(yán)重影響城市道路交通運(yùn)行的安全性和可靠性，因此，面對突發(fā)事故，必須快速做出反應(yīng)，提出處理預(yù)案，然后對其進(jìn)行有效、及時(shí)地處置?；诖髷?shù)據(jù)分析的交通事故應(yīng)急處置方案的形成，是通過物聯(lián)網(wǎng)技術(shù)快速采集和分析交通突發(fā)事件及整個(gè)道路流量信息，迅速地進(jìn)行事故故障處理，并及時(shí)發(fā)出預(yù)警信息，提前、有效和安全地疏散車流，達(dá)到不影響交通正常運(yùn)行的目的。

5我國智能交通系統(tǒng)發(fā)展趨勢

眾所周知，我國4G移動(dòng)網(wǎng)絡(luò)牌照已經(jīng)發(fā)放，圍繞4G移動(dòng)網(wǎng)絡(luò)的各項(xiàng)業(yè)務(wù)也快速展開，但目前，網(wǎng)絡(luò)通訊費(fèi)用并沒有下降，這對基于4G移動(dòng)網(wǎng)絡(luò)智能交通系統(tǒng)的開發(fā)與使用具有較大影響，相信隨著4G網(wǎng)絡(luò)的普及、通信環(huán)境的改善、資費(fèi)的下調(diào)，大數(shù)據(jù)的交互平臺將有望在許多移動(dòng)設(shè)備（如手機(jī)、平板電腦）上實(shí)現(xiàn)，云計(jì)算技術(shù)也將得到更廣泛的應(yīng)用。例如，未來的智能交通系統(tǒng)將會出現(xiàn)自動(dòng)駕駛系統(tǒng)、大數(shù)據(jù)與智能交通、生態(tài)智能交通系統(tǒng)、移動(dòng)互聯(lián)網(wǎng)與智能交通等。近年來，基于移動(dòng)網(wǎng)絡(luò)智能終端的與交通相關(guān)的APP得到飛速發(fā)展，因而，移動(dòng)互聯(lián)網(wǎng)技術(shù)在人們出行中的作用將越來越大。

6結(jié)語

基于4G移動(dòng)網(wǎng)絡(luò)的大數(shù)據(jù)和云計(jì)算技術(shù)的智能交通系統(tǒng)是一個(gè)復(fù)雜的系統(tǒng)工程，它涵蓋了網(wǎng)絡(luò)構(gòu)建、信息采集、系統(tǒng)集成及應(yīng)用開發(fā)等多方面內(nèi)容，同時(shí)也涉及城市交通運(yùn)行管理中的許多領(lǐng)域。要在4G移動(dòng)網(wǎng)絡(luò)平臺上加快推進(jìn)大數(shù)據(jù)和云計(jì)算技術(shù)在城市智能交通系統(tǒng)中的研究及應(yīng)用，必須不斷加強(qiáng)技術(shù)革新、保障云安全、完善基礎(chǔ)設(shè)施建設(shè)，并將政府構(gòu)建的基礎(chǔ)性開放平臺與引導(dǎo)科研機(jī)構(gòu)、高校、企業(yè)參與應(yīng)用研發(fā)相結(jié)合。

作者：鄧波 黃同成 劉遠(yuǎn)軍 單位：邵陽學(xué)院信息工程系

大數(shù)據(jù)應(yīng)用論文:高校管理會計(jì)大數(shù)據(jù)的應(yīng)用

2015年1月，“管理會計(jì)之中國實(shí)踐”走進(jìn)高校第一站（北京大學(xué)站）在北京大學(xué)光華管理學(xué)院成功舉辦。研討會的主題是“大數(shù)據(jù)時(shí)代，CEO需要怎樣的管理會計(jì)”，會上財(cái)政部會計(jì)司副司長劉光忠強(qiáng)調(diào)了管理會計(jì)的重要性，并指出管理會計(jì)不僅適用于企業(yè)，也適用于行政事業(yè)單位。作為理論界的先行者和行政事業(yè)單位的典型代表，高校在注重管理會計(jì)的同時(shí)，還要充分發(fā)揮大數(shù)據(jù)在管理會計(jì)中的作用。大數(shù)據(jù)是網(wǎng)絡(luò)信息技術(shù)發(fā)展的產(chǎn)物，具有數(shù)據(jù)量大、價(jià)值高、更新快、類型多的特點(diǎn)，人們通過新技術(shù)對大數(shù)據(jù)進(jìn)行處理分析，從中提取出有價(jià)值的信息，這些信息為相關(guān)機(jī)構(gòu)做決策分析提供數(shù)據(jù)支持，有利于增強(qiáng)決策正確性，提升自身競爭力水平。近幾年我國高校的辦學(xué)規(guī)模日益擴(kuò)大，高等教育越來越大眾化，高校與高校之間關(guān)于招生、就業(yè)、發(fā)展的競爭不斷加劇。高校要想在競爭中提升自身競爭力水平、實(shí)現(xiàn)長遠(yuǎn)穩(wěn)定的發(fā)展目標(biāo)，就必須善于利用大數(shù)據(jù)這一工具，讓大數(shù)據(jù)在高校的管理中發(fā)揮作用。管理會計(jì)為高校領(lǐng)導(dǎo)作決策提供參考建議，而大數(shù)據(jù)可以為管理會計(jì)提供巨大的數(shù)據(jù)支持，只有在高校滿足一定的前提條件之后，才能更好地把大數(shù)據(jù)應(yīng)用在高校管理會計(jì)中。

一、大數(shù)據(jù)在高校管理會計(jì)中的應(yīng)用前提

（一）增強(qiáng)高校領(lǐng)導(dǎo)對大數(shù)據(jù)與管理會計(jì)關(guān)系的認(rèn)識

高校領(lǐng)導(dǎo)在學(xué)校的日常管理中起著模范帶頭作用，領(lǐng)導(dǎo)重視的問題、強(qiáng)調(diào)的內(nèi)容，是全體干部隊(duì)伍工作的方向和重點(diǎn)，全體方向一致才能完成目標(biāo)。在信息化發(fā)展迅速的今天，要讓管理會計(jì)在高校中真正發(fā)揮作用，需要高校領(lǐng)導(dǎo)意識到管理會計(jì)就是管理和會計(jì)的結(jié)合，管理會計(jì)人員呈現(xiàn)的不是單純的財(cái)務(wù)信息，而是從校園大數(shù)據(jù)中提取的有利于領(lǐng)導(dǎo)決策的數(shù)據(jù)信息。國內(nèi)國外的實(shí)踐經(jīng)驗(yàn)表明，管理會計(jì)對于管理的重要性已經(jīng)不言而喻，作為高校的領(lǐng)導(dǎo)尤其要緊跟時(shí)代步伐，善于利用大數(shù)據(jù)加強(qiáng)管理會計(jì)的應(yīng)用。一旦高校領(lǐng)導(dǎo)意識到大數(shù)據(jù)可以為管理會計(jì)提供數(shù)據(jù)支持，就會開始注重大數(shù)據(jù)在管理會計(jì)中的應(yīng)用，那么從各二級學(xué)院到各行政部門都會貫徹執(zhí)行具體應(yīng)用，就能很大程度改進(jìn)管理會計(jì)在高校的應(yīng)用效果。在海量大數(shù)據(jù)的支撐下，管理會計(jì)提供的決策建議更具有說服力，領(lǐng)導(dǎo)作出決策再也不用靠直覺、憑經(jīng)驗(yàn)了。

（二）注重管理會計(jì)人才的引入和培養(yǎng)

敏銳的洞察力、良好的溝通能力、專業(yè)的知識素養(yǎng)、嚴(yán)謹(jǐn)?shù)穆殬I(yè)修養(yǎng)是一個(gè)管理會計(jì)人員必備的素質(zhì)。管理會計(jì)不同于財(cái)務(wù)會計(jì)，不是僅僅做賬和處理數(shù)字那么簡單，而是需要管理會計(jì)人員利用專業(yè)的知識素養(yǎng)對財(cái)務(wù)信息和其他信息進(jìn)行統(tǒng)計(jì)分析，利用敏銳的洞察力洞察高校發(fā)展中存在的阻礙和優(yōu)勢、利用良好的溝通能力把分析出的數(shù)據(jù)、洞察的結(jié)果跟領(lǐng)導(dǎo)進(jìn)行匯報(bào)，利用嚴(yán)謹(jǐn)?shù)穆殬I(yè)修養(yǎng)對一些需要保密的決策三緘其口。當(dāng)今時(shí)代下，大數(shù)據(jù)對管理會計(jì)的應(yīng)用產(chǎn)生了很大影響，而且大數(shù)據(jù)理論與技術(shù)在逐漸發(fā)展，管理會計(jì)理論與體系也逐步走向成熟，更需要管理會計(jì)人才對大數(shù)據(jù)發(fā)展、高校發(fā)展進(jìn)行全視角觀察，保持清晰的邏輯思維方式對海量數(shù)據(jù)進(jìn)行分析整理。所以為了更好地促進(jìn)管理會計(jì)的應(yīng)用，在招聘管理會計(jì)人才時(shí)高校要嚴(yán)格考察，逐步篩選出高素質(zhì)、高水平的管理會計(jì)人才，隨著市場競爭的變化，還需要定期對管理會計(jì)人才進(jìn)行培養(yǎng)。

（三）引進(jìn)并更新管理會計(jì)信息系統(tǒng)

現(xiàn)在管理會計(jì)已逐步實(shí)現(xiàn)了信息化，管理會計(jì)信息系統(tǒng)以現(xiàn)代管理科學(xué)和信息技術(shù)為基礎(chǔ)，以財(cái)務(wù)管理和管理會計(jì)提供的模型為基本方法，把管理會計(jì)的實(shí)務(wù)操作與信息化系統(tǒng)結(jié)合，不僅可以實(shí)現(xiàn)信息傳遞的實(shí)時(shí)性，還能極大程度地節(jié)約物力人力。高校引進(jìn)管理會計(jì)信息系統(tǒng)有利于管理會計(jì)工作的開展，在大數(shù)據(jù)作用于管理會計(jì)過程中，大數(shù)據(jù)的分析利用需要借助管理信息系統(tǒng)，而且隨著大數(shù)據(jù)量的不斷增加，對信息系統(tǒng)的要求也會越來越高，所以為了確保管理會計(jì)的應(yīng)用效果，就要定期更新管理會計(jì)信息系統(tǒng)。

二、大數(shù)據(jù)在高校管理會計(jì)中的應(yīng)用領(lǐng)域

在高校的行政管理中，即時(shí)報(bào)賬產(chǎn)生的財(cái)務(wù)信息、隨時(shí)變化的學(xué)費(fèi)繳納情況、新增科研項(xiàng)目的經(jīng)費(fèi)登記、基建項(xiàng)目的進(jìn)度變化、資產(chǎn)的購置與報(bào)廢情況變化、隨時(shí)變化的水電費(fèi)使用情況以及畢業(yè)生就業(yè)情況等構(gòu)成了實(shí)時(shí)產(chǎn)生的大數(shù)據(jù)，這些數(shù)據(jù)信息對于學(xué)校的管理與發(fā)展來說具有很大價(jià)值。所以學(xué)校應(yīng)根據(jù)信息化管理技術(shù)，建立一個(gè)涵蓋財(cái)務(wù)處、審計(jì)處、資產(chǎn)管理處、科研處、教務(wù)處、基建處、發(fā)展規(guī)劃處等部門的，并且與市場公開信息相連接的“大數(shù)據(jù)庫”，確保學(xué)校行政管理各部門間信息的溝通與傳達(dá)，為管理會計(jì)實(shí)現(xiàn)評價(jià)與分析提供基礎(chǔ)。下文將詳細(xì)分析大數(shù)據(jù)在管理會計(jì)中的預(yù)算管理、本量利分析、決策分析和績效管理中的應(yīng)用。

（一）預(yù)算管理中的應(yīng)用

高校預(yù)算管理的效果決定了高校行政資金的使用效率，關(guān)系到高校年度內(nèi)各項(xiàng)事業(yè)是否能正常運(yùn)行。在編制預(yù)算時(shí)，有的高校根據(jù)“增量預(yù)算”方法編制，有的高校根據(jù)“零基預(yù)算”方法編制，還有部分高校采用“零基預(yù)算”與“增量預(yù)算”相結(jié)合的方法編制，這幾種預(yù)算編制方法都不能解決超預(yù)算的支出問題，容易造成財(cái)務(wù)資金沉淀，不能適應(yīng)目前高校教育事業(yè)發(fā)展的需要?！皾L動(dòng)預(yù)算”法是不規(guī)定預(yù)算的數(shù)額，在預(yù)算執(zhí)行過程中，隨著預(yù)算的執(zhí)行不斷延伸補(bǔ)充預(yù)算，逐期向后滾動(dòng)的預(yù)算編制方法，利用這種方法編制預(yù)算加大了對預(yù)算監(jiān)督的難度，所以在實(shí)際應(yīng)用中較少用到。但是在當(dāng)今信息化時(shí)代，對數(shù)據(jù)信息的實(shí)時(shí)掌握不再是一個(gè)不可及的目標(biāo)，它可以促進(jìn)高校使用“滾動(dòng)預(yù)算”法編制預(yù)算，使用過程中可以將滾動(dòng)周期縮短到以月或者周為單位，也可以根據(jù)各部門重大資金支出周期為單位，通過大數(shù)據(jù)庫，實(shí)現(xiàn)周期性的對部門預(yù)算的審批與監(jiān)督。在審批與監(jiān)督過程中，要結(jié)合學(xué)校實(shí)際情況和市場公開信息進(jìn)行分析，例如對于部門某資產(chǎn)的購置預(yù)算方案，要先結(jié)合部門情況分析其購置必要性和購置數(shù)量合理性，再結(jié)合市場同類價(jià)格信息分析部門報(bào)價(jià)是否合理，如果不符合這幾項(xiàng)規(guī)定之一，該預(yù)算方案就不能審批通過。

（二）本量利分析中的應(yīng)用

高校在確定年度招生計(jì)劃時(shí)，可以采用本量利分析方法，根據(jù)生源總體情況、往年招生計(jì)劃、學(xué)校容量等數(shù)據(jù)信息進(jìn)行綜合考量，結(jié)合學(xué)校的運(yùn)營成本進(jìn)行分析，確定最優(yōu)的決策方案。假設(shè)學(xué)校的運(yùn)營成本分為固定成本和變動(dòng)成本，固定成本是不隨學(xué)生人數(shù)增減而變化的成本，包括學(xué)校的教學(xué)樓、宿舍樓、圖書館等長期固定資產(chǎn)成本，教學(xué)設(shè)備設(shè)施等短期固定資產(chǎn)成本，學(xué)校維護(hù)安全的治安管理成本，學(xué)校職工的工資和福利等薪酬成本等；變動(dòng)成本是隨著學(xué)生人數(shù)的增減而變動(dòng)的成本，包括學(xué)生的水費(fèi)、電費(fèi)，各院系的報(bào)刊費(fèi)、電話費(fèi)、網(wǎng)絡(luò)費(fèi)等。假設(shè)學(xué)校的收入總額是國家撥款和學(xué)費(fèi)（假設(shè)沒有校辦企業(yè)和其他資金來源），那學(xué)校的盈利就是收入總額減去固定成本和變動(dòng)成本后的差額，從理論上分析招生越多，學(xué)校的盈利就越多。但是高校終歸是非盈利組織，不以盈利為目的，我們利用本量利分析的最終目的不是尋求利益最大，而是考慮如何在充分利用學(xué)校資源和保證生源質(zhì)量的前提下，實(shí)現(xiàn)學(xué)校成本較小的目標(biāo)?；诖髷?shù)據(jù)資源庫，高校可以充分利用學(xué)校的成本數(shù)據(jù)信息、學(xué)校容量數(shù)據(jù)信息，往年招生情況信息，歷年分?jǐn)?shù)線信息、歷年各省名額分配信息等對招生計(jì)劃進(jìn)行綜合考量，確立一個(gè)可以實(shí)現(xiàn)校園資源優(yōu)化配置又能保證學(xué)校健康穩(wěn)定發(fā)展的招生計(jì)劃。

（三）基建決策中的應(yīng)用

隨著高等教育的大眾化進(jìn)程加快，高校擴(kuò)建已成為一種必然趨勢，但是在哪里擴(kuò)建、如何擴(kuò)建、擴(kuò)建到什么規(guī)模則是需要高校管理者深思熟慮的問題。到底是在原來的校園內(nèi)建設(shè)教學(xué)樓或宿舍樓等固定資產(chǎn)，還是另尋新址進(jìn)行擴(kuò)建；要怎樣進(jìn)行擴(kuò)建，是教學(xué)樓、宿舍樓和其他教輔設(shè)施一起建設(shè)，還是分批次按重要性依次建設(shè)；到底擴(kuò)建到什么規(guī)模，是不是擴(kuò)建的越大越好等這些問題，可以根據(jù)大數(shù)據(jù)信息得到解決。在做這些決策時(shí)，高校要結(jié)合“大數(shù)據(jù)庫”中的學(xué)校財(cái)務(wù)數(shù)據(jù)信息、招生計(jì)劃信息、國家政策信息、融資渠道信息等進(jìn)行綜合考慮，做到不盲目擴(kuò)建、有目的有根據(jù)的做出有利于學(xué)校發(fā)展的決策。

（四）重大采購決策中的應(yīng)用

每年新生入學(xué)，學(xué)校都要大批量購置床上用品和學(xué)校校服，采購這些物資的原則都是質(zhì)優(yōu)價(jià)廉，采購方式多是招標(biāo)。但是以往參與招標(biāo)的供應(yīng)商往往受限于地域范圍，例如山東省的供應(yīng)商不會到海南的高校進(jìn)行招標(biāo)，正如海南供應(yīng)商也不會到山東省高校進(jìn)行招標(biāo)一樣，這導(dǎo)致參與招標(biāo)的供應(yīng)商每年都是固定的幾家，學(xué)校對于采購物資的議價(jià)能力不高，很大程度上加大了學(xué)校的采購成本。但是現(xiàn)在招標(biāo)信息是完全公開信息，不管哪里的供應(yīng)商都可以看到都能參與，學(xué)校也可以向產(chǎn)品質(zhì)量較高但從未參與過學(xué)校招標(biāo)的供應(yīng)商發(fā)送招標(biāo)邀請，這樣參與學(xué)校采購物資招標(biāo)的供應(yīng)商就會增多，學(xué)校就有較大的議價(jià)能力，在諸多供應(yīng)商中選擇一家或幾家為學(xué)校生產(chǎn)采購物資，節(jié)省學(xué)校的采購成本。在大數(shù)據(jù)時(shí)代，物流發(fā)展也同樣迅速，完全不必?fù)?dān)心生產(chǎn)廠家和高校間的距離，也完全不必?fù)?dān)心遠(yuǎn)距離下的物流成本，可以結(jié)合幾十家物流運(yùn)輸費(fèi)用的信息數(shù)據(jù)進(jìn)行選擇，選擇一家安全快速的物流公司進(jìn)行物資運(yùn)輸。

（五）績效管理中的應(yīng)用

有效的績效管理可以促進(jìn)學(xué)校與教職工的“雙贏”發(fā)展，能讓學(xué)校了解教職工的工作狀態(tài)，便于發(fā)現(xiàn)人才、留住人才，能讓教職工通過考核結(jié)果的反饋與對比，清楚地看到自身的優(yōu)勢與不足。在以往的績效管理中，對教職工的考評流于形式，績效計(jì)劃制定不詳細(xì)、績效實(shí)施缺乏監(jiān)督、績效考核與反饋不及時(shí)。但是大數(shù)據(jù)的出現(xiàn)可以促進(jìn)績效管理有效性的實(shí)現(xiàn)，通過層級傳遞，各級領(lǐng)導(dǎo)把行政人員和教師人員的詳細(xì)崗位職責(zé)、工作任務(wù)、工作目標(biāo)等錄入績效管理數(shù)據(jù)系統(tǒng)。專人負(fù)責(zé)定期將教職工的教學(xué)成果、學(xué)術(shù)成果、工作業(yè)績等數(shù)據(jù)進(jìn)行統(tǒng)計(jì)并上傳到績效管理數(shù)據(jù)系統(tǒng)中，為保證績效考核結(jié)果的可比性，需要在考慮不同專業(yè)、不同學(xué)科性質(zhì)的基礎(chǔ)上將工作成果進(jìn)行量化。教職工（只有查看權(quán)限）可以登陸績效管理系統(tǒng)，查看自己階段性的績效考評結(jié)果，并可以向系統(tǒng)提交查看其他教職工績效結(jié)果的申請，便于進(jìn)行橫向?qū)Ρ?，在這個(gè)過程真正縮短績效考核與反饋的時(shí)間間隔，提高了績效管理的效率。在大數(shù)據(jù)的推動(dòng)下，教職工的績效考評結(jié)果用數(shù)字表示，清晰的評價(jià)標(biāo)準(zhǔn)和流程讓教職工感受到績效管理的公平公正，這樣的情況下再與學(xué)校的獎(jiǎng)懲機(jī)制相聯(lián)系，能極大地促進(jìn)教職工的工作熱情和積極性。

作者：張?jiān)伱?穆文娟 單位：山東科技大學(xué)經(jīng)濟(jì)管理學(xué)院

大數(shù)據(jù)應(yīng)用論文:計(jì)量工作大數(shù)據(jù)應(yīng)用與發(fā)展

目前，我國計(jì)量行業(yè)對大數(shù)據(jù)的理解和應(yīng)用相對滯后，政府行政部門應(yīng)通過相關(guān)數(shù)據(jù)收集、統(tǒng)計(jì)和挖掘，獲得有價(jià)值信息，為產(chǎn)品質(zhì)量的提升和發(fā)展提供更科學(xué)的依據(jù)。運(yùn)用大數(shù)據(jù)推動(dòng)計(jì)量行業(yè)快速發(fā)展，進(jìn)而推動(dòng)產(chǎn)品質(zhì)量提升，已經(jīng)成為計(jì)量行業(yè)未來發(fā)展的必然趨勢。

一、計(jì)量信息數(shù)據(jù)整合是做

好質(zhì)監(jiān)大數(shù)據(jù)運(yùn)用的基礎(chǔ)計(jì)量工作中的量值傳遞、產(chǎn)品檢定、測試與校準(zhǔn)中，產(chǎn)生了大量有價(jià)值的數(shù)據(jù)信息，所以推進(jìn)計(jì)量工作數(shù)據(jù)清理整合工作，在建立計(jì)量信息數(shù)據(jù)庫的基礎(chǔ)上，再將產(chǎn)品檢驗(yàn)、執(zhí)法系統(tǒng)數(shù)據(jù)、重點(diǎn)行業(yè)、企業(yè)、產(chǎn)品的質(zhì)量數(shù)據(jù)，以及各個(gè)領(lǐng)域涉及產(chǎn)品質(zhì)量的相關(guān)數(shù)據(jù)進(jìn)行整合，最終完善整個(gè)質(zhì)監(jiān)領(lǐng)域的大數(shù)據(jù)庫。充分運(yùn)用大數(shù)據(jù)相關(guān)技術(shù)，提高質(zhì)監(jiān)部門的服務(wù)水平，為產(chǎn)品質(zhì)量監(jiān)督管理、產(chǎn)品質(zhì)量提升、國家質(zhì)量戰(zhàn)略和相關(guān)法律法規(guī)的制定提供更可靠的依據(jù)。

二、大數(shù)據(jù)運(yùn)用在計(jì)量領(lǐng)域的初步探索

1.建立計(jì)量器具數(shù)據(jù)庫。建立統(tǒng)一的數(shù)據(jù)庫，將計(jì)量器具實(shí)行賦碼化管理，逐步完成計(jì)量器具的生產(chǎn)、使用等多環(huán)節(jié)的監(jiān)管。目前，西安市已經(jīng)在全國率先將強(qiáng)檢計(jì)量器具實(shí)行賦碼化管理，賦碼系統(tǒng)建立后，大幅度減少了強(qiáng)檢計(jì)量器具瞞報(bào)、漏報(bào)、不報(bào)、拒檢、超期未檢等現(xiàn)象的發(fā)生，強(qiáng)化了強(qiáng)檢計(jì)量器具在使用中的監(jiān)管。筆者認(rèn)為，下一步應(yīng)組織相關(guān)部門逐步將計(jì)量器具的生產(chǎn)企業(yè)納入數(shù)據(jù)庫中，實(shí)行“一器一碼”制，最終實(shí)現(xiàn)通過編碼查詢到計(jì)量器具的所有信息，包括生產(chǎn)信息（企業(yè)信用信息、生產(chǎn)許可證、出廠合格證、質(zhì)保信息等）、使用過程中的管理信息（使用方的維修信息、相關(guān)檢測機(jī)構(gòu)的檢測報(bào)告等）。2.將大數(shù)據(jù)技術(shù)應(yīng)用于復(fù)雜環(huán)境下的計(jì)量檢測中。計(jì)量測試未來發(fā)展趨勢是將在保持更高準(zhǔn)確度的前提下，回歸到現(xiàn)場環(huán)境條件里的計(jì)量校準(zhǔn)和計(jì)量溯源。隨著大規(guī)模現(xiàn)代化工業(yè)、國防工業(yè)和軍事計(jì)量的發(fā)展，解決復(fù)雜環(huán)境下的計(jì)量校準(zhǔn)問題，成為當(dāng)今計(jì)量檢測中的難題和挑戰(zhàn)。建立計(jì)量測試儀器設(shè)備在每一種環(huán)境因素變化情況下的有效數(shù)據(jù)和變化情況數(shù)據(jù)的數(shù)據(jù)庫，并對不同因素的相互作用（包括線性疊加、非線性疊加、交叉調(diào)制、加權(quán)耦合等）進(jìn)行仿真模擬（包括模型仿真、數(shù)據(jù)仿真、半物理仿真、全物理仿真等）。最終通過模仿系統(tǒng)模型和大數(shù)據(jù)進(jìn)行處理，以獲得在任何復(fù)雜環(huán)境條件下的計(jì)量校準(zhǔn)結(jié)果。3.用大數(shù)據(jù)幫助企業(yè)解決計(jì)量器具的管理。計(jì)量檢測作為企業(yè)產(chǎn)品和服務(wù)質(zhì)量控制的重要組成部分，企業(yè)對服務(wù)機(jī)構(gòu)計(jì)量檢測的綜合服務(wù)能力要求越來越高。通過大數(shù)據(jù)技術(shù)全面切入客戶質(zhì)量管理、技術(shù)研發(fā)環(huán)節(jié)，為客戶提供全方位解決方案，已成為計(jì)量檢測技術(shù)服務(wù)市場和拓展能力的方向。例如，為醫(yī)院提供計(jì)量檢測服務(wù)的過程中，利用大數(shù)據(jù)分析、評估醫(yī)院計(jì)量器具的整體性能，幫助醫(yī)院發(fā)現(xiàn)醫(yī)療設(shè)備性能和使用中存在的各種問題，提出相應(yīng)解決方案，從而提升醫(yī)院設(shè)備質(zhì)量控制的整體水平，避免因?yàn)獒t(yī)療設(shè)備性能的問題造成醫(yī)療事故，為病人的生命安全保駕護(hù)航，也更好地體現(xiàn)了民生計(jì)量工作中執(zhí)政為民、全心全意為人民服務(wù)的宗旨。4.用大數(shù)據(jù)可以為計(jì)量助推供給側(cè)結(jié)構(gòu)性改革和精準(zhǔn)服務(wù)產(chǎn)業(yè)發(fā)展，找到準(zhǔn)確的發(fā)力點(diǎn)和切入點(diǎn)。通過建立區(qū)域內(nèi)計(jì)量基標(biāo)準(zhǔn)和社會公用計(jì)量標(biāo)準(zhǔn)動(dòng)態(tài)數(shù)據(jù)庫，努力實(shí)現(xiàn)信息資源區(qū)域共享、結(jié)果互認(rèn)，從而統(tǒng)籌技術(shù)資源，避免重復(fù)購買計(jì)量標(biāo)準(zhǔn)器具，提高檢測標(biāo)準(zhǔn)器的利用率，從而充分發(fā)揮區(qū)域計(jì)量標(biāo)準(zhǔn)器具資源的價(jià)值。同時(shí)通過大數(shù)據(jù)交流，增加部門之間的橫向聯(lián)系，實(shí)現(xiàn)良好的合作，促使國民經(jīng)濟(jì)聯(lián)合成一個(gè)完整的體系，將計(jì)量與全社會各部門、各企業(yè)聯(lián)系在一起。5.用大數(shù)據(jù)為“一帶一路”計(jì)量服務(wù)。通過大數(shù)據(jù)，積極推進(jìn)與沿線國家計(jì)量領(lǐng)域全方位的務(wù)實(shí)合作，共同促進(jìn)國際計(jì)量體系的創(chuàng)新發(fā)展，推動(dòng)國際計(jì)量互認(rèn)進(jìn)程，促進(jìn)貿(mào)易便利化水平，服務(wù)區(qū)域經(jīng)濟(jì)社會可持續(xù)發(fā)展。通過建立計(jì)量領(lǐng)域政策信息數(shù)據(jù)互換和交流平臺，提升計(jì)量法規(guī)的透明度，實(shí)現(xiàn)沿線國家資源共享。通過建立計(jì)量領(lǐng)域技術(shù)信息數(shù)據(jù)互換和交流平臺，加強(qiáng)各國計(jì)量技術(shù)機(jī)構(gòu)的戰(zhàn)略規(guī)劃、科學(xué)研究、業(yè)務(wù)拓展等方面的信息交流。加快計(jì)量雙邊、多邊合作和互認(rèn)進(jìn)程，促進(jìn)量值國際等效，不斷擴(kuò)大互認(rèn)國和互認(rèn)產(chǎn)品范圍，最終實(shí)現(xiàn)“一次測試、一張證書、全球互認(rèn)”，從而促進(jìn)國際貿(mào)易的便利化，更好地提升計(jì)量服務(wù)經(jīng)濟(jì)發(fā)展的能力。

三、結(jié)束語

計(jì)量大數(shù)據(jù)的服務(wù)與應(yīng)用可以加速計(jì)量行業(yè)信息化進(jìn)程，加快質(zhì)監(jiān)部門信息共享，提高質(zhì)監(jiān)部門服務(wù)能力。當(dāng)然，數(shù)據(jù)安全是質(zhì)監(jiān)系統(tǒng)做出分析和決策的重要依據(jù)，大數(shù)據(jù)在存儲、處理、傳輸?shù)冗^程中面臨安全風(fēng)險(xiǎn)，具有數(shù)據(jù)安全和隱私保護(hù)需求。尤其是計(jì)量大數(shù)據(jù)，都是與生產(chǎn)、生活、安全相關(guān)的數(shù)據(jù)，保護(hù)這些數(shù)據(jù)的安全，防止數(shù)據(jù)系統(tǒng)受到不法分子的攻擊顯得尤為重要。

作者：付磊 單位：陜西省計(jì)量科學(xué)研究院

大數(shù)據(jù)應(yīng)用論文:大數(shù)據(jù)在高校教育信息化的應(yīng)用

【摘要】隨著我國經(jīng)濟(jì)的發(fā)展，科學(xué)技術(shù)的迅猛提高，信息技術(shù)已經(jīng)逐漸融入到社會的每一個(gè)角落，21世紀(jì)開始步入信息化時(shí)代。隨著信息技術(shù)的滲透，作為社會生活的重要陣地，高校自然也不會置身事外，信息技術(shù)在高校教育中的應(yīng)用愈發(fā)普遍。本文主要闡述了大數(shù)據(jù)在當(dāng)前信息化時(shí)代中的一些特點(diǎn)，并結(jié)合實(shí)際探討了大數(shù)據(jù)在高校教育信息化中的應(yīng)用。

【關(guān)鍵詞】大數(shù)據(jù)；高校教育；信息化

信息化時(shí)代的到來，使得曾經(jīng)被人忽視的各種媒介中的數(shù)據(jù)爆發(fā)出驚人的價(jià)值和影響力。數(shù)據(jù)成為了信息化時(shí)代獨(dú)有的傳遞媒介，人類將邁入一個(gè)深度挖掘數(shù)據(jù)的大數(shù)據(jù)時(shí)代。隨著信息技術(shù)的滲透，人們的生活、工作已離不開大數(shù)據(jù)。將信息化技術(shù)融入高校教育中不僅可以幫助高校發(fā)展教育還可以為信息化時(shí)代做一份貢獻(xiàn)。在21世紀(jì)這場大數(shù)據(jù)的浪潮中，高校在其中扮演的角色不僅僅是參與者更是推動(dòng)者。為順應(yīng)大數(shù)據(jù)時(shí)展的趨勢，在高校教育中推行信息化教育勢在必行。

一、大數(shù)據(jù)

作為信息時(shí)代的產(chǎn)物，人們對大數(shù)據(jù)往往有著不同的定義，簡而言之，大數(shù)據(jù)是信息數(shù)據(jù)的總和，是以信息形式表達(dá)的多種信息的融合?？梢哉f它是一種新型的力量，有著不可估量的價(jià)值和影響力，現(xiàn)代技術(shù)是它的載體。憑借其自身蘊(yùn)藏的無限價(jià)值，大數(shù)據(jù)已經(jīng)成為現(xiàn)代化社會的象征。與傳統(tǒng)數(shù)據(jù)不同的是，大數(shù)據(jù)主要講究的是數(shù)據(jù)之間的相關(guān)性，而對于數(shù)據(jù)間的因果關(guān)系卻不再關(guān)注。大數(shù)據(jù)可以通過分析數(shù)據(jù)間的相關(guān)性來實(shí)現(xiàn)對信息的優(yōu)化，幫助人們進(jìn)行決策分析。在高校教育中，大數(shù)據(jù)也可以通過對高校的信息數(shù)據(jù)進(jìn)行分析整合，為高校的發(fā)展提供數(shù)據(jù)參考。與傳統(tǒng)數(shù)據(jù)不同，傳統(tǒng)數(shù)據(jù)僅僅只是實(shí)現(xiàn)了對數(shù)據(jù)的存儲并未完全實(shí)現(xiàn)數(shù)據(jù)的價(jià)值，因此雖然傳統(tǒng)數(shù)據(jù)為中國的社會發(fā)展做出了貢獻(xiàn)，也給人們帶來了很多便利，但它仍存在很多瑕疵。反觀大數(shù)據(jù)，大數(shù)據(jù)主要講究的是數(shù)據(jù)之間的相關(guān)性，它不僅可以實(shí)現(xiàn)數(shù)據(jù)的存儲，還可以利用這些數(shù)據(jù)達(dá)到預(yù)知發(fā)展趨勢的目的，與傳統(tǒng)數(shù)據(jù)相比，它更實(shí)現(xiàn)了對數(shù)據(jù)價(jià)值的深入挖掘。傳統(tǒng)數(shù)據(jù)與大數(shù)據(jù)應(yīng)用的方向也不相同，傳統(tǒng)數(shù)據(jù)主要進(jìn)行信息的存儲，針對的是過去的數(shù)據(jù)，已過去的數(shù)據(jù)為核心。而大數(shù)據(jù)是對傳統(tǒng)數(shù)據(jù)的提取和分析，以達(dá)到預(yù)知發(fā)展趨勢的目的，是以事物未來的發(fā)展為核心。憑借其自身蘊(yùn)藏的無限價(jià)值，大數(shù)據(jù)已經(jīng)成為現(xiàn)代化社會的象征。隨著信息技術(shù)的發(fā)展，大數(shù)據(jù)也將滲透到人們生活的每一個(gè)角落，大數(shù)據(jù)必將在高校的教育中發(fā)揮重要的作用。

二、大數(shù)據(jù)在高校教育信息化中的應(yīng)用探析

1、對教學(xué)質(zhì)量進(jìn)行評價(jià)。為了提高高校的教學(xué)質(zhì)量并能夠幫助教師在教學(xué)過程中不斷地發(fā)現(xiàn)問題、解決問題，高校的每年期末都會對教師的教學(xué)質(zhì)量進(jìn)行評估檢查。在教學(xué)評價(jià)中應(yīng)用大數(shù)據(jù)可以使教學(xué)評價(jià)形成有效的管理機(jī)制，其實(shí)能夠安全有序的進(jìn)行。而且大數(shù)據(jù)可以根據(jù)教學(xué)評估中提供的各項(xiàng)數(shù)據(jù)進(jìn)行有效的分析整合，使教學(xué)評估工作更加高效可靠。2、綜合分析教師的職業(yè)技能。傳統(tǒng)的數(shù)據(jù)僅僅能起到信息存儲的功能而無法利用數(shù)據(jù)的附加價(jià)值，而大數(shù)據(jù)不僅可以實(shí)現(xiàn)信息的存儲更強(qiáng)調(diào)了信息之間的相關(guān)性。將大數(shù)據(jù)應(yīng)用于高效教育中，還可以實(shí)現(xiàn)對教師職業(yè)技能的分析，而在高校教育中，最能夠決定高校教育質(zhì)量高低的便是教師的職業(yè)技能。將大數(shù)據(jù)應(yīng)用于教師的職業(yè)技能分析時(shí)，大數(shù)據(jù)可以通過對教師以往教學(xué)經(jīng)歷的分析、觀察，從而找出最適合該名教師的教學(xué)方法，并能夠幫助其在課堂上揚(yáng)長避短，提高高校的教學(xué)質(zhì)量。將大數(shù)據(jù)應(yīng)用于教師的職業(yè)技能的分析還可以提高課堂的利用率，為學(xué)生的下一步學(xué)習(xí)制定計(jì)劃。3、個(gè)性化課堂的開展。將大數(shù)據(jù)應(yīng)用于高校教育中，大數(shù)據(jù)可以完美的將學(xué)習(xí)內(nèi)容與數(shù)據(jù)資源結(jié)合起來，從而幫助學(xué)生完成學(xué)習(xí)目標(biāo)，實(shí)現(xiàn)個(gè)性化學(xué)習(xí)。高校教學(xué)改革最重要的目標(biāo)便是個(gè)性化學(xué)習(xí)。大數(shù)據(jù)主要強(qiáng)調(diào)信息之間的相關(guān)性，將大數(shù)據(jù)應(yīng)用于個(gè)性化課堂的開展時(shí)，大數(shù)據(jù)可以根據(jù)某個(gè)學(xué)生學(xué)習(xí)成績?nèi)缓髲囊旬厴I(yè)的學(xué)生中調(diào)取有相似學(xué)習(xí)經(jīng)歷的學(xué)生的資料，分析待選課程與學(xué)生之間的相關(guān)性，為學(xué)生提供可靠的待選課程的課程分析。4、滿足學(xué)生的需求。大數(shù)據(jù)可以通過學(xué)生在高校時(shí)使用校園一卡通的情況分析出學(xué)生的消費(fèi)情況甚至其家庭的經(jīng)濟(jì)情況，對于實(shí)在貧困的學(xué)生，學(xué)?？梢圆扇≠Y助，使得國家助學(xué)金的發(fā)放更加的公平、公正。

三、結(jié)語

隨著信息技術(shù)的滲透，人們的生活、工作已離不開大數(shù)據(jù)，作為社會生活的重要陣地，高校自然也不會置身事外。在21世紀(jì)這場大數(shù)據(jù)的浪潮中，高校在其中扮演的角色不僅僅是參與者更是推動(dòng)者。將大數(shù)據(jù)應(yīng)用于高校教育中，不僅可以實(shí)現(xiàn)對高校教學(xué)質(zhì)量進(jìn)行評價(jià)、教師的職業(yè)技能的綜合分析，還可以開展個(gè)性化課堂，使得國家助學(xué)金的發(fā)放更加的公平、公正等等。為順應(yīng)大數(shù)據(jù)時(shí)展的趨勢，在高校教育中推行信息化教育勢在必行。

作者：劉鍵 單位：遼寧省教育廳教育信息中心

大數(shù)據(jù)應(yīng)用論文:大數(shù)據(jù)在區(qū)域品牌營銷的應(yīng)用

［摘要］從我國目前市場經(jīng)濟(jì)的發(fā)展趨勢來看，區(qū)域品牌營銷與其他品牌的營銷相比，其在市場環(huán)境中還處于剛剛起步的階段。但隨著信息技術(shù)的快速發(fā)展，區(qū)域間的競爭也日益激烈，這就需要區(qū)域品牌在營銷中廣泛應(yīng)用大數(shù)據(jù)，搶占商機(jī)。基于此，本文分析和研究大數(shù)據(jù)在區(qū)域品牌營銷中的應(yīng)用，并探討大數(shù)據(jù)平臺、客戶的需求及營銷規(guī)律。

［關(guān)鍵詞］大數(shù)據(jù)；區(qū)域品牌；營銷

引言

在當(dāng)今信息技術(shù)發(fā)展越來越迅速的局勢下，大數(shù)據(jù)的發(fā)展也受到了各個(gè)行業(yè)的關(guān)注，許多企業(yè)為了能夠在信息環(huán)境中搶占商業(yè)先機(jī)，對大數(shù)據(jù)整合技術(shù)及信息處理技術(shù)進(jìn)行了探究。由此可見，不管是從經(jīng)濟(jì)發(fā)展的角度，還是從信息技術(shù)的應(yīng)用情況進(jìn)行分析，大數(shù)據(jù)顯然已成為促進(jìn)社會發(fā)展的重要因素。大數(shù)據(jù)可以借助移動(dòng)終端設(shè)備和網(wǎng)絡(luò)技術(shù)構(gòu)建多元化的結(jié)構(gòu)數(shù)據(jù)，也能構(gòu)建出一些半結(jié)構(gòu)化及非結(jié)構(gòu)化的數(shù)據(jù)。如今大數(shù)據(jù)技術(shù)已經(jīng)在各行各業(yè)中有了廣泛應(yīng)用，區(qū)域品牌營銷市場中大數(shù)據(jù)的應(yīng)用，改變了傳統(tǒng)的商業(yè)營銷模式以及工作人員的管理理念，區(qū)域品牌在營銷中利用數(shù)據(jù)分析市場的發(fā)展情況，獲得商業(yè)的先機(jī)，從而有效促進(jìn)自身發(fā)展。

1大數(shù)據(jù)營銷及區(qū)域品牌概述

1.1大數(shù)據(jù)營銷

當(dāng)前，各個(gè)企業(yè)將大數(shù)據(jù)帶來的商業(yè)機(jī)會分為兩種，一種是由微軟、惠普等公司開發(fā)的硬件和軟件以及數(shù)據(jù)，還有一種是來自海量的用戶信息，并且這些信息能夠?yàn)槠髽I(yè)提供精準(zhǔn)營銷平臺以及個(gè)性化的廣告推介等商業(yè)宣傳活動(dòng)。而大數(shù)據(jù)營銷就是第二種，這種營銷方式通過搜尋并分析各種相關(guān)數(shù)據(jù)，充分了解市場發(fā)展的需求，從而幫助企業(yè)改變競爭形態(tài)，把依據(jù)客戶的生活方式以及價(jià)值取向等主觀信息，推測客戶需求導(dǎo)向的這種傳統(tǒng)營銷模式，轉(zhuǎn)變?yōu)橥ㄟ^對客戶的各種信息行為以及購買歷史等方面進(jìn)行分析，滿足客戶的需求，并根據(jù)這個(gè)導(dǎo)向進(jìn)行營銷的模式。大數(shù)據(jù)營銷不僅要實(shí)現(xiàn)線上和線下的互通，也要確保在各大媒體、互聯(lián)網(wǎng)站及移動(dòng)終端等的數(shù)據(jù)是相通的，這些都大數(shù)據(jù)有效實(shí)行的前提條件。當(dāng)然，由于現(xiàn)實(shí)生活中不同領(lǐng)域及行業(yè)局限性，大數(shù)據(jù)會受到許多因素的影響，如公司的隱私保護(hù)、信息倫理等。對于政府?dāng)?shù)據(jù)及科研管理數(shù)據(jù)，應(yīng)該多多提倡數(shù)據(jù)的重復(fù)利用，由此可見，大數(shù)據(jù)想要在各個(gè)領(lǐng)域中分布是比較困難的。另外，有部分企業(yè)為了保護(hù)公司的隱私，便采取封閉式的數(shù)據(jù)開發(fā)和搜尋，并從中牟取利益，事實(shí)上這種形式無法滿足整合化營銷的要求。所以，企業(yè)在面臨大數(shù)據(jù)帶來的發(fā)展前景的同時(shí)，也要注重對企業(yè)能否實(shí)施大數(shù)據(jù)營銷的基礎(chǔ)條件進(jìn)行科學(xué)合理的評估，要對市場營銷人員進(jìn)行技能考核，從而確保工作人員能夠具備相應(yīng)的營銷技能，除此之外，企業(yè)也要制訂應(yīng)用大數(shù)據(jù)的營銷方案。

1.2區(qū)域品牌

隨著我國經(jīng)濟(jì)市場的逐步發(fā)展以及經(jīng)濟(jì)管理秩序的改變，經(jīng)濟(jì)市場的競爭也日益激烈。由于外部環(huán)境和內(nèi)部因素的大幅度變化，整個(gè)市場的格局也有很大變化，以往的商品競爭已逐漸被區(qū)域品牌競爭所取代，并且商業(yè)競爭的主體也由傳統(tǒng)的企業(yè)競爭轉(zhuǎn)變?yōu)閰^(qū)域競爭。隨著競爭形勢的變化，競爭局面也變得越來越復(fù)雜。為了能夠適應(yīng)這種競爭形勢，許多企業(yè)都由過去的商業(yè)競爭關(guān)系轉(zhuǎn)變?yōu)楦偁幒献鞯年P(guān)系，在這個(gè)的發(fā)展趨勢下也可以有效利用區(qū)域文化來促進(jìn)市場發(fā)展。在這種發(fā)展形勢下，許多先進(jìn)的企業(yè)已經(jīng)選擇區(qū)域品牌作為商業(yè)競爭的主體。建立區(qū)域品牌也成為促進(jìn)現(xiàn)代化經(jīng)濟(jì)發(fā)展的重要工作。目前，關(guān)于區(qū)域品牌并沒有一個(gè)具體的定義或者界定，對于區(qū)域品牌，不同的人有不同的看法，但不管怎么說，區(qū)域品牌一定要在一定區(qū)域范圍內(nèi)才能產(chǎn)生，且在市場的知名度、市場份額及名譽(yù)等方面都會比其他商業(yè)經(jīng)濟(jì)更有優(yōu)勢。區(qū)域品牌是以集團(tuán)品牌的形式而存在的，并且在發(fā)展的過程中也逐漸成為市場競爭的核心內(nèi)容。企業(yè)想要提高區(qū)域品牌的競爭力，首先要增強(qiáng)區(qū)域性的競爭力，因?yàn)閰^(qū)域品牌才是提高區(qū)域經(jīng)濟(jì)的有效方法。

2大數(shù)據(jù)在區(qū)域品牌營銷中應(yīng)用的方式

2.1通過動(dòng)態(tài)化的形式監(jiān)控市場環(huán)境

隨著技術(shù)的發(fā)展以及經(jīng)濟(jì)效益的增長，區(qū)域品牌的競爭也變得愈加激烈，而市場經(jīng)濟(jì)的環(huán)境也隨之變得復(fù)雜起來。在這樣的發(fā)展環(huán)境中，區(qū)域品牌營銷的方案更加難以實(shí)行，但是利用大數(shù)據(jù)可以分析，使區(qū)域品牌營銷發(fā)現(xiàn)新的商機(jī)和市場。通過對大數(shù)據(jù)的集中分析，可以快速了解到某個(gè)區(qū)域環(huán)境中的商機(jī)，也可以分析某個(gè)階段的消費(fèi)群體的需求，這時(shí)企業(yè)就可以根據(jù)客戶的需求研發(fā)相應(yīng)的區(qū)域品牌。與此同時(shí)，區(qū)域品牌的營銷也可以借助大數(shù)據(jù)的技術(shù)，對區(qū)域內(nèi)外的環(huán)境進(jìn)行動(dòng)態(tài)化監(jiān)察，這樣就可以為企業(yè)的策劃人員提供參考信息，也能面對市場的變化，使區(qū)域品牌營銷作出相應(yīng)的調(diào)整。

2.2通過改善用戶的體驗(yàn)促進(jìn)區(qū)域品牌營銷的發(fā)展

以往的區(qū)域品牌營銷人員在推廣和宣傳品牌時(shí)，常常會輕視消費(fèi)者的主觀意識及消費(fèi)體驗(yàn)，在過去的區(qū)域品牌營銷宣傳或與消費(fèi)者溝通時(shí)，都是利用比較簡單的形式進(jìn)行，這樣會導(dǎo)致宣傳的效果不太理想。而區(qū)域品牌營銷在如今大數(shù)據(jù)的環(huán)境中，可以充分利用大數(shù)據(jù)分析消費(fèi)者對區(qū)域品牌的了解程度，并通過實(shí)時(shí)解答消費(fèi)者的一些疑問作出相應(yīng)的評價(jià)和定位。其實(shí)就是通過消費(fèi)者與區(qū)域品牌營銷之間的溝通，提升消費(fèi)者的認(rèn)同感，使消費(fèi)者對區(qū)域品牌產(chǎn)生相應(yīng)的興趣。企業(yè)想要留住消費(fèi)者，就要不斷完善區(qū)域品牌的形象，或者說企業(yè)可以根據(jù)消費(fèi)者的特性繪制出相應(yīng)的圖像，并根據(jù)圖像進(jìn)行現(xiàn)實(shí)還原，這樣就可以有效增強(qiáng)消費(fèi)者的體驗(yàn)感。

2.3利用大數(shù)據(jù)分析并觀察競爭對手

大數(shù)據(jù)技術(shù)在區(qū)域品牌營銷中不僅可以分析消費(fèi)者對品牌的了解程度，還能分析和觀察自己的競爭對手。企業(yè)利用大數(shù)據(jù)技術(shù)可以分析競爭對手對產(chǎn)品的研發(fā)以及服務(wù)的感知力，這樣就可以根據(jù)與競爭對手的比較，發(fā)現(xiàn)自身的不足和優(yōu)勢，然后幫助營銷主體有目的地改變營銷策略。這樣的營銷方式對于企業(yè)來說具有重要意義。企業(yè)通過對競爭對手的分析，可以對整個(gè)行業(yè)的發(fā)展進(jìn)行掌握，也可以對市場的外部環(huán)境有個(gè)大致了解，從而有效降低營銷的風(fēng)險(xiǎn)，進(jìn)一步實(shí)現(xiàn)區(qū)域品牌營銷效益得而最大化。如，企業(yè)在推廣和運(yùn)營或者招商的過程中對信息進(jìn)行研究和分析，就可以根據(jù)商戶的具體情況進(jìn)行適當(dāng)調(diào)整，并制訂可以增加客戶量的營銷方案。區(qū)域品牌營銷中利用大數(shù)據(jù)分析競爭對手，可以了解到對手的發(fā)展趨勢及狀況，從而對自身的發(fā)展戰(zhàn)略進(jìn)行合理調(diào)整，并搶占商機(jī)。

3結(jié)語

隨著信息技術(shù)的快速發(fā)展，區(qū)域間的競爭也日益激烈，而大數(shù)據(jù)也在區(qū)域品牌營銷中得到了廣泛應(yīng)用，筆者相信區(qū)域品牌營銷中應(yīng)用大數(shù)據(jù)會發(fā)展得更為長遠(yuǎn)。大數(shù)據(jù)技術(shù)的存在有效促進(jìn)了區(qū)域品牌營銷的發(fā)展，且在經(jīng)濟(jì)市場的實(shí)踐營銷中也真實(shí)地證明了大數(shù)據(jù)的價(jià)值。區(qū)域品牌營銷要合理利用數(shù)據(jù)的優(yōu)勢，精確定位每一位消費(fèi)者，并從繁雜的信息中提煉出對自身有利的信息，從而獲得良好的營銷效果。相關(guān)企業(yè)要建立有效合理的大數(shù)據(jù)營銷機(jī)制，并對數(shù)據(jù)的管理以及區(qū)域營銷費(fèi)用的有效控制加強(qiáng)實(shí)行力度，通過提升客戶的品牌體驗(yàn)提升營銷效率。雖然，目前在區(qū)域品牌營銷過程大數(shù)據(jù)的應(yīng)用還存在一些問題，但筆者相信在今后的發(fā)展中大數(shù)據(jù)能發(fā)揮出更大的作用。

作者：彭秋生 單位：中海油信息科技有限公司深圳分公司

大數(shù)據(jù)應(yīng)用論文:大數(shù)據(jù)在煤礦安全生產(chǎn)的應(yīng)用

摘要:煤炭行業(yè)經(jīng)過多年的信息化應(yīng)用，積累了大量的安全生產(chǎn)數(shù)據(jù)，但對這些數(shù)據(jù)的深度利用還遠(yuǎn)遠(yuǎn)不夠。大數(shù)據(jù)提升了信息的獲取與處理能力，基于大數(shù)據(jù)處理技術(shù)，將安全生產(chǎn)數(shù)據(jù)進(jìn)行有效整合，深度挖掘，對煤礦安全生產(chǎn)意義重大。本文闡述大數(shù)據(jù)的技術(shù)和發(fā)展趨勢，總結(jié)目前煤炭安全生產(chǎn)中大數(shù)據(jù)的應(yīng)用現(xiàn)狀，探討大數(shù)據(jù)在安全生產(chǎn)中的應(yīng)用方向。結(jié)果表明，大數(shù)據(jù)的應(yīng)用有助于提高煤炭安全生產(chǎn)的效率、節(jié)省成本和減少損失。

關(guān)鍵詞:煤礦;大數(shù)據(jù);安全生產(chǎn);應(yīng)用研究

大數(shù)據(jù)的概念于2008年在美國《自然》提出［1］。大數(shù)據(jù)概念的提出，是對大量數(shù)據(jù)處理的一個(gè)突破。它可以從紛繁復(fù)雜的數(shù)據(jù)中提取有效信息，并對有效信息進(jìn)行分類、分層次處理?；谟?jì)算機(jī)等硬件設(shè)備，在對巨量有效信息進(jìn)行深入挖掘之后，對之間因果關(guān)系進(jìn)行分析，找出一些事件之間的因果關(guān)系。因此，大數(shù)據(jù)分析可掌握一些事件的規(guī)律，并對事件的走向進(jìn)行預(yù)測。

1煤炭安全生產(chǎn)大數(shù)據(jù)現(xiàn)狀與問題

近年來，安監(jiān)及煤監(jiān)等部門通過監(jiān)測平臺的引入及應(yīng)用，已經(jīng)建立一定數(shù)量的數(shù)據(jù)庫。但是由于缺乏深入的整理和利用，仍存在很對問題。(1)數(shù)據(jù)量偏小，數(shù)據(jù)質(zhì)量低。由于在前期煤礦的生產(chǎn)中，并未提及大數(shù)據(jù)的理念，各個(gè)煤礦對自身礦區(qū)數(shù)據(jù)整理收集不夠。尤其是涉及礦難及事故方面，更是較少涉及。因此，導(dǎo)致有效數(shù)據(jù)少，可用數(shù)據(jù)欠缺。(2)未能與大數(shù)據(jù)技術(shù)統(tǒng)一標(biāo)準(zhǔn)，缺乏依據(jù)。新技術(shù)在傳統(tǒng)領(lǐng)域的應(yīng)用必然會出現(xiàn)一些新問題，大數(shù)據(jù)技術(shù)也是如此。傳統(tǒng)的數(shù)據(jù)收集未能與大數(shù)據(jù)技術(shù)統(tǒng)一標(biāo)準(zhǔn)，數(shù)據(jù)收集依據(jù)不足。(3)基于煤礦生產(chǎn)行業(yè)的特色，井下生產(chǎn)中防爆防火用具要求較高。因此，限制了一些高效、實(shí)時(shí)數(shù)據(jù)收集智能設(shè)備在該行業(yè)的使用。在大量的數(shù)據(jù)實(shí)時(shí)收集及整理時(shí)，困難較多。(4)煤礦安全生產(chǎn)及事故隱患分析主要依靠安全生產(chǎn)管理者分析，難以形成有效數(shù)據(jù)。專業(yè)智能設(shè)備在煤礦安全生產(chǎn)中使用不足或較少，難以完成大量數(shù)據(jù)收集任務(wù)。(5)專業(yè)人才欠缺。由于大數(shù)據(jù)理念較新，在實(shí)際應(yīng)用中偏向于高新產(chǎn)業(yè)及國家優(yōu)先發(fā)展產(chǎn)業(yè)。煤礦產(chǎn)業(yè)由于最近經(jīng)濟(jì)影響，專業(yè)人才儲備不足。

2煤炭行業(yè)安全現(xiàn)狀

目前，通過政府部門及企業(yè)的共同努力，安全投入到位，安全文化氛圍濃厚，煤炭行業(yè)事故率明顯降低，傷亡人數(shù)亦有較大回落。但是，該行業(yè)依然存在一些問題:(1)自動(dòng)化水平低，近年來，煤炭行業(yè)先進(jìn)機(jī)械及自動(dòng)化監(jiān)測設(shè)備引進(jìn)率較高。但是，相對于發(fā)達(dá)國家，還是有一定差距。主要表現(xiàn)在過于依靠工人經(jīng)驗(yàn)，隨著煤炭進(jìn)入深部開采，地質(zhì)情況復(fù)雜，經(jīng)驗(yàn)越來越受限。(2)煤礦現(xiàn)在對事故的分析依然偏向于“事后分析型”，而真正有效的應(yīng)該是“事前預(yù)測型”。專業(yè)有效的事故分析工具在煤礦中使用較少也是造成此結(jié)果的原因之一，煤礦開采難度加大，以往經(jīng)驗(yàn)不一定能夠適用。(3)信息共享率低。目前，礦難尤其是重特大傷亡事故是各個(gè)部門避而不談且不愿分享的數(shù)據(jù)，從而導(dǎo)致樣本有效性差。

3大數(shù)據(jù)在煤炭行業(yè)安全生產(chǎn)的關(guān)鍵地位

3．1數(shù)據(jù)收集、整理、分析及整合

人工數(shù)據(jù)和開源數(shù)據(jù)是煤礦安全生產(chǎn)管理者獲得大數(shù)據(jù)基礎(chǔ)的重要方法。人工數(shù)據(jù)雖然準(zhǔn)確率高，但其具有成本較高、自動(dòng)化水平較低、易發(fā)生人為原因錯(cuò)誤的天然缺點(diǎn)。與之形成對比，開源數(shù)據(jù)自動(dòng)化水平較高，成本較低。尤其在信息化綜合系統(tǒng)越來越多的應(yīng)用于煤炭行業(yè)，國家安監(jiān)局、煤監(jiān)局等各部門通力合作，建立綜合信息化平臺。這對大數(shù)據(jù)的收集、整理、分析、整合及預(yù)測都會起到積極的影響。

3．2大數(shù)據(jù)存儲平臺為煤炭安全生產(chǎn)提供及時(shí)的輿情信息

當(dāng)?shù)V難發(fā)生后，在處理礦難的過程中，大數(shù)據(jù)平臺為安全生產(chǎn)的管理者及民眾告知詳細(xì)信息。一方面，政府部門及監(jiān)督管理部門通過官方渠道及新發(fā)展的信息通道(如Wechat等)，及時(shí)有效的將相關(guān)真實(shí)信息傳遞給大眾，此舉可有效防止謠言誤傳。更可避免政府部門的工作陷入被動(dòng)應(yīng)付狀態(tài)，保證災(zāi)難性事件發(fā)生之后社會的和諧穩(wěn)定;另一方面，每次事故也是一次珍貴的失敗實(shí)驗(yàn)，對此次事故詳細(xì)分析，錄入大數(shù)據(jù)平臺，增加數(shù)據(jù)平臺豐富性的同時(shí)，對類似事故的預(yù)防、發(fā)生具有重要的參考價(jià)值。

3．3大數(shù)據(jù)拓展了煤炭安全生產(chǎn)的綜合分析能力

新技術(shù)在傳統(tǒng)行業(yè)的應(yīng)用是對傳統(tǒng)行業(yè)的一次產(chǎn)業(yè)升級，尤其是在煤炭行業(yè)。長期以來，我國煤炭行業(yè)生產(chǎn)安全性較差，生產(chǎn)效率較低，安全預(yù)警能力較差。通過引入大數(shù)據(jù)綜合分析平臺，可有效提高煤炭安全生產(chǎn)能力。有效改變煤炭行業(yè)事故率高、礦難頻發(fā)的狀況，如離層分析儀等數(shù)據(jù)平臺的引入，可有效預(yù)警頂板事故，大大降低頂板事故傷亡率。

4大數(shù)據(jù)在煤炭安全生產(chǎn)中的應(yīng)用

基于大數(shù)據(jù)分析理念，結(jié)合煤礦安全生產(chǎn)歷史及現(xiàn)狀，應(yīng)從以下四方面入手，提升大數(shù)據(jù)在煤礦安全生產(chǎn)中的整合能力。

4．1結(jié)合互聯(lián)網(wǎng)和云計(jì)算，建設(shè)煤礦安全綜合信息平臺

提升在線監(jiān)測能力，貴州省近年高薪招聘高素質(zhì)駐礦安全員，實(shí)現(xiàn)煤礦安全數(shù)據(jù)的實(shí)時(shí)更新及有效登錄，有利于建設(shè)煤礦綜合信息監(jiān)測平臺。全國也在提升煤炭行業(yè)對高素質(zhì)人才的吸引力，大力建設(shè)全國綜合監(jiān)測平臺。2010年美國某礦發(fā)生事故，引起網(wǎng)民廣泛關(guān)注［3］。網(wǎng)民通過數(shù)據(jù)監(jiān)測及政府安全監(jiān)督平臺，深入挖掘出事故背后利益關(guān)系，有效推動(dòng)了美國礦業(yè)管理制度的完善及事故預(yù)防能力。

4．2逐步提高智能化監(jiān)測設(shè)備在煤礦使用比例

由于煤礦行業(yè)對安全標(biāo)準(zhǔn)的高要求及煤礦行業(yè)富含瓦斯及地壓等影響因素，大量有效監(jiān)控設(shè)備在煤礦安全生產(chǎn)中使用受限。隨著大數(shù)據(jù)理念的發(fā)展及技術(shù)的發(fā)展，各種智能化技術(shù)也會在煤礦得到應(yīng)用。目前，煤礦六大系統(tǒng)都已建設(shè)完成，部分煤礦已采用了在線監(jiān)測設(shè)備及內(nèi)部通信設(shè)備，有效提高了智能化監(jiān)測設(shè)備在煤礦使用比例。

4．3加強(qiáng)管理，保證數(shù)據(jù)安全

如果不能有效安全使用大數(shù)據(jù)，會帶來意想不到的風(fēng)險(xiǎn)。大數(shù)據(jù)的使用改變了傳統(tǒng)煤炭行業(yè)的分析方法，有效整合資源。在發(fā)展歷程中，也要防范數(shù)據(jù)濫用、惡意篡改等。大數(shù)據(jù)是珍貴的資源，要采取技術(shù)措施保證安全。個(gè)人不得隨意查看或用于其他用處，尤其是利用大數(shù)據(jù)做違法行為。政府與人民要聯(lián)動(dòng)，確保大數(shù)據(jù)安全，真正服務(wù)于煤礦安全生產(chǎn)。

5結(jié)論

大數(shù)據(jù)在煤礦安全生產(chǎn)中的應(yīng)用，是一個(gè)新的領(lǐng)域與嘗試。在此歷程中，數(shù)據(jù)會越來越規(guī)范、有效，隨著此技術(shù)的普及，也將對現(xiàn)有安全管理模式產(chǎn)生有利影響。大數(shù)據(jù)的應(yīng)用必然引起傳統(tǒng)行業(yè)安全管理的一場變革，也將提高煤礦安全管理的技術(shù)能力。以技術(shù)促進(jìn)管理，提高安全管理的自動(dòng)化能力。政府管理部門及企業(yè)要聯(lián)動(dòng)，形成合力，深入挖掘數(shù)據(jù)之間的關(guān)系，不拘泥于表面，發(fā)現(xiàn)數(shù)據(jù)之間的內(nèi)在聯(lián)系，從而為數(shù)據(jù)的整合及預(yù)測提供有效技術(shù)支持。通過大數(shù)據(jù)在煤炭行業(yè)中的深入應(yīng)用，為安全管理者及政府部門決策提供有效的理論依據(jù)，更好地服務(wù)于煤礦安全生產(chǎn)。

作者：蘇東毅 于迪 李勝男 單位：三門峽龍王莊煤業(yè)有限責(zé)任公司

大數(shù)據(jù)應(yīng)用論文:大數(shù)據(jù)技術(shù)在煙草數(shù)據(jù)中心的應(yīng)用

摘要：以大數(shù)據(jù)技術(shù)的發(fā)展為背景，結(jié)合江蘇煙草數(shù)據(jù)中心建設(shè)的實(shí)際情況，分析了江蘇煙草數(shù)據(jù)中心以Hadoop及Impala等大數(shù)據(jù)技術(shù)為核心，輔以Kettle和JSP等數(shù)據(jù)處理及展現(xiàn)技術(shù)共同構(gòu)建基于大數(shù)據(jù)技術(shù)的自定義數(shù)據(jù)查詢平臺的架構(gòu)設(shè)計(jì)和實(shí)現(xiàn)方案。展現(xiàn)了大數(shù)據(jù)技術(shù)帶來的遠(yuǎn)超傳統(tǒng)技術(shù)平臺的靈活性以及對于大數(shù)據(jù)量查詢的快速響應(yīng)能力。

關(guān)鍵詞：煙草；數(shù)據(jù)中心；大數(shù)據(jù)；Hadoop；Impala

1.大數(shù)據(jù)技術(shù)現(xiàn)狀

當(dāng)前許多企業(yè)都已基本實(shí)現(xiàn)了信息化建設(shè)，企業(yè)積累了海量數(shù)據(jù)。同時(shí)企業(yè)間的競爭日益加劇，企業(yè)為了生存及發(fā)展需要保證自身能夠更加準(zhǔn)確、快速和個(gè)性化地為客戶提供產(chǎn)品及服務(wù)。而大數(shù)據(jù)技術(shù)能夠從海量的數(shù)據(jù)中獲取傳統(tǒng)數(shù)據(jù)分析手段無法獲知的價(jià)值和模式，幫助企業(yè)更加迅速、科學(xué)、準(zhǔn)確地進(jìn)行決策和預(yù)測。

1.1大數(shù)據(jù)技術(shù)現(xiàn)狀

廣大企業(yè)的迫切需求反之也促進(jìn)了大數(shù)據(jù)技術(shù)的飛速發(fā)展，涌現(xiàn)出了諸如Hadoop、Spark等實(shí)用的架構(gòu)平臺。其中，目前最主流的就是Hadoop。Hadoop的分布式處理架構(gòu)支持大規(guī)模的集群，允許使用簡單的編程模型進(jìn)行跨計(jì)算機(jī)集群的分布式大數(shù)據(jù)處理。通過使用專門為分布式計(jì)算設(shè)計(jì)的文件系統(tǒng)HDFS，計(jì)算的時(shí)候只需要將計(jì)算代碼推送到存儲節(jié)點(diǎn)上，即可在存儲節(jié)點(diǎn)上完成數(shù)據(jù)本地化計(jì)算。因此，Hadoop實(shí)現(xiàn)了高可靠性、高可拓展性、高容錯(cuò)性和高效性，可以輕松應(yīng)對PB級別的數(shù)據(jù)處理。

1.2大數(shù)據(jù)技術(shù)對煙草數(shù)據(jù)中心建設(shè)的影響

當(dāng)前，煙草企業(yè)基于多年的信息化建設(shè)已經(jīng)積累了海量數(shù)據(jù)，同時(shí)每天還不斷有新的各種數(shù)據(jù)產(chǎn)生。在高并發(fā)、大體量的情況下，需要在數(shù)據(jù)采集、存儲和運(yùn)算方面采用與以往完全不同的計(jì)算存儲模式，這就不可避免地需要采用大數(shù)據(jù)技術(shù)。同時(shí)，除了購進(jìn)單、卷煙交易數(shù)據(jù)、貨源投放數(shù)據(jù)等結(jié)構(gòu)化數(shù)據(jù)外，還產(chǎn)生越來越多的非結(jié)構(gòu)化數(shù)據(jù)，利用大數(shù)據(jù)技術(shù)，對非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行預(yù)處理，可為人工判斷和機(jī)器學(xué)縮減范圍。對海量數(shù)據(jù)以及非結(jié)構(gòu)化的信息進(jìn)行分析統(tǒng)計(jì)，僅僅依靠傳統(tǒng)的技術(shù)手段很難實(shí)現(xiàn)，只有引入大數(shù)據(jù)技術(shù)才能充分的將所有的數(shù)據(jù)資源利用起來，成為企業(yè)決策的助力。

2.江蘇煙草數(shù)據(jù)中心應(yīng)用現(xiàn)狀

2.1江蘇煙草數(shù)據(jù)中心體系架構(gòu)

目前江蘇煙草數(shù)據(jù)中心以一體化數(shù)據(jù)中心、一體化數(shù)據(jù)管理和一體化數(shù)據(jù)分析三個(gè)部分為核心，構(gòu)建了一套完整的數(shù)據(jù)中心架構(gòu)。一體化數(shù)據(jù)中心是整個(gè)數(shù)據(jù)中心最核心的部分。通過數(shù)據(jù)倉庫模型、數(shù)據(jù)存儲、ETL工具等組成部分，構(gòu)建了業(yè)務(wù)數(shù)據(jù)的收集、加工、存儲、分發(fā)的總體架構(gòu)。建立了按ODS（SODS、UODS）、DW、DM三層結(jié)構(gòu)設(shè)計(jì)建設(shè)的數(shù)據(jù)倉庫。一體化數(shù)據(jù)管理通過主數(shù)據(jù)管理、信息代碼管理、ESB平臺構(gòu)建了企業(yè)主數(shù)據(jù)收集、標(biāo)準(zhǔn)化、同步分發(fā)過程。結(jié)合指標(biāo)管理，全面管控企業(yè)的公用基礎(chǔ)信息。通過數(shù)據(jù)質(zhì)量管理，全面有效管控?cái)?shù)據(jù)質(zhì)量。通過數(shù)據(jù)服務(wù)管理，有效提升數(shù)據(jù)中心的對外服務(wù)能力與水平。通過元數(shù)據(jù)管理來管理數(shù)據(jù)中心元數(shù)據(jù)。一體化數(shù)據(jù)分析通過構(gòu)建移動(dòng)信息、業(yè)務(wù)分析、數(shù)據(jù)挖掘三大模塊，針對性解決當(dāng)前不同人員的決策、管理以及操作需求，發(fā)揮數(shù)據(jù)中心的數(shù)據(jù)、技術(shù)、平臺優(yōu)勢。通過移動(dòng)信息模塊為各級領(lǐng)導(dǎo)提供決策支持；通過業(yè)務(wù)分析模塊為業(yè)務(wù)人員的日常工作提供支撐；通過數(shù)據(jù)挖掘模塊，發(fā)掘數(shù)據(jù)所蘊(yùn)含的隱性價(jià)值?；谏鲜鲆徽准軜?gòu)的支撐，目前數(shù)據(jù)中心構(gòu)建了全省范圍的數(shù)據(jù)集成、交換體系，一方面提升了全省基礎(chǔ)數(shù)據(jù)、業(yè)務(wù)數(shù)據(jù)的規(guī)范化程度和數(shù)據(jù)質(zhì)量，另一方面為在建業(yè)務(wù)系統(tǒng)的實(shí)施、已有系統(tǒng)的改造提供了標(biāo)準(zhǔn)化的高質(zhì)量數(shù)據(jù)保障。

2.2大數(shù)據(jù)技術(shù)的應(yīng)用場景分析

隨著江蘇數(shù)據(jù)中心的不斷運(yùn)行，一些基于傳統(tǒng)技術(shù)架構(gòu)的功能逐漸暴露出種種問題。其中較為突出的問題有：一是使用者對于大數(shù)據(jù)量數(shù)據(jù)的查詢需求?；趥鹘y(tǒng)技術(shù)架構(gòu)的查詢功能響應(yīng)較慢；二是分析支持靈活性的不足。傳統(tǒng)統(tǒng)計(jì)分析應(yīng)用的數(shù)據(jù)結(jié)構(gòu)大多是預(yù)先定義好的，面對靈活的非傳統(tǒng)的統(tǒng)計(jì)查詢需求難以支撐，需要進(jìn)行額外的加工處理。江蘇煙草數(shù)據(jù)中心結(jié)合互聯(lián)網(wǎng)大數(shù)據(jù)技術(shù)特性，引入Hadoop平臺以及Impala等工具，搭建基于大數(shù)據(jù)的自定義數(shù)據(jù)查詢平臺，以補(bǔ)充基于傳統(tǒng)技術(shù)架構(gòu)的功能不足，并為未來進(jìn)一步發(fā)展建設(shè)基于大數(shù)據(jù)技術(shù)和云環(huán)境的數(shù)據(jù)中心做好準(zhǔn)備。

3.基于大數(shù)據(jù)的自定義數(shù)據(jù)查詢平臺實(shí)現(xiàn)

3.1設(shè)計(jì)思路及架構(gòu)

基于大數(shù)據(jù)的自定義數(shù)據(jù)查詢平臺是在現(xiàn)有數(shù)據(jù)中心的建設(shè)成果之上，以數(shù)據(jù)中心的數(shù)據(jù)存儲為基礎(chǔ)，以Hadoop、Hive、Impala等大數(shù)據(jù)技術(shù)工具為手段，以簡單靈活、快速高效的查詢展現(xiàn)為目標(biāo)，建立的數(shù)據(jù)查詢分析支持平臺。

3.2技術(shù)方案

自定義數(shù)據(jù)查詢平臺的建設(shè)主要涉及數(shù)據(jù)存儲架構(gòu)、后臺數(shù)據(jù)加工準(zhǔn)備、前端展現(xiàn)三塊內(nèi)容。自定義數(shù)據(jù)查詢平臺的數(shù)據(jù)存儲分為兩部分。一部分為KETTLE、Impala等工具以及自定義查詢相關(guān)的元數(shù)據(jù)存儲，另一部分則是查詢所需的各種統(tǒng)計(jì)數(shù)據(jù)的存儲。元數(shù)據(jù)的存儲根據(jù)元數(shù)據(jù)庫的不同主要分為兩部分。第一部分為基于Mysql數(shù)據(jù)庫的元數(shù)據(jù)存儲。這部分元數(shù)據(jù)主要包括有ETL工具KETTLE的元數(shù)據(jù)，以及前端自定義查詢需要定義的權(quán)限、數(shù)據(jù)源、表、列和表列關(guān)系等信息。第二部分為基于Hive的元數(shù)據(jù)存儲。這部分存儲的是前端查詢需要使用的Impala工具的元數(shù)據(jù)。統(tǒng)計(jì)數(shù)據(jù)的存儲則是使用Hadoop的HDFS實(shí)現(xiàn)的。根據(jù)Hadoop平臺架構(gòu)，自定義數(shù)據(jù)查詢平臺的HDFS建立在6臺虛擬主機(jī)構(gòu)建的集群上的。其中：2臺虛擬主機(jī)作為NameNode，一臺為主節(jié)點(diǎn)，另一臺為備份節(jié)點(diǎn)；其余4臺虛擬主機(jī)都作為DataNode用于存儲數(shù)據(jù)。所有數(shù)據(jù)將會統(tǒng)一分塊自動(dòng)分配存儲到4個(gè)DataNode上。自定義數(shù)據(jù)查詢平臺的數(shù)據(jù)加工，是通過開源ETL工具KETTLE實(shí)現(xiàn)的。通過KETTLE從數(shù)據(jù)中心現(xiàn)有數(shù)據(jù)倉庫及數(shù)據(jù)集市中讀取需要的數(shù)據(jù)，根據(jù)自定義數(shù)據(jù)查詢平臺的數(shù)據(jù)模型定義對數(shù)據(jù)進(jìn)行處理，最終加載到Hadoop的HDFS文件系統(tǒng)中。自定義數(shù)據(jù)查詢平臺的前端展現(xiàn)功能，主要是基于JSP技術(shù)實(shí)現(xiàn)頁面開發(fā)，通過JDBC或者ODBC對后臺Mysql數(shù)據(jù)庫進(jìn)行訪問。使用者在查詢頁面中組織定義查詢的內(nèi)容，查詢服務(wù)自動(dòng)根據(jù)獲取的元數(shù)據(jù)信息將定義的查詢內(nèi)容拼接轉(zhuǎn)換成為查詢SQL，之后通過Impala執(zhí)行查詢SQL對HDFS文件系統(tǒng)中的統(tǒng)計(jì)數(shù)據(jù)進(jìn)行查詢。

3.3系統(tǒng)實(shí)現(xiàn)效果

利用大數(shù)據(jù)技術(shù)，自定義數(shù)據(jù)查詢平臺較好地解決了目前數(shù)據(jù)中心所面對的問題，滿足了使用人員對于大數(shù)據(jù)量以及分析靈活性的需求。面對使用人員層出不窮的查詢需求，自定義數(shù)據(jù)查詢平臺通過預(yù)先梳理、分類定義各種維度以及統(tǒng)計(jì)指標(biāo)。使用者可以自由的根據(jù)實(shí)際需求選擇分析所需的維度及統(tǒng)計(jì)指標(biāo)，同時(shí)還可以基于這些基礎(chǔ)的內(nèi)容更進(jìn)一步自定義過濾條件以及計(jì)算公式，并指定其展現(xiàn)形式。在大數(shù)據(jù)量查詢效率方面，自定義查詢平臺相比傳統(tǒng)架構(gòu)的查詢功能有了較大提升。

4.結(jié)束語

大數(shù)據(jù)技術(shù)的發(fā)展方興未艾，應(yīng)用前景無比廣闊，對各行各業(yè)的巨大作用正在逐步展現(xiàn)。江蘇煙草數(shù)據(jù)中心的建設(shè)既要看到大數(shù)據(jù)技術(shù)未來的前景，更需要明確地認(rèn)識到大數(shù)據(jù)平臺的建設(shè)并非一朝一夕，需要有明確而長遠(yuǎn)的規(guī)劃，不斷完善數(shù)據(jù)環(huán)境建設(shè)、云計(jì)算環(huán)境的構(gòu)建以及數(shù)據(jù)服務(wù)的擴(kuò)展。

作者：郭文卓 王子豪 單位：中國煙草總公司江蘇省公司

大數(shù)據(jù)應(yīng)用論文:大數(shù)據(jù)在公路工程質(zhì)量監(jiān)控的應(yīng)用

摘要：大數(shù)據(jù)的產(chǎn)生為公路工程質(zhì)量監(jiān)控技術(shù)帶來機(jī)遇與挑戰(zhàn)。公路工程質(zhì)量監(jiān)控大數(shù)據(jù)具有典型的“4V”特征。為深入分析大數(shù)據(jù)在公路工程質(zhì)量監(jiān)控中的應(yīng)用，從公路工程質(zhì)量監(jiān)控大數(shù)據(jù)的產(chǎn)生、處理流程與關(guān)鍵技術(shù)等方面進(jìn)行論述。分析了公路工程質(zhì)量監(jiān)控大數(shù)據(jù)的存儲結(jié)構(gòu)、計(jì)算過程以及數(shù)據(jù)可視化處理的流程，提出了公路工程質(zhì)量監(jiān)控大數(shù)據(jù)應(yīng)用時(shí)所面臨的問題與挑戰(zhàn)。

關(guān)鍵詞：大數(shù)據(jù)；公路工程；質(zhì)量監(jiān)控；應(yīng)用與挑戰(zhàn)

引言

近年來，隨著交通建設(shè)的迅速發(fā)展，截止2015年我國公路總里程將達(dá)到450萬公里，其中高速公路通車總里程達(dá)到10．8萬公里，全國高速公路路網(wǎng)已基本形成規(guī)模，促進(jìn)了區(qū)域經(jīng)濟(jì)的發(fā)展，社會效益較好。在交通部的《國家公路網(wǎng)規(guī)劃（2013年—2030年）》發(fā)展規(guī)劃中，全國高速公路通車?yán)锍填A(yù)計(jì)達(dá)到40萬公里，我國將基本實(shí)現(xiàn)省際多路連通、地市高速通達(dá)、縣縣國道覆蓋的目標(biāo)［1］。從上述規(guī)劃來看，僅高速公路的建設(shè)缺口就近30萬公里，其建設(shè)任務(wù)較重，另一方面，在工程建設(shè)過程中的質(zhì)量監(jiān)控也提出了新課題。以西部地區(qū)為例，交通運(yùn)輸部質(zhì)量監(jiān)督局已在2012年3月啟動(dòng)了西部項(xiàng)目“公路工程質(zhì)量安全過程控制智能化與遠(yuǎn)程監(jiān)控技術(shù)研究”的研究工作，項(xiàng)目要求采用信息化技術(shù)手段，融入現(xiàn)代計(jì)算機(jī)技術(shù)、實(shí)時(shí)信息傳輸技術(shù)，人工智能化技術(shù)到工程監(jiān)督中，對重點(diǎn)工程、重點(diǎn)部位的實(shí)時(shí)監(jiān)控，實(shí)現(xiàn)工程質(zhì)量安全監(jiān)管的實(shí)時(shí)化、智能化、遠(yuǎn)程化，彌補(bǔ)人為管理的漏洞和缺失，提高質(zhì)量監(jiān)控和監(jiān)管效能，以保障公路工程的建設(shè)質(zhì)量［2］。公路工程建設(shè)的智慧化監(jiān)管，需要對在其在建設(shè)過程中產(chǎn)生的大數(shù)據(jù)進(jìn)行透徹分析，服務(wù)于管理者和決策者，便于及時(shí)排查和糾正在工程施工過程中潛在安全隱患，為生命和財(cái)產(chǎn)提供安全保障。

1公路工程質(zhì)量監(jiān)控大數(shù)據(jù)來源及其特點(diǎn)

就大數(shù)據(jù)而言，是一個(gè)抽象模糊的概念，大部分人也只是從數(shù)據(jù)量的大小和規(guī)模去感知，像TB、PB、ZB、YB這樣的數(shù)據(jù)量存儲單位被理解為大數(shù)據(jù)與傳統(tǒng)數(shù)據(jù)的區(qū)別，很顯然這僅僅是海量數(shù)據(jù)，在IT界被公認(rèn)的具有Volume（容量大）、Variety（種類多）、Velocity（速度快）和Value（價(jià)值密度低）特征的數(shù)據(jù)，才能被稱為大數(shù)據(jù)，簡稱大數(shù)據(jù)4“V”特征［3］。

1．1公路工程質(zhì)量監(jiān)控中大數(shù)據(jù)的來源

公路工程建設(shè)在開始施工到驗(yàn)收竣工，要產(chǎn)生大量的、類型各異的數(shù)據(jù)，其主要有以下幾種來源：（1）施工試驗(yàn)數(shù)據(jù)：道路在施工前需要對工程中的各種使用材料在該項(xiàng)目環(huán)境條件下做實(shí)驗(yàn)，以得出在該環(huán)境條件和地理區(qū)域條件下相應(yīng)材料的使用混合比及用量等。如：筑路用土，砂石材抖、石灰和水泥，普通水泥混凝土，穩(wěn)定土和建筑砂漿，瀝青材料，瀝青混合料等相關(guān)實(shí)驗(yàn)數(shù)據(jù)，用數(shù)據(jù)來保障施工質(zhì)量，確保規(guī)范施工。（2）施工監(jiān)控?cái)?shù)據(jù)：在工程項(xiàng)目施工階段，人員行為規(guī)范、施工操作規(guī)范、壓力傳感數(shù)據(jù)，施工環(huán)境溫度（濕度）等產(chǎn)生的文字、圖片、聲音和視頻數(shù)據(jù)。（3）施工應(yīng)急數(shù)據(jù)：在施工過程中會有各種突發(fā)事件，如何科學(xué)地把突發(fā)事件帶來的危害降到最低，最大程度減少人員和財(cái)產(chǎn)損失，是工程應(yīng)急處理的難題。在施工過程中，利用各種傳感器對突發(fā)事件進(jìn)行動(dòng)態(tài)監(jiān)測，將對應(yīng)急處置起到關(guān)鍵性的作用，而該過程中將產(chǎn)生大量的數(shù)據(jù)。（4）工程竣工檢測數(shù)據(jù)：在工程項(xiàng)目施工驗(yàn)收階段，需對路基、路面、交安設(shè)施、機(jī)電系統(tǒng)等進(jìn)行標(biāo)準(zhǔn)檢測，判斷各項(xiàng)功能是否能達(dá)到標(biāo)準(zhǔn)規(guī)范。如路基壓實(shí)度，路面承載能力、應(yīng)力數(shù)據(jù)，標(biāo)識標(biāo)線厚度、反光標(biāo)志系數(shù)等相關(guān)檢測數(shù)據(jù)。根據(jù)《公路工程質(zhì)量檢驗(yàn)評定標(biāo)準(zhǔn)》JTGF80－1－2012和JT－GF80－2－2004相關(guān)要求［4］，需產(chǎn)生大量的數(shù)據(jù)。隨著交通建設(shè)的快速發(fā)展，工程質(zhì)量監(jiān)控面臨新的挑戰(zhàn)，沿用以往“人工＋紙筆”的管理方式，基本不能實(shí)現(xiàn)工程質(zhì)量的科學(xué)化管理，根據(jù)工程質(zhì)量“終身制”的相關(guān)要求，在工程設(shè)計(jì)使用年限內(nèi)，承擔(dān)相應(yīng)的質(zhì)量終身責(zé)任，如沿用以往的管理方式也不便于責(zé)任的追溯。當(dāng)今“互聯(lián)網(wǎng)＋”時(shí)代，利用云計(jì)算對工程施工中產(chǎn)生的大數(shù)據(jù)進(jìn)行分析，用數(shù)據(jù)來實(shí)現(xiàn)工程項(xiàng)目中全過程跟蹤管理和全方面實(shí)時(shí)監(jiān)測監(jiān)管，實(shí)現(xiàn)工程實(shí)體和質(zhì)量行為的實(shí)時(shí)自動(dòng)監(jiān)管巡查和預(yù)警，將有助于提高工程質(zhì)量，保障國家財(cái)產(chǎn)安全。

1．2公路工程質(zhì)量監(jiān)控中大數(shù)據(jù)的特點(diǎn)

（1）數(shù)據(jù)規(guī)模在工程質(zhì)量監(jiān)控中，以施工人員行為監(jiān)控為例，一個(gè)質(zhì)量監(jiān)督點(diǎn)采用720P高清視頻圖像采集設(shè)備，每小時(shí)圖像采集數(shù)據(jù)經(jīng)壓縮處理后可達(dá)到3GB左右的大小，全天候采集一個(gè)月，產(chǎn)生的數(shù)據(jù)量約為2．16T［5］。在工程施工過程中隧道掘進(jìn)、路基路面、橋梁結(jié)構(gòu)、材料攪拌、設(shè)備操作等等都需要對施工人員行為和過程進(jìn)行視頻監(jiān)控，按上述計(jì)算，每月產(chǎn)生的數(shù)據(jù)能至少為PB級以上，按照交通部的《國家公路網(wǎng)規(guī)劃（2013年—2030年）》發(fā)展規(guī)劃，監(jiān)控視頻數(shù)據(jù)就將產(chǎn)生海量的數(shù)據(jù)。（2）數(shù)據(jù)類型在公路工程施工過程中產(chǎn)生的數(shù)據(jù)類型種類繁多，除工程質(zhì)量視頻監(jiān)控?cái)?shù)據(jù)外，有影響工程施工質(zhì)量的環(huán)境檢測數(shù)據(jù)（如：溫度、濕度），施工材料檢測數(shù)據(jù)，工程質(zhì)量試驗(yàn)檢測數(shù)據(jù)，潛在地質(zhì)災(zāi)害等數(shù)據(jù)，數(shù)據(jù)類型多樣。（3）數(shù)據(jù)價(jià)值密度對于在公路工程質(zhì)量監(jiān)控中產(chǎn)生的數(shù)據(jù)本身而言，數(shù)據(jù)量大，但其價(jià)值密度較小。如施工人員操作不符合規(guī)范，通常情況下就只有幾秒或幾分鐘，在PB級以上的數(shù)據(jù)量里，其占有的價(jià)值密度較低。（4）高速性在公路工程質(zhì)量監(jiān)控中，除對工程質(zhì)量本身監(jiān)督外，還應(yīng)對工程質(zhì)量進(jìn)行把控和預(yù)警。如：路面未達(dá)到養(yǎng)護(hù)期要求而強(qiáng)行進(jìn)行下一周期施工，此時(shí)系統(tǒng)就應(yīng)快速地對大數(shù)據(jù)進(jìn)行分析，并及時(shí)發(fā)出預(yù)警提示。

2大數(shù)據(jù)的處理

隨著“互聯(lián)網(wǎng)＋”時(shí)代的發(fā)展，人們對各行各業(yè)中產(chǎn)生的大數(shù)據(jù)進(jìn)行分析，給眾多決策者提供了有力的決策支持［6］。如：沃爾瑪超市通過大數(shù)據(jù)分析在超市行業(yè)中曾經(jīng)取得的輝煌成就；阿里巴巴通過大數(shù)據(jù)分析在電子商務(wù)行業(yè)取得的突破；滴滴打車或Uber通過大數(shù)據(jù)分析在出租車行業(yè)中取得的地位等等；均是基于大數(shù)據(jù)分析或處理而取得的成功案例［7］。然而在公路工程施工質(zhì)量監(jiān)控方面，大數(shù)據(jù)的應(yīng)用還較薄弱，通過對公路工程質(zhì)量監(jiān)控中產(chǎn)生的大數(shù)據(jù)進(jìn)行分析，對不合格或不符合規(guī)范的工程質(zhì)量及時(shí)的啟動(dòng)預(yù)警機(jī)制，將減少國家的財(cái)產(chǎn)損失，保障交通參與者的生命安全，為公路工程建設(shè)提供技術(shù)支撐。

2．1云計(jì)算

公路工程質(zhì)量監(jiān)控大數(shù)據(jù)中，核心是對于數(shù)據(jù)的分析和處理?！霸朴?jì)算”是大數(shù)據(jù)處理的基礎(chǔ)，為數(shù)據(jù)分析提供技術(shù)保障。云計(jì)算利用Internet和虛擬技術(shù)把計(jì)算機(jī)各種軟、硬件資源融為一體，形成大規(guī)模的共享資源池，為用戶提供IaaS（基礎(chǔ)設(shè)施即服務(wù)），PaaS（平臺即服務(wù)），SaaS（軟件即服務(wù)）［8］。云計(jì)算是典型的分布式模型，為公路工程質(zhì)量監(jiān)控大數(shù)據(jù)并行處理提供平臺。Google、IBM、阿里云等知名公司大數(shù)據(jù)分析處理和應(yīng)用都是基于云計(jì)算為基礎(chǔ)，最典型的應(yīng)用就是分布式文件系統(tǒng)、批處理技術(shù)、分布式數(shù)據(jù)庫等［9］。

2．2大數(shù)據(jù)存儲技術(shù)

公路工程質(zhì)量監(jiān)控中產(chǎn)生的大數(shù)據(jù)在PE級以上，怎樣降低存儲成本、提高數(shù)據(jù)并發(fā)吞吐量是大數(shù)據(jù)存儲的關(guān)鍵。分布式文件系統(tǒng)，是大數(shù)據(jù)在存儲中的一種關(guān)鍵技術(shù)，Google公司研發(fā)的GFS（GoogleFileSystem）分布式文件系統(tǒng)是大數(shù)據(jù)在存儲中的典型應(yīng)用。其與后來研發(fā)的MapRe－duce、BigTable技術(shù)構(gòu)成了Google搜索引擎大數(shù)據(jù)存儲的三大核心技術(shù)［10］。公路工程質(zhì)量監(jiān)控中產(chǎn)生的海量異構(gòu)數(shù)據(jù)，存儲架構(gòu)分為存儲層、基礎(chǔ)管理層、應(yīng)用接口層、訪問層。存儲層主要完成數(shù)據(jù)接入與信息集成、存儲虛擬化存儲設(shè)備；基礎(chǔ)管理層主要包括集群數(shù)據(jù)、并行數(shù)據(jù)倉庫盒實(shí)時(shí)數(shù)據(jù)庫；應(yīng)用層接口主要完成任務(wù)管理、調(diào)度與監(jiān)控；訪問層主要包括視頻監(jiān)控系統(tǒng)、環(huán)境監(jiān)測系統(tǒng)、應(yīng)急指揮系統(tǒng)、實(shí)驗(yàn)檢測系統(tǒng)和工程檔案系統(tǒng)等，如圖1所示。公路工程質(zhì)量監(jiān)控大數(shù)據(jù)與其它類型的大數(shù)據(jù)有所不同，有的數(shù)據(jù)需要急時(shí)處理，響應(yīng)急時(shí)的特點(diǎn)，以便于做出急時(shí)的應(yīng)急響影決策，否則會造成重大經(jīng)濟(jì)損失和人員傷亡。故需要研究公路工程質(zhì)量監(jiān)控大數(shù)據(jù)在存儲結(jié)構(gòu)上的特點(diǎn)，為后續(xù)的數(shù)據(jù)分析提供支撐。

2．3實(shí)時(shí)數(shù)據(jù)處理技術(shù)

在公路工程質(zhì)量監(jiān)控產(chǎn)生的大數(shù)據(jù)，類型多樣，包括聲音、圖像、文本等結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)，通過數(shù)據(jù)清洗來消除數(shù)據(jù)不一致是非常有必要的，也是數(shù)據(jù)處理的關(guān)鍵因素。在大數(shù)據(jù)實(shí)時(shí)處理流程中數(shù)據(jù)分析（DataAnalysis）是核心，為提高數(shù)據(jù)的訪問速度，建立分布式數(shù)據(jù)庫，利用各種類型的大數(shù)據(jù)分析技術(shù)，對各種異構(gòu)的數(shù)據(jù)進(jìn)行分析，最終利用可視化技術(shù)，把數(shù)據(jù)分析結(jié)果展現(xiàn)給用戶，以滿足公路工程在施工過程中監(jiān)督和決策的需求。傳統(tǒng)數(shù)據(jù)，一般采用關(guān)系數(shù)據(jù)庫來進(jìn)行存儲，OLTPT和OLAP是傳統(tǒng)數(shù)據(jù)的主流應(yīng)用，SQL是傳統(tǒng)關(guān)系數(shù)據(jù)庫存系統(tǒng)的存取標(biāo)準(zhǔn)［12］。但在公路工程質(zhì)量監(jiān)控中產(chǎn)生的數(shù)據(jù)，有很多不具有關(guān)系數(shù)據(jù)庫的條件，很多數(shù)據(jù)是非關(guān)系數(shù)據(jù)，故需要其它方式的數(shù)據(jù)分析管理技術(shù)。Google公司于2004年推出的MapReduce技術(shù)，它的并行數(shù)據(jù)處理方式是大數(shù)據(jù)分析和處理的典型應(yīng)用，其主要包括分布式文件系統(tǒng)（GFS），并行編程和并行執(zhí)行三個(gè)方面。GFS為大數(shù)據(jù)的儲存和并行計(jì)算提供平臺基礎(chǔ)支撐，采用鍵／值（key／value）方式對數(shù)據(jù)進(jìn)行分布式存儲［12］。MapReduce是一個(gè)通過將任務(wù)獨(dú)立化進(jìn)行計(jì)算的一種模型技術(shù)，主要有Map和Reduce兩個(gè)階段，首先把公路工程質(zhì)量監(jiān)控中產(chǎn)生的大數(shù)據(jù)按算法進(jìn)行以＜key，value＞的形式進(jìn)行任務(wù)分塊，把分塊任務(wù)交由Map進(jìn)行并行執(zhí)行，執(zhí)行完Map函數(shù)后，將數(shù)據(jù)轉(zhuǎn)換成符合模型的＜key1，value1＞的形式，并把數(shù)據(jù)寫入硬盤。然后進(jìn)入Reduce階段，Re－duce接受Map階段的執(zhí)行結(jié)果，對數(shù)據(jù)進(jìn)行合并歸約計(jì)算，最終得到輸出結(jié)果，并寫入到GFS文件系統(tǒng)［13］。公路工程質(zhì)量監(jiān)控大數(shù)據(jù)MapReduce計(jì)算過程，如圖2所示。圖2公路工程質(zhì)量監(jiān)控大數(shù)據(jù)計(jì)算過程公路工程質(zhì)量監(jiān)控大數(shù)據(jù)MapReduce并行計(jì)算模型，將簡化數(shù)據(jù)的計(jì)算過程，減少數(shù)據(jù)傳遞開銷，使公路工程質(zhì)量監(jiān)控中各類應(yīng)用程序設(shè)計(jì)直觀化。

3大數(shù)據(jù)在公路工程質(zhì)量監(jiān)控中的機(jī)遇與挑戰(zhàn)

3．1大數(shù)據(jù)可視化分析技術(shù)

可視分析技術(shù)的定義是指：一種通過交互式可視化界面來輔助用戶對大規(guī)模復(fù)雜數(shù)據(jù)集進(jìn)行分析推理的科學(xué)與技術(shù)［14］。大數(shù)據(jù)可視化分析是指在對數(shù)據(jù)挖掘分析的同時(shí)，利用可視化用戶界面以及人機(jī)交互技術(shù)，融合人的辨別能力與計(jì)算機(jī)的數(shù)據(jù)計(jì)算能力，為決策者提供更加科學(xué)、合理的決策依擾。公路工程質(zhì)量監(jiān)控大數(shù)據(jù)可視化分析關(guān)鍵核心是數(shù)據(jù)的集成和接口，而其數(shù)據(jù)規(guī)模大、快速多變、數(shù)據(jù)源異構(gòu)，使得對大數(shù)據(jù)的處理、分析和可視化帶來具大的挑戰(zhàn)。數(shù)據(jù)信息的可視化根據(jù)其特征分為一維信息、二維信息、三維信息、多維信息、層次信息、網(wǎng)絡(luò)信息、時(shí)序信息可視化，在公路工程質(zhì)量監(jiān)控大數(shù)據(jù)中主要包括文本可視化、網(wǎng)絡(luò)或圖可視化、時(shí)空數(shù)據(jù)可視化、多維數(shù)據(jù)可視化等。文本信息是非結(jié)構(gòu)化數(shù)據(jù)的代表，是公路工程質(zhì)量監(jiān)控大數(shù)據(jù)中的主要信息類型，是記錄施工數(shù)據(jù)的重要環(huán)節(jié)，文本信息可視化可采用把文本語議結(jié)構(gòu)以樹的形式進(jìn)行可視化操作；網(wǎng)絡(luò)或圖是大數(shù)據(jù)中最常見的關(guān)聯(lián)關(guān)系，是記錄施工過程狀態(tài)的重要信息，網(wǎng)絡(luò)或圖可視化可采用基于節(jié)點(diǎn)和邊的可視化方法；時(shí)空數(shù)據(jù)是帶地理位置標(biāo)簽的數(shù)據(jù)，是記錄施工環(huán)境狀態(tài)的重要信息，為反應(yīng)時(shí)間與空間的變化，一般采用流式地圖來展現(xiàn)；多維數(shù)據(jù)是多個(gè)維度空間的數(shù)據(jù)，是記錄整個(gè)施工過程的重要信息，一般可采用基于幾何圖形的可視方法來實(shí)現(xiàn)［15］。

3．2大數(shù)據(jù)在公路工程建設(shè)中的應(yīng)用

大數(shù)據(jù)在公路工程質(zhì)量監(jiān)控中的應(yīng)用還處于起步初級階段，依托大數(shù)據(jù)建立質(zhì)量監(jiān)督管理、安全監(jiān)督管理、監(jiān)理行業(yè)管理、試驗(yàn)行業(yè)管理、工程竣（交）工驗(yàn)收管理、突發(fā)應(yīng)急預(yù)案、事件檢測、應(yīng)急響應(yīng)、現(xiàn)場救援、總結(jié)評估等平臺，以數(shù)據(jù)指標(biāo)為度量，直觀、全面、準(zhǔn)確地監(jiān)測和分析各個(gè)環(huán)節(jié)要素的動(dòng)態(tài)變化數(shù)據(jù)信息，為管理者提供科學(xué)決策依據(jù)，提高監(jiān)管效能。如：工程建設(shè)過程中突發(fā)事件應(yīng)急處理，可利用地理信息系統(tǒng)（GIS）平臺，對基礎(chǔ)地圖數(shù)據(jù)、應(yīng)急資源數(shù)據(jù)、重大危險(xiǎn)源數(shù)據(jù)進(jìn)行管理并以電子地圖顯示，可及時(shí)預(yù)測突發(fā)事件危險(xiǎn)存在范圍，輔助突發(fā)事件應(yīng)對機(jī)制的決策。在建項(xiàng)目監(jiān)督管理，通過對試驗(yàn)檢測實(shí)驗(yàn)室、各種機(jī)械設(shè)施設(shè)備的數(shù)據(jù)采集，實(shí)現(xiàn)試驗(yàn)檢測數(shù)據(jù)、設(shè)施設(shè)備主要數(shù)據(jù)的采集與匯聚，生成質(zhì)量監(jiān)控大數(shù)據(jù)。通過對大數(shù)據(jù)的分析和規(guī)范性電子監(jiān)控比對，實(shí)現(xiàn)工程實(shí)體和質(zhì)量行為的實(shí)時(shí)自動(dòng)監(jiān)管巡查和預(yù)警等。

4總結(jié)

這是一個(gè)數(shù)據(jù)信息時(shí)代，不管是商業(yè)領(lǐng)域還是工程建設(shè)領(lǐng)域，都與數(shù)據(jù)有聯(lián)系，如何科學(xué)的運(yùn)用這些數(shù)據(jù)來分析和解決問題，是各領(lǐng)域應(yīng)重視的問題［16］。本文對公路工程建設(shè)質(zhì)量監(jiān)控中大數(shù)據(jù)的產(chǎn)生、存儲、處理和數(shù)據(jù)特點(diǎn)等進(jìn)行了深入分析，詳細(xì)介紹了大數(shù)據(jù)處理的關(guān)鍵技術(shù)，對大數(shù)據(jù)在公路工程質(zhì)量監(jiān)控中帶來的應(yīng)用進(jìn)行了論述。但大數(shù)據(jù)在公路工程質(zhì)量監(jiān)控中的運(yùn)用還處于起始階段，如何提高數(shù)據(jù)的采集質(zhì)量，解決工程建中大數(shù)據(jù)傳輸、提高數(shù)據(jù)可靠性等方面還存在著研究的空間，需要更多的研究者去探索和研究。

作者：肖祥林 周春容 單位：四川交通職業(yè)技術(shù)學(xué)院

大數(shù)據(jù)應(yīng)用論文:大數(shù)據(jù)管理平臺在煉化企業(yè)管理的應(yīng)用

摘要：文中對某煉化企業(yè)的現(xiàn)狀及實(shí)際管理中存在的問題進(jìn)行了分析，闡述了大數(shù)據(jù)管理平臺在煉化企業(yè)運(yùn)行管理中的實(shí)施過程。該管理平臺可以促進(jìn)裝置的高效運(yùn)行、提高裝置的可控性、提升整體管理水平，對企業(yè)資源的合理配置與優(yōu)化具有重要意義。

關(guān)鍵詞：煉化企業(yè)；大數(shù)據(jù)；管理平臺；數(shù)據(jù)管理

大數(shù)據(jù)管理平臺是煉化企業(yè)優(yōu)化生產(chǎn)、安全管理的基礎(chǔ)。利用企業(yè)現(xiàn)有信息化管理平臺，同時(shí)開發(fā)、完善配套相關(guān)軟件和硬件，建立大數(shù)據(jù)庫，通過對數(shù)據(jù)的收集、整理、分析、篩選，對異常數(shù)據(jù)的產(chǎn)生原因進(jìn)行分析，使異常偏差及時(shí)得到修正，使裝置工藝操作參數(shù)、物料、能耗、產(chǎn)品質(zhì)量、環(huán)保指標(biāo)等各項(xiàng)生產(chǎn)數(shù)據(jù)全面受控［1］。

1大數(shù)據(jù)管理平臺的實(shí)施背景

2015年10月某煉化公司優(yōu)化信息化管理，MES、ERP、統(tǒng)計(jì)信息平臺項(xiàng)目陸續(xù)上線。嚴(yán)格按照PDCA循環(huán)科學(xué)管理模式，做到有計(jì)劃、執(zhí)行、檢查處置的閉環(huán)管理。但是大部分裝置沒有網(wǎng)絡(luò)，數(shù)據(jù)不能上傳，只能電話報(bào)量，數(shù)據(jù)的重復(fù)錄入增加，出錯(cuò)率較高，降低了MES系統(tǒng)的基礎(chǔ)數(shù)據(jù)完整性，生產(chǎn)基礎(chǔ)數(shù)據(jù)缺乏監(jiān)測和預(yù)警功能，不能及時(shí)發(fā)現(xiàn)生產(chǎn)波動(dòng)；而各系統(tǒng)又存在共性問題就是各系統(tǒng)各自為政，沒有整合成大數(shù)據(jù)平臺，使各部門無法達(dá)到信息共享的目的［2］。裝置的生產(chǎn)運(yùn)行涉及的生產(chǎn)計(jì)劃、物料平衡、生產(chǎn)能耗、三劑管理、生產(chǎn)異常、質(zhì)檢化驗(yàn)、生產(chǎn)流程、三廢排放等數(shù)據(jù)一部分以電子表格形式存檔，一部分由獨(dú)立的應(yīng)用系統(tǒng)進(jìn)行管理，沒有統(tǒng)一的數(shù)據(jù)庫，系統(tǒng)之間缺少數(shù)據(jù)接口，沒有權(quán)限控制功能，只能采用紙質(zhì)方式進(jìn)行傳遞，安全性差，不便于數(shù)據(jù)檢索，難以對各類數(shù)據(jù)進(jìn)行綜合分析和處理［3］。因此，需利用信息化手段，進(jìn)行系統(tǒng)和信息的整合，便于數(shù)據(jù)的歸納、統(tǒng)計(jì)、分析和預(yù)判，挖掘數(shù)據(jù)和業(yè)務(wù)之間的內(nèi)在關(guān)聯(lián)，實(shí)現(xiàn)各項(xiàng)業(yè)務(wù)之間數(shù)據(jù)和信息的共享，根據(jù)市場變化，指導(dǎo)生產(chǎn)方案的制定和調(diào)整，實(shí)現(xiàn)效益最大化，提升管理水平。

2管理平臺的構(gòu)建

該管理平臺可以強(qiáng)化生產(chǎn)基礎(chǔ)數(shù)據(jù)管理，提高生產(chǎn)管理數(shù)據(jù)信息化，提高對生產(chǎn)基礎(chǔ)數(shù)據(jù)的監(jiān)測力度，監(jiān)督裝置物料計(jì)量儀表的準(zhǔn)確性。發(fā)現(xiàn)異常數(shù)據(jù)及時(shí)通知相關(guān)部門進(jìn)行處理，減少生產(chǎn)運(yùn)行波動(dòng)，保證生產(chǎn)運(yùn)行平穩(wěn)［4］。管理平臺包括8個(gè)模塊，運(yùn)行管理平臺見圖1。（1）生產(chǎn)計(jì)劃模塊：可查看物料、能耗、三劑生產(chǎn)計(jì)劃和計(jì)劃變更、生產(chǎn)優(yōu)化調(diào)整等情況。（2）物料平衡模塊：查看每天的物料變化動(dòng)態(tài)，裝置加工量、產(chǎn)品產(chǎn)量、庫存情況、銷售情況等，了解市場需求。監(jiān)測生產(chǎn)超標(biāo)數(shù)據(jù)，及時(shí)調(diào)整生產(chǎn)方案，月底可查看公司物料、能耗統(tǒng)計(jì)報(bào)表。（3）生產(chǎn)能耗數(shù)據(jù)模塊：可查看公用工程動(dòng)力消耗情況，瓦斯、氫氣和公用工程的產(chǎn)量、走向及消耗情況。（4）生產(chǎn)流程模塊：可掌握公司物料、能耗、瓦斯、氫氣的流程走向圖，掌握物料、能耗生產(chǎn)運(yùn)行模式。（5）生產(chǎn)運(yùn)行平穩(wěn)管理模塊：可及時(shí)統(tǒng)計(jì)裝置的平穩(wěn)率，查找異常數(shù)據(jù)，加強(qiáng)對異常數(shù)據(jù)的管理，提高裝置平穩(wěn)運(yùn)行。（6）三劑管理模塊：可查看三劑的消耗及庫存情況，掌握裝置三劑的需求，保證運(yùn)行穩(wěn)定。（7）質(zhì)檢化驗(yàn)數(shù)據(jù)模塊：可通過LIMS系統(tǒng)查看產(chǎn)品質(zhì)量化驗(yàn)分析數(shù)據(jù)，及時(shí)掌握產(chǎn)品質(zhì)量控制情況。（8）三廢排放流程模塊：可查看裝置污染物排放及指標(biāo)控制情況。

3管理平臺的功能

（1）及時(shí)統(tǒng)計(jì)裝置的平穩(wěn)率，查找異常數(shù)據(jù)，加強(qiáng)對異常數(shù)據(jù)的管理，提高裝置平穩(wěn)運(yùn)行。（2）可查看裝置的生產(chǎn)計(jì)劃，技術(shù)指標(biāo)的完成情況。（3）可查看每天的物料變化動(dòng)態(tài)，上、下游走向，裝置加工量、產(chǎn)品產(chǎn)量、庫存情況、銷售情況等，了解市場需求。（4）可查看公用工程動(dòng)力消耗情況，瓦斯、氫氣和公用工程的產(chǎn)量、走向及消耗情況。（5）查看三劑的消耗及庫存情況。（6）可為生產(chǎn)優(yōu)化，方案調(diào)整提供有關(guān)數(shù)據(jù)。（7）可通過LIMS查看產(chǎn)品質(zhì)量化驗(yàn)分析數(shù)據(jù)，及時(shí)掌握產(chǎn)品質(zhì)量控制情況。（8）可查看每天的裝置污染物排放及指標(biāo)控制情況。（9）可查看裝置開、停工期間物耗和能耗情況。

4管理平臺的實(shí)施

建立大數(shù)據(jù)管理平臺，使數(shù)據(jù)的使用者無需關(guān)心數(shù)據(jù)來源，更專注于數(shù)據(jù)的使用；打破系統(tǒng)之間的壁壘，抽取現(xiàn)有MES、LIMS的各類關(guān)鍵生產(chǎn)數(shù)據(jù)，融入大數(shù)據(jù)平臺；將生產(chǎn)計(jì)劃及指標(biāo)完成情況、裝置平穩(wěn)率及異常記錄、物料變化動(dòng)態(tài)、裝置加工量、產(chǎn)品產(chǎn)量與庫存情況、能耗、質(zhì)量化驗(yàn)分析數(shù)據(jù)等信息和數(shù)據(jù)重新組織后整合入大數(shù)據(jù)平臺［5］。（1）將計(jì)劃、能耗、三劑、物料（含煉油產(chǎn)品、化工產(chǎn)品、煉油流程-運(yùn)行、潤滑油流程、聚合流程、聚二流程、聚丙烯、帶料加工）的年度計(jì)劃、月度計(jì)劃、計(jì)劃變更和生產(chǎn)優(yōu)化等報(bào)表集成在同一個(gè)網(wǎng)頁環(huán)境，可查看物料、能耗、三劑生產(chǎn)計(jì)劃和計(jì)劃變更、生產(chǎn)優(yōu)化調(diào)整等情況，提高工作效率。（2）對生產(chǎn)基礎(chǔ)數(shù)據(jù)的監(jiān)測。物料平衡包括物料庫存、異常生產(chǎn)數(shù)據(jù)、原料入廠產(chǎn)品出廠、月統(tǒng)計(jì)報(bào)表、裝置數(shù)據(jù)；生產(chǎn)能耗數(shù)據(jù)包括各裝置生產(chǎn)能耗數(shù)據(jù)文檔的上傳、展示，可查看每天的物料變化動(dòng)態(tài)，裝置加工量、產(chǎn)品產(chǎn)量、庫存情況、銷售情況等，了解市場需求。生產(chǎn)能耗數(shù)據(jù)包括公司、專業(yè)廠、各裝置生產(chǎn)能耗數(shù)據(jù)，監(jiān)測生產(chǎn)超標(biāo)數(shù)據(jù)，及時(shí)調(diào)整生產(chǎn)方案，保證裝置平穩(wěn)運(yùn)行。月底可查看公司物料、能耗統(tǒng)計(jì)報(bào)表。（3）生產(chǎn)運(yùn)行平穩(wěn)管理包括操作平穩(wěn)率、異常生產(chǎn)操作指標(biāo)等，及時(shí)發(fā)現(xiàn)裝置運(yùn)行參數(shù)異常，加強(qiáng)日常生產(chǎn)監(jiān)控分析，對出現(xiàn)異常情況、數(shù)據(jù)偏差及時(shí)分析調(diào)整，及時(shí)處理，保證裝置安全、平穩(wěn)、高效運(yùn)行。（4）生產(chǎn)能耗數(shù)據(jù)包括公司、專業(yè)廠、各裝置生產(chǎn)能耗數(shù)據(jù)的展示、上傳。（5）掌握物料、能耗、廢物排放等流程。生產(chǎn)流程包括3.5MPa、1.0MPa蒸汽平衡圖、除氧水平衡圖、氮?dú)饬鞒虉D、電流程圖、凈化風(fēng)非凈化風(fēng)流程圖、氫氣平衡圖、脫鹽水平衡圖、瓦斯流程圖、物料流程圖、新鮮水平衡圖、循環(huán)水平衡圖；三廢排放流程包括廢水、廢棄、廢渣流程圖、平衡圖等。及時(shí)監(jiān)督裝置計(jì)量儀表的準(zhǔn)確性。（6）三劑管理包括煉油一廠、二廠、潤滑油、聚丙烯、儲運(yùn)廠等專業(yè)廠三劑使用和庫存情況等。（7）集成LIMS系統(tǒng)，可直接查看化驗(yàn)數(shù)據(jù)，及時(shí)掌握產(chǎn)品質(zhì)量控制情況（8）數(shù)據(jù)采集。平臺通過數(shù)據(jù)接口自動(dòng)從MES質(zhì)檢分析系統(tǒng)同步，對于不能自動(dòng)采集的數(shù)據(jù)，卡法數(shù)據(jù)上傳功能，暫時(shí)采用人工錄入的方式采集。（9）將現(xiàn)有生產(chǎn)報(bào)表基礎(chǔ)數(shù)據(jù)（平衡后的數(shù)據(jù)），整理后導(dǎo)入到Sqlserver數(shù)據(jù)庫中，建立分廠、車間、裝置三級拓?fù)潢P(guān)系，從而實(shí)現(xiàn)下階段可根據(jù)用戶個(gè)性化需求開發(fā)各類報(bào)表功能。5實(shí)施效果該大數(shù)據(jù)管理平臺投用后，各級生產(chǎn)管理人員可通過系統(tǒng)中的生產(chǎn)計(jì)劃、物料平衡、生產(chǎn)能耗數(shù)據(jù)、生產(chǎn)流程、生產(chǎn)運(yùn)行平穩(wěn)情況、三劑管理、質(zhì)檢化驗(yàn)數(shù)據(jù)、三廢排放流程、生產(chǎn)異常報(bào)警等功能，查看裝置的生產(chǎn)計(jì)劃，技術(shù)指標(biāo)的完成情況、每天的物料變化動(dòng)態(tài)，上、下游走向，裝置加工量、產(chǎn)品產(chǎn)量、三劑的消耗及庫存情況等；查看公用工程動(dòng)力消耗情況，瓦斯、氫氣和公用工程的產(chǎn)量、走向及消耗情況為生產(chǎn)優(yōu)化，方案調(diào)整提供有關(guān)數(shù)據(jù)；查看產(chǎn)品質(zhì)量化驗(yàn)分析數(shù)據(jù)，及時(shí)掌握產(chǎn)品質(zhì)量控制情況；查看裝置開、停工期間物耗和能耗情況等，加強(qiáng)生產(chǎn)管理，保障裝置平穩(wěn)運(yùn)行。6結(jié)論（1）通過大數(shù)據(jù)庫，能夠使生產(chǎn)報(bào)表自動(dòng)化程度得到更大的提升，減少崗位人工錄入數(shù)據(jù)，降低數(shù)據(jù)出錯(cuò)率，提高報(bào)表準(zhǔn)確率。（2）開發(fā)計(jì)量生產(chǎn)基礎(chǔ)數(shù)據(jù)監(jiān)測，能夠監(jiān)測生產(chǎn)狀態(tài)，使預(yù)警數(shù)據(jù)及時(shí)反饋給崗位和相關(guān)部門負(fù)責(zé)人，使預(yù)警數(shù)據(jù)及時(shí)得到處理，保證生產(chǎn)安全平穩(wěn)運(yùn)行，同時(shí)確保計(jì)量數(shù)據(jù)的準(zhǔn)確性。（3）通過生產(chǎn)基礎(chǔ)數(shù)據(jù)監(jiān)測，運(yùn)用網(wǎng)絡(luò)新技術(shù)，建立生產(chǎn)運(yùn)行計(jì)量管理新模式，整合計(jì)量生產(chǎn)大數(shù)據(jù)，為生產(chǎn)經(jīng)營決策提供可靠數(shù)據(jù)。（4）強(qiáng)化生產(chǎn)基礎(chǔ)數(shù)據(jù)管理，提高生產(chǎn)管理數(shù)據(jù)信息化，提高對生產(chǎn)基礎(chǔ)數(shù)據(jù)的監(jiān)測力度，發(fā)現(xiàn)異常數(shù)據(jù)及時(shí)通知相關(guān)部門進(jìn)行處理，減少生產(chǎn)運(yùn)行波動(dòng)，保證生產(chǎn)運(yùn)行平穩(wěn)。

作者：王建平 單位：大慶煉化公司

大數(shù)據(jù)應(yīng)用論文:大數(shù)據(jù)在互聯(lián)網(wǎng)金融風(fēng)控的應(yīng)用

摘要：21世紀(jì)是信息時(shí)代，互聯(lián)網(wǎng)高度普及，與金融的融合推動(dòng)了互聯(lián)網(wǎng)金融的飛速發(fā)展，而互聯(lián)網(wǎng)金融的快速發(fā)展離不開大數(shù)據(jù)技術(shù)的支持。文章針對大數(shù)據(jù)在互聯(lián)網(wǎng)中的應(yīng)用提出創(chuàng)新方向，并分析了應(yīng)用場景、應(yīng)用現(xiàn)狀，希望能夠?yàn)橛脩籼峁└噘N心、便捷的服務(wù)。

關(guān)鍵詞：大數(shù)據(jù)；互聯(lián)網(wǎng)金融；風(fēng)險(xiǎn)控制；網(wǎng)絡(luò)平臺；風(fēng)險(xiǎn)管理體制

互聯(lián)網(wǎng)金融是一種新興金融，依托于互聯(lián)網(wǎng)工具如社交網(wǎng)絡(luò)、云計(jì)算、搜索引擎等實(shí)現(xiàn)資金的融通、支付等業(yè)務(wù)，保證在安全、移動(dòng)等網(wǎng)絡(luò)水平上被電子商務(wù)用戶接受以后產(chǎn)生的新模式、新業(yè)務(wù)，適應(yīng)更多人的需求。未來的互聯(lián)網(wǎng)金融發(fā)展空間無限大，現(xiàn)階段互聯(lián)網(wǎng)競爭不只是平臺的競爭，更是大數(shù)據(jù)的競爭。

1互聯(lián)網(wǎng)金融和大數(shù)據(jù)的特點(diǎn)

1.1互聯(lián)網(wǎng)金融的特點(diǎn)

交易成本低廉：資金供給雙方在資金的融通過程中所發(fā)生的成本稱之為交易成本，互聯(lián)網(wǎng)借助信息網(wǎng)絡(luò)，減少了人力、物力的投入，信息、匹配產(chǎn)品、定價(jià)、交易都依靠互聯(lián)網(wǎng)完成，大大降低了交易成本。交易過程快捷簡單：互聯(lián)網(wǎng)金融模式下金融業(yè)務(wù)由計(jì)算機(jī)操作，效率高、速度快，不受時(shí)間、空間的限制，客戶只需要一臺電腦就可以實(shí)現(xiàn)資金的高效運(yùn)轉(zhuǎn)。數(shù)據(jù)價(jià)值大：依托于大數(shù)據(jù)和電子商務(wù)，互聯(lián)網(wǎng)金融實(shí)現(xiàn)飛速發(fā)展，互聯(lián)網(wǎng)的便利性使得人們的生活和工作依賴于互聯(lián)網(wǎng)，將一些單位和個(gè)人的消費(fèi)信息在網(wǎng)絡(luò)空間暴露，產(chǎn)生了海量的數(shù)據(jù)庫，數(shù)據(jù)就是資源，只要加以分析和研究就是巨大的商業(yè)價(jià)值。風(fēng)險(xiǎn)系數(shù)高、創(chuàng)新強(qiáng)：隨著科技的發(fā)展，不斷產(chǎn)生新的金融產(chǎn)品、融資形式，一些互聯(lián)網(wǎng)產(chǎn)品和支付方式也層出不窮，如網(wǎng)絡(luò)銀行、網(wǎng)絡(luò)保險(xiǎn)公司、眾籌融資、網(wǎng)絡(luò)證券公司、余額寶、支付寶、微信支付、網(wǎng)絡(luò)貸款等。但現(xiàn)階段對互聯(lián)網(wǎng)金融的監(jiān)管力度較弱，缺乏法律約束，導(dǎo)致一些不法分子非法集資，進(jìn)行網(wǎng)絡(luò)詐騙，嚴(yán)重危害了互聯(lián)網(wǎng)金融的安全。

1.2大數(shù)據(jù)技術(shù)

大數(shù)據(jù)是在信息時(shí)代由硅圖公司麥肯錫提出的全新概念，用來描述和定義信息時(shí)代的海量數(shù)據(jù)，是從各種海量的數(shù)據(jù)中快速尋找有價(jià)值的信息，進(jìn)行高度提純，增加數(shù)據(jù)信息的利用率。大數(shù)據(jù)技術(shù)體系分為大數(shù)據(jù)的采集與預(yù)處理、存儲與管理、計(jì)算模式與系統(tǒng)、分析與挖掘、可視化計(jì)算、隱私與安全等方面，可優(yōu)化數(shù)據(jù)處理環(huán)節(jié)，提高數(shù)據(jù)處理效率。其特點(diǎn)主要是數(shù)據(jù)體量大、類型多、處理速度快、價(jià)值密度低。當(dāng)今社會大數(shù)據(jù)無處不在，滲透在人們?nèi)粘５纳?、學(xué)習(xí)、工作中。以阿里巴巴小額貸款為例，2015年累計(jì)放款1953億元人民幣，交易額增長了40%。大數(shù)據(jù)的利用能夠有效降低交易成本，提高交易頻率，拓寬交易空間，改善交易體驗(yàn)，促進(jìn)互聯(lián)網(wǎng)金融的發(fā)展，但也存在一些隱患和風(fēng)險(xiǎn)，會泄露個(gè)人隱私，限制企業(yè)的管理決策等。

2大數(shù)據(jù)在互聯(lián)網(wǎng)金融中的應(yīng)用

雖然大數(shù)據(jù)的應(yīng)用在現(xiàn)階段并沒有完全達(dá)到預(yù)期的精確性，但是已經(jīng)有很多較為成功的案例。如DataSifi根據(jù)對社交數(shù)據(jù)網(wǎng)絡(luò)的分析總結(jié)，制定出具體的方案；Zest利用大數(shù)據(jù)信用評估，已經(jīng)獲得一億美元的融資；Decide利用價(jià)格信息預(yù)估價(jià)格走勢，提出了較合理的購買建議等。隨著數(shù)據(jù)的積累和平臺的發(fā)展，互聯(lián)網(wǎng)金融逐漸盛行，受余額寶、微信理財(cái)通等的影響，國內(nèi)主要應(yīng)用于理財(cái)方面，實(shí)際上金融服務(wù)中最具剛性需求的服務(wù)是貸款，大數(shù)據(jù)促進(jìn)了金融創(chuàng)新。

2.1高頻交易和算法交易

交易者為實(shí)現(xiàn)高額利潤，利用交易程序和硬件設(shè)備，快速分析、生成、獲取和發(fā)送交易指令，可以在較短的時(shí)間內(nèi)完成較多的交易。高頻交易主要通過分析金融大數(shù)據(jù)，對特定的參與者的交易痕跡進(jìn)行識別和總結(jié)，如：一支共同基金的大額訂單通常情況下出現(xiàn)在收盤前最后一分鐘的第一秒，能識別出此模式的算法就可以預(yù)算出這只基金在其他時(shí)間的動(dòng)向，如果繼續(xù)執(zhí)行交易，必須付出更高的價(jià)格，算法交易商趁機(jī)獲取利潤。

2.2進(jìn)行市場情緒分析

大約兩年前，對沖基金從各種社交媒體中提取市場情緒信息進(jìn)而開發(fā)出算法交易，如Facebook、博客、聊天室等。如發(fā)現(xiàn)有恐怖襲擊、自然災(zāi)害的意外信息時(shí)就會拋出訂單，精神病專家理查德?彼得于2008年在美國加州圣莫尼卡集資100萬美元建立對沖基金，通過追蹤網(wǎng)站、微博、聊天室分析企業(yè)情緒，確定基金的交易策略，該基金的回報(bào)率在2010年高達(dá)40%。又如位于倫敦的小型對沖基金DCM從社交媒體上收集信息，分析人們對金融工具的情緒，幫助投資者制定投資計(jì)劃。

2.3提高風(fēng)險(xiǎn)的管理力度

金融機(jī)構(gòu)通過對大量小型用戶交易行為的數(shù)據(jù)進(jìn)行收集，并對其交易范圍、經(jīng)營狀況、用戶、資金需求以及行業(yè)的發(fā)展進(jìn)行具體的分析，解決小型企業(yè)的經(jīng)營難題。阿里小貸首創(chuàng)了線上的審核到放貸的模式，有效連接貸款的全過程，為弱勢群體提供個(gè)性化的小額貸款。

3互聯(lián)網(wǎng)金融風(fēng)險(xiǎn)控制的一般原則

風(fēng)險(xiǎn)控制最有效的方法就是將所有的雞蛋以不同的比例分開裝在不同的籃子里，即“小額、分散”，避免集中投放?！胺稚ⅰ痹陲L(fēng)險(xiǎn)控制方面有著非常重要的作用，借款客戶個(gè)體差異性較大，所處的地域不同，且自身的條件有差異如年齡、學(xué)歷等，這些分散的個(gè)體其違約的概率相對獨(dú)立，同時(shí)違約的概率非常小。如100個(gè)獨(dú)立的個(gè)人其違約的概率是20%，如果隨機(jī)抽2個(gè)人，同時(shí)違約的概率為20%2即4%，隨機(jī)抽出5個(gè)人，同時(shí)違約的概率為20%5，如果抽出8個(gè)人同時(shí)違約的概率為20%8，但是如果這100個(gè)人存在相關(guān)性，甲違約的時(shí)候乙也違約，那他們同時(shí)違約的概率就是10%（20%?50%），遠(yuǎn)遠(yuǎn)高于4%，因此貸款個(gè)體之間的獨(dú)立性是降低風(fēng)險(xiǎn)的必要措施?！靶☆~”是避免“小樣本偏差”。如：某貸款公司現(xiàn)在的貸款一共有10億，如果每個(gè)借款人平均可以借5萬，總共有2萬客戶，如果單筆借款金額是100萬，就有1000個(gè)客戶。根據(jù)統(tǒng)計(jì)學(xué)中的法則，樣本個(gè)數(shù)越多，越能符合正態(tài)分布規(guī)律。因此，如果借款人違約率是2%，那這5萬個(gè)客戶的違約率就會高于1000個(gè)客戶的違約率。通過數(shù)據(jù)分析建立風(fēng)控模型和決策引擎也非常重要。小額分散借款客戶較多，若銀行采用傳統(tǒng)的信審模式不能統(tǒng)一量度還款能力、還款意愿，就會增加風(fēng)險(xiǎn)成本。因此可以借鑒國外的P2P，采用信貸工廠模式，建立風(fēng)險(xiǎn)模型，根據(jù)客戶的行為特征判斷出該客戶的違約概率，降低人工審核的成本，避免人工審核和判斷標(biāo)準(zhǔn)的誤差。風(fēng)控體系的核心方法除了依據(jù)小額分散原則外，要研究不同特征個(gè)體的違約率，建立數(shù)據(jù)風(fēng)控模型和評分卡體系，將其固定到風(fēng)控審批的業(yè)物流程和決策引擎中，掌握不同特征個(gè)人的違約率程度，指導(dǎo)風(fēng)險(xiǎn)審批業(yè)務(wù)開展。

4大數(shù)據(jù)在互聯(lián)網(wǎng)金融風(fēng)控方面的具體應(yīng)用

由于國內(nèi)金融體系尚不完善，國內(nèi)的用戶數(shù)據(jù)雖數(shù)量較大但不準(zhǔn)確，導(dǎo)致現(xiàn)階段國內(nèi)將大數(shù)據(jù)方式涉及到互聯(lián)網(wǎng)金融的產(chǎn)品還比較少，數(shù)據(jù)來源困難且不精準(zhǔn)增加了互聯(lián)網(wǎng)金融的困難。在不依賴央行征信系統(tǒng)的情況下，各具特色的風(fēng)險(xiǎn)控制系統(tǒng)在互聯(lián)網(wǎng)市場自發(fā)形成，小公司通過信息分享，借助第三方獲得咨詢服務(wù)，而大公司則通過大數(shù)據(jù)建立信用評級系統(tǒng)?，F(xiàn)階段互聯(lián)網(wǎng)金融的風(fēng)控體系大致有兩種：一種是眾多的中小互聯(lián)網(wǎng)金融公司給中間征信機(jī)構(gòu)貢獻(xiàn)數(shù)據(jù)，進(jìn)而獲得征信信息的分享權(quán)；另一種類似于與阿里巴巴的風(fēng)控模式，建立信用評級和風(fēng)控模型需要對大量的電商交易和支付信息數(shù)據(jù)進(jìn)行分析。央行的征信系統(tǒng)結(jié)合身份認(rèn)證中心的身份審核，通過社會機(jī)構(gòu)和商業(yè)銀行的數(shù)據(jù)，給銀行提供銀行信用查詢和個(gè)人信用的相關(guān)報(bào)告，但對其他的互聯(lián)金融公司或機(jī)構(gòu)不提供查詢服務(wù)，一些個(gè)人信貸記錄也沒有在該系統(tǒng)里，但有可能在其他的機(jī)構(gòu)和互聯(lián)網(wǎng)金融公司的系統(tǒng)里存在?；ヂ?lián)網(wǎng)數(shù)據(jù)龐雜且量大，充滿噪音。阿里建立完善的大數(shù)據(jù)挖掘系統(tǒng)較早，但是很多人還處于迷茫狀態(tài)，通過淘寶、天貓、支付寶等積累大量支付數(shù)據(jù)作為基礎(chǔ)的數(shù)據(jù)原料，結(jié)合賣家的銷售數(shù)據(jù)和銀行流水等數(shù)據(jù)，進(jìn)行全面匯總后借助網(wǎng)絡(luò)評分的模型進(jìn)行信用評級活動(dòng)。信用卡類網(wǎng)站的大數(shù)據(jù)同樣也對互聯(lián)網(wǎng)金融風(fēng)險(xiǎn)控制具有非常重要的價(jià)值，可參考用戶信用卡辦卡年份、還款信息、信用額度、卡片種類等進(jìn)行信用評級。2013年阿里巴巴收購新浪微博18%的股份花費(fèi)5.86億美元，目的就是為了獲得社交大數(shù)據(jù)，進(jìn)而完善了大數(shù)據(jù)，信用卡的還款信息、交易、支付、淘寶的水電煤繳費(fèi)信息現(xiàn)階段已經(jīng)成為數(shù)據(jù)的基礎(chǔ)。未來第三方支付平臺支付的方向、額度、購買品牌及金額都可能成為信用評級的數(shù)據(jù)參考，而生活類服務(wù)網(wǎng)站有關(guān)用戶的生活消費(fèi)如水、電、煤、物業(yè)費(fèi)、電話費(fèi)、網(wǎng)絡(luò)費(fèi)都有可以反映用戶的基本信息，為信用評級提供重要的參考，擁有這些所有的大數(shù)據(jù)才能夠進(jìn)行數(shù)據(jù)的加工。

5結(jié)語

社會經(jīng)濟(jì)的發(fā)展離不開金融的支持?；ヂ?lián)網(wǎng)金融服務(wù)將會建立更完善、更全面的信用體制和風(fēng)險(xiǎn)管理體制，從粗放式向精細(xì)化轉(zhuǎn)型，從抵押向信用轉(zhuǎn)變，風(fēng)險(xiǎn)控制將變得很關(guān)鍵，大數(shù)據(jù)毫無疑問也變得非常重要，但是現(xiàn)階段互聯(lián)網(wǎng)交易額較小，用戶規(guī)模不大，需要結(jié)合實(shí)際情況及時(shí)修正模型，從而優(yōu)化風(fēng)險(xiǎn)控制模型。

作者：汪瓊 單位：百融（北京）金融信息服務(wù)股份有限公司

大數(shù)據(jù)應(yīng)用論文:大數(shù)據(jù)技術(shù)對網(wǎng)絡(luò)安全的應(yīng)用

摘要：隨著計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)在各個(gè)行業(yè)中的應(yīng)用與發(fā)展的不斷廣泛化，網(wǎng)絡(luò)安全也越來越受到企業(yè)和個(gè)人的重視。網(wǎng)絡(luò)安全不僅會影響國家重要信息的安全性也會影響私人信息的安全，而現(xiàn)階段大數(shù)據(jù)技術(shù)的不斷引進(jìn)與應(yīng)用使得信息網(wǎng)絡(luò)進(jìn)入到了一個(gè)新的發(fā)展階段?，F(xiàn)在全球數(shù)據(jù)存有量正在每年超過40%的速度在增長，然而信息網(wǎng)絡(luò)所承載的信息數(shù)據(jù)正在向分散化、多樣化，復(fù)雜化的趨勢發(fā)展從而增加了網(wǎng)絡(luò)信息數(shù)據(jù)管理的難度，更沖擊了傳統(tǒng)的網(wǎng)絡(luò)安全管理技術(shù)，介于網(wǎng)絡(luò)信息數(shù)據(jù)增長速度之快，影響網(wǎng)絡(luò)安全的因素也在不斷地增加，所以網(wǎng)絡(luò)安全迫切的需要引進(jìn)大數(shù)據(jù)技術(shù)來進(jìn)行網(wǎng)絡(luò)安全分析，滿足高科技環(huán)境下信息網(wǎng)絡(luò)安全的需求。

關(guān)鍵詞：網(wǎng)絡(luò)安全分析；大數(shù)據(jù)技術(shù)；應(yīng)用

引言

隨著網(wǎng)絡(luò)技術(shù)應(yīng)用的普遍性，網(wǎng)絡(luò)安全分析的數(shù)據(jù)也在呈指數(shù)曲線的速度增加，而且數(shù)據(jù)來源的廣泛性和內(nèi)容的細(xì)致性也使得網(wǎng)絡(luò)安全分析的架構(gòu)也越來越復(fù)雜，分析維度也越來越大，再加上4G時(shí)代的到來和智能化設(shè)備的不斷更新?lián)Q代使得信息數(shù)據(jù)的發(fā)送和接收速度也越來越快，數(shù)據(jù)分析的速度跟不上使網(wǎng)絡(luò)安全漏洞增加，影響力增大，造成此現(xiàn)象嚴(yán)重的主要原因就是網(wǎng)絡(luò)安全傳統(tǒng)分析架構(gòu)已經(jīng)不能滿足現(xiàn)在網(wǎng)絡(luò)信息數(shù)據(jù)分析的要求了，所以要引進(jìn)新的技術(shù)。

1大數(shù)據(jù)技術(shù)在網(wǎng)絡(luò)安全分析中的應(yīng)用

1.1大數(shù)據(jù)技術(shù)分析

大數(shù)據(jù)安全分析主要是為了完善網(wǎng)絡(luò)安全分析中傳統(tǒng)安全分析能力的不足，大數(shù)據(jù)技術(shù)的核心技術(shù)分別是分布式采集處理、自然語言理解、流量計(jì)算引擎、關(guān)聯(lián)分析、大規(guī)模機(jī)器學(xué)習(xí)和可視化人機(jī)交互等多種分析方法[1]，實(shí)現(xiàn)在規(guī)模不斷擴(kuò)大的海量異構(gòu)數(shù)據(jù)信息中快速發(fā)現(xiàn)安全攻擊和安全威脅的一種工具。在大數(shù)據(jù)技術(shù)安全分析中該技術(shù)主要從分布式計(jì)算框架、流式計(jì)算引擎、分布式存儲技術(shù)來分析的。分布式計(jì)算框架不依賴高端硬件、擴(kuò)展性強(qiáng)的優(yōu)點(diǎn)提高了大數(shù)據(jù)技術(shù)應(yīng)用的適應(yīng)性，使得一些低端配置的設(shè)備都能引用該技術(shù)；流式計(jì)算引擎主要通過解決大數(shù)據(jù)歷史分析系統(tǒng)交互式計(jì)算，給網(wǎng)絡(luò)信息數(shù)據(jù)的快速查找提供了便利條件；分布式存儲技術(shù)能夠利用多臺存儲設(shè)備來分擔(dān)大量數(shù)據(jù)的存儲負(fù)荷，從而擴(kuò)大了大數(shù)據(jù)技術(shù)存儲的能力，也降低了存儲管理成本，在一定程度上也提高了整個(gè)網(wǎng)絡(luò)安全系統(tǒng)的可靠性和安全性。

1.2網(wǎng)絡(luò)安全分析引入大數(shù)據(jù)技術(shù)的必要性

隨著網(wǎng)絡(luò)信息數(shù)據(jù)量的大量增加，數(shù)據(jù)來源越來越廣泛細(xì)致，分析維度也越來越大的特點(diǎn)下，利用傳統(tǒng)的技術(shù)架構(gòu)和結(jié)構(gòu)化數(shù)據(jù)庫進(jìn)行數(shù)據(jù)的存儲的和分析，不僅會增大網(wǎng)絡(luò)信息數(shù)據(jù)的存儲成本，也會導(dǎo)致一部分信息數(shù)據(jù)被丟失，并且隨著時(shí)間的延長有些時(shí)間較長的數(shù)據(jù)不能很好地被保存起來，這樣就會給日后信息數(shù)據(jù)的追蹤和查找?guī)砹死щy，并且數(shù)據(jù)廣泛的來源也給異構(gòu)數(shù)據(jù)的關(guān)聯(lián)分析和融合帶來了很大的困難，而對于傳統(tǒng)的網(wǎng)絡(luò)安全分析的技術(shù)已經(jīng)很難滿足現(xiàn)在龐大的、迥異的網(wǎng)絡(luò)信息數(shù)據(jù)分析的需求了。早在2013年的調(diào)查資料中顯示，大數(shù)據(jù)技術(shù)在未來信息架構(gòu)的分析發(fā)展中有著很大的優(yōu)勢，并且近年來已經(jīng)有不少領(lǐng)域開始引進(jìn)大數(shù)據(jù)技術(shù)。大數(shù)據(jù)技術(shù)之所以被各個(gè)領(lǐng)域重視，是因?yàn)樗軌蛑С趾Ａ康那义漠惖臄?shù)據(jù)的存儲和計(jì)算，相對于傳統(tǒng)網(wǎng)絡(luò)安全分析技術(shù)來說，大數(shù)據(jù)技術(shù)使大量原始網(wǎng)絡(luò)信息數(shù)據(jù)的存儲和分析成為了可能；大數(shù)據(jù)技術(shù)對于傳統(tǒng)技術(shù)來說對網(wǎng)絡(luò)信息數(shù)據(jù)的存儲成本較低，并且大數(shù)據(jù)技術(shù)在普通硬件水平上的應(yīng)用沒有局限性，在信息數(shù)據(jù)的查詢過程中查詢速度又快、精度又高，從而提升了網(wǎng)絡(luò)安全分析中一些數(shù)據(jù)的挖掘能力，提升了網(wǎng)絡(luò)安全分析的深度和廣度[2]，并為大數(shù)據(jù)技術(shù)在網(wǎng)絡(luò)安全分析中的應(yīng)用奠定了堅(jiān)實(shí)的基礎(chǔ)。

1.3網(wǎng)絡(luò)安全分析中大數(shù)據(jù)技術(shù)應(yīng)用分析

在我們的日常生活中，我們每天都在和數(shù)據(jù)打交道，不是創(chuàng)造數(shù)據(jù)就是利用分析數(shù)據(jù)。比如在我們有手機(jī)電腦上的聊天軟件聊天時(shí)就是在創(chuàng)造信息數(shù)據(jù)，聊天過程中流量的消耗就是在應(yīng)用數(shù)據(jù)（對近年來網(wǎng)絡(luò)流量使用數(shù)據(jù)調(diào)查如表1），設(shè)想一下如果我們的聊天數(shù)據(jù)被竊取，是多們可怕危險(xiǎn)的事情，再往大了去想就是國家機(jī)密數(shù)據(jù)，如果這些數(shù)據(jù)的丟失將會給整個(gè)國家?guī)砦ｋU(xiǎn)，所以網(wǎng)絡(luò)安全分析是當(dāng)前網(wǎng)絡(luò)數(shù)據(jù)分析中相當(dāng)重要的一方面。目前網(wǎng)絡(luò)安全分析的主要數(shù)據(jù)就是流量和日志，但是由于這些數(shù)據(jù)的分散性和存儲有限性使得網(wǎng)絡(luò)安全預(yù)測存在漏洞，而大數(shù)據(jù)技術(shù)的引進(jìn)則可以將分散的流量數(shù)據(jù)和日志數(shù)據(jù)集中到一起，利用大數(shù)據(jù)高效的采集和挖掘能力將采集到的數(shù)據(jù)存儲起來，然后再利用大數(shù)據(jù)技術(shù)對采集挖掘到的數(shù)據(jù)進(jìn)行分析和檢索，對網(wǎng)絡(luò)安全中存在安全隱患的數(shù)據(jù)進(jìn)行處理，不僅提高了網(wǎng)絡(luò)安全分析，也縮短了數(shù)據(jù)分析的時(shí)間，降低了信息丟失和泄露事件發(fā)生頻率，由傳統(tǒng)的被動(dòng)防御變?yōu)榇髷?shù)據(jù)背景下主動(dòng)地防御。

2大數(shù)據(jù)技術(shù)背景下網(wǎng)絡(luò)安全平臺的建設(shè)

2.1大數(shù)據(jù)背景下網(wǎng)絡(luò)安全分析架構(gòu)建設(shè)

在網(wǎng)絡(luò)安全分析架構(gòu)建設(shè)中主要是由下向上建立數(shù)據(jù)采集層、數(shù)據(jù)存儲層、數(shù)據(jù)挖掘分析層、數(shù)據(jù)呈現(xiàn)層[3]等，由它們共同組成大數(shù)據(jù)技術(shù)的網(wǎng)絡(luò)安全分析架構(gòu)?；窘M成結(jié)構(gòu)如圖1。網(wǎng)絡(luò)安全分析架構(gòu)中的數(shù)據(jù)采集層能夠分布式的采集基于流、用戶身份信息、事件和威脅情報(bào)等多源異構(gòu)信息的收集；而大數(shù)據(jù)技術(shù)中的存儲層則能夠利用分布式文件系統(tǒng)長期大量的存儲龐大的信息數(shù)據(jù)，并能將數(shù)據(jù)的結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化的方式的信息數(shù)同意存儲，并未將來數(shù)據(jù)的檢索提供了便利條件，而且還能保障所存儲數(shù)據(jù)的安全性和完整性；數(shù)據(jù)挖掘分析層能夠?qū)?shù)據(jù)進(jìn)行關(guān)聯(lián)分析，提取數(shù)據(jù)的特征，通過這種方式可以實(shí)現(xiàn)安全事件的挖掘，并能夠很快地發(fā)現(xiàn)網(wǎng)絡(luò)異常的安全行為，并對存在安全隱患的數(shù)據(jù)進(jìn)行追溯，然后將其定位，等待安全處理；數(shù)據(jù)呈現(xiàn)層能夠?qū)⒋髷?shù)據(jù)技術(shù)分析的結(jié)構(gòu)進(jìn)行可視化處理，通過多種維度展現(xiàn)網(wǎng)絡(luò)安全的狀態(tài)。

2.2網(wǎng)絡(luò)安全平臺實(shí)現(xiàn)的技術(shù)支持闡述大數(shù)據(jù)采集技術(shù)。安全平臺主要利用大數(shù)據(jù)技術(shù)中的采集技術(shù)對海量的安全數(shù)據(jù)進(jìn)行采集、整合、傳輸，該過程能夠使使用方在安全性較高，可靠性也較高的狀態(tài)下接收到源自不同范圍的數(shù)據(jù)，然后在對收集到的信息數(shù)據(jù)進(jìn)行處理。大數(shù)據(jù)存儲技術(shù)。該技術(shù)主要是對采集過程中采集到的數(shù)據(jù)進(jìn)行存儲，借助該技術(shù)的高吞吐量和高容錯(cuò)性將采集到的大量數(shù)據(jù)存儲起來，以保障數(shù)據(jù)的安全性和完整性。大數(shù)據(jù)分析技術(shù)。在安全平臺中，該技術(shù)主要是完成數(shù)據(jù)的統(tǒng)計(jì)與分析工作，根據(jù)數(shù)據(jù)的結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化進(jìn)行數(shù)據(jù)分析，然后建立分門別類的事件關(guān)系序列庫，將數(shù)據(jù)由簡單化轉(zhuǎn)向復(fù)雜化，然后在大量的信息數(shù)據(jù)中查找網(wǎng)絡(luò)安全的隱患，進(jìn)而對安全隱患進(jìn)行處理，保障網(wǎng)絡(luò)安全。

3結(jié)論

通過對大數(shù)據(jù)在網(wǎng)絡(luò)安全中的應(yīng)用分析和網(wǎng)絡(luò)安全平臺的建設(shè)知道，大數(shù)據(jù)技術(shù)在網(wǎng)絡(luò)安全分析中的應(yīng)用不僅可以降低網(wǎng)絡(luò)信息數(shù)據(jù)存儲的成本，也提高了數(shù)據(jù)庫的存儲容量，更為數(shù)據(jù)的追溯和檢索提供了很大的保障，相信在未來網(wǎng)絡(luò)安全分析中，大數(shù)據(jù)技術(shù)必然會成為技術(shù)的主導(dǎo)力量。

作者：賈衛(wèi) 單位：太原理工大學(xué)郵電中心

大數(shù)據(jù)應(yīng)用論文:大數(shù)據(jù)在電力企業(yè)信息報(bào)送的應(yīng)用

【摘要】信息是各級領(lǐng)導(dǎo)決策的重要依據(jù)，做好信息報(bào)送工作能有效支撐公司經(jīng)營決策。大數(shù)據(jù)理念與技術(shù)的出現(xiàn)，能夠在碎片化的海量數(shù)據(jù)中挖掘關(guān)鍵信息，也為信息報(bào)送與決策服務(wù)提供了新的理念與技術(shù)手段。以電網(wǎng)企業(yè)為例，闡述大數(shù)據(jù)在信息報(bào)送中的應(yīng)用原則，重點(diǎn)分析報(bào)送工作不同環(huán)節(jié)中應(yīng)用場景，包括選題識別、評價(jià)、規(guī)劃等重點(diǎn)應(yīng)用，提出詞頻分析、關(guān)鍵詞相關(guān)分析等算法模型，并為大型企業(yè)提升信息報(bào)送效率與質(zhì)量提出對策建議。

【關(guān)鍵詞】大數(shù)據(jù)；信息；電力企業(yè)；選題

引言

當(dāng)前世界政治經(jīng)濟(jì)格局深刻變化，我國經(jīng)濟(jì)發(fā)展“新常態(tài)”特征日益顯著，電力企業(yè)發(fā)展改革面臨更加復(fù)雜的外部環(huán)境，需要針對新形勢、新變化及時(shí)作出科學(xué)決策。信息是各級領(lǐng)導(dǎo)決策的重要依據(jù)，做好信息報(bào)送工作能有效支撐電力企業(yè)經(jīng)營決策。大數(shù)據(jù)理念與技術(shù)的出現(xiàn)，能夠在碎片化的海量數(shù)據(jù)中挖掘關(guān)鍵信息，也為信息報(bào)送與決策服務(wù)提供了新的理念與技術(shù)手段［1-5］。本文以電力企業(yè)及時(shí)決策、科學(xué)決策為需求導(dǎo)向，將數(shù)據(jù)跨界、關(guān)聯(lián)分析、動(dòng)態(tài)預(yù)測等大數(shù)據(jù)理念與技術(shù)方法應(yīng)用到信息報(bào)送工作中，形成一套重要信息及時(shí)識別、收集、快速分析研判的技術(shù)支撐體系，提高信息選題、報(bào)送的精準(zhǔn)性，提高數(shù)據(jù)向信息的轉(zhuǎn)化效率，提升信息在決策支撐中的價(jià)值［6-7］。

1傳統(tǒng)信息情報(bào)工作應(yīng)用現(xiàn)狀與發(fā)展趨勢

1.1傳統(tǒng)信息報(bào)送工作量與難度不斷提高由于信息報(bào)送的重要意義，對于工作開展的難度與要求相應(yīng)較高。一方面，電力企業(yè)信息工作者需要編輯處理的信息量特別大。每天擺在信息工作者案頭上的各種信息數(shù)以10萬字以上，特別在目前移動(dòng)互聯(lián)網(wǎng)時(shí)代，信息工作者需要了解的信息源、信息渠道更為多樣，信息處理量、信息熱點(diǎn)更加點(diǎn)多面廣。目前信息報(bào)送工作每年需要處理的文字量達(dá)到150萬字到200萬字。另一方面，電力企業(yè)信息工作者需要整合多種信息的難度大。以組織編輯一篇《國家電網(wǎng)專報(bào)》為例，往往從策劃、查找材料到編寫需要搜集整合大量的信息，分析觀點(diǎn)與論據(jù)、梳理素材與線索的工作難度非常大，而目前這部分工作完全是通過人工完成的。1.2大數(shù)據(jù)手段提升信息報(bào)送工作勢在必行大數(shù)據(jù)時(shí)代，隨著互聯(lián)網(wǎng)的快速發(fā)展、新興技術(shù)的興起，音頻、文字、圖片、視頻、地理位置等半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)大量涌現(xiàn)，數(shù)據(jù)正以前所未有的速度在不斷的增長累積。借助大數(shù)據(jù)理念、方法，電力企業(yè)的信息報(bào)送將從注重處理結(jié)構(gòu)化數(shù)據(jù)的傳統(tǒng)信息管理模式，向多系統(tǒng)集成、多類數(shù)據(jù)實(shí)時(shí)收集、存儲使用的新模式轉(zhuǎn)變［8-9］。相關(guān)技術(shù)方法的執(zhí)行遵循以下原則。一是統(tǒng)籌規(guī)劃，增強(qiáng)協(xié)同：加大協(xié)作力度與廣度，提高信息工作的整體性與多元化；二是平臺統(tǒng)一，價(jià)值發(fā)現(xiàn)：以統(tǒng)一技術(shù)平臺支撐各專業(yè)領(lǐng)域大數(shù)據(jù)應(yīng)用，挖掘各類信息、數(shù)據(jù)中的價(jià)值；三是注重反饋，精益求精：增強(qiáng)信息報(bào)送工作中各層級、各專業(yè)的相互反饋，促進(jìn)信息稿件質(zhì)量不斷提升；四是技術(shù)支撐，建用并重：加強(qiáng)對大數(shù)據(jù)相關(guān)技術(shù)模型的研發(fā)，邊開發(fā)邊應(yīng)用，重視成果實(shí)用實(shí)效［10］。

2主要應(yīng)用場景分析

2.1識別關(guān)鍵信息選題首先，將時(shí)事熱點(diǎn)、領(lǐng)導(dǎo)關(guān)注焦點(diǎn)、電力企業(yè)改革難點(diǎn)等不同維度的信息進(jìn)行綜合分析與關(guān)聯(lián)分析，從領(lǐng)導(dǎo)講話、報(bào)告、互聯(lián)網(wǎng)輿情、文件、重要外部數(shù)據(jù)等不同渠道數(shù)據(jù)與資訊中識別關(guān)鍵信息，自動(dòng)推送具有價(jià)值的信息選題。其次，結(jié)合外部指標(biāo)數(shù)據(jù)對電力企業(yè)經(jīng)營決策的傳導(dǎo)影響，提煉形成具有價(jià)值的信息選題，將不同信息選題經(jīng)過整理納入信息選題庫，為領(lǐng)導(dǎo)快速?zèng)Q策提供知識儲備。2.2構(gòu)建信息選題指數(shù)選題指數(shù)主要衡量選題的價(jià)值，主要考慮選題的熱度、關(guān)聯(lián)性、實(shí)效性等維度，為選題報(bào)送提供技術(shù)支撐。利用選題指數(shù)可提升信息選題的精準(zhǔn)性，提供選題工作效率。具體功能包括4個(gè)方面：一是選題入庫，將各單位、部門上報(bào)的選題采集到信息報(bào)送工作數(shù)據(jù)庫中，便于歸檔管理；二是選題識別，運(yùn)用大數(shù)據(jù)分詞技術(shù)，識別信息選題中的關(guān)鍵詞或關(guān)鍵事件；三是選題評價(jià)，主要以重視度、時(shí)效性、關(guān)聯(lián)性等維度，對信息選題進(jìn)行綜合評價(jià)，形成選題指數(shù)供參考；四是選題提示，當(dāng)選題指數(shù)達(dá)到一定范圍，則在信息報(bào)送工作數(shù)據(jù)庫中自動(dòng)推送給信息工作者，提示具有信息價(jià)值。其中選題指數(shù)評價(jià)主要考慮以下維度。一是關(guān)注度，事件及關(guān)聯(lián)事件中涉及的關(guān)注度級別。二是時(shí)效性評價(jià)，事件社會熱度分析以及時(shí)間點(diǎn)分析，社會熱度可借助互聯(lián)網(wǎng)指數(shù)分析社會大眾對事件的關(guān)注熱度；三是關(guān)聯(lián)性評價(jià)，通過互聯(lián)網(wǎng)大數(shù)據(jù)分析信息事件與其他事件的關(guān)聯(lián)度，并計(jì)算關(guān)聯(lián)性高事件的關(guān)注度與時(shí)效性。2.3支撐信息選題規(guī)劃將大數(shù)據(jù)應(yīng)用于電力企業(yè)信息工作，可支撐相關(guān)常態(tài)化工作的開展。這里主要從以下4個(gè)流程對信息選題規(guī)劃、計(jì)劃進(jìn)行優(yōu)化，滿足信息供給與需求動(dòng)態(tài)平衡。首先，信息稿件數(shù)量的規(guī)劃與計(jì)劃中，可借助電力企業(yè)信息報(bào)送工作數(shù)據(jù)庫，將已有的信息稿件，按信息領(lǐng)域、信息內(nèi)容、信息數(shù)量、批示情況等分布規(guī)律進(jìn)行分類與聚類，結(jié)合信息報(bào)送工作人員的工作量，合理確定需求與能力相匹配的稿件預(yù)期數(shù)量。其次，信息內(nèi)容領(lǐng)域分布與設(shè)計(jì)中，可應(yīng)用大數(shù)據(jù)關(guān)鍵信息識別技術(shù)對熱點(diǎn)關(guān)注領(lǐng)域進(jìn)行分析，如在電力、經(jīng)營管理、能源、公共政策中挖掘主題，綜合信息供應(yīng)能力與領(lǐng)導(dǎo)需求偏好特點(diǎn)，并將其作為一段時(shí)間內(nèi)電力企業(yè)信息報(bào)送工作的重點(diǎn)主題。最后，在信息報(bào)送工作組織管理方面，可利用大數(shù)據(jù)技術(shù)與應(yīng)用手段，加強(qiáng)信息資源的共享與互動(dòng)，在電力企業(yè)集團(tuán)內(nèi)構(gòu)建更加細(xì)化的情報(bào)網(wǎng)絡(luò)，及時(shí)將基層信息上報(bào)到企業(yè)總部。

3算法模型與技術(shù)平臺

為使上述應(yīng)用得到有效落實(shí)，需要在算法模型與技術(shù)平臺方面開展全面設(shè)計(jì)與研究。3.1分詞技術(shù)與詞頻統(tǒng)計(jì)分析模型該項(xiàng)技術(shù)主要應(yīng)用于對信息稿件進(jìn)行關(guān)鍵詞提取與統(tǒng)計(jì)分析，適用于選題指數(shù)、報(bào)送指數(shù)、知識管理等場景。一是建立分句分詞，把信息文本由段落分成單獨(dú)句子，并利用自動(dòng)分詞工具將句子分成若干詞；二是進(jìn)行詞頻統(tǒng)計(jì)，計(jì)算每個(gè)詞出現(xiàn)的頻率；三是進(jìn)行高頻詞與句子選擇，基于頻率選擇出最重要的或最有代表性的單詞，同時(shí)基于單詞頻率，可選出有代表的句子或段落。類詞匯，便于識別高頻詞匯，篩選重要關(guān)鍵詞。3.2關(guān)鍵詞相關(guān)分析模型關(guān)鍵詞相關(guān)分析模型主要應(yīng)用大數(shù)據(jù)技術(shù)，將海量的文章存儲到信息報(bào)送工作數(shù)據(jù)庫后，通過分析與關(guān)鍵詞具有聯(lián)系的詞匯出現(xiàn)頻率，從而判斷與關(guān)鍵詞具有相關(guān)性的詞匯。一是識別關(guān)鍵詞出現(xiàn)的頻率，即對應(yīng)文章的數(shù)量；二是判斷關(guān)鍵詞與哪些主題有聯(lián)系；三是判斷關(guān)鍵詞與這些相關(guān)主題聯(lián)系的強(qiáng)弱。主要借助工具：VOSviewer、SATI3、UCINET，需要將3個(gè)軟件進(jìn)行綜合應(yīng)用。由圖4可知，該文章中與能源相關(guān)性較強(qiáng)的詞匯包括核能、天然氣、水資源、電力等詞，這些詞都應(yīng)作為分析其熱度、關(guān)注度的相關(guān)詞匯。3.3關(guān)鍵詞熱度分析模型利用互聯(lián)網(wǎng)大數(shù)據(jù)資源，對信息中的關(guān)鍵詞搜索頻率、搜索時(shí)間進(jìn)行統(tǒng)計(jì)，得到一段時(shí)間內(nèi)關(guān)鍵詞的熱度。一是進(jìn)行選題熱詞識別，主要將信息中的關(guān)鍵熱詞進(jìn)行篩選與識別；二是進(jìn)行熱度評價(jià)。熱度主要是通過互聯(lián)網(wǎng)大數(shù)據(jù)分析判斷得出。以內(nèi)參“人民幣進(jìn)入SDR”為例分析關(guān)鍵詞“SDR”的熱度，通過對互聯(lián)網(wǎng)點(diǎn)擊數(shù)據(jù)的匯總與分析可發(fā)現(xiàn)，該選題在2015年12月1日附近熱度最高，11月28日以前以及12月3日以后則熱度驟減，可知11月29日至12月2日為該信息的最佳報(bào)送窗口，可為報(bào)送指數(shù)提供參考，也可將熱度值進(jìn)行量化為選題指數(shù)提供數(shù)據(jù)支持。3.4信息統(tǒng)計(jì)分析方法利用信息報(bào)送工作數(shù)據(jù)庫，將所有信息按部門、類型、數(shù)量、主題、批示等不同字段進(jìn)行統(tǒng)計(jì)，從而發(fā)現(xiàn)一定規(guī)律。一是按不同維度對信息進(jìn)行分類統(tǒng)計(jì)，查找信息分布規(guī)律；二是對分析結(jié)果進(jìn)行可視化展示；三是對分布規(guī)律進(jìn)行顯著性檢驗(yàn)，驗(yàn)證結(jié)果的有效性。

4結(jié)束語

本文主要以需求為導(dǎo)向，緊密結(jié)合信息報(bào)送與決策服務(wù)中的熱點(diǎn)、難點(diǎn)構(gòu)建大數(shù)據(jù)在信息選題與報(bào)送中的應(yīng)用框架，并從數(shù)據(jù)源、數(shù)據(jù)分析、挖掘、平臺、管理支撐等方面建立一整套解決方案，以提高信息選題、報(bào)送的精準(zhǔn)性，提高數(shù)據(jù)向信息的轉(zhuǎn)化效率，提升信息在決策支撐中的價(jià)值。具體建議如下：一是建立信息情報(bào)開發(fā)與利用機(jī)制，統(tǒng)籌管理信息收集、分析與規(guī)劃工作，在企業(yè)內(nèi)部各個(gè)單位、部門中建立協(xié)作收集與分析機(jī)制，并建立優(yōu)勢互補(bǔ)的收集管理體系，提升電力企業(yè)整體信息情報(bào)獲取與分析水平；二是建立跨部門信息協(xié)作的機(jī)制，建立分層、分級的管理制度與細(xì)則，建立信息保密制度，鼓勵(lì)信息工作人員使用信息資料、分享信息資料；三是以選題指數(shù)、報(bào)送指數(shù)為突破口開展大數(shù)據(jù)應(yīng)用的實(shí)施推廣工作。結(jié)合選題、報(bào)送指數(shù)的設(shè)計(jì)思路，以部分選題為例開展指數(shù)的權(quán)重設(shè)計(jì)與模型研發(fā)，為信息選題與報(bào)送工作提供技術(shù)支撐；四是要有保證信息資源實(shí)現(xiàn)暢通共享的相關(guān)技術(shù)體系，在科技項(xiàng)目與信息化項(xiàng)目投入方面，需要研發(fā)一系列大數(shù)據(jù)工具、方法與模型，為支撐信息報(bào)送工作提供豐富的技術(shù)手段，提高工作效率。

作者：王鵬 孫藝新 單位：國家電網(wǎng)公司 國網(wǎng)能源研究院

大數(shù)據(jù)應(yīng)用論文:大數(shù)據(jù)技術(shù)在電子政務(wù)的應(yīng)用

【摘要】科學(xué)技術(shù)的發(fā)展使社會生活和工作的方方面面發(fā)生了變化，尤其是在電子政務(wù)領(lǐng)域，大數(shù)據(jù)時(shí)代的來臨，使電子政務(wù)發(fā)展有了必然和可能，對大數(shù)據(jù)特點(diǎn)以及相關(guān)技術(shù)的研究，可以模擬出幾種大數(shù)據(jù)在電子政務(wù)中的應(yīng)用場景，大數(shù)據(jù)在以后的發(fā)展中還會有更為廣闊的空間，因此要使電子政府能夠更加高效、便捷，就需要在功能以及服務(wù)方面加以完善，打造出真正的現(xiàn)代化服務(wù)型政府。

【關(guān)鍵詞】大數(shù)據(jù)；技術(shù)；電子政務(wù)；應(yīng)用

隨著我國互聯(lián)網(wǎng)技術(shù)、云計(jì)算以及物聯(lián)網(wǎng)等方面的快速發(fā)展，政府的各項(xiàng)事物也向著大數(shù)據(jù)方向發(fā)展開來，對于大量的、復(fù)雜的信息需要在采集以及存儲和分析處理的過程中更加便捷的發(fā)揮作用，未來的政府決策等等也將以大數(shù)據(jù)信息來處理，改變了以往單單依靠經(jīng)驗(yàn)和直覺對事物進(jìn)行判斷的狀態(tài)。基于此，本文對大數(shù)據(jù)技術(shù)在電子政務(wù)領(lǐng)域的應(yīng)用進(jìn)行分析和研究。

1對大數(shù)據(jù)的相關(guān)研究

1．1大數(shù)據(jù)技術(shù)的主要特點(diǎn)

首先，能夠處理比較大的數(shù)據(jù)量。所謂大數(shù)據(jù)時(shí)代就是社會工作和生活中的每天的數(shù)據(jù)都會呈現(xiàn)增長的狀態(tài)，這樣如果用比較傳統(tǒng)的方式就沒有辦法妥善的處理，但是利用大數(shù)據(jù)技術(shù)能夠解決大量數(shù)據(jù)堆積的情況。其次，對不同類型的數(shù)據(jù)進(jìn)行處理。大數(shù)據(jù)技術(shù)不僅僅對一些大量的、簡單的數(shù)據(jù)能夠進(jìn)行處理，還能夠處理一些復(fù)雜的數(shù)據(jù)，例如，文本數(shù)據(jù)、聲音數(shù)據(jù)以及圖像數(shù)據(jù)等等。最后，數(shù)據(jù)處理的速度非?？?。大數(shù)據(jù)技術(shù)能夠處理紛繁的數(shù)據(jù)類型，還能夠高效的高速的完成數(shù)據(jù)的處理。另外，大數(shù)據(jù)技術(shù)的應(yīng)用具有密度低和價(jià)值大的效果。一些零散的，各種類型的數(shù)據(jù)，如果不能在短時(shí)間內(nèi)分析出來信息所表達(dá)的含義，那么可以利用大數(shù)據(jù)分析技術(shù)，將信息中潛藏的價(jià)值挖掘出來，以便于工作研究或者其他用途的使用，便于政務(wù)的便捷化和深層次化。

1．2大數(shù)據(jù)技術(shù)的介紹

大數(shù)據(jù)主要是對一些不能使用常規(guī)性軟件對其數(shù)據(jù)進(jìn)行分析、處理和采集的一種數(shù)據(jù)的集合。而大數(shù)據(jù)技術(shù)則是對各種規(guī)模比較大的數(shù)據(jù)進(jìn)行信息的獲取，這種技術(shù)包含大數(shù)據(jù)的挖掘技術(shù)、分布式數(shù)據(jù)庫以及分布式軟件系統(tǒng)的集合和云計(jì)算處理。大數(shù)據(jù)的整體技術(shù)需要從以下幾點(diǎn)出發(fā)進(jìn)行研究:首先，數(shù)據(jù)的采集。大數(shù)據(jù)技術(shù)可以在采集數(shù)據(jù)的基礎(chǔ)上進(jìn)行責(zé)任的異構(gòu)，在分布式的數(shù)據(jù)源中進(jìn)行數(shù)據(jù)的抽取和采集，然后再經(jīng)過篩選、轉(zhuǎn)換以及集成，加載到相應(yīng)的數(shù)據(jù)庫中，為政務(wù)數(shù)據(jù)挖據(jù)和分析打下堅(jiān)實(shí)的基礎(chǔ)［1］。其次，數(shù)據(jù)的存取。數(shù)據(jù)的存取過程是對關(guān)系數(shù)據(jù)庫以及非結(jié)構(gòu)性數(shù)據(jù)量中的數(shù)據(jù)進(jìn)行的存取，其中包含SQL、NOSQL等等。再次，基礎(chǔ)架構(gòu)以及數(shù)據(jù)處理。在基礎(chǔ)架構(gòu)的過程中，通過云計(jì)算的架構(gòu)能夠進(jìn)行云儲存的搭載，并且儲存分布式元件等等。數(shù)據(jù)的處理主要是對數(shù)據(jù)進(jìn)行加工和處理，其中包含了對原始數(shù)據(jù)的整理和計(jì)算，編輯與分析等等。最后，數(shù)據(jù)的統(tǒng)計(jì)和挖掘。通過聚類分析、卡方分析以及距離等分析上，可以對數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析，另外，其他常見的方法還有對應(yīng)分析和多元分析。數(shù)據(jù)的挖掘技術(shù)主要是對在現(xiàn)有數(shù)據(jù)當(dāng)中對一些圖形文件、視頻文件和音頻文件等等通過數(shù)據(jù)挖掘技術(shù)使用的各種算法進(jìn)行的計(jì)算。這樣的計(jì)算所起到的作用是對未來進(jìn)行全面的效果預(yù)測，以此實(shí)現(xiàn)高級別數(shù)據(jù)的分析需求，在數(shù)據(jù)挖據(jù)技術(shù)的使用過程中，需要有分類、預(yù)估以及相關(guān)性的描述和聚類等等，使用的開放工具是mahout等。

2大數(shù)據(jù)在政務(wù)工作中的應(yīng)用

2．1使用大數(shù)據(jù)技術(shù)對政府網(wǎng)站進(jìn)行大數(shù)據(jù)的分析

通過大數(shù)據(jù)技術(shù)能夠在各個(gè)省市以及縣級政府的網(wǎng)站中，抽取用戶經(jīng)常訪問的界面，然后對用戶在界面上停留的時(shí)間，瀏覽的內(nèi)容、瀏覽的時(shí)間等進(jìn)行交互信息的獲得，由此對用戶的需求做出簡要地分析。在大數(shù)據(jù)使用的基礎(chǔ)上，可以根據(jù)用戶對政府網(wǎng)站的需要，進(jìn)而達(dá)到優(yōu)化網(wǎng)站的目的，基本從網(wǎng)站的頁面、網(wǎng)站的欄目中以及網(wǎng)站的功能上進(jìn)行服務(wù)優(yōu)勢和缺陷的分析，這樣不僅可以提升網(wǎng)站的響應(yīng)能力還能夠?qū)⒄囊恍┬畔⒓皶r(shí)的推動(dòng)到用戶的手中，通過政府網(wǎng)站日志集成的辦法處理各種數(shù)據(jù)的集成，進(jìn)而成為政府領(lǐng)導(dǎo)為城市以后的發(fā)展和謀劃提供較為科學(xué)的依據(jù)，讓科學(xué)決策擁有強(qiáng)大的技術(shù)支持。

2．2大數(shù)據(jù)技術(shù)在政務(wù)工作中的信用平臺建設(shè)

使用大數(shù)據(jù)技術(shù)可以將政府各個(gè)職能部門或者法人以及個(gè)人的信息資源利用起來，以此最大化的推動(dòng)政府規(guī)范誠信機(jī)構(gòu)的建設(shè)，建立起個(gè)人的信用信息使用平臺，讓個(gè)人信用在大數(shù)據(jù)背景下建設(shè)成完善的體系和模式，以此為社會工作和社會生活提供一些較為準(zhǔn)確的、及時(shí)的、有效的個(gè)人誠信信息，促進(jìn)政府個(gè)人信用信息的開發(fā)和利用，為了建設(shè)誠信地社會奠定一個(gè)較為完善的和堅(jiān)實(shí)的基礎(chǔ)。例如，在調(diào)查某政府部門中職員的信用信息時(shí)，就可以利用這個(gè)方法獲得。

2．3電子政務(wù)方面大數(shù)據(jù)交換共享平臺的構(gòu)建

利用大數(shù)據(jù)技術(shù)，可以為政府建立起電子政務(wù)大數(shù)據(jù)信息的共享和交換平臺，并且通過這種方法將政府各個(gè)辦公室以及社會群體所收集到的信息進(jìn)行分類和篩選，通過對比和分析以后，建設(shè)成為有自然人、法人以及空間地理集合的基礎(chǔ)性數(shù)據(jù)庫，以此做到強(qiáng)化信息資源使用，通過信息資源整合形成的政務(wù)信息資源。在大數(shù)據(jù)的基礎(chǔ)上，所形成的交換以及共享平臺可以實(shí)現(xiàn)政府各個(gè)部門之間的橫向和縱向的信息集合，然后，在跨地區(qū)、跨政府的條件下也可以進(jìn)行業(yè)務(wù)方面的交流和溝通，促進(jìn)業(yè)務(wù)協(xié)同的開展。依托于這種信息共享和交換平臺，可以制定出信息資源共享的統(tǒng)一目錄以及標(biāo)準(zhǔn)，進(jìn)而產(chǎn)生社會政務(wù)的開放性數(shù)據(jù)，有利于促進(jìn)社會資源的有效開發(fā)和利用，為政府之間跨層次的交流提供保障，也為社會的公共服務(wù)和社會的公共管理和宏觀調(diào)控提供了一定的數(shù)據(jù)支撐。

2．4大數(shù)據(jù)下電子政務(wù)決策系統(tǒng)的應(yīng)用

在大數(shù)據(jù)技術(shù)的支持下，因?yàn)橛斜容^強(qiáng)大的信息數(shù)據(jù)存儲能力和較為突出的信息數(shù)據(jù)挖掘能力，并且信息的分析處理的作用力也非常強(qiáng)，這樣政府就可以從各個(gè)部門所收集的海量數(shù)據(jù)中提取出一些有用的信息進(jìn)行分析和處理，以此提升政府的決策力度，提升決策的精準(zhǔn)性和科學(xué)性，讓政府在一些社會工作的預(yù)警能力上有突出的表現(xiàn)，起到解決決策成本以及促進(jìn)城市管理的目的，可以在交通的智能化管理上、環(huán)境問題的檢測上提供更加準(zhǔn)確的，共決策使用的數(shù)據(jù)。

3結(jié)語

綜上所述，本文對大數(shù)據(jù)時(shí)代政務(wù)工作的有效開展進(jìn)行了分析和研究，主要指出了大數(shù)據(jù)的特點(diǎn)、基本的優(yōu)勢以及大數(shù)據(jù)技術(shù)在政務(wù)工作中的具體應(yīng)用等等。今天是信息科學(xué)技術(shù)的時(shí)代，每一個(gè)人，每一個(gè)單位都需要重視科學(xué)技術(shù)的作用，讓信息和大數(shù)據(jù)能夠?yàn)槿藗兯茫谔嵘齽趧?dòng)生產(chǎn)效率方面發(fā)揮積極的作用，逐步的推進(jìn)我國大數(shù)據(jù)在電子政府領(lǐng)域的建設(shè)，為打造智能型，服務(wù)型政府而做出努力。

作者：潘濤 單位：鄂州職業(yè)大學(xué)

大數(shù)據(jù)應(yīng)用論文:大數(shù)據(jù)技術(shù)在石油行業(yè)信息化的應(yīng)用

摘要：運(yùn)用大數(shù)據(jù)技術(shù)實(shí)現(xiàn)對現(xiàn)代石油行業(yè)信息化的管理，成為了現(xiàn)代石油行業(yè)信息化管理發(fā)展的重點(diǎn)，而大數(shù)據(jù)技術(shù)在企業(yè)中的實(shí)際應(yīng)用，主要集中體現(xiàn)在新型云計(jì)算服務(wù)的應(yīng)用上。在企業(yè)信息資源的優(yōu)化調(diào)整中，通過對業(yè)務(wù)的需求分析并運(yùn)用大數(shù)據(jù)技術(shù)，提供契合度最高的信息服務(wù)資源。以云計(jì)算技術(shù)作為主要突破口來探究現(xiàn)代石油行業(yè)在發(fā)展中的主要?jiǎng)酉颉?

關(guān)鍵詞：大數(shù)據(jù)技術(shù)；石油行業(yè)；信息化；云計(jì)算

作者簡介：郭瑞（1986-），男，助理工程師，本科；李健（1987-），男，助理工程師，本科；田立鋒（1984-），男，助理工程師，本科

伴隨著現(xiàn)代社會的飛速發(fā)展，大數(shù)據(jù)技術(shù)已經(jīng)成為了石油石化行業(yè)信息化管理的重要手段。在大數(shù)據(jù)技術(shù)的管理與發(fā)展中，云計(jì)算技術(shù)的使用成為了軟硬件資源管理的主要集中體現(xiàn)的區(qū)域。而云計(jì)算領(lǐng)域的涉及也逐步地讓人們了解到大數(shù)據(jù)應(yīng)用技術(shù)的便捷性。下面針對大數(shù)據(jù)技術(shù)在石油行業(yè)信息化中應(yīng)用的具體實(shí)踐情況進(jìn)行簡要論述。

1云計(jì)算技術(shù)

什么是云計(jì)算技術(shù)呢？可以理解為在網(wǎng)絡(luò)配套設(shè)施的使用中，集中資源地統(tǒng)一化管理分配，從而使用戶通過協(xié)同合作來完成企業(yè)、個(gè)人的信息服務(wù)。其主要的核心技術(shù)集中體現(xiàn)在虛擬化技術(shù)、數(shù)據(jù)存儲技術(shù)和并行計(jì)算技術(shù)3個(gè)方面。虛擬化技術(shù)：是對服務(wù)的一種虛擬化，將更多的服務(wù)資源進(jìn)行統(tǒng)一管理后，實(shí)現(xiàn)多個(gè)虛擬服務(wù)器共同服務(wù)的效果。這樣對于用戶所需要服務(wù)資源能夠進(jìn)行一個(gè)更高效的支配管理，同時(shí)在數(shù)據(jù)處理和桌面系統(tǒng)運(yùn)行上，也能夠?qū)崿F(xiàn)的服務(wù)資源利用的最大化。數(shù)據(jù)存儲技術(shù)：這一技術(shù)屬于云計(jì)算的存儲技術(shù)，利用分布式的信息系統(tǒng)，完成對計(jì)算機(jī)集群的整合管理，通過有效設(shè)置實(shí)現(xiàn)對更加龐大的類型數(shù)據(jù)進(jìn)行存儲的目標(biāo)。在運(yùn)行中主要依據(jù)于軟件的集合工作，從而達(dá)到內(nèi)外部的業(yè)務(wù)數(shù)據(jù)訪問的目的。從目前的數(shù)據(jù)存儲技術(shù)來看，主要有Google文件系統(tǒng)（GFS）和Hadoop分布式文件系統(tǒng)（HDFS）兩種技術(shù)來供應(yīng)實(shí)際的使用。并行計(jì)算：是指同時(shí)使用多種計(jì)算資源解決計(jì)算問題的過程，是提高計(jì)算機(jī)系統(tǒng)計(jì)算速度和處理能力的一種有效手段。這種計(jì)算方法，能夠極大地提高計(jì)算的資源的處理速度。通過化整為零的方式實(shí)現(xiàn)一個(gè)問題分步解決，從而解決大型而復(fù)雜的計(jì)算問題。

2信息化運(yùn)行現(xiàn)狀和發(fā)展趨勢

伴隨著我國經(jīng)濟(jì)的迅速發(fā)展，石油行業(yè)也得到了全面的發(fā)展，在管理上也逐漸地意識到信息化改革的重要性。在實(shí)施的石油行業(yè)管理中，通過對傳統(tǒng)模式的改革，逐步地實(shí)現(xiàn)了向信息化、數(shù)字化轉(zhuǎn)變的目標(biāo)。通過對企業(yè)信息資源的有效性管理，并結(jié)合現(xiàn)有的管理模式，更加有效地提高了企業(yè)資源的利用率。下面對傳統(tǒng)管理模式和信息化管理模式的優(yōu)缺點(diǎn)進(jìn)行對比。信息檢索速率的改革：傳統(tǒng)的信息管理會面臨巨大的信息檢索工作，即便是在現(xiàn)代的企事業(yè)單位高效率軟硬件工作環(huán)境下，信息傳輸速率也都會出現(xiàn)瓶頸。而大數(shù)據(jù)技術(shù)的信息檢索管理則會有效地改善此類問題，從而更加便捷地將生產(chǎn)、維護(hù)、運(yùn)行中所出現(xiàn)的信息資料統(tǒng)一進(jìn)行提取備份分析，通過高效的算法以及軟硬件資源的里配置，迅速地篩選出所需要的一系列信息資源，從而實(shí)現(xiàn)對信息速率的極速提升。通過這樣的信息技術(shù)應(yīng)用，極大地提高了企業(yè)部門的系統(tǒng)管理工作的效率，加速了企業(yè)管理的信息化市場應(yīng)用改革的進(jìn)程。產(chǎn)品全生命周期管理的改革：傳統(tǒng)的產(chǎn)品生命周期較為復(fù)雜和繁瑣，通過可研、立項(xiàng)、設(shè)計(jì)、施工、運(yùn)行、維護(hù)監(jiān)測等多個(gè)階段測試后，方可進(jìn)行投產(chǎn)使用。而設(shè)計(jì)期間以及施工期間的信息檢索以及采集處理需求量較大，導(dǎo)致資源消耗也過大，極大地增加的生產(chǎn)周期的負(fù)擔(dān)與運(yùn)營成本。而大數(shù)據(jù)技術(shù)中的信息模擬仿真技術(shù)就是解決此類問題的有效方法，它能夠合理地利用和分配現(xiàn)有資源，精準(zhǔn)地檢索出所需資料，并高效地進(jìn)行數(shù)據(jù)處理。同時(shí)通過虛擬的模擬演算，實(shí)現(xiàn)對數(shù)據(jù)準(zhǔn)確性的校驗(yàn)與檢測，最終達(dá)到縮短工期的目的，為生產(chǎn)提供了更高的生產(chǎn)安全保障。行業(yè)信息的展示方面：傳統(tǒng)的信息管理方法，主要通過紙質(zhì)文件的形式來進(jìn)行展示存在諸多的不便。而通過現(xiàn)代大數(shù)據(jù)技術(shù)的信息化管理，能夠更加直接地將信息展現(xiàn)在人們的視野之下，使用戶獲得全方位立體式的信息展示，從而使信息更容易被用戶解讀，也讓用戶更有興趣去了解所展示的信息。

3云計(jì)算技術(shù)的實(shí)際應(yīng)用

云計(jì)算技術(shù)在石油行業(yè)信息化中的提供的服務(wù)與架構(gòu)如

3．1數(shù)字化油田的空間數(shù)據(jù)庫構(gòu)架

利用大數(shù)據(jù)技術(shù)的超強(qiáng)數(shù)據(jù)存儲能力和虛擬化技術(shù)構(gòu)建一個(gè)更加完善和全面的油田空間數(shù)據(jù)結(jié)構(gòu)，通過等比例尺的多維度數(shù)據(jù)監(jiān)控管理，配合虛擬化技術(shù)提供的資源與服務(wù)，實(shí)現(xiàn)在地理信息數(shù)據(jù)上的有效調(diào)度與管控。

3．2建立數(shù)字油田的標(biāo)準(zhǔn)體系

數(shù)字油田雖然已經(jīng)經(jīng)過多年的建設(shè)和發(fā)展，但是數(shù)字油田標(biāo)準(zhǔn)化體系一直處于滯后的狀態(tài)，成為制約數(shù)字油田進(jìn)一步發(fā)展的關(guān)鍵因素。建立數(shù)字油田的首要任務(wù)是制定有關(guān)數(shù)字油田建設(shè)項(xiàng)目管理類標(biāo)準(zhǔn)規(guī)范、軟件開發(fā)及運(yùn)行維護(hù)通用標(biāo)準(zhǔn)規(guī)范、數(shù)據(jù)建設(shè)類標(biāo)準(zhǔn)規(guī)范。其中總體設(shè)計(jì)還會涉及到基礎(chǔ)信息分類編碼規(guī)范和適用于勘探開發(fā)應(yīng)用系統(tǒng)建設(shè)的具體標(biāo)準(zhǔn)規(guī)范。數(shù)字油田標(biāo)準(zhǔn)化體系的建立會對工程項(xiàng)目管理、信息基礎(chǔ)設(shè)施、數(shù)據(jù)及交換、信息安全、信息系統(tǒng)建設(shè)、系統(tǒng)運(yùn)維服務(wù)等多個(gè)方面提供最佳的數(shù)字化信息服務(wù)。

3．3建立企業(yè)數(shù)據(jù)倉庫

隨著數(shù)據(jù)容量與數(shù)據(jù)類型在過去幾十年里的大幅增長，傳統(tǒng)的數(shù)據(jù)存儲模式已經(jīng)無法負(fù)荷日益增長的數(shù)據(jù)量，而數(shù)據(jù)倉庫技術(shù)的出現(xiàn)與發(fā)展?jié)M足了數(shù)據(jù)存儲與分析的這兩類龐大的需求，從而徹底改變了數(shù)據(jù)集成的前景。在建立數(shù)據(jù)倉庫的技術(shù)方法中，企業(yè)中所有數(shù)據(jù)首先會根據(jù)數(shù)據(jù)類型進(jìn)行分類，也會考慮到數(shù)據(jù)本身的性質(zhì)及其相關(guān)的處理需求。數(shù)據(jù)處理過程將會用到內(nèi)置在處理邏輯中并且整合到一系列編程流程中的業(yè)務(wù)規(guī)則，數(shù)據(jù)處理會使用到企業(yè)元數(shù)據(jù)、主數(shù)據(jù)管理（MDM）和語義技術(shù)等。數(shù)據(jù)倉庫技術(shù)可以高效利用當(dāng)前及未來的數(shù)據(jù)架構(gòu)和分類方法，保持處理邏輯的靈活性，使它能夠在不同的物理基礎(chǔ)架構(gòu)組件上發(fā)揮作用，從而提高企業(yè)的信息化管理的效率。

3．4大規(guī)模數(shù)據(jù)的并行處理與計(jì)算

現(xiàn)有并行程序設(shè)計(jì)算法需要考慮數(shù)據(jù)的存儲管理、任務(wù)劃分與調(diào)度執(zhí)行、同步與通信、災(zāi)備恢復(fù)處理等幾乎所有技術(shù)細(xì)節(jié)，且非常繁瑣。為了進(jìn)一步提升并行計(jì)算程序的自動(dòng)化并行處理能力，應(yīng)該盡量減少對很多系統(tǒng)底層技術(shù)細(xì)節(jié)的考慮，從底層細(xì)節(jié)中徹底解放出來，從而更專注于應(yīng)用問題本身的計(jì)算和算法實(shí)現(xiàn)。目前已發(fā)展出多種具有自動(dòng)化并行處理能力的計(jì)算軟件框架，如GoogleMapReduce和HadoopMapReduce并行計(jì)算軟件框架，以及近年來出現(xiàn)的以內(nèi)存計(jì)算為基礎(chǔ)、能提供多種大數(shù)據(jù)計(jì)算模式的Spark系統(tǒng)等。并行計(jì)算的性能評估是通過加速比來體現(xiàn)性能提升的，這里所提到的加速比是指并行程序的并行執(zhí)行速度相對于其串行程序執(zhí)行速度加速了多少倍。這個(gè)指標(biāo)貫穿于整個(gè)并行計(jì)算技術(shù)，是并行計(jì)算技術(shù)的核心。從應(yīng)用角度出發(fā)，不論是開發(fā)還是使用，企業(yè)都希望隨著處理能力的提升，并行計(jì)算程序的執(zhí)行速度也需要有相應(yīng)的提升，從而完成大規(guī)模數(shù)據(jù)的并行處理與計(jì)算。

4結(jié)語

隨著現(xiàn)代信息化技術(shù)的不斷發(fā)展，已經(jīng)逐步地實(shí)現(xiàn)全面的信息化改造建設(shè)。而對于作為社會生產(chǎn)命脈的石油石化行業(yè)，利用大數(shù)據(jù)技術(shù)實(shí)現(xiàn)其信息化的管理與發(fā)展，已經(jīng)成為了一種趨勢。在本次的論述中，針對于傳統(tǒng)的信息管理策略與現(xiàn)階段的社會生產(chǎn)模式進(jìn)行了對比分析與研究，通過對現(xiàn)有問題的探究與認(rèn)知，進(jìn)一步證明了大數(shù)據(jù)技術(shù)具有更加便捷高效的特點(diǎn)。倘若要在石油行業(yè)的全面信息化建設(shè)中大力發(fā)展大數(shù)據(jù)技術(shù)的管理，仍需要進(jìn)行不斷的更新與調(diào)整，只有做好各個(gè)方面適應(yīng)性改造，才能夠?qū)崿F(xiàn)對工程管理技術(shù)上的重大科技突破。

作者：郭瑞 李健 田立鋒 單位：海洋石油工程股份有限公司