時間:2022-08-08 03:11:15
序論:在您撰寫論軌道交通大數(shù)據(jù)之挑戰(zhàn)與機遇時,參考他人的優(yōu)秀作品可以開闊視野,小編為您整理的1篇范文,希望這些建議能夠激發(fā)您的創(chuàng)作熱情,引導(dǎo)您走向新的創(chuàng)作高度。
近年來,隨著城鎮(zhèn)化的不斷推進(jìn)、城市規(guī)模的不斷增大,使得城市中人口數(shù)量顯著增加,對城市公共交通系統(tǒng)的要求也越來越高[1]。作為一種新型的交通工具,城市軌道交通具有運量大、快速、安全的優(yōu)點,使其成為有效緩解城市交通壓力的一種手段[2]?!吨袊圃?025重點領(lǐng)域技術(shù)路線圖》明確指出,軌道交通作為我國公共交通和大宗運輸?shù)闹饕d體,是我國高端裝備“走出去”的重要代表。國家發(fā)改委指出,城市軌道交通示范應(yīng)用是《增強制造業(yè)核心競爭力三年行動計劃(2015—2017年)》實施中的顯著成效,并將城市軌道交通設(shè)備列為《增強制造業(yè)核心競爭力三年行動計劃(2018—2020年)》九大重點支持領(lǐng)域之一。城市軌道交通作為一類重要的城市交通工具,從另一方面也體現(xiàn)了一個城市的發(fā)達(dá)與發(fā)展程度[3]。軌道交通數(shù)據(jù)指在城市軌道交通系統(tǒng)日常運營和運維過程中,以自動、主動或被動形式產(chǎn)生的包含結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)在內(nèi)的數(shù)據(jù)[4]。其來源廣泛、種類眾多、產(chǎn)生速度快,因此,是一種典型的大數(shù)據(jù)。如何管理、處理、分析、挖掘軌道交通大數(shù)據(jù)背后隱藏的知識,并將其服務(wù)于軌道交通工程的規(guī)劃、勘查設(shè)計、工程施工、運營維護(hù)、決策支持等各個階段,是一件極其重要的事情[5]。
1軌道交通大數(shù)據(jù)
軌道交通大數(shù)據(jù)按照運營關(guān)聯(lián)情況可以分為內(nèi)部數(shù)據(jù)和外部數(shù)據(jù)[6]。其中,內(nèi)部數(shù)據(jù)包含基礎(chǔ)地理數(shù)據(jù)、公共行業(yè)數(shù)據(jù)、屬性數(shù)據(jù)、標(biāo)準(zhǔn)、規(guī)章、計劃及指標(biāo)數(shù)據(jù)在內(nèi)的靜態(tài)數(shù)據(jù)和包含專業(yè)數(shù)據(jù)(車務(wù)、車輛、工務(wù)、電務(wù)、機電、通號等)、客流數(shù)據(jù)、環(huán)境數(shù)據(jù)、安全數(shù)據(jù)、財務(wù)數(shù)據(jù)、資源配置信息、客運服務(wù)信息在內(nèi)的動態(tài)數(shù)據(jù)組成。外部數(shù)據(jù)由氣象數(shù)據(jù)、大型活動數(shù)據(jù)、公共交通數(shù)據(jù)、社會媒體數(shù)據(jù)構(gòu)成。軌道交通大數(shù)據(jù)具有多源、異構(gòu)、動態(tài)、時空的特點。按照流轉(zhuǎn)途徑,軌道交通大數(shù)據(jù)的生命周期可以分為六個階段。不同來源的軌道交通數(shù)據(jù)以自動、主動或被動的形式產(chǎn)生,通過傳感器等設(shè)備進(jìn)行采集和存儲,地理上分散的軌道交通數(shù)據(jù)通過網(wǎng)絡(luò)進(jìn)行匯聚,經(jīng)過數(shù)據(jù)集成、數(shù)據(jù)清洗等處理手段后存儲在統(tǒng)一的數(shù)據(jù)中心,按照上層的業(yè)務(wù)需求對存儲的數(shù)據(jù)進(jìn)行處理和分析,最后將結(jié)果進(jìn)行可視化,以服務(wù)不同的應(yīng)用。
2軌道交通大數(shù)據(jù)挑戰(zhàn)
2.1數(shù)據(jù)管理的挑戰(zhàn)
軌道交通大數(shù)據(jù)來源廣泛、種類繁多、產(chǎn)生速度快,具有多源、異構(gòu)、自組織的特點。使得其在管理上面臨著“匯聚難、集成難、存儲難、檢索難”的挑戰(zhàn)。軌道交通數(shù)據(jù)在地理上分散,并通過不同的數(shù)據(jù)模型和元數(shù)據(jù)來進(jìn)行自組織管理,如何連接不同類型的數(shù)據(jù)源,定時、自動化地匯聚多源的軌道交通大數(shù)據(jù)是一個挑戰(zhàn)。軌道交通數(shù)據(jù)的體量大,對于已經(jīng)匯聚、集成的數(shù)據(jù),一方面,如何去設(shè)計適用于分布式環(huán)境下的數(shù)據(jù)存儲模型,以滿足高可擴展、高可用、高吞吐的需求;另一方面,如何結(jié)合軌道交通數(shù)據(jù)的時空特性,構(gòu)建包含時空索引、全文檢索在內(nèi)的多類型索引模型,減少查詢的搜索空間,加快查詢的過程,是一個關(guān)鍵的挑戰(zhàn)。
2.2數(shù)據(jù)處理的挑戰(zhàn)
軌道交通數(shù)據(jù)的體量大,產(chǎn)生速度快,既包括了實時產(chǎn)生的動態(tài)數(shù)據(jù),又包括了歸檔的靜態(tài)數(shù)據(jù),使傳統(tǒng)的單機處理難以滿足軌道交通應(yīng)用實時處理的需求。Hadoop和Spark作為如今主流處理大規(guī)模數(shù)據(jù)的系統(tǒng),可以作為解決軌道交通數(shù)據(jù)處理難的有效途徑。軌道交通大數(shù)據(jù)存儲在Hadoop生態(tài)系統(tǒng)和Spark生態(tài)系統(tǒng)的數(shù)據(jù)管理系統(tǒng)(如:HDFS、HBase、Hive等)中,通過MapReduce或者Spark進(jìn)行分布式處理。在這個過程中,面臨三個挑戰(zhàn):(1)數(shù)據(jù)管理系統(tǒng)數(shù)據(jù)讀取接口的開發(fā):由于軌道交通大數(shù)據(jù)涉及多個數(shù)據(jù)模型和存儲系統(tǒng),如何基于這些存儲系統(tǒng)開發(fā)統(tǒng)一的數(shù)據(jù)讀取中間件是一個挑戰(zhàn);(2)并行編程框架的開發(fā):無論是MapReduce還是Spark,都要求算法開發(fā)者熟悉框架,限制了其使用范圍,因此,需要在MapReduce和Spark提供的底層API上開發(fā)適用面廣泛的編程框架;(3)工作流調(diào)度:數(shù)據(jù)處理通常由多個子過程構(gòu)成,如何將這些子過程通過工作流機制進(jìn)行組織、調(diào)度,以便實現(xiàn)處理過程的自動化是一個挑戰(zhàn)。
2.3數(shù)據(jù)分析的挑戰(zhàn)
數(shù)據(jù)分析的目的旨在挖掘、提取海量軌道交通數(shù)據(jù)背后隱藏的規(guī)律及知識。對于軌道交通大數(shù)據(jù)分析而言,其核心問題在于如何對軌道交通大數(shù)據(jù)進(jìn)行有效的表達(dá)、解釋和學(xué)習(xí)。
2.4安全性的挑戰(zhàn)
具體而言,針對軌道交通大數(shù)據(jù)的安全性包含以下幾方面:(1)用戶隱私保護(hù):如何保證在數(shù)據(jù)的傳輸、處理、應(yīng)用過程中,用戶的隱私數(shù)據(jù)不會被非法用戶及非授權(quán)應(yīng)用訪問;(2)數(shù)據(jù)的可信度:由于軌道交通大數(shù)據(jù)來源廣泛,數(shù)據(jù)質(zhì)量參差不齊,如何為上層應(yīng)用或用戶提供可靠的數(shù)據(jù);(3)大數(shù)據(jù)訪問控制:如何通過用戶鑒權(quán)和訪問控制避免非法用戶和非授權(quán)用戶對軌道交通大數(shù)據(jù)的訪問。
3軌道交通大數(shù)據(jù)典型應(yīng)用
城市交通系統(tǒng)作為城市信息化程度較高的一部分,因其自身數(shù)據(jù)富集的優(yōu)勢,使得以數(shù)據(jù)為驅(qū)動的智能交通技術(shù)被廣泛應(yīng)用。而軌道交通大數(shù)據(jù)作為城市交通系統(tǒng)的重要組成部分,其在包括智慧城市、智能交通運輸系統(tǒng)在內(nèi)的諸多應(yīng)用中被廣泛應(yīng)用。
3.1智慧城市
智慧城市作為全球范圍內(nèi)下一代城市發(fā)展的新理念和新實踐,依托信息化建設(shè)基礎(chǔ),對城市部分?jǐn)?shù)據(jù)進(jìn)行實時、動態(tài)監(jiān)測、分析、整合和利用,從而實現(xiàn)對城市的透徹感知。其構(gòu)建的核心在于數(shù)據(jù)。目前,我國諸多發(fā)達(dá)城市都在構(gòu)建智慧城市。軌道交通大數(shù)據(jù)作為交通大數(shù)據(jù)的一種,在構(gòu)建智慧城市的過程中發(fā)揮著至關(guān)重要的作用。例如,深圳市通過匯聚全市的交通大數(shù)據(jù),構(gòu)建了“交通云”,實現(xiàn)了全面的17類數(shù)據(jù)的采集和共享,并通過大數(shù)據(jù)分析、挖掘手段,為全市的交通運輸規(guī)劃等業(yè)務(wù)提供了有效的決策支持。
3.2智能交通系統(tǒng)
城市軌道交通大數(shù)據(jù)可應(yīng)用在智能交通系統(tǒng)構(gòu)建上,具體包括統(tǒng)計分析、應(yīng)急輔助決策、乘客出行誘導(dǎo)、客流量預(yù)測、調(diào)控管理方面?;诒本┦熊壍澜煌ǖ默F(xiàn)行方案,依托收集到的北京市軌道交通大數(shù)據(jù),設(shè)計了基于大數(shù)據(jù)技術(shù)的城市軌道交通應(yīng)急輔助決策流程。通過將上海市軌道交通大數(shù)據(jù)中的網(wǎng)絡(luò)客流數(shù)據(jù)進(jìn)行可視化,以挖掘網(wǎng)絡(luò)客流時空變化特征和演變規(guī)律,從而在科學(xué)行車和客運組織方面向管理人員提供決策建議及依據(jù)。按照軌道交通大數(shù)據(jù)的生命周期,結(jié)合業(yè)務(wù)需求,利用大數(shù)據(jù)分析技術(shù),設(shè)計了一套城市軌道交通自動化售票系統(tǒng)。青島市通過構(gòu)建“兩地三中心”的大數(shù)據(jù)中心,實現(xiàn)了地鐵大數(shù)據(jù)中心的建設(shè),匯聚、管理全市的地鐵大數(shù)據(jù),以加強對地鐵行業(yè)的管理和調(diào)控。
4結(jié)語
本文系統(tǒng)介紹軌道交通大數(shù)據(jù)的來源、分類、特點,并基于數(shù)據(jù)全生命周期,總結(jié)軌道交通大數(shù)據(jù)在管理、處理、分析三個方面面臨的挑戰(zhàn),最后綜述基于軌道交通大數(shù)據(jù)開展的一系列典型應(yīng)用。
參考文獻(xiàn):
[1]涂小華,張正.大數(shù)據(jù)在城市軌道交通客流預(yù)測的應(yīng)用[J].江西化工,2015(6):144-146.
[2]楊川.基于大數(shù)據(jù)的軌道交通網(wǎng)絡(luò)化運營管理[J].中國新技術(shù)新產(chǎn)品,2017(16):120-121.
[3]孔磊.城市軌道交通公共安全大數(shù)據(jù)共享資源庫研究[J].交通與港航,2015,2(5):37-41,68.
[4]顧偉華,黃天印,郭鵬.面向大數(shù)據(jù)的城市軌道交通非結(jié)構(gòu)化數(shù)據(jù)管理[J].城市軌道交通研究,2016,19(11):77-80.
[5]孟存喜.大數(shù)據(jù)、云計算在軌道交通工程中的應(yīng)用需求[J].土木建筑工程信息技術(shù),2015,7(5):62-66.
[6]李得偉,張?zhí)煊?,周瑋騰,尹浩東.軌道交通大數(shù)據(jù)運用現(xiàn)狀及發(fā)展趨勢研究[J].都市快軌交通,2016,29(6):1-7.
作者:王文斌 單位:南寧軌道交通集團(tuán)有限責(zé)任公司