大數(shù)據(jù)概述

大數(shù)據(jù)（Big Data）是將規(guī)模龐大、結(jié)構(gòu)復雜、動態(tài)演變的數(shù)據(jù)進行采集、篩選、管理、搜索、分析、挖掘與表達的技術(shù)統(tǒng)稱，是連通信息世界和知識世界的橋梁，也是數(shù)據(jù)科學（Data Science）的重要研究方向。大數(shù)據(jù)的概念原本取自以谷歌為代表新一代IT公司利用數(shù)據(jù)密集型復雜挖掘技術(shù)處理海量數(shù)據(jù)，并創(chuàng)造驚人價值的現(xiàn)象，創(chuàng)立之初就頗有 “沙里取金”的奪人眼球的效果。美國政府年初宣布的“Big Data Initiative”更是將其變成在包括中國在內(nèi)的全球各國炙手可熱的新“掘金點”， MapReduce詞匯迅速成為學術(shù)界、產(chǎn)業(yè)界被反復炒作渲染，甚至讓人產(chǎn)生過度炒作的隱憂。

“大數(shù)據(jù)”技術(shù)來自搜索、電子商務(wù)、科學計算等領(lǐng)域長期與海量數(shù)據(jù)打交道所積累下的經(jīng)驗積累，目前尚不存在公認的基礎(chǔ)理論和解決方案，所以要真正理解大數(shù)據(jù)，用好大數(shù)據(jù)就必須跳出現(xiàn)有概念的窠臼，一方面從底層數(shù)據(jù)科學入手，提煉和解答出數(shù)據(jù)背后的科學問題，尋找數(shù)據(jù)真正的意義和基礎(chǔ)規(guī)律，另一方面需要遵循“從實踐中來，到實踐中去”的原則，在實際應(yīng)用中了解大數(shù)據(jù)，研究不同領(lǐng)域的數(shù)據(jù)情況，明確大數(shù)據(jù)理念可以創(chuàng)造的核心價值與實現(xiàn)難點。本文就簡要介紹了地理信息產(chǎn)業(yè)的情況，應(yīng)用基礎(chǔ)，并展望了大數(shù)據(jù)時代的產(chǎn)業(yè)發(fā)展。

 

2、 地理信息是天然的大數(shù)據(jù)

從60年代誕生之日起，海量數(shù)據(jù)問題一直是地理信息領(lǐng)域的“阿基里斯之踵”。究其原因，主要如下：

a、            地理科學面對的是一個復雜巨系統(tǒng)。1986年錢學森院士在現(xiàn)代人類知識體系將地理科學歸結(jié)為自然科學與社會科學之間的橋梁科學,研究整個地球表面同人類息息相關(guān)的大氣對流層、巖石圈上部、水圈、生物圈和人類圈環(huán)境。所以上至衛(wèi)星遙感數(shù)據(jù)、下至地震傳感數(shù)據(jù)，以及我們常見的統(tǒng)計、環(huán)境、水利、資源、土地等領(lǐng)域數(shù)據(jù)都屬于地理數(shù)據(jù)，所以地理信息技術(shù)需要處理的范圍廣，數(shù)據(jù)源多，數(shù)據(jù)類型多樣，其數(shù)據(jù)量巨大是不言而喻的。

b、            地球表面的信息量巨大，感知手段多樣。以谷歌地圖使用Landsat TM影像為例，其空間分辨率為30米，則單一時相全球完整覆蓋其整體數(shù)據(jù)量約為2TB。2012年底，我國已對成功發(fā)射天繪、天鏈、天拓、遙感、資源、氣象、海洋等多系列衛(wèi)星，建立起環(huán)境與災害監(jiān)測預報小衛(wèi)星星座, “嫦娥一號”對月觀測也已取得良好效果，而整個十二五期間我國計劃發(fā)射百余顆衛(wèi)星。以今年發(fā)射成功的資源三號為例，其幾何定位精度為30米，重訪周期僅5天，則一年內(nèi)的基礎(chǔ)數(shù)據(jù)量就可達數(shù)百TB。當中國遙感未來邁入國際上快鳥(QuickBird)等高分辨率衛(wèi)星已達到的1m分辨率的門檻后，則全球單次掃描的遙感影像結(jié)果數(shù)據(jù)量將至少超過1800TB，這對于目前的數(shù)據(jù)處理能力來說是不可想象的，更別說還要考慮多波段、多時相、多產(chǎn)品、歷史數(shù)據(jù)、中間數(shù)據(jù)、重疊區(qū)、雷達、點云數(shù)據(jù)等問題。遙感數(shù)據(jù)之外，北斗定位系統(tǒng)的建立、移動互聯(lián)網(wǎng)和物聯(lián)網(wǎng)的快速發(fā)展也會導致包括來自車輛、風力、雨量、溫度、濕度等各種傳感器以及個人網(wǎng)絡(luò)活動的高頻空間關(guān)聯(lián)信息的數(shù)據(jù)洪流涌入，并且要求快速處理響應(yīng)。

 

3、 龐大的地理信息數(shù)據(jù)蘊含巨大價值

隨著谷歌地球等互聯(lián)網(wǎng)電子地圖的普及，目前公眾已逐漸接受并熟悉了位置服務(wù)（LBS）、地圖瀏覽查詢、車輛導航等地理信息服務(wù)，地理信息已經(jīng)創(chuàng)造了巨大的價值，但是這只是諸多地理信息應(yīng)用的冰山一角。無論是遙感數(shù)據(jù)、物聯(lián)網(wǎng)傳感器數(shù)據(jù)、地圖數(shù)據(jù)還是個人網(wǎng)絡(luò)活動數(shù)據(jù)都可以看作是地理自然與人文環(huán)境的采樣與記錄，只要使用合適的分析方法就可揭示其蘊含在背后的深刻而復雜的社會自然意義。

地理信息系統(tǒng)擅長于進行空間分析及與其他領(lǐng)域模型的關(guān)聯(lián)分析，例如利用遙感數(shù)據(jù)再分類可用于、特征識別與提取技術(shù)可快速提取地表的水域、農(nóng)田、城區(qū)、建筑等，對農(nóng)業(yè)估產(chǎn)、城市規(guī)劃等應(yīng)用有重要作用；城市傳感器數(shù)據(jù)的建模、分析可用于了解區(qū)域溫度、PM2.5等指標真實分布，輔助政府市民進行出行活動決策；將政區(qū)與耕地數(shù)據(jù)集進行疊加，通過格網(wǎng)分析即可快速統(tǒng)計行政區(qū)域內(nèi)的耕地面積，這對于土地紅線控制具有重要參考作用；空間關(guān)系分析針對當前互聯(lián)網(wǎng)中產(chǎn)生的大量簽到信息進行商區(qū)聚類分析，從而幫助商業(yè)選址、廣告優(yōu)化；網(wǎng)絡(luò)分析則更是應(yīng)用廣泛，從現(xiàn)代物流倉儲選址、配貨調(diào)度，到公路網(wǎng)，鐵路網(wǎng)、電力網(wǎng)、市政管網(wǎng)等設(shè)施的優(yōu)化管理調(diào)度，再有水系分析，管理、應(yīng)急、導航路徑分析、交通規(guī)則處理等等都是網(wǎng)絡(luò)分析的用武之地；而時空分析則可用于區(qū)域環(huán)境變化監(jiān)測，快速發(fā)現(xiàn)土地、建筑、氣溫、環(huán)境、水文的變化，從而積極響應(yīng)。

目前國內(nèi)地理信息產(chǎn)業(yè)建立了從數(shù)據(jù)生產(chǎn)、軟件平臺、應(yīng)用服務(wù)的全產(chǎn)業(yè)鏈，上游有四維圖新等專業(yè)圖商，中游有超圖軟件等地理信息軟件平臺商；下游有天地圖、百度地體、超圖云服務(wù)等服務(wù)商。地理信息技術(shù)不僅已成功應(yīng)用于水利環(huán)保、能源礦產(chǎn)、氣象環(huán)保、國土房產(chǎn)等行業(yè)中，而且成為國家數(shù)字城市與智慧城市建設(shè)的核心平臺。

大數(shù)據(jù)時代下，地理信息產(chǎn)業(yè)挑戰(zhàn)與機遇并存。大數(shù)據(jù)不僅需要地理信息系統(tǒng)海量數(shù)據(jù)采集、篩選、存儲、分析與顯示技術(shù)的升級，而且要徹底扭轉(zhuǎn)傳統(tǒng)地理信息系統(tǒng)重視數(shù)據(jù)管理與顯示，輕視數(shù)據(jù)分析的狀況。大數(shù)據(jù)的意義只有在將地理信息產(chǎn)業(yè)的核心關(guān)注轉(zhuǎn)移到用戶價值上之后才能得到體現(xiàn)，否則大數(shù)據(jù)不如小數(shù)據(jù)，因為實現(xiàn)同樣的價值前提下前者成本只會更高。但是如果在大數(shù)據(jù)浪潮下，地理信息產(chǎn)業(yè)可以完成一次升級，那么就不僅意味著產(chǎn)業(yè)鏈上下游的完全重構(gòu)，而且可以在物聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)、國土、環(huán)保、水利領(lǐng)域分析挖掘其紛繁數(shù)據(jù)的空間意義，產(chǎn)生巨大的社會經(jīng)濟價值。

 

4、 總結(jié)

“問渠那得清如許，為有源頭活水來”，地理信息動態(tài)龐大的數(shù)據(jù)流代表著一個巨大的價值寶藏，基于地理信息技術(shù)從多源大數(shù)據(jù)中獲取對自然與人文環(huán)境的知識，從而提高政治商業(yè)與個人生活效率的美好未來并不遙遠。“前途是美好的，道路是曲折的”，要達到這一目標，當前幾個亟待解決的問題是：

1、研究地理信息適用的大數(shù)據(jù)技術(shù)，目前流行的MapReduce等技術(shù)只能看做是大數(shù)據(jù)技術(shù)示范，相比起傳統(tǒng)分布式計算、并行計算技術(shù)其適用的范圍較窄，難以提高GIS中大部分運算效率，需要要處理地理信息大數(shù)據(jù)必須要建立自身的大數(shù)據(jù)技術(shù)體系。

2、解放沉睡的數(shù)據(jù)。大數(shù)據(jù)產(chǎn)業(yè)需要各個領(lǐng)域的數(shù)據(jù)融合才能更真實的對世界建模分析。美國政府已依照Government 2.0建設(shè)理念也發(fā)布了Data.gov 網(wǎng)站，截止2012年11月已提供了來自聯(lián)邦政府各部門的392,590個數(shù)據(jù)與工具，其中包含空間數(shù)據(jù)服務(wù)386429個，歐洲也已相應(yīng)提出Inspire計劃。雖然中國目前也推出了北京市政府數(shù)據(jù)資源網(wǎng)，推動包括地理信息數(shù)據(jù)在內(nèi)政府數(shù)據(jù)資源的對外服務(wù)，但是各個部門行業(yè)數(shù)據(jù)被閑置、堆積、浪費而不共享的情況仍然非常嚴重，嚴重制約了行業(yè)與應(yīng)用的發(fā)展。

3、產(chǎn)學研結(jié)合，跨領(lǐng)域合作。大數(shù)據(jù)產(chǎn)業(yè)要成功，就必須完成從數(shù)據(jù)到知識再到價值的整個加工流程，這就必須充分融合企業(yè)和科研院所的各自優(yōu)勢。此外大數(shù)據(jù)分析是一個多領(lǐng)域知識結(jié)構(gòu)化集成的結(jié)果，所以必須要提倡跨領(lǐng)域合作。