當(dāng)前,信息技術(shù)的創(chuàng)新正在改變著我們熟悉的生活和工作方式。在大數(shù)據(jù)時代,與氣象事業(yè)發(fā)展密切相關(guān)的氣象數(shù)據(jù)再次成為焦點。氣象的大數(shù)據(jù)時代真的到來了嗎?近日,記者就上述問題采訪了國家氣象信息中心副總工程師沈文海、中國科學(xué)院自動化研究所研究員張文生。
大數(shù)據(jù)到底有多“大”?
IBM研究表明,在整個人類文明所獲得的全部數(shù)據(jù)中,有90%是過去兩年內(nèi)產(chǎn)生的。而到了2020年,全世界所產(chǎn)生的數(shù)據(jù)規(guī)模將達(dá)到今天的44倍。
根據(jù)國際數(shù)據(jù)公司IDC監(jiān)測,人類產(chǎn)生的數(shù)據(jù)量正在呈指數(shù)級增長,大約每兩年翻一番。
數(shù)據(jù)量暴增的速度令人瞠目結(jié)舌,我們已進(jìn)入“大數(shù)據(jù)時代”。張文生說:“事實上,智能終端的大量應(yīng)用,如聊微信、刷微博、手機(jī)支付,讓越來越多的用戶貢獻(xiàn)了越來越多的數(shù)據(jù)。”
記者了解到,就數(shù)據(jù)量而言,中國的大數(shù)據(jù)主要有以下幾類:互聯(lián)網(wǎng),大約有2EB的數(shù)據(jù)。電信、金融、保險、電力、石化系統(tǒng)每個系統(tǒng)大致都擁有10PB以上的數(shù)據(jù);在公共安全、醫(yī)療、交通、電子政務(wù)領(lǐng)域,一個中等規(guī)模城市每年大約產(chǎn)生300PB。在商業(yè)銷售、制造業(yè)、農(nóng)業(yè)、物流和流通等領(lǐng)域,數(shù)據(jù)量尚處于積累期,體量不大,多的達(dá)到PB級別,基本約在數(shù)十TB到近百TB級別。
對于氣象數(shù)據(jù)來說,“氣象部門需要永久保存的數(shù)據(jù)目前約有4PB~5PB,年增量約1PB。”沈文海介紹,相對而言,氣象數(shù)據(jù)較上述數(shù)據(jù)大戶至少低3個數(shù)量級。
氣象數(shù)據(jù)是大數(shù)據(jù)嗎?
“大數(shù)據(jù)就是全體數(shù)據(jù),是混雜數(shù)據(jù),不必追究數(shù)據(jù)的來源。”張文生介紹。
目前,對大數(shù)據(jù)的特征,科學(xué)界已達(dá)成了共識,就是大體積、多樣性、高速度和價值大。“體積巨大是大數(shù)據(jù)的最根本的特征。一般而言,大數(shù)據(jù)的起始計量單位至少是PB、EB或ZB級別。”沈文海介紹。類型和來源的渠道繁多是大數(shù)據(jù)的第二個特征。此外,生成速度快、處理時效高、價值巨大也是大數(shù)據(jù)的特征。
“在體積上,氣象數(shù)據(jù)剛剛達(dá)到大數(shù)據(jù)的準(zhǔn)入門檻。”沈文海分析道:目前,在所有氣象資料中,地面觀測、氣象衛(wèi)星遙感、天氣雷達(dá)和數(shù)值預(yù)報產(chǎn)品四類數(shù)據(jù)占數(shù)據(jù)總量的90%以上,堪稱“四大金剛”。
氣象數(shù)據(jù)來源種類繁多,僅氣候工作特用資料就包括冰芯、花粉、樹木年輪、洋流鹽度、地表植被等觀測資料,已達(dá)數(shù)十種。沈文海說:“這些數(shù)據(jù)雖然種類多,但都是只用于氣象領(lǐng)域的科學(xué)數(shù)據(jù),來源較為單一。”
眾所周知,基本的氣象數(shù)據(jù)直接用途是氣象業(yè)務(wù)、天氣預(yù)報、氣候預(yù)測以及氣象服務(wù)。“大數(shù)據(jù)應(yīng)用”與目前的氣象服務(wù)有所不同,前者是氣象數(shù)據(jù)的“深度應(yīng)用”和“增值應(yīng)用”,后者是既定業(yè)務(wù)數(shù)據(jù)加工產(chǎn)品的社會推廣應(yīng)用。
“不宜將氣象預(yù)報產(chǎn)品的社會化推廣應(yīng)用簡單地冠以‘氣象大數(shù)據(jù)廣泛應(yīng)用’的名稱,因為產(chǎn)品應(yīng)用與氣象數(shù)據(jù)的‘大小’無關(guān),如此冠名將易導(dǎo)致概念的混亂和氣象‘大數(shù)據(jù)’的簡單化。”沈文海表示。
氣象數(shù)據(jù)要如何發(fā)展?
大數(shù)據(jù)時代已經(jīng)到來,氣象數(shù)據(jù)如何發(fā)展是氣象工作者關(guān)注的重點。“目前,社會上的‘大數(shù)據(jù)應(yīng)用’大多局限在數(shù)據(jù)基本價值的深度應(yīng)用挖掘方面。”張文生說。除了大家知道的天氣預(yù)報等,現(xiàn)在,氣象行業(yè)的公共服務(wù)職能越來越強(qiáng),面向政府提供決策服務(wù),面向公眾提供氣象預(yù)報預(yù)警服務(wù),面向社會發(fā)展,應(yīng)對氣候發(fā)展節(jié)能減排。這些決策信息怎么來依賴于我們對氣象數(shù)據(jù)的處理。
采用統(tǒng)計分析方法對海量數(shù)據(jù)進(jìn)行分析處理,發(fā)現(xiàn)其中某些特定要素之間的關(guān)系,這是到目前為止,所有“大數(shù)據(jù)應(yīng)用”成功案例的共同特征,即便“大機(jī)器學(xué)習(xí)”等目前備受推崇的大數(shù)據(jù)時代新事物也無例外。“大數(shù)據(jù)的核心就是預(yù)測”,這是《大數(shù)據(jù)時代》的作者舍恩伯格的名言。“如果這一斷言是準(zhǔn)確的話,那么氣象數(shù)據(jù)的‘大數(shù)據(jù)應(yīng)用’時代也許還沒有到來。”沈文海分析道。
天氣和氣候系統(tǒng)是典型的非線性系統(tǒng),無法通過運用簡單的統(tǒng)計分析方法來對其進(jìn)行準(zhǔn)確的預(yù)報和預(yù)測。人們常說的南美叢林里一只蝴蝶扇動幾下翅膀,會在幾周后引發(fā)北美的一場暴風(fēng)雪這一現(xiàn)象,形象地描繪了氣象科學(xué)的復(fù)雜性。運用統(tǒng)計分析方法進(jìn)行天氣預(yù)報在數(shù)十年前便已被氣象科學(xué)界否決了——也就是說,目前經(jīng)典的大數(shù)據(jù)應(yīng)用方法并不適用于天氣預(yù)報業(yè)務(wù)。“既然預(yù)測是大數(shù)據(jù)的核心,那么對于天氣預(yù)報這一氣象領(lǐng)域核心‘預(yù)測’業(yè)務(wù)而言,其‘大數(shù)據(jù)應(yīng)用’除了統(tǒng)計分析方法外,還有什么別的方法嗎?”沈文海說道。
氣象數(shù)據(jù)是整個氣象行業(yè)的基礎(chǔ)資源,它的價值在氣象行業(yè)內(nèi)部已經(jīng)和正在被深入挖掘著。對于全社會而言,氣象數(shù)據(jù)也是極其珍貴的信息資源。我們期待著氣象數(shù)據(jù)在跨行業(yè)綜合應(yīng)用這一“增值應(yīng)用”價值挖掘過程中煥發(fā)出的新的光芒。
面對社會上沸沸揚揚的大數(shù)據(jù)風(fēng)潮,觀察一下國外氣象同行們的反應(yīng)不無裨益——尤其是身處大數(shù)據(jù)風(fēng)潮發(fā)源地的美國氣象同行。當(dāng)你了解到這些國外(尤其是發(fā)達(dá)國家)氣象同行對于大數(shù)據(jù)風(fēng)潮近乎一致的冷漠反應(yīng)時,你的頭腦也許會冷靜下來,并產(chǎn)生如下疑問——氣象大數(shù)據(jù)時代真的到來了嗎? 中國氣象報記者張靜