大數據時代的來臨,對中國來說面臨安全管理能力、存儲及處理能力、應用能力和人才培養能力等多方面的新挑戰。
大數據的安全管理能力挑戰。數據安全管理問題,是我國應用大數據面臨的最大風險。雖然將海量數據集中存儲,方便了數據分析和處理,但由于安全管理不當所造成的大數據丟失和損壞,則將引發毀滅性的災難。有專家指出:由于新技術的產生和發展,對隱私權的侵犯已經不再需要物理的、強制性的侵入,而是以更加微妙的方式廣泛衍生,由此所引發的數據風險和隱私風險,也將更為嚴重。
當前,我國對大數據的保護能力還十分有限,數據被惡意使用的現象仍然難以掌控。我國個人和企業對于數據資源的保護意識,還比較薄弱。隨著電子商務、社交網絡、物聯網、云計算、以及移動互聯網的全面普及,我國數據資源與全球的數據資源一樣,正在呈現爆發性、多樣性的增長態勢。但是,由于對數據保護認識的不足,以及對個人電腦安全防護的不當,個人或企業的隱私數據暴露在互聯網上的現象十分普遍。2011年,我國最大程序員網站的600萬個人信息和郵箱密碼被黑客公開,進而引發了連鎖的泄密事件。2013年,中國人壽80萬客戶的個人保單信息發現被泄露。這些事件都凸顯出在大數據時代,信息安全管理所面臨的、前所未有的挑戰。
大數據的存儲及處理能力挑戰。當前,我國大數據存儲、分析和處理的能力還很薄弱,與大數據相關的技術和工具的運用也相當不成熟,大部分企業仍處于IT產業鏈的低端。我國在數據庫、數據倉庫、數據挖掘以及云計算等領域的技術,普遍落后于國外先進水平。
在大數據存儲方面,數據的爆炸式增長,數據來源的極其豐富和數據類型的多種多樣,使數據存儲量更龐大,對數據展現的要求更高。而目前我國傳統的數據庫,還難以存儲如此巨大的數據量。在大數據的分析處理方面,由于針對具體的應用類型,需要采用不同的處理方式,因此必須通過建立高級大數據的分析模型,來實現快速抽取大數據的核心數據、高效分析這些核心數據并從中發現價值,而這些數據分析能力我國還很欠缺。
因此,如何提高我國對大數據資源的存儲和整合能力,實現從大數據中發現、挖掘出有價值的信息和知識,是當前我國大數據存儲和處理所面臨的挑戰。
大數據的應用能力挑戰。我國擁有龐大的人口資源和大數據應用市場,市場復雜度高且變化多端,使我國成為世界上最復雜的大數據國家。我國互聯網用戶,通過利用互聯網上的海量數據來提升自身的商業價值和科研價值。我國企業用戶,也已積累了大量的數據信息資產,如產品數據、運營數據和價值鏈數據等。隨著我國企業信息化系統的深入部署和逐步完善,大數據應用能力所引發的商業模式的改變,將直接影響我國企業的競爭能力。
在政府決策方面,當前我國政府部門的數據規模還很小,多數仍集中在對結構化數據的應用上,而對于非結構化數據的利用則幾乎為空白。利用數據分析來支撐政府決策,我國做得還很不夠。從認識到“大數據能產生價值”,到實現了“從大數據中找到價值”,再到“有效使用大數據產生的價值”,政府目前也只是剛剛起步。當前,如何收集數據、使用數據、開放數據、管理數據和利用數據來支撐決策,是我國面臨的又一新挑戰。
大數據的人才培養能力挑戰。大數據領域技術人才和商業人才的缺乏,是一個全球性的問題。根據麥肯錫的一項研究顯示,僅美國每年就有14萬到19萬名數據科學家的缺口,預計到2018年將達到44萬到49萬,而數據科學家則更是嚴重缺乏。
我國大數據分析專業人才缺口究竟有多大,有專家粗略估算至少需要100萬人。當前,具備綜合掌控數學、統計學、機器學習等方面知識的復合型人才,同時又可承擔數據分析和數據挖掘的數據科學家,在我國尤為奇缺。目前,我國初級的分析人員只能對數據進行簡單的報表和進行描述性分析,而隨著未來大數據應用的不斷增長,我國大數據人才儲備不足的問題將更加嚴重。因此,培養能夠解決大數據問題所需的人才,包括培養大數據分析人才和管理人才,是我們需要面對的又一緊迫問題。