由于云和物聯(lián)網(wǎng)技術(shù),很多曾經(jīng)的部署配置問題都不再是一個(gè)問題。
數(shù)據(jù)工程:一大難題
另外一個(gè)仍未消失的難題是:如何處理這些傳感器收集到的數(shù)據(jù)。這個(gè)問題不僅僅是由于數(shù)據(jù)的數(shù)量,而是在于數(shù)據(jù)分析是一門多學(xué)科交叉的科學(xué)。
這里,我們給出了一個(gè)數(shù)據(jù)流動的初始想法。大部分情況下,物聯(lián)網(wǎng)數(shù)據(jù)是從傳感器流向一個(gè)巨大的數(shù)據(jù)湖。接著,數(shù)據(jù)湖內(nèi)會進(jìn)行一些處理及蒸餾過程,高價(jià)值的數(shù)據(jù)會被移動到企業(yè)數(shù)據(jù)庫內(nèi)。
下一個(gè)步驟則是數(shù)據(jù)分離及結(jié)合步驟,這樣,可以實(shí)現(xiàn)自動化動作和分析模型。另外,每個(gè)不同物聯(lián)網(wǎng)應(yīng)用可能需要使用不同類型的數(shù)據(jù)分析引擎。
和單向數(shù)據(jù)流的數(shù)據(jù)倉庫不同的是,應(yīng)用程序,尤其是分析引擎也有可能產(chǎn)生數(shù)據(jù)流動并流回到企業(yè)數(shù)據(jù)倉庫或者數(shù)據(jù)湖中。
另外,物聯(lián)網(wǎng)的數(shù)據(jù)架構(gòu)也有不同的新特性:
1):物聯(lián)網(wǎng)數(shù)據(jù)實(shí)時(shí)處理的需求
2):數(shù)據(jù)湖存檔或刪改的需求
3):跨公司分享數(shù)據(jù)的需求
4):多數(shù)量、種類來源數(shù)據(jù)處理的需求
5):遍布世界的數(shù)據(jù)處理需求
6):大量移動數(shù)據(jù)的需求