什么是數(shù)據(jù)湖？

數(shù)據(jù)湖是組織可以存儲結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的集中位置。該系統(tǒng)允許數(shù)據(jù)按原樣存儲，并可以運(yùn)行有助于決策的分析。數(shù)據(jù)湖幫助公司從數(shù)據(jù)中獲得更多價(jià)值。

公司經(jīng)常使用關(guān)系數(shù)據(jù)庫來存儲和管理數(shù)據(jù)，以便可以輕松訪問并找到他們需要的信息。

什么是數(shù)據(jù)湖？

數(shù)據(jù)湖用例

數(shù)據(jù)湖的低成本和開放格式使其成為現(xiàn)代數(shù)據(jù)架構(gòu)必不可少的。此數(shù)據(jù)存儲解決方案的潛在用例包括：

• 媒體和娛樂：數(shù)字流媒體服務(wù)可以通過改進(jìn)其推薦系統(tǒng)來增加收入，從而影響用戶消費(fèi)更多服務(wù)。 
• 電信：跨國電信公司可以使用數(shù)據(jù)湖通過構(gòu)建減少客戶流失的流失傾向模型來節(jié)省資金。
• 金融服務(wù)：投資公司可以使用數(shù)據(jù)湖來支持機(jī)器學(xué)習(xí)，從而在獲得實(shí)時(shí)市場數(shù)據(jù)時(shí)管理投資組合風(fēng)險(xiǎn)。 

數(shù)據(jù)湖的好處

當(dāng)組織可以在合理的時(shí)間范圍內(nèi)利用來自各種來源的更多數(shù)據(jù)時(shí)，他們可以更好地協(xié)作、分析信息并做出明智的決策。主要優(yōu)點(diǎn)解釋如下：

• 改善客戶互動。數(shù)據(jù)湖可以組合來自多個位置的客戶數(shù)據(jù)，例如客戶關(guān)系管理、社交媒體分析、購買歷史和客戶服務(wù)單。這會告知組織潛在的客戶流失和提高忠誠度的方法。

• 創(chuàng)新研發(fā)。研發(fā) (R&D) 團(tuán)隊(duì)使用數(shù)據(jù)湖來更好地測試假設(shè)、改進(jìn)假設(shè)和分析結(jié)果。

• 提高運(yùn)營效率。公司可以輕松地對機(jī)器生成的物聯(lián)網(wǎng) (IoT)數(shù)據(jù)進(jìn)行分析，以確定改進(jìn)業(yè)務(wù)運(yùn)營流程、質(zhì)量和投資回報(bào)率的潛在方法。

• 電力數(shù)據(jù)科學(xué)和機(jī)器學(xué)習(xí)。 原始數(shù)據(jù)被轉(zhuǎn)換為用于 SQL 分析、數(shù)據(jù)科學(xué)和機(jī)器學(xué)習(xí)的結(jié)構(gòu)化數(shù)據(jù)。由于成本低，原始數(shù)據(jù)可以無限期保存。 
• 集中數(shù)據(jù)源。數(shù)據(jù)湖消除了數(shù)據(jù)孤島的問題，支持輕松協(xié)作并為下游用戶提供單一數(shù)據(jù)源。
• 集成不同的數(shù)據(jù)源和格式。任何數(shù)據(jù)都可以無限期地存儲在數(shù)據(jù)湖中，從而為最新信息創(chuàng)建集中存儲庫。
• 通過自助服務(wù)工具使數(shù)據(jù)民主化。這種靈活的存儲解決方案支持具有不同技能、工具和語言的用戶之間的協(xié)作。 

數(shù)據(jù)湖挑戰(zhàn)

雖然數(shù)據(jù)湖有其好處，但它們并非沒有挑戰(zhàn)。實(shí)施數(shù)據(jù)湖的組織應(yīng)始終注意以下潛在困難：

• 可靠性問題：這些問題是由于難以組合批處理和流數(shù)據(jù)以及數(shù)據(jù)損壞等因素造成的。
• 性能慢：數(shù)據(jù)湖越大，傳統(tǒng)查詢引擎的性能越慢。元數(shù)據(jù)管理和不正確的數(shù)據(jù)分區(qū)可能會導(dǎo)致瓶頸。
• 安全性：由于可見性有限且缺乏刪除或更新數(shù)據(jù)的能力，如果不采取額外措施，很難保護(hù)數(shù)據(jù)湖。

數(shù)據(jù)湖基本要素

數(shù)據(jù)湖充當(dāng)組織內(nèi)數(shù)據(jù)的單一事實(shí)來源。數(shù)據(jù)湖的基本元素涉及數(shù)據(jù)本身以及數(shù)據(jù)的使用和存儲方式。 

• 數(shù)據(jù)移動：數(shù)據(jù)可以以原始形式實(shí)時(shí)導(dǎo)入，無論大小。 
• 分析：分析師、數(shù)據(jù)科學(xué)家和組織內(nèi)其他相關(guān)利益相關(guān)者可以訪問的信息。可以使用員工的分析工具或選擇的框架訪問數(shù)據(jù)。
• 機(jī)器學(xué)習(xí)：組織可以產(chǎn)生各種類型的有價(jià)值的見解。機(jī)器學(xué)習(xí)軟件用于預(yù)測為組織內(nèi)的行動計(jì)劃提供信息的潛在結(jié)果。

數(shù)據(jù)湖最佳實(shí)踐

組織良好的數(shù)據(jù)湖最有效。以下最佳實(shí)踐可用于此目的：

• 存儲原始數(shù)據(jù)。數(shù)據(jù)湖應(yīng)配置為以源格式收集和存儲數(shù)據(jù)。這使科學(xué)家和分析師能夠以獨(dú)特的方式查詢數(shù)據(jù)。 
• 實(shí)施數(shù)據(jù)生命周期策略。這些策略規(guī)定了數(shù)據(jù)在進(jìn)入數(shù)據(jù)湖時(shí)會發(fā)生什么，以及數(shù)據(jù)在何處以及何時(shí)被存儲、移動和/或刪除。
• 使用對象標(biāo)記：這允許跨區(qū)域復(fù)制數(shù)據(jù)，通過提供對具有特定標(biāo)記的對象的訪問來簡化安全權(quán)限，并啟用過濾以便于分析。

數(shù)據(jù)湖與數(shù)據(jù)倉庫

數(shù)據(jù)倉庫經(jīng)過優(yōu)化，可以 分析來自事務(wù)系統(tǒng)和業(yè)務(wù)線應(yīng)用程序的關(guān)系數(shù)據(jù)。此數(shù)據(jù)具有預(yù)定義的結(jié)構(gòu)和架構(gòu)，允許更快的 SQL 查詢。這些數(shù)據(jù)經(jīng)過清理、豐富和轉(zhuǎn)換為用戶的單一事實(shí)來源。

數(shù)據(jù)湖存儲來自業(yè)務(wù)線應(yīng)用程序的關(guān)系數(shù)據(jù)和來自應(yīng)用程序、社交媒體和物聯(lián)網(wǎng)設(shè)備的非關(guān)系數(shù)據(jù)。與數(shù)據(jù)倉庫不同，沒有定義的模式。數(shù)據(jù)湖是可以存儲所有數(shù)據(jù)的地方，以防將來出現(xiàn)問題。