人工智能和先進應用正在給當前的技術基礎設施帶來壓力

來源: 西安童程童美少兒編程培訓碑林校區(qū) 發(fā)布時間:2023-12-12

如果您正在考慮將您的團隊或組織大規(guī)模 轉移到人工智能,您可能需要檢查并準備對底層基礎設施進行投資——數據容量、處理能力、工具和相關資源。

盡管世界陷入了關于人工智能的效率和風險的爭論,但支持基礎設施的問題卻沒有得到足夠的重視。看來當前的許多系統(tǒng)可能還沒有準備好處理人工智能工作負載。

在較近的一項調查中,大多數高管(76%)認為他們當前的基礎設施“將無法擴展以滿足即將到來的需求”——即人工智能和相關的分析工作負載。此外,  Hitachi Vantara 發(fā)布的針對 1,288 名高管的調查還發(fā)現,60% 的人表示他們只是對自己管理的數據量感到“不知所措”。該報告的作者預測,到 2025 年,大型組織將存儲超過 65 PB 的數據。(就在不久之前,1 TB 還算一個巨大的負載。)

日立的數據反映了AI 基礎設施研究所 (AIII) 的調查結果,該研究所發(fā)現,只有 26% 的團隊對其當前的 AI/ML 基礎設施“非常滿意”。當然,大型科技公司擁有巨額預算、員工和能力來實現人工智能。AIII 報告的作者表示,這些公司的團隊“從頭開始構建了自己的 AI/ML 基礎設施,因為市場上沒有任何東西可以支持他們的努力”。

他們補充說,較近,“我們看到新工具和平臺的迅速普及,使企業(yè)和中小型企業(yè)能夠從智能革命中受益。然而,構建適合特定公司需求的正確 AI/ML 基礎設施仍然是一個重要的任務。挑戰(zhàn)。”

以簡單的原始存儲容量為例。日立調查發(fā)現,數據存儲需求可能在兩年內翻一番。所有這些數據將去往何處?那里有云,對嗎?該調查的作者警告說,請保持這種想法。他們指出,云是解決方案的一部分,“但不是靈丹妙藥”。到 2025 年,大約 27% 的數據中心工作負載將位于公共云中,另外 21% 的工作負載將位于同一地點。大約一半的數據中心工作負載(49%)將保留在公司內部——要么在更傳統(tǒng)的本地系統(tǒng)中,要么在私有云中。  

讓事情變得更復雜的是,IT 主管估計他們無法控制流經企業(yè)的一半數據。這是收集和存儲但從未使用過的“暗數據”,可能幾乎占所有數據的一半。 

需要支持的不僅僅是數據容量,工具也很重要。AIII 報告指出:“任何 AI/ML 團隊的成長都是一個旅程,在每個階段都需要不同的工具。” “在任何早期階段,只有少數的數據科學家,您的工具需求就會簡單得多。但隨著您的團隊不斷壯大,您需要更新更好的工具來應對這種增長。傳統(tǒng)的企業(yè) IT 考慮因素,例如基于角色的訪問控制和安全突然變得重要,持續(xù)的監(jiān)控和維護也是如此。”

隨著人工智能的快速發(fā)展而出現的額外需求是特征存儲以及數據版本控制和沿襲的可見性。“在監(jiān)管或公共錯誤凸顯了數據版本控制和血統(tǒng)的必要性之后,有些人發(fā)現數據版本控制和沿襲的時間太晚了。”AIII 的作者表示。“隨著團隊的成長和跨 GPU 的內部資源調度競爭,它變得至關重要。在每個階段,新的必備工具都會迅速浮出水面。”

AIII 的作者指出,大型科技公司“從頭開始構建自己的工具,因為市場上沒有任何東西可以支持他們的需求,但這種方法對于沒有開發(fā)人員大軍的其他企業(yè)來說基本上是遙不可及的” 。“這也是不可持續(xù)的,因為技術債務和這些工具的維護很快就會變成一場噩夢,即使商業(yè)工具開始以其功能繞過內部構建的系統(tǒng)。”

AIII 分析師“預計未來五年內,越來越多的科技公司將用商業(yè)或開源替代品取代部分家庭堆棧。我們預計,大多數處于早期大眾階段的企業(yè)不會制作自己的工具,而是專注于編寫較小的工具來縮小堆棧的模塊化部分之間的差距。”  

咨詢機構
推薦課程