如果您正在考慮將您的團隊或組織大規(guī)模 轉(zhuǎn)移到人工智能,您可能需要檢查并準備對底層基礎(chǔ)設(shè)施進行投資——數(shù)據(jù)容量、處理能力、工具和相關(guān)資源。
盡管世界陷入了關(guān)于人工智能的效率和風險的爭論,但支持基礎(chǔ)設(shè)施的問題卻沒有得到足夠的重視??磥懋斍暗脑S多系統(tǒng)可能還沒有準備好處理人工智能工作負載。
在較近的一項調(diào)查中,大多數(shù)高管(76%)認為他們當前的基礎(chǔ)設(shè)施“將無法擴展以滿足即將到來的需求”——即人工智能和相關(guān)的分析工作負載。此外, Hitachi Vantara 發(fā)布的針對 1,288 名高管的調(diào)查還發(fā)現(xiàn),60% 的人表示他們只是對自己管理的數(shù)據(jù)量感到“不知所措”。該報告的作者預測,到 2025 年,大型組織將存儲超過 65 PB 的數(shù)據(jù)。(就在不久之前,1 TB 還算一個巨大的負載。)
日立的數(shù)據(jù)反映了AI 基礎(chǔ)設(shè)施研究所 (AIII) 的調(diào)查結(jié)果,該研究所發(fā)現(xiàn),只有 26% 的團隊對其當前的 AI/ML 基礎(chǔ)設(shè)施“非常滿意”。當然,大型科技公司擁有巨額預算、員工和能力來實現(xiàn)人工智能。AIII 報告的作者表示,這些公司的團隊“從頭開始構(gòu)建了自己的 AI/ML 基礎(chǔ)設(shè)施,因為市場上沒有任何東西可以支持他們的努力”。
他們補充說,較近,“我們看到新工具和平臺的迅速普及,使企業(yè)和中小型企業(yè)能夠從智能革命中受益。然而,構(gòu)建適合特定公司需求的正確 AI/ML 基礎(chǔ)設(shè)施仍然是一個重要的任務。挑戰(zhàn)。”
以簡單的原始存儲容量為例。日立調(diào)查發(fā)現(xiàn),數(shù)據(jù)存儲需求可能在兩年內(nèi)翻一番。所有這些數(shù)據(jù)將去往何處?那里有云,對嗎?該調(diào)查的作者警告說,請保持這種想法。他們指出,云是解決方案的一部分,“但不是靈丹妙藥”。到 2025 年,大約 27% 的數(shù)據(jù)中心工作負載將位于公共云中,另外 21% 的工作負載將位于同一地點。大約一半的數(shù)據(jù)中心工作負載(49%)將保留在公司內(nèi)部——要么在更傳統(tǒng)的本地系統(tǒng)中,要么在私有云中。
讓事情變得更復雜的是,IT 主管估計他們無法控制流經(jīng)企業(yè)的一半數(shù)據(jù)。這是收集和存儲但從未使用過的“暗數(shù)據(jù)”,可能幾乎占所有數(shù)據(jù)的一半。
需要支持的不僅僅是數(shù)據(jù)容量,工具也很重要。AIII 報告指出:“任何 AI/ML 團隊的成長都是一個旅程,在每個階段都需要不同的工具。” “在任何早期階段,只有少數(shù)的數(shù)據(jù)科學家,您的工具需求就會簡單得多。但隨著您的團隊不斷壯大,您需要更新更好的工具來應對這種增長。傳統(tǒng)的企業(yè) IT 考慮因素,例如基于角色的訪問控制和安全突然變得重要,持續(xù)的監(jiān)控和維護也是如此。”
隨著人工智能的快速發(fā)展而出現(xiàn)的額外需求是特征存儲以及數(shù)據(jù)版本控制和沿襲的可見性。“在監(jiān)管或公共錯誤凸顯了數(shù)據(jù)版本控制和血統(tǒng)的必要性之后,有些人發(fā)現(xiàn)數(shù)據(jù)版本控制和沿襲的時間太晚了。”AIII 的作者表示。“隨著團隊的成長和跨 GPU 的內(nèi)部資源調(diào)度競爭,它變得至關(guān)重要。在每個階段,新的必備工具都會迅速浮出水面。”
AIII 的作者指出,大型科技公司“從頭開始構(gòu)建自己的工具,因為市場上沒有任何東西可以支持他們的需求,但這種方法對于沒有開發(fā)人員大軍的其他企業(yè)來說基本上是遙不可及的” 。“這也是不可持續(xù)的,因為技術(shù)債務和這些工具的維護很快就會變成一場噩夢,即使商業(yè)工具開始以其功能繞過內(nèi)部構(gòu)建的系統(tǒng)。”
AIII 分析師“預計未來五年內(nèi),越來越多的科技公司將用商業(yè)或開源替代品取代部分家庭堆棧。我們預計,大多數(shù)處于早期大眾階段的企業(yè)不會制作自己的工具,而是專注于編寫較小的工具來縮小堆棧的模塊化部分之間的差距。”