AI 應(yīng)用調(diào)查報告:85%企業(yè)支持,人才短缺成為障礙
編者按:O’Reilly最近又對AI行業(yè)發(fā)起調(diào)查,并編寫成報告,最新趨勢告訴我們,AI正在從原型走向生產(chǎn)。雖然AI產(chǎn)業(yè)進步神速,但障礙仍然存在,比如人才稀缺、制度支持力度不夠。本文編譯自原題為“AI adoption in the enterprise 2020”的文章。
去年,我們感覺到大家對AI的興趣已經(jīng)接近狂熱,所以我們就AI應(yīng)用發(fā)起調(diào)查。調(diào)查完成之后我們分析結(jié)果,認為AI行業(yè)處在快速變化的階段,所以我們又發(fā)起一次調(diào)查,想搞清眼下AI主要應(yīng)用于哪些行業(yè)。
調(diào)查花了幾周時間,也就是2019年12月的幾周,收到1388份回應(yīng)報告。最新的調(diào)查告訴我們在企業(yè)領(lǐng)域AI應(yīng)用到了怎樣的程度(已經(jīng)從原型向生產(chǎn)階段過渡),調(diào)查還涉及具體技術(shù)和工具的流行程度,應(yīng)用者面臨怎樣的挑戰(zhàn),以及其它一些問題。
下面讓我們總結(jié)一下:
關(guān)鍵調(diào)查結(jié)果:
——約有85%的受訪機構(gòu)聲稱它們正在評估AI,或者將AI應(yīng)用于生產(chǎn)。只有15%的機構(gòu)在AI方面沒有采取任何行動。
——超過一半的受訪機構(gòu)是“AI技術(shù)成熟的應(yīng)用者”,換言之,它們正在用AI完成分析、生產(chǎn)任務(wù)。
——在成熟AI應(yīng)用者中,監(jiān)督式學習是最流行的機器學習技術(shù),在那些仍在評估AI的機構(gòu)中,機器學習是最流行的技術(shù)。
——在AI應(yīng)用時,缺少機器學習和AI技能并不是最大障礙。22%的受訪者認為,缺少制度支持是最大問題。
——只有很少的企業(yè)用正式治理控制手段為自己的AI活動提供支持。
AI仍然在發(fā)展。有許多企業(yè)正在評估AI,用AI做實驗,不過在應(yīng)用時,主要用于“生產(chǎn)部署”(production deployments)。這種發(fā)展仍然處在初期階段,企業(yè)還要做很多工作才能讓AI變得更堅固。不論怎樣,應(yīng)用者為了打造穩(wěn)定的AI生產(chǎn)線,還有一大堆工作要做。
受訪者分布
受訪者代表所在機構(gòu)和企業(yè)接受調(diào)查,他們來自25個行業(yè),來自軟件行業(yè)的受訪者占17%。從受訪樣本看,“科技行業(yè)”所占的比重并不是很高,“計算機、電子、硬件”也屬于科技行業(yè)的重要板塊,它只占了樣本的7%還不到。至于“其它”類別,它包括12個行業(yè),占受訪者的22%。
數(shù)據(jù)科學家占主導(dǎo),企業(yè)高管具有代表性
大約六分之一的受訪者是數(shù)據(jù)科學家,高管(比如主管、副總裁、CxO)占了樣本的26%。從調(diào)查看,受訪者的確嚴重偏向數(shù)據(jù),有30%的受訪者是數(shù)據(jù)科學家、數(shù)據(jù)工程師、AIOps工程師,或者是管理他們的人。大約四分之三的受訪者宣稱自己從事的工作與數(shù)據(jù)有關(guān)。在所有受訪者中,超過70%從事科技類工作。
地區(qū)分布
約有50%的受訪者來自北美,其中大多來自美國,美國受訪者占了40%。然后是西歐受訪者,占了23%,亞洲占15%。南美、東歐、大洋洲、非洲占15%。
分析:今天的AI應(yīng)用現(xiàn)狀
在受訪者代表的機構(gòu)中,超過一半在AI應(yīng)用方面已經(jīng)進入“成熟”階段,也就是用AI分析、生產(chǎn),還有大約三分之一正在評估。再看去年的AI調(diào)查結(jié)果,54%的受訪機構(gòu)聲稱在評估AI,只有27%進入“成熟”階段。在2020年的調(diào)查中,只有15%的受訪機構(gòu)沒有設(shè)立任何AI項目。
約有85%的機構(gòu)正在使用AI,當中大多用于生產(chǎn),這是一個值得關(guān)注的亮點。似乎2019年制定的實驗性AI項目今年開始開花結(jié)果。
AI主要用在哪里呢?約有一半受訪者說他們用在研發(fā)領(lǐng)域,排名第二的是IT,有三分之一的受訪者選擇(請注意,這里可以多選)。
在選項中有兩個屬于企業(yè)的“功能部門”,也就是“營銷/廣告/PR”和“運營/設(shè)施/車隊管理”,每個都有大約20%的受訪者選擇。由此可以看出,受訪機構(gòu)看到了AI在功能部門的價值。
采用AI面臨的挑戰(zhàn)
在大多機構(gòu)內(nèi),獲得并保留AI特殊技能仍然是AI應(yīng)用的一大障礙。今年,約有超過六分之一的受訪者聲稱招募并留下AI人才是AI應(yīng)用的一大障礙。2019年,大約只有18%的受訪者這樣認為。
但是缺少高技能人才并不是最大障礙。2020年,大約22%的受訪者認為缺少機構(gòu)支持才是最大問題,2019年也有很多人這樣認為。2019年和2020年,在AI應(yīng)用的各大障礙中,“缺少高技能人才、很難招到必要人才”排在第三位;“難以確認合適的商務(wù)用例”排在第二位,約有20%的受訪者選擇。
AI/ML技能短缺
我們還問調(diào)查者:在他們的機構(gòu)中,哪些機器學習(ML)和AI技能最欠缺。58%的受訪者認為最欠缺ML模型師、數(shù)據(jù)科學家,選擇的人最多。理解及維護一系列商務(wù)用例排在第二位,約有一半人選擇。還有40%的受訪者選擇“在數(shù)據(jù)工程領(lǐng)域缺少必要技能”。最后,還有約四分之一的人選擇“機構(gòu)缺少計算基礎(chǔ)設(shè)施技能”。
這項調(diào)查有一個地方很有趣:2020年的結(jié)果和2019年驚人相似。2019年的問題到了2020年仍然是問題,比例也基本一樣。2019年,57%的受訪者選擇“缺少機器學習建模和數(shù)據(jù)科學專家”,今年的比例是58%。這些技能都是機構(gòu)必需的,而且不太容易解決。例如,數(shù)據(jù)科學家是“混合物種”,不但要掌握精深的理論、技術(shù)知識,還要具備面向特定領(lǐng)域的實際商業(yè)知識。
可惜,很多數(shù)據(jù)科學家缺少實踐,所以機構(gòu)只能在工作中對新晉數(shù)據(jù)科學家培訓。正因如此,才會有那么多受訪者認為:嚴重缺少理解和維護特定商務(wù)用例的人才是一大問題,2019年有47%的受訪者選擇,今年上升到49%。數(shù)據(jù)科學家利用自己掌握的特定專業(yè)知識為AI找到適合的商務(wù)用例。機器學習建模師在實踐中積累知識,然后用這些特定商業(yè)知識補充技術(shù)知識。這兩種類型的從業(yè)者都需要提升軟技能,在團隊工作、傾聽、移情過程中提升。提升需要時間,也是經(jīng)驗的結(jié)果。
管理AI/ML風險
我們還問了受訪者這樣一個問題:當你們搭建部署ML模型時有哪些風險需要控制(多選)?調(diào)查結(jié)果顯示,所有機構(gòu)(尤其是AI項目處于“成熟”階段的機構(gòu))全都認為應(yīng)該警惕設(shè)計使用ML/AI技術(shù)的內(nèi)在風險。
在“成熟”機構(gòu)中,大約有三分之二的人選擇“意料之外的結(jié)果/預(yù)測”,這是最大的單一風險因素。在“成熟”機構(gòu)中,排名第二的單一風險因素是“對ML模型的可解釋性和透明度進行控制”,約有55%的人選擇;至于“正在評估”的機構(gòu),公平、偏見和道德風險排在第二位,有40%的人選擇。在“成熟”機構(gòu)眼中,公平、偏見和道德風險排在第三位,有48%的受訪者選擇。與正在評估的企業(yè)相比,“成熟”機構(gòu)更愿意對模型退化進行檢查,所以在“成熟”機構(gòu)中,AI模型退化是是第四大風險因素(約46%的人選擇)。
在調(diào)查時給出的選項有9個,因為是多選,受訪者可以全部選擇。我們發(fā)現(xiàn),41%的受訪者至少選擇了4個,61%的受訪者至少選擇3個。
監(jiān)督式學習成主導(dǎo)、深度學習持續(xù)升溫
在所有AI應(yīng)用者中,監(jiān)督式學習技術(shù)仍然是最流行的ML技術(shù)。2019年,超過80%的成熟應(yīng)用者已經(jīng)使用這種技術(shù),當時約有三分之二的受訪機構(gòu)還處在評估階段。到了2020年,約有73%的成熟AI活動已經(jīng)使用監(jiān)督式學習技術(shù)。
有一點需要注意,2020年,對于那些處于評估階段的機構(gòu)來說,深度學習技術(shù)已經(jīng)取代監(jiān)督式學習技術(shù)成為最流行的技術(shù)。數(shù)據(jù)可以說明一切:對于正在評估AI的機構(gòu),有55%聲稱他們正在使用深度學習技術(shù),有54%聲稱正在使用監(jiān)督式學習技術(shù)(多選)。對于成熟的AI應(yīng)用者,約有66%的受訪者聲稱他們正在使用深度學習技術(shù),排在第二位,排在第一的是監(jiān)督式學習技術(shù)。
與正在評估的組織相比,在成熟接受者中,ML或者AI技術(shù)的使用率更高。換言之,二者有著很大的區(qū)別。例如,在成熟接受者中,大約23%的AI活動用到了遷移學習(Transfer learning)技術(shù),而評估者只有12%。另外,在成熟者中機回圈(Human-in-the-Loop)AI模型更加流行。
在工作中選擇什么工具呢?78%的受訪者選擇至少2種ML技術(shù),59%選擇至少3種,39%至少選擇4種。
主導(dǎo)性工具越來越重要
在AI工作中,TensorFlow仍然是最流行的工具。2019年和2020年,大約55%的受訪者選擇了它,比重保持不變。TensorFlow地位穩(wěn)固還告訴我們一個事實:深度學習、神經(jīng)網(wǎng)絡(luò)越來越流行。
2019年最流行的AI開發(fā)工具到了2020年仍在流行。在最流行的5種AI工具中,有4種要么以Python作為基礎(chǔ),要么以Python作為主導(dǎo)。TensorFlow、Scikit-learn和Keras 保持穩(wěn)定,PyTorch份額增長,達到36%。
數(shù)據(jù)治理還不是當務(wù)之急
有超過五分之一的受訪機構(gòu)宣稱,它們引入了正式數(shù)據(jù)治理流程和(或)工具,用來支持或者補充AI項目。
26%的受訪者回應(yīng)稱會在2021年之前引入正式數(shù)據(jù)治理流程和(或)工具,35%預(yù)計會在未來3年引進,這是好消息。也有壞消息,AI接受者認為數(shù)據(jù)治理只是補充,并非基本要素。
數(shù)據(jù)溯源(Data provenance)、數(shù)據(jù)沿襲 ( data lineage ) 、一致性數(shù)據(jù)定義、豐富的元數(shù)據(jù)管理及其它良好的數(shù)據(jù)治理技術(shù)將會融入AI項目,并非疊加在AI項目之上。
我們可以將數(shù)據(jù)治理看成是軟件開發(fā)過程中的“可觀察性”(observability)部分:翻新已有系統(tǒng)讓它具備可觀察性是很難的,將可觀察能力植入系統(tǒng)倒是容易一些。同樣的,為系統(tǒng)或者服務(wù)建立數(shù)據(jù)治理能力容易一些,事后添加難一些。
要點匯總
回看調(diào)查報告我們總結(jié)一些要點,機構(gòu)在推進AI項目時可以參考:
——如果沒有制定計劃對AI進行評估,那你是時候迎頭趕上了。現(xiàn)在市場上有很多開源工具、庫、教程及其它,還有平易近人的通用語言(比如Python),進入AI的門檻大大降低。大多企業(yè)都在用AI做實驗,落后是有風險的。
——AI項目與軟件架構(gòu)、基礎(chǔ)設(shè)施、運營的主導(dǎo)趨勢保持一致。
——你可以從更宏觀的角度考慮:到處都在使用AI,不限于研發(fā)和IT。在調(diào)查中,許多受訪者聲稱他們在客戶服務(wù)、營銷、運營、財務(wù)及其它領(lǐng)域使用AI。
——要對組織進行培育,不能只是訓練模型。在AI應(yīng)用過程中,制度支持仍然是最大的障礙。如果你覺得AI能帶來助益,那就應(yīng)該花點時間解釋關(guān)鍵問題,比如如何保持期待、為什么可以期待、有何期待。
——在AI執(zhí)行過程中會有風險存在,現(xiàn)在我們對風險有了更好的理解。當我們向高管、利益相關(guān)方解釋,告訴他們執(zhí)行AI項目時有何期待,解釋起來會更容易一些。
大總結(jié)
很明顯,AI正在變得成熟起來,雖然許多用例看起來很原始,但它仍然一天一天變得成熟。應(yīng)用者正在采取積極措施控制常見風險。不論是成熟還是不成熟的應(yīng)用者,它們都在用復(fù)雜技術(shù)做實驗,開發(fā)自己的AI產(chǎn)品和服務(wù)。應(yīng)用者使用多種ML和AI工具,但使用的語言基本只有一種,也就是廣泛流行的Python。如果想擴大AI實踐規(guī)模,企業(yè)還有幾件事要做:解決數(shù)據(jù)治理和數(shù)據(jù)調(diào)理問題。
譯者:小兵手