從性別歧視到招聘不公，如何讓AI公平待人？

編者按：本文來自騰訊研究院，作者S君. ai，36氪經(jīng)授權(quán)發(fā)布。

Topic：算法偏見：看不見的“裁決者”

我們生活在被AI算法包圍的時(shí)代。技術(shù)的進(jìn)步致使AI突破過去的使用邊界，進(jìn)入到更深層次的決策領(lǐng)域，并對(duì)我們的生活產(chǎn)生重要影響。AI成為了招聘面試官，成為了量刑助手，成為了裁決入學(xué)申請(qǐng)的老師……這項(xiàng)技術(shù)無疑為我們帶來了便利。但同時(shí)，一個(gè)更加不容忽視的問題也浮出水面——算法偏見。

據(jù)BBC11月1日?qǐng)?bào)道，蘋果公司聯(lián)合創(chuàng)始人斯蒂夫·沃茲尼亞克在社交媒體上發(fā)聲稱，蘋果信用卡給他的信用額度是他夫人的10倍，盡管夫妻倆并沒有個(gè)人單獨(dú)的銀行賬戶或任何個(gè)人資產(chǎn)。這不禁讓人思考，蘋果公司的信用額度算法是否存在性別歧視？

事實(shí)上，被歧視的不僅是女性，偏見蔓延的領(lǐng)域也遠(yuǎn)不止銀行貸款額。本期特寫，我們就從典型的算法偏見類型說起，細(xì)細(xì)追究，偏見到底是如何鉆進(jìn)機(jī)器大腦，而未來我們又將以何來對(duì)抗偏見？

算法偏見的典型類別

■技術(shù)的包容性不足

加納裔科學(xué)家Joy Buolamwini一次偶然發(fā)現(xiàn)，人臉識(shí)別軟件竟無法識(shí)別她的存在，除非帶上一張白色面具。有感于此，Joy發(fā)起了Gender Shades研究，發(fā)現(xiàn)IBM、微軟和曠視Face++三家的人臉識(shí)別產(chǎn)品，均存在不同程度的女性和深色人種“歧視”（即女性和深色人種的識(shí)別正確率均顯著低于男性和淺色人種），最大差距可達(dá)34.3%。

這個(gè)問題的本質(zhì)，其實(shí)是人臉識(shí)別技術(shù)對(duì)不同群體的包容度不足。正如我們開發(fā)一款產(chǎn)品時(shí)，天然容易切合中青年人的使用習(xí)慣，而忽略其對(duì)老齡或兒童帶來的使用后果，又或者將殘障人士排除在使用者之外。

圖源：算法正義聯(lián)盟官網(wǎng)

■預(yù)測、決策不公

如果包容性問題更多指向的是少數(shù)族裔或女性，那么預(yù)測和決策不公就更可能發(fā)生在任何人身上。比如，招聘偏見。今年11月被高盛、希爾頓、聯(lián)合利華等名企采用的AI面試工具——HireVue，它的決策偏好讓人匪夷所思：AI 分不清你皺眉是因?yàn)樵谒伎紗栴}，還是情緒不佳（暗示性格易怒）；英國達(dá)勒姆警方使用了數(shù)年的犯罪預(yù)測系統(tǒng)，將黑人是罪犯的概率定為白人的兩倍，還喜歡把白人定為低風(fēng)險(xiǎn)、單獨(dú)犯案。（DeepTech深科技）

當(dāng)下生活中，AI參與評(píng)估決策的領(lǐng)域遠(yuǎn)不止此。除了犯罪、就業(yè)，還包括金融、醫(yī)療等領(lǐng)域。AI決策依賴于對(duì)人類決策偏好和結(jié)果的學(xué)習(xí)，機(jī)器偏見實(shí)質(zhì)上投射出了根植于社會(huì)傳統(tǒng)的偏見。

■偏見的展示

在搜索引擎輸入“CEO”，會(huì)出現(xiàn)一連串男性白人面孔；有人將關(guān)鍵字換成“黑人女孩”，甚至出現(xiàn)過大量的色情內(nèi)容。微軟開發(fā)的機(jī)器人Tay，在twitter上線僅一天便被下架，原因是受到用戶的影響，出現(xiàn)了種族歧視和偏激言論。（THU數(shù)據(jù)派）這種偏見，既來源于用戶交互中的學(xué)習(xí)，又重新被AI產(chǎn)品赤裸呈遞給更廣大的受眾，從而產(chǎn)生了連鎖的偏見循環(huán)。

算法的偏見來自哪里？

算法并不會(huì)生而歧視，工程師也很少刻意將偏見教給算法。那偏見究竟從何而來？這個(gè)問題與人工智能背后的核心技術(shù)——機(jī)器學(xué)習(xí)休戚相關(guān)。

機(jī)器學(xué)習(xí)過程可化約為如下步驟，而為算法注入偏見的主要有三個(gè)環(huán)節(jié)——數(shù)據(jù)集構(gòu)建、目標(biāo)制定與特征選?。üこ處煟?shù)據(jù)標(biāo)注（標(biāo)注者）。

■數(shù)據(jù)集：偏見的土壤

數(shù)據(jù)集是機(jī)器學(xué)習(xí)的基礎(chǔ)，如果數(shù)據(jù)集本身缺乏代表性，就不能夠客觀地反映現(xiàn)實(shí)情況，算法決策就難免有失公允。

這一問題的常見表現(xiàn)為配比偏差，出于數(shù)據(jù)采集的便利性，數(shù)據(jù)集往往會(huì)傾向更“主流”、可獲取的群體，從而在種族、性別層面分布不均。

Facebook曾宣布，經(jīng)世界上人臉識(shí)別最知名數(shù)據(jù)集之一的Labeled Faces in the Wild測試，其面部識(shí)別系統(tǒng)的準(zhǔn)確率高達(dá)97%。但當(dāng)研究人員查看這個(gè)所謂的黃金標(biāo)準(zhǔn)數(shù)據(jù)集時(shí)，卻發(fā)現(xiàn)這個(gè)數(shù)據(jù)集中有近77%的男性，同時(shí)超過80%是白人。（全媒派）這就意味著，以此訓(xùn)練的算法在識(shí)別特定群體時(shí)可能會(huì)出問題，比如在Facebook的照片識(shí)別中，女性和黑人很可能無法被準(zhǔn)確標(biāo)記出來。

另一種情況是，現(xiàn)存的社會(huì)偏見被帶入數(shù)據(jù)集。當(dāng)原始數(shù)據(jù)本就是社會(huì)偏見作用的結(jié)果，算法也會(huì)習(xí)得其中的偏見關(guān)系。

亞馬遜發(fā)現(xiàn)，其招聘系統(tǒng)存在偏差的原因在于，該算法所使用的原始數(shù)據(jù)是公司的過往員工數(shù)據(jù)——過去，亞馬遜聘用的男性偏多。算法學(xué)習(xí)到了數(shù)據(jù)集所表現(xiàn)的這一特征，因此在決策中更容易忽略女性求職者。（麻省理工科技評(píng)論）

事實(shí)上，幾乎每一個(gè)機(jī)器學(xué)習(xí)算法背后的數(shù)據(jù)庫都是含有偏見的。

■工程師：規(guī)則制定者

算法工程師從頭到尾參與了整個(gè)系統(tǒng)，包括：機(jī)器學(xué)習(xí)的目標(biāo)設(shè)定、采用哪種模型、選取什么特征（數(shù)據(jù)標(biāo)簽）、數(shù)據(jù)的預(yù)處理等。

不恰當(dāng)?shù)哪繕?biāo)設(shè)定，可能從一開始就引入了偏見，比如意圖通過面相來識(shí)別罪犯；不過，更典型的個(gè)人偏見代入，出現(xiàn)在數(shù)據(jù)特征的選取環(huán)節(jié)。

數(shù)據(jù)標(biāo)簽就是一堆幫助算法達(dá)成目標(biāo)的判定因素。算法就好像一只嗅探犬，當(dāng)工程師向它展示特定東西的氣味后，它才能夠更加精準(zhǔn)地找到目標(biāo)。因此工程師會(huì)在數(shù)據(jù)集中設(shè)置標(biāo)簽，來決定算法要學(xué)習(xí)該數(shù)據(jù)集內(nèi)部的哪些內(nèi)容、生成怎樣的模型。

亞馬遜的招聘系統(tǒng)中，工程師可能為算法設(shè)置了“年齡”、“性別”、“教育水平”等標(biāo)簽。因而在學(xué)習(xí)過往聘用決策時(shí)，算法就會(huì)識(shí)別其中的這一部分特定屬性，并以此為核心構(gòu)建模型。當(dāng)工程師認(rèn)為“性別”是一個(gè)重要的考量標(biāo)準(zhǔn)時(shí)，無疑就會(huì)影響到算法對(duì)數(shù)據(jù)的反應(yīng)。

■打標(biāo)者：無意的裁決

對(duì)于一些非結(jié)構(gòu)化的數(shù)據(jù)集（如大量描述性文字、圖片、視頻等），算法無法對(duì)其進(jìn)行直接分析。這時(shí)就需要人工為數(shù)據(jù)進(jìn)行標(biāo)注，提煉出結(jié)構(gòu)化的維度，用于訓(xùn)練算法。舉一個(gè)很簡單的例子，有時(shí)Google Photos會(huì)請(qǐng)你幫助判斷一張圖片是否是貓，這時(shí)你就參與了這張圖片的打標(biāo)環(huán)節(jié)。

當(dāng)打標(biāo)者面對(duì)的是“貓或狗”的提問時(shí)，最壞結(jié)果不過是答錯(cuò)；但如果面對(duì)的是“美或丑”的拷問，偏見就產(chǎn)生了。作為數(shù)據(jù)的加工人員，打標(biāo)者時(shí)常會(huì)被要求做一些主觀價(jià)值判斷，這又成為偏見的一大來源。

ImageNet就是一個(gè)典型的案例：作為世界上圖像識(shí)別最大的數(shù)據(jù)庫，網(wǎng)站上的許多圖片均被手動(dòng)注釋，打上各種各樣的細(xì)分標(biāo)簽?！氨M管我們不可能知道這些貼標(biāo)簽的人本身是否帶有這樣的偏見。但他們定義了“失敗者”、“蕩婦”和“罪犯”應(yīng)該長什么樣……同樣的問題也可能發(fā)生在看似‘無害’的標(biāo)簽上。畢竟，即使是‘男人’和‘女人’的定義，也有待商榷。”（全媒派）

Trevor Paglen是ImageNet Roulette項(xiàng)目的發(fā)起人之一，這一項(xiàng)目致力于展示觀點(diǎn)、偏見甚至冒犯性的看法是如何影響人工智能的。他認(rèn)為：“我們對(duì)圖像的貼標(biāo)簽方式是我們世界觀的產(chǎn)物，任何一種分類系統(tǒng)都會(huì)反映出分類者的價(jià)值觀?！辈煌奈幕尘跋?，人們存在著對(duì)于不同文化、種族的偏見。

打標(biāo)過程正是將個(gè)人偏見轉(zhuǎn)移到數(shù)據(jù)中，被算法吸納，從而生成了帶有偏見的模型?，F(xiàn)如今，人工打標(biāo)服務(wù)已成為一種典型商業(yè)模式，許多科技公司都將其海量的數(shù)據(jù)外包進(jìn)行打標(biāo)。這意味著，算法偏見正通過一種“隱形化”、“合法化”的過程，被流傳和放大。

編者小結(jié)

由于AI技術(shù)的大量應(yīng)用和黑箱原理，算法偏見早已成為一個(gè)隱匿但作用廣泛的社會(huì)隱患。它會(huì)在決策中帶入不公，讓人臉識(shí)別技術(shù)只惠及一部分人，在搜索結(jié)果中大張旗鼓地展示偏見觀點(diǎn)......

但是機(jī)器從未獨(dú)立創(chuàng)造偏見，偏見習(xí)得于機(jī)器學(xué)習(xí)中的幾個(gè)重要環(huán)節(jié)：從數(shù)據(jù)集的不均衡，到特征選取的偏頗，再到人工打標(biāo)帶入的主觀性。在從人到機(jī)的遷移中，偏見習(xí)得了某種“隱匿性”與“合法性”，并被不斷實(shí)踐和放大。

但回過頭來，技術(shù)不過是社會(huì)與人心的一面鏡子。某種程度上，算法偏見就像在這個(gè)我們認(rèn)為進(jìn)步、美好的當(dāng)下，重新呈遞灰暗角落的真相并敲響警鐘。因此，當(dāng)談及算法偏見的應(yīng)對(duì)時(shí)，一部分努力便是要回歸于人?？尚业氖?，即便是技術(shù)層面的自律與治理嘗試，也能極大地降低偏見程度、避免偏見大幅擴(kuò)張。

從性別歧視到招聘不公，如何讓AI公平待人？

算法是一面鏡子，映射了人類社會(huì)許多固有的偏見。

2014年，亞馬遜的工程師著手開發(fā)一款人工智能招聘軟件，利用算法和數(shù)據(jù)分析來篩選候選人，以此避免人類招聘官身上特有的“感情用事”問題。事與愿違，這款軟件雖避免了“感情用事”問題，卻在“偏見”上犯下更大的錯(cuò)誤——軟件編寫者將人類招聘官的篩選模式寫入算法，現(xiàn)實(shí)世界中無意識(shí)的偏見也帶進(jìn)了機(jī)器。

隨著智能技術(shù)的不斷普及，算法做決策成為趨勢。避免人類社會(huì)的偏見映射到算法世界中，是當(dāng)下數(shù)字化生存中的重要命題。

此前，AI&Society專欄發(fā)布的《算法偏見：看不見的“裁決者”》試圖剖析算法偏見所帶來的問題，本文著重梳理當(dāng)前針對(duì)算法偏見的一些解決方案。

在機(jī)器學(xué)習(xí)過程中，算法偏見會(huì)從三個(gè)環(huán)節(jié)中被滲透：數(shù)據(jù)集的構(gòu)成缺乏代表性，工程師制定算法規(guī)則時(shí)、打標(biāo)者處理非結(jié)構(gòu)化素材，都有可能混入偏見。

“在對(duì)500名機(jī)器學(xué)習(xí)領(lǐng)域工程師調(diào)查后得出結(jié)論：如今機(jī)器學(xué)習(xí)工程師面臨的最大問題之一是他們知道出了一些問題，但是不知道具體是哪里出了問題，也并不知道為什么會(huì)出現(xiàn)問題?！鼻拔④浌緢?zhí)行副總裁沈向洋指出。

由于算法偏見的不可知、不可查，讓反偏見這項(xiàng)工作變得棘手。在現(xiàn)有應(yīng)對(duì)體系下，無論是政策制度、技術(shù)突破還是創(chuàng)新型反制，都從不同的角度出發(fā)嘗試解決這個(gè)已經(jīng)超越技術(shù)的問題。

解決思路一：構(gòu)建更公正的數(shù)據(jù)集

不公正的數(shù)據(jù)集是偏見的土壤——如果用于訓(xùn)練機(jī)器學(xué)習(xí)算法的數(shù)據(jù)集無法代表客觀現(xiàn)實(shí)情況，那么這一算法的應(yīng)用結(jié)果往往也帶有對(duì)特定群體的歧視和偏見。因此，算法偏見最直接的解決思路就是將原本不均衡的數(shù)據(jù)集進(jìn)行調(diào)整。

修正數(shù)據(jù)比例：利用更公平的數(shù)據(jù)源確保決策公正性。2018年6月，微軟與專家合作修正和擴(kuò)展了用于訓(xùn)練 Face API 的數(shù)據(jù)集。Face API 是微軟 Azure 中的一個(gè) API，它提供預(yù)訓(xùn)練算法以檢測、識(shí)別和分析人臉圖像中的屬性。新數(shù)據(jù)通過調(diào)整膚色、性別和年齡等所占的比例，將膚色較深的男性和女性之間的識(shí)別錯(cuò)誤率降低 20 倍，女性的識(shí)別誤差率降低 9 倍。

也有公司嘗試通過構(gòu)建全球社區(qū)的方式優(yōu)化數(shù)據(jù)集。通過全球社區(qū)，大規(guī)模地把某個(gè)組織可能在尋找的任何信息匯集起來，并以這種廣度和深度相結(jié)合的方式進(jìn)行，這使得引入截然不同的數(shù)據(jù)來訓(xùn)練AI系統(tǒng)成為可能，以幫助克服算法偏見等問題。

“大數(shù)據(jù)”與“小數(shù)據(jù)”結(jié)合：在數(shù)據(jù)量的基礎(chǔ)上確保精度。數(shù)據(jù)集不應(yīng)局限于粗放收集，而在于精準(zhǔn)把握。僅僅在數(shù)據(jù)的量上做文章往往不能帶來更加公正的結(jié)果，因?yàn)榇髷?shù)據(jù)分析側(cè)重相關(guān)性，導(dǎo)致在推導(dǎo)因果關(guān)系時(shí)容易出現(xiàn)誤差。引入小數(shù)據(jù)可以部分解決這個(gè)問題。小數(shù)據(jù)指聚焦于用戶個(gè)體的數(shù)據(jù)形態(tài)，它更關(guān)注細(xì)節(jié)，重視差異，能更呈現(xiàn)更加準(zhǔn)確的數(shù)據(jù)，也避免推導(dǎo)因果關(guān)系時(shí)出現(xiàn)誤差。所以，將信息豐富的大數(shù)據(jù)與信息精準(zhǔn)的小數(shù)據(jù)相結(jié)合可在一種程度上避免誤差。

自主測試數(shù)據(jù)集：偵測數(shù)據(jù)集中偏見。麻省理工學(xué)院算機(jī)科學(xué)與人工智能實(shí)驗(yàn)室（簡稱MIT SCAIL）的科學(xué)家發(fā)表了一篇題為《Uncovering and Mitigating Algorithmic Bias through Learned Latent Structure（通過學(xué)習(xí)潛在結(jié)構(gòu)提示并緩解算法偏見）》的論文，展示了DB-VEA（一種無監(jiān)督式學(xué)習(xí)）可以通過重新采樣來自動(dòng)消除數(shù)據(jù)偏見的 AI 系統(tǒng)。

該模型不僅學(xué)習(xí)面部特征（如膚色、頭發(fā)），還學(xué)習(xí)諸如性別和年齡等其它特征，所以分類準(zhǔn)確率明顯增加，且針對(duì)種族和性別的分類偏見明顯下降。

由此可見，構(gòu)建更加公正的數(shù)據(jù)集無疑是算法偏見根本性的解決方法之一，也是許多企業(yè)、學(xué)者努力的方向，并且目前在這一領(lǐng)域的確有所突破。

解決思路二：提升“算法透明度”

盡管算法模型由工程師編寫而成，但很多時(shí)候，人類并不明白計(jì)算機(jī)經(jīng)歷了怎樣的過程才得出某一特定結(jié)果，這就是機(jī)器學(xué)習(xí)中的“算法黑箱”問題。因此，要求企業(yè)提高算法模型的透明度，從中找出偏見“病因”，就成為了當(dāng)下解決“黑箱”困境的途徑之一。無論是通過政策、條款的“他律”，還是企業(yè)通過倫理“自律”還是技術(shù)探索，在對(duì)抗算法偏見時(shí)，都持續(xù)聚焦于打開“黑箱”。

自律：企業(yè)的倫理主張

在過去兩年中，許多大型科技公司都發(fā)布了人工智能的應(yīng)用原則，其中均涉及到偏見治理的部分，可以將這類原則視為科技公司立場的聲明和自律的起點(diǎn)。微軟、谷歌和IBM，均強(qiáng)調(diào)算法的透明性和公平性。值得說明的是，微軟設(shè)立人工智能與道德標(biāo)準(zhǔn)(AETHER)委員會(huì)來落實(shí)其原則，并計(jì)劃未來推出的每一個(gè)人工智能產(chǎn)品都要經(jīng)過人工智能道德倫理審查。

也有企業(yè)采用委員會(huì)之外的機(jī)制。谷歌推出Model Cards功能也是對(duì)提升透明度的回應(yīng)。Model Cards類似算法說明書，對(duì)采用的算法進(jìn)行解釋，告知其優(yōu)點(diǎn)和局限性，甚至在不同數(shù)據(jù)集中的運(yùn)算結(jié)果。

他律：監(jiān)督過程透明與結(jié)果正義

2018年5月25日正式生效的《歐盟一般數(shù)據(jù)保護(hù)條例》（GDPR），2018年8月30日英國政府更新的《數(shù)據(jù)倫理框架》，要求算法需要具備一定的公開性、透明性與可解釋性。2019年4月10日，美國國會(huì)兩院議員提出《算法問責(zé)法案》，要求大型科技公司評(píng)估其自動(dòng)決策系統(tǒng)帶來的影響，并消除其中因種族、膚色、宗教、政治信仰、性別或其它特性差異而產(chǎn)生的偏見。

一些公益組織也因意識(shí)到算法偏見的危害性，幫助企業(yè)建立機(jī)制保障算法公正。算法正義聯(lián)盟（Algorithm Justice League）將企業(yè)應(yīng)遵守的行為概括和濃縮成了可以簽署的協(xié)議，通過問責(zé)算法的設(shè)計(jì)、開發(fā)和部署者，在實(shí)踐中改善現(xiàn)有算法，并檢查企業(yè)提升成果。

而這一手段的確為算法糾偏起到了敦促作用：其創(chuàng)始人Joy Buolamwini在評(píng)估IBM算法后將結(jié)果反饋，并在一天內(nèi)收到了IBM回應(yīng)稱會(huì)解決這一問題。之后當(dāng)Buolamwini重新評(píng)估該算法時(shí)，發(fā)現(xiàn)IBM的算法對(duì)于少數(shù)群體面部識(shí)別的準(zhǔn)確率有了明顯提升：識(shí)別深色男性的準(zhǔn)確率從88%躍升至99.4%，深色女性的準(zhǔn)確率從65.3%升至83.5%。

“算法透明”不是滿分答案？

然而，通過政策條例和倫理準(zhǔn)則提升算法透明度，依然存在一些局限性。首先，要求算法具備可解釋性與可能企業(yè)的利益產(chǎn)生強(qiáng)烈沖突。芝加哥大學(xué)數(shù)據(jù)科學(xué)與公共政策中心主任 Rayid Ghani認(rèn)為，簡單地公布一個(gè)模型的所有參數(shù)并不能提供對(duì)其工作機(jī)制的解釋在某些情況下，透露太多關(guān)于算法工作原理的信息可能會(huì)讓不懷好意的人攻擊這個(gè)系統(tǒng)。2019年12月的一篇論文也指出，解釋黑箱算法的兩大技術(shù)LIME和SHAP的變體有可能遭到黑客入侵，這意味著“AI做出的解釋可能被蓄意篡改，導(dǎo)致人們對(duì)模型及其給出的解釋失去信任”。

第二，問責(zé)法案的核心在于促成企業(yè)自查自糾。但這種自上而下的制度無疑為企業(yè)增加了巨額工作量，在一輪輪審查評(píng)估中，技術(shù)進(jìn)度將受到掣肘，企業(yè)的創(chuàng)新力也會(huì)被影響。

解決思路三：技術(shù)創(chuàng)新反偏見

當(dāng)偏見被隱藏在無數(shù)代碼中時(shí)，工程師們想到用技術(shù)本身解決技術(shù)問題。這一途徑并非是從偏見來源入手，而是創(chuàng)造性地利用技術(shù)手段偵測偏見、解除偏見。

單詞嵌入解決搜索中的性別偏見：微軟研究人員從新聞、網(wǎng)頁數(shù)據(jù)中的文本，發(fā)現(xiàn)詞匯之間在建立關(guān)聯(lián)時(shí)表現(xiàn)出一些明顯特征，例如“sassy（刁蠻）”、“knitting（編織）”這樣的詞更靠近女性，而“hero（英雄）”、“genius（天才）”更靠近男性。之所以會(huì)有這種現(xiàn)象，原因在于訓(xùn)練算法用的基準(zhǔn)數(shù)據(jù)集——通常是來自新聞和網(wǎng)頁的數(shù)據(jù)——本身，就存在著由語言習(xí)慣造成的“性別偏見”，算法也自然“繼承”了人類對(duì)這些詞匯理解的性別差異。微軟提出了一個(gè)簡單易行的方案：在單詞嵌入中，刪除區(qū)分“他”和“她”的判斷維度，用于降低“偏見的展示”。當(dāng)然，這樣“簡單粗暴”的方式只能運(yùn)用在文本搜索領(lǐng)域，在更多實(shí)際應(yīng)用場景下，人工智能的“黑箱”特性使性別或種族與更多更復(fù)雜的參數(shù)相勾連，因此很難通過直接刪除來完成偏見的剔除。

通過差分測試（differential testing）暴露系統(tǒng)缺陷：哥倫比亞大學(xué)的研究者開發(fā)了一款名為DeepXplore的軟件，它可以通過“哄騙”系統(tǒng)犯錯(cuò)，以暴露算法神經(jīng)網(wǎng)絡(luò)中的缺陷。

DeepXplore使用了差分測試（differential testing），一種比較多個(gè)不同系統(tǒng)并查看它們對(duì)應(yīng)輸出差異的概念：DeepXplore以不同的方式看待事物，如果其他模型都對(duì)給定的輸入做出一致的預(yù)測，而只有一個(gè)模型對(duì)此做出了不同的預(yù)測，那么這個(gè)模型就會(huì)被判定有一個(gè)漏洞。這一研究為打開黑箱做出了重要的貢獻(xiàn)，因?yàn)樗梢酝ㄟ^激活幾乎100%的神經(jīng)網(wǎng)絡(luò)，來曝光算法中可能出現(xiàn)的無數(shù)個(gè)問題。

偏見檢測工具：在2018年 9 月，谷歌推出了新工具 What-If，這是 TensorBoard 中用于檢測偏見的工具。利用該工具，開發(fā)者可以通過交互式可視界面和反事實(shí)推理探究機(jī)器學(xué)習(xí)模型的特征重要性，找出誤分類原因、確定決策邊界，以及檢測算法公平性等。同樣，IBM也將其偏見檢測工具AI Fairness 360 工具包開源，其中包括超過 30 個(gè)公平性指標(biāo)和 9 個(gè)偏差緩解算法，研究人員和開發(fā)者可將工具整合至自己的機(jī)器學(xué)習(xí)模型里，檢測并減少可能產(chǎn)生的偏見和歧視。

技術(shù)本身被用于打擊偏見，是一種可操作性極強(qiáng)的方法，因?yàn)楣こ處焸兺瞄L于用技術(shù)解決實(shí)際問題。但是從目前的成果來看，大多技術(shù)突破還僅處于初級(jí)階段，停留在檢測偏見，消除偏見可能還待下一階段努力。

寫在最后：

現(xiàn)實(shí)社會(huì)中的偏見產(chǎn)生的原因盤根錯(cuò)節(jié)，致力于消除偏見的運(yùn)動(dòng)綿延不息，也尚未徹底將其消滅。眼下，偏見化身為數(shù)字記憶，狡黠又隱蔽地藏身于每一次不經(jīng)意的雙擊，每一個(gè)微小的決策，卻能顯著影響人們被對(duì)待的方式。

更公正的數(shù)據(jù)集，更及時(shí)的誤差檢測，更透明的算法過程……科技公司、科研機(jī)構(gòu)、監(jiān)管部門以及第三方組織的協(xié)同努力對(duì)算法偏見宣戰(zhàn)。這些舉措未必徹底消除偏見，但能極大避免技術(shù)無限放大社會(huì)固有的偏見。

相比將算法偏見全然怪罪于技術(shù)，更重要的是意識(shí)到，技術(shù)作為一種工具，應(yīng)用應(yīng)有邊界，它滲入日常生活的深度、決策被采納的程度，需審慎決策。

參考資料：

1.《沈向洋就職清華演講全錄：人類對(duì)AI如何做決定一無所知》AI前線https://mp.weixin.qq.com/s/sezAachD_dhB3wrDTTZ8ng

2.《算法偏見就怪?jǐn)?shù)據(jù)集？MIT糾偏算法自動(dòng)識(shí)別「弱勢群體」 》機(jī)器之心

https://www.jiqizhixin.com/articles/2019-01-28-11

3.《Applause推出新AI解決方案 致力于解決算法偏見》網(wǎng)易智能 https://mp.weixin.qq.com/s/oG9GtlplwXrNkGnXqEZOWA

4.《“算法有偏見，比人強(qiáng)就行？”其實(shí)影響很廣泛！》THU數(shù)據(jù)派

https://mp.weixin.qq.com/s/_ArUXZGT6_iJ_Nggrit8-A

5.《算法偏見偵探》 雷鋒網(wǎng)AI 科技評(píng)論

https://www.leiphone.com/news/201812/b4FLYHLrD8wgLIa7.html

6.《沈向洋：微軟研究院——求索不已，為全人類，打造負(fù)責(zé)任的人工智能》 微軟科技https://www.sohu.com/a/337918503_181341

7.《 DeepXplore：深度學(xué)習(xí)系統(tǒng)的自動(dòng)化白盒測試》 AI前線

https://mp.weixin.qq.com/s/ZlVuVGW_XA_MTgBJhMmqXg