在出行平臺(tái)上預(yù)訂酒店，發(fā)現(xiàn)會(huì)員等級(jí)越高價(jià)格越貴;在外賣平臺(tái)上點(diǎn)餐，開通會(huì)員之后配送費(fèi)就漲了幾塊錢;用蘋果和安卓手機(jī)叫網(wǎng)約車，時(shí)間和起止點(diǎn)都一樣，價(jià)格卻相差了不少;去售樓處看房不知不覺中被人臉識(shí)別，接著被劃成某一類型的客戶得到“定制化”的待遇;在電商網(wǎng)站上買了會(huì)員，看到的價(jià)格就比非會(huì)員貴了不少，甚至它還會(huì)預(yù)測(cè)你下一次購(gòu)買同類商品的時(shí)間，到了時(shí)間就漲價(jià)……

近幾年來，類似上面的報(bào)道屢見不鮮。這種商家通過大數(shù)據(jù)建立用戶畫像，為同樣的產(chǎn)品制定差異化的價(jià)格從而使商家利益最大化的行為，被人們稱為“大數(shù)據(jù)殺熟”。然而，由于消費(fèi)者和企業(yè)之間的信息不對(duì)稱，加上法律并沒有要求企業(yè)公開相關(guān)算法，因此這樣的指控往往很容易被搪塞。大部分時(shí)候，我們只能基于合理的懷疑對(duì)它們作一些道義上的批評(píng)。

其實(shí)，人們對(duì)“大數(shù)據(jù)殺熟”的擔(dān)憂，并不只是多花了一點(diǎn)錢那么簡(jiǎn)單。而是面對(duì)可能的“數(shù)據(jù)霸權(quán)”和“算法統(tǒng)治”的來臨，人們深懷恐懼感和無力感。《個(gè)人信息保護(hù)法》(以下簡(jiǎn)稱“該法”)的出臺(tái)，讓我們看到了把技術(shù)的“利維坦”(一種傳說中的怪獸)關(guān)進(jìn)籠子里的曙光。

“自動(dòng)化決策”

首先，該法對(duì)這類行為下了一個(gè)定義，即，“是指通過計(jì)算機(jī)程序自動(dòng)分析、評(píng)估個(gè)人的行為習(xí)慣、興趣愛好或者經(jīng)濟(jì)、健康、信用狀況等，并進(jìn)行決策的活動(dòng)”。

第二，該法賦予了個(gè)人以知情權(quán)，“個(gè)人信息處理者利用個(gè)人信息進(jìn)行自動(dòng)化決策，應(yīng)當(dāng)保證決策的透明度和結(jié)果公平、公正，不得對(duì)個(gè)人在交易價(jià)格等交易條件上實(shí)行不合理的差別待遇”。

第三，該法賦予了個(gè)人以選擇權(quán)，“通過自動(dòng)化決策方式向個(gè)人進(jìn)行信息推送、商業(yè)營(yíng)銷，應(yīng)當(dāng)同時(shí)提供不針對(duì)其個(gè)人特征的選項(xiàng)，或者向個(gè)人提供便捷的拒絕方式”，“通過自動(dòng)化決策方式作出對(duì)個(gè)人權(quán)益有重大影響的決定，個(gè)人有權(quán)要求個(gè)人信息處理者予以說明，并有權(quán)拒絕個(gè)人信息處理者僅通過自動(dòng)化決策的方式作出決定”。

《自動(dòng)不平等：高科技如何鎖定、管制和懲罰窮人》，弗吉尼亞·尤班克斯 著，李明倩 譯，商務(wù)印書館2021版

該法的出臺(tái)，在對(duì)“自動(dòng)化決策”的規(guī)范上邁出了重要一步，也還有不少細(xì)節(jié)可以進(jìn)一步討論。在這里，我想援引美國(guó)學(xué)者弗吉尼亞·尤班克斯的著作《自動(dòng)不平等：高科技如何鎖定、管制和懲罰窮人》中的例子來加以說明。

《自動(dòng)不平等：高科技如何鎖定、管制和懲罰窮人》，弗吉尼亞·尤班克斯 著，李明倩 譯，商務(wù)印書館2021版

首先，該法把規(guī)范的對(duì)象局限于完全的自動(dòng)化決策，而很多決策行為表面上是技術(shù)輔助下的人工決策，但由于決策者對(duì)機(jī)器的信任以及缺乏時(shí)間、精力或意愿，名義上的輔助決策可能實(shí)際上仍是自動(dòng)化決策，個(gè)人的選擇權(quán)可能成為空談。

尤班克斯舉例說，一個(gè)地方政府引進(jìn)了根據(jù)家長(zhǎng)行為數(shù)據(jù)來預(yù)測(cè)兒童受虐風(fēng)險(xiǎn)的系統(tǒng)。盡管該系統(tǒng)聲明“無意作出決定”，但它的打分還是會(huì)對(duì)調(diào)查員的決策產(chǎn)生重大影響。“我們都傾向于服從機(jī)器，因?yàn)闄C(jī)器看起來更中立、更客觀”，于是調(diào)查員會(huì)認(rèn)為自己遺漏了某些信息，進(jìn)而去尋找相關(guān)的證據(jù)以使自己的調(diào)查結(jié)論與機(jī)器的打分相匹配。

其次，該法規(guī)定了自動(dòng)化決策活動(dòng)應(yīng)當(dāng)具有透明度，但并未明確透明度應(yīng)當(dāng)達(dá)到的具體程度。

可以理解，出于知識(shí)產(chǎn)權(quán)和商業(yè)秘密的考量，我們很難要求決策者公開全部算法，但是該法對(duì)“個(gè)人信息處理者予以說明”的要求有點(diǎn)簡(jiǎn)單，可能讓“說明”變成“托詞”，就像一家外賣平臺(tái)所解釋的，配送費(fèi)漲價(jià)只是因?yàn)槎ㄎ徽`差。

尤班克斯分析了一個(gè)州政府引入福利資格自動(dòng)化處理系統(tǒng)的案例，該系統(tǒng)會(huì)對(duì)未能通過審批的申請(qǐng)者給一個(gè)極其簡(jiǎn)短和官僚化的說明，例如“未能配合福利資格確認(rèn)程序”“未能配合核實(shí)收入”，而申請(qǐng)者要在很短的申訴期限內(nèi)找到問題并且修正它極為困難，“很多申請(qǐng)者化身為堅(jiān)持不懈的偵探，在數(shù)十頁的復(fù)雜申請(qǐng)流程之中尋找是否有任何錯(cuò)誤之處”。

第三，該法將個(gè)人知情權(quán)和選擇權(quán)的行使條件，局限于“對(duì)個(gè)人權(quán)益有重大影響的決定”。

然而，自動(dòng)化不平等并非在一夜之間突然發(fā)生的，它是一個(gè)量變引起質(zhì)變的過程并且具有隱蔽性，當(dāng)人們發(fā)現(xiàn)“重大影響”發(fā)生之時(shí)往往為時(shí)已晚。

還是以那個(gè)預(yù)測(cè)兒童受虐風(fēng)險(xiǎn)的系統(tǒng)為例，該系統(tǒng)聲稱在孩子出生之時(shí)甚至出生之前，就能預(yù)測(cè)到他們是否會(huì)受到虐待。對(duì)家長(zhǎng)行為的132個(gè)變量的記錄和分析，早在孩子出生之前就開始了。而直到警察突然出現(xiàn)在自家門口的那一天，家長(zhǎng)才知道自己早已被鎖定。而當(dāng)家長(zhǎng)被帶走、孩子被送到福利院之后，系統(tǒng)又認(rèn)為自己作出了一個(gè)成功的預(yù)測(cè)，從而進(jìn)一步加強(qiáng)帶有歧視性的算法。

最后，該法對(duì)信息推送和商業(yè)營(yíng)銷領(lǐng)域的自動(dòng)化決策作了專門規(guī)范，我們對(duì)“大數(shù)據(jù)殺熟”和“自動(dòng)化決策”的討論也大多局限在商業(yè)領(lǐng)域。

而尤班克斯書中所舉的自動(dòng)化不平等案例都來自公共服務(wù)領(lǐng)域，但被“殺熟”帶來的金錢上的損失跟一個(gè)人在政治和社會(huì)上遭受的不平等相比可以說是微不足道的。本質(zhì)上而言，自動(dòng)化不平等損害了社會(huì)的包容性，扭曲了公平正義的價(jià)值觀，最終傷害的是我們所有人。

自動(dòng)化不平等的風(fēng)險(xiǎn)，已經(jīng)離我們?cè)絹碓浇?。面?duì)海量的求職者，亞馬遜曾經(jīng)用AI來篩選簡(jiǎn)歷并自動(dòng)打分，這一系統(tǒng)對(duì)所有包含“女性”一詞的簡(jiǎn)歷打了低分，例如“女性國(guó)際象棋俱樂部”以及“女子學(xué)院”，所幸這一系統(tǒng)已經(jīng)被停用。學(xué)者還發(fā)現(xiàn)，AI更傾向于給與廚房有關(guān)的照片貼上“女人”的標(biāo)簽，例如一張男人在爐子旁的照片就被標(biāo)記為了“女人”。如果這樣的不平等得不到糾正，將來也許一個(gè)家務(wù)機(jī)器人看到男人在廚房時(shí)會(huì)送上啤酒，而看到女人在廚房時(shí)會(huì)送上洗滌劑。

對(duì)抗自動(dòng)化不平等的風(fēng)險(xiǎn)，不僅需要技術(shù)層面的實(shí)踐，更需要制度層面的約束。在這方面，全球已有不少政府、企業(yè)和社會(huì)組織開始行動(dòng)。截至2019年，全球已有八十多份人工智能倫理準(zhǔn)則發(fā)布，透明、公正和公平、非惡意、責(zé)任和隱私是提到最多的關(guān)鍵詞。在上述原則的指引下，實(shí)踐界和學(xué)術(shù)界還需要進(jìn)一步深入探索。

“我看過沙漠下暴雨，看過大海親吻鯊魚，看過黃昏追逐黎明，沒看過你”(陳粒)。如果有一天，當(dāng)算法統(tǒng)治了沙漠、大海和黃昏，希望我們至少能把“看過你”這件事留給自己。

(作者王翔為復(fù)旦大學(xué)數(shù)字與移動(dòng)治理實(shí)驗(yàn)室研究員、主任助理，主要研究方向?yàn)閿?shù)字時(shí)代的公共治理、公共部門人力資源管理。)