每經(jīng)編輯｜王月龍    

”眼見(jiàn)“不一定”為實(shí)“之后，怎么辦？

繼此前“10分鐘被AI換臉騙走430萬(wàn)元”事件引發(fā)關(guān)注之后，5月25日，4月發(fā)生的又一起AI換臉詐騙事件被媒體曝光。這次金額達(dá)到245萬(wàn)，且整個(gè)詐騙過(guò)程時(shí)間更短，只有9秒鐘。

在前一天，中國(guó)互聯(lián)網(wǎng)協(xié)會(huì)發(fā)文提醒，不法分子利用AI技術(shù)，通過(guò)聲音合成，偽造成特定人物的聲音，通過(guò)AI換臉，偽裝成特定人物，實(shí)時(shí)與他人進(jìn)行視頻通話(huà)。更換后的面部表情自然，以假亂真，能夠冒充他人身份聯(lián)系被害人，博取被害人信任后實(shí)施詐騙。面對(duì)利用AI技術(shù)的新型騙局，廣大公眾需提高警惕，加強(qiáng)防范！

圖片來(lái)源：視覺(jué)中國(guó)

9秒被騙走245萬(wàn)

“打了視頻電話(huà)又是熟人”

據(jù)大皖新聞報(bào)道，今年4月，安徽安慶經(jīng)開(kāi)區(qū)發(fā)生一起“冒充熟人”詐騙案，經(jīng)開(kāi)公安分局反詐中心民警調(diào)查發(fā)現(xiàn)詐騙分子使用了一段9秒鐘的智能AI換臉視頻佯裝“熟人”，讓受害人放松警惕從而實(shí)施詐騙。

“視頻里邊我看到是他的臉”，“但是沒(méi)幾秒就掛了，說(shuō)在開(kāi)會(huì)不方便”。4月27日，何先生的微信“好友”突然向其發(fā)起視頻通話(huà)，電話(huà)接通后，何先生看到“好友”正在一間會(huì)議室內(nèi)，就在他準(zhǔn)備進(jìn)一步詢(xún)問(wèn)時(shí)，“好友”直接掛斷了電話(huà)，并表示在會(huì)議中有重要事情交代，需要何先生添加QQ溝通。

隨后，“好友”在QQ上告訴何先生，目前有一個(gè)項(xiàng)目招標(biāo)需要周轉(zhuǎn)資金，希望何先生先行幫忙墊付。“因?yàn)榇蛄艘曨l電話(huà)又是熟人”，“我就沒(méi)多想，就轉(zhuǎn)賬了”，基于對(duì)“熟人”的信任，何先生沒(méi)有猶豫，立刻讓家人將245萬(wàn)元到對(duì)方指定的賬號(hào)上，直到事后撥打?qū)Ψ诫娫?huà)才得知被騙。

發(fā)現(xiàn)被騙之后，何先生迅速報(bào)警，接報(bào)案后，安慶經(jīng)開(kāi)公安分局立即抽調(diào)精干警力組成專(zhuān)案組第一時(shí)間對(duì)涉案賬戶(hù)的資金流、信息流進(jìn)行查詢(xún)追蹤。4月28日，專(zhuān)案民警連夜趕赴北京市抓獲3名涉詐嫌疑人。5月22日，警方將先行追回的132萬(wàn)元被騙款及時(shí)返還給何先生，目前案件正在進(jìn)一步偵辦中。

AI換臉、換聲詐騙怎么防？

回?fù)茈娫?huà)、觀(guān)察畫(huà)面

5月24日，中國(guó)互聯(lián)網(wǎng)協(xié)會(huì)發(fā)布公告，面對(duì)利用AI技術(shù)的新型騙局，廣大公眾需提高警惕，加強(qiáng)防范。中國(guó)互聯(lián)網(wǎng)協(xié)會(huì)表示，伴隨著深度合成技術(shù)的開(kāi)放開(kāi)源，深度合成產(chǎn)品和服務(wù)逐漸增多，利用“AI換臉”“AI換聲”等虛假音視頻進(jìn)行詐騙、誹謗的違法行為屢見(jiàn)不鮮。

中國(guó)互聯(lián)網(wǎng)協(xié)會(huì)表示，在AI時(shí)代，文字、聲音、圖像和視頻都有可能是深度合成的，在轉(zhuǎn)賬匯款、資金往來(lái)這樣的典型場(chǎng)景，要通過(guò)回?fù)軐?duì)方手機(jī)號(hào)等額外通信方式核實(shí)確認(rèn)，不要僅憑單一溝通渠道未經(jīng)核實(shí)就直接轉(zhuǎn)賬匯款，無(wú)論對(duì)方是誰(shuí)。

據(jù)界面新聞，針對(duì)使用AI換臉、擬聲技術(shù)進(jìn)行詐騙的案例，小冰公司CEO李笛表示，目前了解到的用AI換臉的詐騙團(tuán)隊(duì)，主要是采用Wav2Lip這種開(kāi)源技術(shù)，通過(guò)音頻去驅(qū)動(dòng)口型。“但是在某些口型上是會(huì)出現(xiàn)問(wèn)題的，比如嘟起嘴時(shí)的口型錯(cuò)誤、邊緣抖動(dòng)，或者口型朝向與五官不搭配等等。”

瑞萊智慧聯(lián)合創(chuàng)始人、算法科學(xué)家蕭子豪也表示，在視頻通話(huà)時(shí)可以通過(guò)讓對(duì)方做一些大幅度的搖頭、張嘴之類(lèi)的動(dòng)作，“如果黑產(chǎn)做的模型不太精細(xì)、只做了正臉的情況下，突然露齒時(shí)生成的牙齒或舌頭就不會(huì)特別清晰，耳朵處也可能會(huì)出現(xiàn)不正常的陰影。”

據(jù)蕭子豪介紹，從技術(shù)角度辨別內(nèi)容是否經(jīng)過(guò)深度偽造同樣有跡可循，辨別思路大致可分為兩種，一種是尋找圖像編輯痕跡，另一類(lèi)則是判斷行為是否符合常識(shí)。

人工智能詐騙接二連三

更高層面監(jiān)管亟須落地

據(jù)證券時(shí)報(bào)，“人工智能教父”杰弗里·辛頓今年年初就曾經(jīng)警告，人工智能對(duì)人類(lèi)構(gòu)成的威脅將比氣候變化更加緊迫。辛頓認(rèn)為，人工智能是一種智能工具，可以輔助人類(lèi)做一些繁瑣、重復(fù)和創(chuàng)意性工作，但也會(huì)有不法之徒用它來(lái)做違法亂紀(jì)的勾當(dāng)。人工智能不但能撰寫(xiě)文章，還能生成圖像、視頻。如果用來(lái)弄虛作假，幾乎可以亂真，普通人很難識(shí)別出來(lái)。如果有人用它來(lái)制作虛假圖像、視頻，傳遞錯(cuò)誤信息，其破壞力遠(yuǎn)大于單純的文字形式。

據(jù)新華網(wǎng)，“短短10分鐘，被騙430萬(wàn)元”“換臉冒充當(dāng)紅女星帶貨，賺得盆滿(mǎn)缽溢”……這種“換臉”術(shù)和擬聲術(shù)，讓人防不勝防。如此種種，無(wú)不說(shuō)明換臉術(shù)的濫用，已經(jīng)對(duì)公共利益構(gòu)成威脅。

針對(duì)技術(shù)手段日益更新的AI詐騙事件，2022年11月25日，國(guó)家互聯(lián)網(wǎng)信息辦公室、工業(yè)和信息化部、公安部聯(lián)合發(fā)布《互聯(lián)網(wǎng)信息服務(wù)深度合成管理規(guī)定》（以下簡(jiǎn)稱(chēng)規(guī)定），自2023年1月10日起施行。規(guī)定要求深度合成服務(wù)提供者對(duì)使用其服務(wù)生成或編輯的信息內(nèi)容，應(yīng)當(dāng)添加不影響使用的標(biāo)識(shí)。提供智能對(duì)話(huà)、合成人聲、人臉生成、沉浸式擬真場(chǎng)景等生成或者顯著改變信息內(nèi)容功能的服務(wù)的，應(yīng)當(dāng)進(jìn)行顯著標(biāo)識(shí)，避免公眾混淆或者誤認(rèn)。要求任何組織和個(gè)人不得采用技術(shù)手段刪除、篡改、隱匿相關(guān)標(biāo)識(shí)。

今年4月11日，國(guó)家網(wǎng)信辦起草了《生成式人工智能服務(wù)管理辦法》（征求意見(jiàn)稿），提出AI內(nèi)容必須真實(shí)準(zhǔn)確，其中也明確提到，禁止非法獲取、披露、利用個(gè)人信息和隱私、商業(yè)秘密。

為此破局，一方面要強(qiáng)化公共宣教，確立新的防騙反詐意識(shí)；另一方面，更重要的還是加快防御性、對(duì)抗性技術(shù)工具的推廣落地和應(yīng)用嵌入。比如說(shuō)，不妨嘗試在常用的社交媒介軟件中，內(nèi)嵌入聲紋、人臉識(shí)別的身份核驗(yàn)?zāi)K等。

編輯|王月龍?杜恒峰

校對(duì)|劉小英

每日經(jīng)濟(jì)新聞綜合自大皖新聞、界面新聞、證券時(shí)報(bào)、新華網(wǎng)、中國(guó)互聯(lián)網(wǎng)協(xié)會(huì)