羊城晚報記者 羅清峣

帶貨主播AI換臉成女明星，真假難辨；B站音樂區掀起AI翻唱熱潮，“AI孫燕姿”全網走紅；一騙子借助AI技術冒充熟人視頻聊天，十分鐘詐騙430萬元……近日，以深度偽造（Deepfake）為核心技術的AI換臉變聲相關新聞層出不窮，越來越多的人意識到AI是一把雙刃劍。如何明晰真偽邊界，讓科技持續“向善”，成為一個亟需回答的問題。

換臉帶貨

【資料圖】

“楊冪”“迪麗熱巴”

直播間里真假難辨

“看了好幾個直播間，我都驚呆了，要么是佟麗婭，要么是迪麗熱巴，（主播）全都把臉換成了明星帶貨。”近日，從事直播行業的小美在社交媒體上的發言引發大量討論。記者發現，商家利用AI軟件把主播換臉成女明星進行帶貨的現象越來越普遍，不少直播間的AI換臉達到了以假亂真的地步。

記者按照多位網友的爆料，來到了某個以s開頭的服裝品牌的直播間，該品牌每天會在平臺上進行直播帶貨，主播疑似AI換臉成楊冪。“五官幾乎一模一樣，連牙齒都一樣。”爆料人表示，自己曾向該品牌客服質疑主播是AI換臉，對方回復稱“長得像，化妝的”。

為了驗證上述客服回復是否屬實，記者邀請業內人士、英荔人工智能教育研究院成員陳海權一同到該直播間觀看直播。十分鐘內，除了出現了數次臉型突然變大或者變小的情況外，沒有其他破綻出現。陳海權表示，這個破綻無法判斷是AI換臉時出現的識別失誤還是真人的瘦臉特效。他表示，以目前的技術，只要有足夠預算和時間，可以把AI做得基本和真人無異，僅憑人眼難以分辨是AI換臉還是真人，“坦白講，普通人只能靠找出特別明顯的破綻進行區分”。

要不是看到了破綻，網友小包還發現不了抖音直播間里賣茶葉的不是真正的迪麗熱巴。她告訴記者，近日，她在看直播時發現，一名五官幾乎和迪麗熱巴一模一樣的主播低頭整理頭發時，“腦門上全是黑的”，才意識到這是用了AI換臉。

記者搜索發現，目前網絡平臺上有多款可以進行AI換臉的軟件出售，價格從幾十元到上萬元不等。有男性博主表示，花99元購買軟件之后，只需一臺電腦和一個攝像頭就能讓人“換個面容”直播。記者來到該博主的直播間，看到他確實只“動動手指”，就使用軟件把自己變成了一個“膚白貌美”的女性。

語音模擬

“AI孫燕姿”作品上千

孫燕姿自嘲爭不過

記者了解到，AI換臉使用的是深度偽造技術——該技術能將圖片或視頻合并疊加到源圖片或視頻上，借助神經網絡技術進行大樣本學習，從而將個人的聲音、面部表情及身體動作拼接合成虛假內容。該技術除了最常見的AI換臉之外，還包括人臉合成、視頻生成以及語音模擬等。其中，語音模擬層面，最貼近生活的例子就是地圖軟件里的明星語音包，目前許多地圖還推出了語音定制服務，用戶只需錄入三至九句話，就能擁有定制語音包。可以說，深度偽造技術而今已無處不在。

近來，B站音樂區掀起了一波AI翻唱熱潮。在AI技術加持下，孫燕姿、周杰倫、林俊杰、陳奕迅等一眾歌手紛紛化身“AI點唱機”。據不完全統計，“AI孫燕姿”迄今已擁有上千首翻唱歌曲，最火的作品播放量破百萬。

“諷刺的是，人類無法超越它已指日可待。”5月23日，孫燕姿在社交平臺上發布《我的AI》一文，首度回應了自己對AI技術的看法。“你跟一個每幾分鐘就推出一張新專輯的‘人’還有什么好爭的。”孫燕姿在文中自嘲，“你并不特別，你已經是可預測的，而且不幸的是，你也是可塑的。”

律師分析

未經同意換臉明星

或涉多種侵權行為

無論是AI換臉明星還是語音模擬明星翻唱，都可能造成侵權。

廣州徑文律師事務所律師陳文妍表示，未經明星允許或經紀公司授權，擅自使用藝人肖像進行商業活動，侵犯了其肖像權。“若導致特定主體的形象被扭曲，且視頻大量傳播后導致主體的社會評價顯著降低，又侵害了主體的名譽權。”

事實上，不少明星已拿起法律武器應對商業AI換臉行為。2021年9月，歌手林俊杰狀告上海寬娛數碼科技有限公司、肖某，案由為肖像權糾紛：肖某在B站個人賬號中發布了多個娛樂視頻，林俊杰的肖像被AI換臉放在了視頻中。最后法院判肖某公開賠禮道歉，并向原告賠償經濟損失、精神損害撫慰金等共275000元。

一些商家為了規避風險，會使用多種特效，改變AI換臉而成的某些特征，讓主播和明星“似像非像”。這樣的行為能否認定為侵權呢？陳文妍表示，肖像權最核心的是可識別性，“如果換臉后，普通人能夠一眼看出他就是某個明星，也可以認定為侵權”。

陳文妍認為，盡管商業AI換臉行為或觸碰法律紅線，但因目前深度偽造屬于較新的技術，現實當中司法實踐和判例尚不多，“所以許多商家仍會抱著試一試的態度去做”。

詐騙翻新

AI冒充“好友”來電

十分鐘騙走430萬元

如果說AI換臉商業行為存在邊界問題，需進一步厘清；那么，近期國內外發生的多起利用AI實施的電信詐騙案件，則更向全社會敲響了警鐘。

近日，包頭警方發布的一起AI詐騙典型案例沖上熱搜。事情發生在上月中旬，福州市某科技公司法人代表郭先生突然接到好友的微信視頻，對方稱自己需要430萬元保證金，想借郭先生公司的賬戶走賬，向郭先生要了銀行卡號，還把銀行轉賬底單的截圖通過微信發給郭先生。基于對好友的信任，加上已通過視頻聊天見到“真人”，郭先生沒有核實錢款是否到賬，十分鐘內就分兩筆把430萬元轉到了對方提供的銀行卡上。轉賬完畢后，郭先生撥打這位好友的電話，好友竟不知道此事。他這才反應過來，原來遇上了高端的電信詐騙！騙子通過AI換臉和擬聲技術，冒充好友對他實施了詐騙。接到郭先生報警后，警方成功止付攔截336.84萬元，但仍有93.16萬元被轉移，目前正在全力追繳中。

記者以“AI電信詐騙”為關鍵詞進行檢索，發現近年來此類案例層出不窮。常州的小劉接到“初中同學”視頻電話后，“借”了6000元給騙子；公司財務小王接到“領導”電話信以為真，轉款2萬元；王某接到省外某派出所“警官”微信視頻，對方宣稱，王某涉嫌洗錢等違法犯罪，需要向“安全賬戶”轉賬，因對方通過視頻與王某進行了“交流”，王某深信不疑，最終受騙……

利用高科技實施電信詐騙，對普通老百姓來說堪稱“降維打擊”。該如何預防？共青團北京市委員會官方微博提供了兩個識別AI換臉的小技巧：在視頻聊天時，如果擔心對方有AI換臉詐騙的可能，可以要求對方將一根手指或者其他物體放在臉前來回移動；也可以要求對方左轉或者右轉，然后觀察他的側臉。

監管信號

規范生成式AI發展

首個管理辦法擬出臺

隨著AI技術不斷發展，其安全問題受到越來越多的關注，監管正走向規范化。

記者了解到，今年1月10日起施行的《互聯網信息服務深度合成管理規定》，從技術提供者、服務使用者以及監管等各方面，對技術的應用提出規范。其中明確，深度合成服務提供者主體不得利用深度合成服務從事違法活動，需落實信息安全主體責任，建立健全管理制度和技術保障措施。深度合成服務提供者和技術支持者提供人臉、人聲等生物識別信息編輯功能的，應當提示深度合成服務使用者依法告知被編輯的個人，并取得其單獨同意。

4月11日，國家互聯網信息辦公室發布《生成式人工智能服務管理辦法（征求意見稿）》。這或將成為我國專門針對人工智能生成內容發布的第一份政府文件，總的基調是包容而審慎。

征求意見稿提出，利用生成式人工智能生成的內容應當真實準確，采取措施防止生成虛假信息。利用生成式人工智能產品提供聊天和文本、圖像、聲音生成等服務的組織和個人（以下稱“提供者”），包括通過提供可編程接口等方式支持他人自行生成文本、圖像、聲音等，承擔該產品生成內容生產者的責任；涉及個人信息的，承擔個人信息處理者的法定責任，履行個人信息保護義務。提供者應當按照《互聯網信息服務深度合成管理規定》對生成的圖片、視頻等內容進行標識……分析人士認為，生成式人工智能監管號角已經吹響，產業格局和行業規則或將發生重大改變。

5月初，相關短視頻平臺也發布了關于人工智能生成內容的平臺規范暨行業倡議，要求創作者、主播、用戶、商家、廣告主等平臺生態參與者，在應用生成式AI技術時遵循規范，包括發布者應對AI生成內容進行顯著標識，禁止創作、發布侵權內容等。