妙鴨相機被指“太霸道”,生成式AI要注意哪些風險

文|財經E法?樊瑞 編輯|郭麗琴  

2023年07月28日 09:59  

本文5001字,約7分鐘

雖然妙鴨承諾用戶所上傳的照片只會用于數字分身制作,不會提取也不會用于識別和其他用途,且分身制作完成后自動刪除,但受訪專家認為,妙鴨還需在相關文件中進一步公開其處理個人信息的目的、方式和范圍,明確用戶行使權利的具體渠道。同時,監管機構也要做好監管。

近期,9.9元生成的AI寫真突然刷屏了不少人的朋友圈,也再次帶火了“生成式AI”這一概念。

“妙鴨相機”微信小程序,是一款可以在線生成專業質感照片的AI相機,7月17日正式上線。用戶上傳20張照片后,即可擁有專屬數字分身,選擇相應寫真模版后,就能生成媲美專業攝影館的寫真,且僅需花費9.9元。

上線僅一周,就因大量用戶計入服務器暫緩。但伴隨火熱的市場反饋,也帶來了諸多爭議。

7月26日,上海市消保委通過微信發布題為《太霸道!網紅妙鴨相機不支持退款!連上海市消保委也找不到這家公司 | 消保委監督》的文章。上海市消保委發文批評妙鴨相機,認為其付款頁面上顯示的“一旦購買成功,不支持退款”涉嫌侵害消費者的公平交易權。此外,上海市消保委查詢了該小程序的注冊公司為未序網絡科技(上海)有限公司,所留電話不是無人接聽就是空號。

當日下午5時許,妙鴨相機通過官方微博進行回應,表示如果因為技術問題造成數字分身生成失敗,可以退款。

此前的7月20日,妙鴨就因輿情,調整被指“強勢”的用戶服務協議相關爭議條款。

實際上,妙鴨相機的問題可能不止于此。據受訪專家介紹,妙鴨相機的主要法律風險在于數據安全和數據隱私風險。

27日下午,阿里文娛向財經E法回復表示,妙鴨相機是阿里大文娛集團投資孵化的內部創業項目。經營主體是未序網絡科技(上海)有限公司。

天眼查顯示,妙鴨相機運營方是“未序網絡科技(上海)有限公司”。該公司的法定代表人、執行董事、總經理均為張龍,張龍同時也擔任優酷視頻(西安)傳媒科技有限公司的法人、執行董事、總經理。

融資信息披露,2023年3月1日,阿里文娛投資未序網絡,但并未披露該天使輪融資額度。財經E法撥通天眼查上顯示的“未序網絡科技(上海)有限公司”工商電話,對方表示自己為阿里文娛,且并不清楚妙鴨相機這一項目。

不支持退款“太霸道”?

妙鴨相機官方微信公眾號顯示,公司力圖讓每個人都擁有一個AI攝影師。

自6月30日開始邀請用戶進行內側,在數千人試用之后,7月17日正式通過小程序上線。短短幾天,就波折不斷。

妙鴨相機軟件通過AI學習用戶上傳的照片來構建人臉模型,然后把人臉模型套用其他模型合成照片(簡單來說就是AI獲取人的五官后,給五官P上新的發型、妝容、衣服、場景來合成一張新的照片)。只要上傳完照片,就能產生多種風格的寫真。

上海市消保委表示,翻完該小程序的服務協議,并沒有找到退款相關條款。唯一跟退款相關的只有在支付下方的一行小字:一旦購買成功,不支持退款。

上海市消保委點評表示,支持并鼓勵新技術催生新場景創造新需求,但企業在新技術的商用過程中也應該重視消費者權益。

上海市消保委認為,妙鴨相機在付款頁面以灰色小字標注的“一旦購買成功,不支持退款”涉嫌侵害消費者的公平交易權。

北京航空航天大學法學院副教授趙精武對財經E法,該條款無效,該條屬于《民法典》所規定的格式條款,屬于減輕、免除妙鴨責任之情形,嚴重損害消費者的合法權益,并且《消費者權益保護法》第26條明確要求經營者應當以顯著方式提請消費者注意與其存在重大利害關系的內容,并按照消費者的要求予以說明,“概不退款”條款顯然不符合該規定。

《消費者權益保護法》第二十六條第二款規定:經營者不得以格式條款、通知、聲明、店堂告示等方式,作出排除或者限制消費者權利、減輕或者免除經營者責任、加重消費者責任等對消費者不公平、不合理的規定,不得利用格式條款并借助技術手段強制交易。

針對“概不退款”這一問題,妙鴨相機公開回復表示,妙鴨相機提供的是基于算力的服務,因此照片生成后即視為服務完成。妙鴨鄭重承諾,如果因為技術問題,造成數字分身生成失敗,可以退款,而且免費再次生成。

妙鴨還表示,由于下載照片涉及虛擬幣充值,虛擬幣和現金目前只能單向流轉,充值協議已進行明確約定,因此目前不支持退款。

“強勢”用戶協議被刪改

早在上線之初,妙鴨“強勢”的用戶協議,已備受詬病。在上線第三天,妙鴨就宣布修改用戶協議內容,承諾用戶上傳的照片只會用于制作數字分身。

此前的協議為:“除了本條款授予我方的任何其他權利外,您特此授予我方在全世界(包括元宇宙等虛擬空間) 范圍內享有永久的、不可撤銷的、可轉讓的、可轉授權的、免費的和非獨家的許可,使得我方可以任何形式、任何媒體或技術(無論現在已知或以后開發)使用您的內容。”

海問律師事務所合伙人傅鵬指出,這一協議條款確實有可商榷之處,《個人信息保護法》要求處理個人信息應當遵循合法、必要原則,應當具有明確、合理的目的,并應當與處理目的直接相關,采取對個人權益影響最小的方式。上述協議條款約定對法律要求形成了偏離。

他進一步指出,APP或小程序的用戶協議和隱私政策,需要在發布前經過仔細的起草和慎重的審查,需要按照監管規定的要求起草條款。尤其是,我國頒布了一系列部門規章、國家標準、行業指導文件,對隱私政策的起草與完善提供了非常詳盡的指導與要求。

傅鵬還提醒,企業起草一份更為合規、合理的隱私政策及用戶條款后,文本體現的描述應當與服務提供者實際的做法(特別是對個人信息的實際處理活動)相一致,避免“寫一套、做一套”。

最新的協議顯示,妙鴨承諾用戶所上傳的照片只會用于數字分身制作,不會提取也不會用于識別和其他用途,且分身制作完成后自動刪除。

但趙精武認為,這個協議并不足以保障用戶安全。他指出,協議的主要目的是為了讓用戶了解自己的照片會被用于何處,以及妙鴨所應當承擔的約定義務。保障該協議的有效實施還需要妙鴨在協議中進一步明確用戶行使權利的具體渠道,例如主動告知用戶上傳照片何時已經完成數字分身制作、何時已經徹底刪除以及自動刪除是否包括后臺數據庫內所有照片的刪除等。同時,也需要監管機構定期對妙鴨的照片處理活動進行監管,定期或不定期抽查妙鴨的數據安全義務履行情況。

生成式AI帶來敏感個人信息泄露隱憂

妙鴨相機的火爆,也引發了公眾對于生成式AI應用風險的擔憂。

7月22日,妙鴨相機通過官方微博強調,唯一官方產品渠道是“妙鴨相機”微信小程序。原因是,現在應用商店已出現多個疑似模仿妙鴨相機的APP、小程序。以蘋果商店為例,已出現類似“美鴨相機”“趣顏—妙鴨相機”“懂AI—妙鴨寫真”等多個類似的應用程序。

在妙鴨相機生成照片需要三個步驟:制作數字分身、生成寫真、精修寫真。第一步需上傳20張以上包含人臉的合格照片,還需要支付29.9元(限時優惠為9.9元)費用才能真正開始制作數字分身。

第二步用戶可以使用“生成寫真”功能,選擇喜歡的模版,將自己的數字分身生成各種風格的照片。

第三步是精修寫真。如果對生成結果不滿意,用戶還可以點擊“我想更像我一點”,重新生成。

傅鵬表示,從法律合規規制的角度來說,這一產品外觀上看,不是傳統的簡單磨皮、換背景,因此可能落入生成式人工智能服務的范圍,也屬于《互聯網信息服務深度合成管理規定》所監管的利用深度合成技術提供的服務。

傅鵬進一步指出,目前《生成式人工智能服務管理暫行辦法》(下稱《暫行辦法》)監管的是利用生成式人工智能技術提供服務的活動,而該技術是指具有文本、圖片、音頻、視頻等內容生成能力的模型及相關技術,所以在監管的技術標的的范圍方面較為寬泛。只要是具有生成能力的“模型及相關技術”即可;在生成的結果形式上也明確包含了“圖片”。所以這一規則可以包含妙鴨相機目前的服務形態。

財經E法在7月26日下午體驗時,首先需要通過微信和手機號同時才登陸妙鴨相機的小程序。

在上傳帶有墨鏡的個人照片時,不被識別,系統提醒上傳“有效照片”,并提醒上傳半身照效果最佳,建議多光線多背景、多視角、多表情。

重新提交合格的20張照片后,支付9.9元的制作數字分身費用后,進入等待數字分身制作過程。財經E法體驗發現,前面還有1234人正在制作數字分身,預計需要等待6小時36分。

為什么需要收集這么多照片?背后原理是什么?傅鵬解釋指出,類似的圖片或視頻編輯應用可能都存在類似的問題。這些應用的提供者,為了實現較為良好的生成結果,會傾向于多收集用戶圖片或視頻片段。

朝陽區居民阿珊向財經E法反饋,看到大家在朋友圈發妙鴨相機生成的照片,很想嘗試。但在體驗中發現需要上傳20張照片,這一要求直接將其勸退,“向一個APP里傳這么多我的照片,感覺很不安全”。

安全隱患也是受訪專家普遍提及的問題。

趙精武表示,因為現在微信和手機號均實施的是實名制,加上收集這么多照片(每人20張),已經構成了個人信息,后臺數據庫用戶賬號信息和個人照片匹配,這一組信息構成個人信息。因此,趙精武認為,存在數據泄露、內部員工擅自對外非法出售、超期留存、超范圍使用等安全風險。

傅鵬指出,更為重要的是,為了實現較好的生成結果(而非以往較早以前那種“大頭貼”式的生硬背景替換),服務提供者可能需要提煉圖片中的人臉特征,形成《個人信息保護法》保護的典型的生物識別信息。此類經識別以及提煉形成的生物識別信息,本身具有高度的敏感性,屬于敏感個人信息,一旦發生泄露或者被不當使用,將會給個人信息主體造成更嚴重的影響。這也給收集和處理生物識別信息的處理者(例如此類圖片、視頻生成類應用的服務提供者)提出了更高的合規要求。

傅鵬表示,例如,收集個人的生物識別信息,需要獲得個人的單獨同意,只有在具有特定的目的和充分的必要性,并采取嚴格保護措施的情形下,處理者方可處理生物識別信息,還應當向個人告知處理生物識別信息的必要性以及對個人權益的影響等等。

對外經濟貿易大學數字經濟與法律創新研究中心執行主任張欣表示,妙鴨相機的主要法律風險在于數據安全風險和數據隱私風險。

張欣指出,如果妙鴨收集過多人臉信息,且生成式AI很難徹底刪除用戶數據(即使刪除了用戶數據,如果是使用大模型,有時候模型會記憶訓練數據),未來若遭受泄露和攻擊,就會產生數據安全的風險。

此外,張欣指出,妙鴨還存在數據隱私風險。如果收集用戶的照片僅用于制作數字分身和照片,符合用戶個人信息的同意授權用途,則符合法律法規。但若將收集的用戶照片用于其他目的進行大模型的訓練,則應重新獲得同意。

張欣建議妙鴨應在隱私政策中公開其處理個人信息的目的、方式和范圍;處理的方式應與目的直接相關,且應遵循最小必要原則。例如,如果10張照片就可以滿足生成數字分身,就不應強行要求上傳滿20張。

如何才能合規?

中國對于生成式AI的治理已走在世界前列。為了促進生成式人工智能健康發展和規范應用,國家網信辦等七部門在7月10日聯合出臺了《暫行辦法》,將于8月15日起施行。

屆時,將會對妙鴨的運行有何影響?傅鵬認為,該服務提供者可能需要根據《暫行辦法》滿足一系列的合規要求,履行一系列的備案和評估義務。例如,暫行辦法對于訓練數據的合法來源,生成結果的合法性、非歧視性,不得侵犯他人知識產權、肖像權、名譽權、榮譽權、隱私權和個人信息權益,提升服務的透明度等,都有明確的規定。此類服務提供者應當滿足這些要求。

趙精武指出,產生的影響主要表現為:一是妙鴨在進行算法模型優化時應當采用具有合法來源的數據和基礎模型;二是妙鴨需要按照《互聯網信息服務深度合成管理規定》的要求,對生成內容進行標識;三是妙鴨需要建立健全投訴、舉報機制,及時受理、處理公眾投訴舉報并反饋處理結果;四是妙鴨的用戶協議需要就照片的處理范圍、方式和目的作出更明確的解釋,遵守《個人信息保護法》的基本要求。

張欣向財經E法指出,依據《暫行辦法》,妙鴨也不得收集非必要個人信息,不得非法留存能夠識別使用者身份的輸入信息和使用記錄,“同時我覺最重要的,它應該以便捷可行的方式賦予用戶刪除其個人信息的請求”。

打開財經APP, 查看更多精彩內容
更多相關評論 
打開財經APP, 查看更多精彩內容
熱門推薦
打開財經APP, 查看更多精彩內容