正在阅读:

一键“变脸”背后暗藏诸多风险 AI换脸技术滥用乱象调查

扫一扫下载界面新闻APP

一键“变脸”背后暗藏诸多风险 AI换脸技术滥用乱象调查

公开信息显示,尚诚消金的贷款业务按照渠道划分可分为股东方携程场景业务、互联网业务和线下业务。

文|消金界

  “你是温峥嵘,那我是谁?”

  演员温峥嵘本人浏览短视频时,意外发现“自己”正在直播。她在评论区提出质疑后,被拉黑并踢出直播间。而对方仍在用“她的脸”直播带货。

  温峥嵘近期遭遇的“冒牌直播”事件,是AI换脸技术滥用的典型写照。多个直播间出现冒用温峥嵘形象的AI换脸带货行为。其团队日均举报50个假冒账号并发出律师函,可造假账号仍屡禁不止,令她陷入“很难证明我是我”的困境。

  这一现象并非孤例。《法治日报》记者近日调查发现,AI换脸与声音克隆技术已形成一条涵盖教程传播与定制服务的完整灰色产业链,对个人权益、平台监管等均构成严重威胁。

  换脸技术被用于违法犯罪

  11月5日,温峥嵘在短视频账号进行3次以“我是真的温峥嵘”为主题的直播,讲述近期被AI伪造、换脸直播带货的经历。

  此前,已有多位名人深受AI换脸困扰。主持人李梓萌的AI伪造形象出现在直播间,虚假宣传深海鱼油“能治病”;奥运冠军全红婵的声音被AI克隆,用于售卖土鸡蛋;医生张文宏被换脸,其形象被用于在直播间售卖某款蛋白棒产品,销量已过千。张文宏自述:“这些假的合成信息就像蝗灾一样,一次又一次发生……”

  11月14日,中央网信办官方账号发文表示,有网络账号利用AI技术仿冒公众人物形象,在直播、短视频等环节发布营销信息,误导网民,涉嫌虚假宣传和网络侵权,严重破坏网络生态,造成不良影响。网信部门严厉处置一批违法违规网络账号。同时,督促网站平台发布治理公告,举一反三,开展集中清理整治,目前已累计清理相关违规信息8700余条,处置仿冒公众人物账号1.1万余个。

  AI换脸技术的滥用甚至延伸至刑事犯罪领域。2024年10月,江苏省南京市玄武区人民法院审理的一起案件中,被告人符某非法获取195万条公民个人信息,利用AI换脸软件生成动态人脸视频,成功突破某金融支付平台的人脸识别认证系统,登录被害人的支付账户,盗刷银行卡进行消费。法院以侵犯公民个人信息罪、信用卡诈骗罪数罪并罚,判处符某有期徒刑4年6个月。

  2024年,内蒙古鄂尔多斯一名消费者遭遇AI换脸诈骗,险些损失40余万元。视频通话中,不法分子利用AI换脸技术冒充该消费者朋友,以资金周转为由,诱骗其转账40余万元。好在警方介入及时,未造成实际损失。

  相关教程和服务遍布网络

  记者调查发现,AI换脸与声音克隆的教程及服务在网络平台流通。记者在各类社交平台以“AI换脸”“声音克隆”等为关键词搜索时,虽然平台会弹出官方提示,提醒用户使用需“合法合规、注意辨别”“切勿轻信、谨防诈骗”,但相关内容仍在网络空间大量存在。

  比如,有相当数量以“AI科普”为标签的账号在各平台公开分享换脸教程。这些视频通常详细列出可访问的网站地址,逐步演示操作流程,并附有技术细节说明,如建议用户“尽量保证替换素材与原素材的人物尺寸一致、画面干净无遮挡”,以保证生成效果。

  根据教程指引,记者登录相关网站验证发现,部分平台确实免费提供AI换脸或声音制作服务,支付几十元购买会员后,还能解锁去水印、高清放大等进阶功能。

  除公开教程外,更为隐蔽的交易正通过网盘渠道进行。

  记者观察到,有一些打包出售的“完整教程”价格低至8元,且卖家声称“没有市面主流软件那么多限制”。这类教程通常包括云端工作流地址资料和详细的操作说明,以及图片去AI化、舞蹈动作模仿、人脸精修等扩展功能与相关的提示词教学。

  声音克隆类的教程售价低至9.9元,并在宣传中强调“支持任何形象和声音”。记者询问商家了解到,只要购买此安装包,无需注册会员即可免费破解使用对口型、克隆音色等功能。据商家描述,只需提供一段音频文件,系统便可以在无身份认证的情况下进行克隆,单次支持30秒音频,且不限次数。

  为验证此类教程的实际应用效果,记者购买了一份标价8元的换脸教程。该教程包含一段5分钟的视频教程和两份文字材料,明确提供了平台访问链接、新用户福利信息和操作步骤,并特别注明“对敏感词限制极少”“生成内容无水印”。

  记者发现,该平台提供多种功能模板,内容涵盖替换视频人物、给人物指定部位更换衣物、对图片中人物身体部位进行放大或动态处理等不同功能。每个模板均配备相应的提示词教学和详细操作步骤,用户只需上传参考图片、视频或待处理素材,等待一段时间即可生成内容。

  记者实测使用一段时长5秒的视频进行换装操作,约3分钟后成功生成视频。画面中,人物动作与神态还原度很高,被遮挡部位的服装贴合效果也较为自然、精准。

  记者注意到,该平台内容生成功能采用运行时长计费模式,每秒收费0.2虚拟币。教程中附有专属邀请码,使用者可凭此免费领取1000虚拟币。平台还设置了虚拟币奖励机制:每天登录赠送100虚拟币,邀请新用户可获500虚拟币。

  更换表述可绕过审核机制

  电商平台上,有商家为AI换脸服务披上伪装售卖。

  在某购物平台,记者直接搜索“AI换脸”,显示无任何结果。但记者观察到,有部分商家会在商品详情页用表情符号隐喻其能提供换脸“服务”;也有商家以“啥都能做”“不限视频内容,懂的都懂”为宣传语,暗示私聊客服了解商品详情。

  记者了解到,10秒换脸视频报价从15元至300元不等。例如,有商家提出,20秒内视频(包括仅生成音频的)统一收费80元;部分商家还推出298元200分钟生成时长、490元年卡等套餐,承诺“一对一教学指导”,宣传语中不乏“让朋友客户难辨真伪”等诱导性表述。多数商家仅核查素材内容,对用途与来源未作甄别。

  为深入了解AI工具自身的内容审核机制,记者对用户使用较多的10款文生图、文生视频AI工具进行实测,以对明星“一键变脸”等指令测试其技术边界与审核能力。

  结果显示,仅一款AI工具明确拒绝生成真实公众人物虚拟图像。部分应用在简单操作后,即可生成高度逼真的明星虚假内容。

  例如,“即×”起初会以“涉及肖像权”为由拒绝明星换脸、变装指令,但记者选择替代选项后仍可生成;“豆×”“文×”等直接执行指令且无显著风险提示;“通×”“天×”等仅在生成内容角落位置标注不清晰的“AI生成”字样。

  值得注意的是,部分AI工具在首次接收到涉及真实人物的指令时会予以拒绝,但通过选择平台的替代选项或更换表述,用户仍可绕过初始限制,实现图片或视频生成。

  有平台方公开回应称,AI内容侵权识别属于行业性技术难题,恶意仿冒账号在持续与平台进行技术对抗,未来会持续加大技术投入,积极应对挑战,维护创作者、商家及消费者的合法权益。

  本报记者 赵 丽

  本报实习生 王艺霏

  来源: 法治日报法治经纬

 
本文为转载内容,授权事宜请联系原著作权人。

携程集团

4.1k
  • 中国最北高铁哈伊高铁全线铺轨贯通
  • 全球最大、国内首条……上周末 我国多领域迎来新突破!
  • 北京海淀中小学生科技节举办 助力创新人才培育
  • 我国启动聚变领域国际科学计划
  • 说“闻”解字·既重视“中国经济”也重视“中国人经济”,读懂这一字之变

评论

暂无评论哦,快来评价一下吧!

下载界面新闻

微信公众号

微博

尚诚消金披露渠道名单,合作互联网流量平台

公开信息显示,尚诚消金的贷款业务按照渠道划分可分为股东方携程场景业务、互联网业务和线下业务。

文|消金界

近日,尚诚消金在官网披露了《产品合作机构信息公示》,对最新合作平台进行公示。

统计发现,除了股东方携程场景,尚诚消金主要合作了包括蚂蚁、字节等在内的11家头部互联网平台,同时需要注意的是,尚诚在与微众银行探索联合贷款合作。

公开信息显示,尚诚消金的贷款业务按照渠道划分可分为股东方携程场景业务、互联网业务和线下业务。

其中,股东携程的场景是公司发展最大的优势,该业务一度占比达30%,如今受单一合作场景集中度限制,该业务占比逐渐降低为20%。

同时,近年来,尚诚消金建立了多元化贷款拓展渠道。不过尚诚消金线下业务占比较低,且投放呈下降趋势,截至2024年末,其线下业务贷款余额占贷款总额比重仅为0.76%。

01、股东方携程场景:占比20.60%

尚诚消金成立于2017年8月,截至2024年末,其注册资本金为16.24亿元,股东为上海银行、携程旅游、德远益信投资和无锡长盈科技,四家股东持股比例分别为42.74%、42.18%、7.70%和7.39%。

作为二股东,携程旅游一直给了尚诚消金不少场景支持。携程金融负责数据经营和分发,尚诚消金提供消费信贷和资产经营,二者已经形成了稳定的合作关系。

截至2022-2024年,尚诚消金通过携程场景分别发放贷款148.42亿元、292.59亿元、268.35亿元,实现贷款余额37.97亿元、58.55亿元、47.99亿元,携程旅游客户渠道贷款余额占贷款总额比重为29.11%、29.10%、20.60%。

据公开信息,尚诚消金2024年与携程的关联交易规模共计1.96亿元,包括向股东携程旅游关联公司北京互金新融科技有限公司支付客户资源导流费用1.93亿元,向西安趣携金融服务有限公司支付催收服务费用0.02亿元。

不过,受单一合作场景集中度限制,携程场景占比正在逐渐降低,与此同时,尚诚消金正在加大与股东方以外各平台互联网渠道的合作。

02、合作互联网流量平台

与此同时,出于丰富客户渠道来源、提升自身多元化服务能力以及降低渠道集中度较高带来的相关风险等方面的考量,尚诚消金着力优化贷款业务结构,业务结构逐渐向非股东互联网渠道倾斜。

截至2024年末,尚诚消金通过非股东方渠道获取的其他线上业务贷款余额占贷款总额比例为78.64%。

在具体模式上,合作平台方将有贷款意向客户按照合同约定筛查要求,推送至尚诚消金,尚诚消金再按照自身风险偏好进行客户选择,为符合自身风控要求的客户提供个人消费贷款服务。

03、联合贷合作平台:微众银行

此外,尚诚消金还与微众银行共同出资,开展联合贷款合作。截至2024年末,尚诚消金联合贷款余额为5.44亿元,占贷款总额比重为2.33%。

在该合作中,根据双方各自风险偏好,按照独立风控原则对客户进行风控审核,对通过双方风控审核的客户进行联合放款,并根据合作协议书面约定的双方权责义务,共同为客户提供相应的后续服务。出资比例方面,尚诚消金与微众银行联合贷款出资比例以7:3为主,联合贷款未采用增信担保措施。

随着各家金融机构陆续公示合作机构名单,可以看出,24%资产占比、助贷平台规模以及客诉率,是金融机构最为看重的因素。

一面与传统头部流量平台的良好合作关系,稳定获客量及获客质量,另一方面,加大对新兴流量平台资源的挖掘力度,丰富自身服务对使用场景和客户群体的覆盖,这是各家金融机构的主要合作策略。

与此同时,随着助贷新规9号文的落地,金融机构也在加大对合作渠道的筛选力度。以尚诚消金为例,尽管其整体定价向中低定价区间移动,但公司表示,其投放贷款利率均在24%以下,未突破监管对于消费贷款最高利率定价水平。

24%资产占比、助贷平台规模、客诉率,目前来看,这是各家金融机构在选择合作平台时最为看重的因素。

 
本文为转载内容,授权事宜请联系原著作权人。