“AI内容鉴定”治理恶意AI

    网购时遇到商品问题，随手拍张照片申请售后，本是消费者维权的常规操作。可近期，不少电商商家反映，有买家使用AI伪造出来的“问题图”申请仅退款，不用退货还能白拿商品，这让商家叫苦不迭。

    对此，部分网友推荐使用国家反诈中心App近期上线的“AI内容鉴定”功能，用户可通过上传图片、视频、音频或文本来检测AI生成痕迹，主要用于识别诈骗场景中的伪造内容。

    也有部分网友提出疑问，用AI治理恶意AI能有效果吗？是否能利用“AI内容鉴定”功能进行维权？

    买家以AI伪造枯黄果苗图片

    恶意申请“仅退款”

    河北辛集市的张先生是一名无花果树种植户，上个月他把店开到了某直播电商平台，售卖无花果苗。然而仅卖出12单，他就收到了一份“仅退款”申请，对方的理由是收到的无花果苗已干枯死亡，随申请附上的，是一张叶片全黄、毫无生机的果苗图片。

    张先生满心疑惑，自己明明是带盆发货，两天时间果苗怎么会完全枯死？“直播选的苗，他选了一棵特别健壮的。我是带盆发货的，发货之前也会保证土壤湿润。发货到客户收到就两天时间，苗不可能干到颜色枯黄。缺水枯黄至少要5天到7天。”

    凭借多年种植经验，张先生找出了图片中的破绽。张先生断定，这就是AI造假。他随即驳回了申请，并联系买家退货退款，但买家直接申请了平台介入。尽管张先生据理力争，平台还是依据顾客发来的这张图片，几分钟内就批准了“仅退款”申请。最终，这笔45元的订单让张先生直接启动退店流程，不再在该平台卖苗。

    记者调查发现，张先生的遭遇并非个例。在社交平台上，不少商家现身说法，讲述自己见过的AI伪造售后图片。五只衣架在同一位置整齐断裂、塑料手机壳断裂边缘出现毛刺、手串破碎后呈空心壳状……记者梳理多位商家晒出的疑似AI造假图发现，这些图片虽然乍看逼真，但细看却漏洞百出，存在逻辑硬伤。

    国家反诈中心App新功能

    记者体验AI鉴真效果

    在AI生成图像泛滥的当下，如何精准鉴别真伪已成为绕不开的现实问题。

    近期，国家反诈中心App正式上线“AI内容鉴定”功能，引发网友关注。该功能支持图像、视频等内容的AI识别检测，与此同时，各互联网平台也在积极布局“AI鉴真工具”。

    记者在网络上随机选取了十张商家宣称的疑似AI生成“售后图”，上传国家反诈中心App及多个AI鉴真工具，结果无一例外，均被系统判定为“图像含AI生成痕迹”。与之相对比，记者上传一张自己随手拍摄的照片，系统则提示“未检测到合成痕迹”。 

    某网络平台安全内容视觉算法负责人兰钧介绍，检测方法由两部分组成，一部分是小模型来学习AIGC模型生成内容的模式，基于大量的内容学习和训练，然后进行判断。另外会用大模型来关注内容本身，看它内容上有没有物理上的瑕疵，比如文字有没有乱码；此外也会看它逻辑语义上是否会出现不符合逻辑的问题。最终小模型和大模型结合，一起来进行判断。

    北京邮电大学互联网治理与法律研究中心主任谢永江表示，现在从技术上已经有相应的AI内容鉴定工具了，平台有义务引进这种技术手段来维护平台上的交易秩序，维护商家和消费者的合法权益。

    “去伪”还需“存真”

    核心在于“以AI治AI”

    “首先，要从元数据入手。”成都潜在人工智能科技有限公司的业务之一是审核并筛查AI内容，负责人廖磊说，由真实相机拍摄的照片，会包含拍摄设备、参数、时间等信息，同时，各类图形处理、影像剪辑平台在制作内容时，也会留存一些标识信息。“通过AI识图等工具，对比这些信息，可以初步筛选出可疑图像。”

    当然，仅仅依靠元数据远远不够，还需要通过物理世界、像素断层等细节来判断。

    多位受访者提到，想要更好识别AI虚假信息，通过技术“去伪”还存在一定局限性，要避免合成信息与真实信息混淆，除依靠企业技术研发外，还需多措并举做好“存真”工作。

    其中，“内容标识”是一个常见做法。四川省人工智能行业协会秘书长陈章注意到，去年9月，国家网信办等四部门联合发布的《人工智能生成合成内容标识办法》正式实施，要求所有AI生成的文字、图片、视频等内容都要“亮明身份”。“对每一条信息都进行技术鉴定，会带来极高的社会成本，通过强制‘标识’，从源头确保信息的真实性，有利于减少因AI生成内容引发的侵权、诈骗等问题。”

    业内人士表示，应对AI造假，核心在于“以AI治AI”。目前较为成熟的鉴真工具几乎能不误伤真实内容，又能较为精准识别AI造假内容。

    AI伪造图片骗取退款的行为，本质是民事欺诈，若不及时遏制，将威胁电子商务的正常秩序与健康发展。AI鉴真工具能大幅降低商家的辨别成本，既能震慑不法分子，也能作为商家与平台交涉、维护自身权益的有力证据。

    据央视新闻报道