来源：公安部网安局

生成式AI拿来“私人定制”恶趣味？

近日，浙江金华婺城网警成功侦破利用生成式AI技术，生成低俗国漫角色图片、视频并予以传播的非法利用信息网络案，抓获犯罪嫌疑人陈某（33岁）。

“这是我看的国漫吗？怎么变成了这种不雅的样子？”一名国漫爱好者在互联网冲浪时被一账号推送的图片惊得目瞪口呆。点进去一看，这些图片虽然保留了角色的面部特征，但姿势、衣着却极其低俗露骨。该账号公然打着“私人定制”、“众筹更新”的旗号，招揽生意。意识到这种行为严重侮辱了国漫角色，更涉嫌违法，该爱好者第一时间向金华婺城警方报案。

接警后，金华婺城网警迅速展开侦查。研判发现：该账号背后隐藏着一条利用AI生成技术的黑色产业链，嫌疑人通过特定的技术手段，将公众熟知的国漫角色“脱胎换骨”，生成不堪入目的内容并在网络上大肆传播。顺着网络线索层层追踪，专案组很快锁定了居住在异地的犯罪嫌疑人陈某。数名民警赶赴陈某住处实施抓捕。在对其住所进行搜查时，办案民警在其电脑和硬盘中发现了大量用于生成低俗内容的AI模型文件、训练数据以及生成的成品图片和视频。面对这些铁证，陈某试图狡辩。“我就是个技术宅，平时喜欢研究AI绘画，自己练练手而已，怎么就犯罪了？但与网警的技术对决中，陈某面对铁证终于交代了犯罪事实。他原本对AI技术感兴趣，后来发现网络上有人对国漫角色的“另类”内容有需求，便动起了歪脑筋。他通过互联网自学AI生成技术，使用无监督模型作为底模，大量购买、训练LORA模型。此后，陈某以“私人定制、众筹、月更”为噱头，在网络上发布广告，接收客户指定的国漫角色，按照客户要求的背景、穿着、动作、表情，利用AI技术“一键生成”低俗内容，并从中牟取非法利益。

“技术本无罪，但用错了地方就是犯罪。”办案民警指出，犯罪嫌疑人利用AI技术打破虚拟与现实的边界，将深受大众喜爱的国漫角色恶俗化，严重污染了网络环境。

目前，陈某已被依法采取刑事强制措施，案件正进一步侦办中。

网警提示

一、压实平台责任，严把内容关口。各大互联网平台应加强对生成式AI内容的审核力度，升级图像识别与过滤系统，对利用AI技术生成的低俗、色情及侵权内容做到及时发现、快速处置，坚决斩断非法传播链条。

二、坚守技术伦理，规范AI应用。AI技术开发者和使用者应树立正确的技术伦理观，明确技术应用的边界。技术探索不能凌驾于法律和道德之上，切勿将先进技术作为制造低俗信息、博取流量或非法牟利的工具。

三、敬畏法律红线，切勿以身试法。网络不是法外之地，制作、传播低俗、淫秽物品，无论手段是传统拍摄还是AI生成，均涉嫌违法。利用AI技术从事违法犯罪活动，必将受到法律的严惩。

四、提高网络素养，自觉抵制低俗。广大网民在享受AI技术带来便利的同时，应提高辨别能力，自觉抵制和举报网络上的低俗内容。共同维护清朗的网络空间，保护未成年人身心健康。

素材 | 浙江金华网警