视频 | AI聊天App涉黄案二审：技术不背锅 违法必追责

备受关注的国内“AI服务涉黄第一案”1月14日在上海市第一中级人民法院开庭二审。开发运营涉黄AI聊天应用的两名开发者，此前已被一审法院以制作淫秽物品牟利罪判处刑罚。

据悉，涉案应用“Alien Chat”由梁某和王某开发运营，于2023年6月上线，定位为AI伴侣聊天软件。一审判决书显示，该应用注册用户达11.6万余人，其中付费用户2.4万余人，累计生成聊天内容400万余段。经随机抽样鉴定，在150名付费用户中，有141人聊天内容涉黄；在抽取的1.2万余段聊天记录中，超3600段被认定为淫秽内容。

该应用提供两档付费服务，尊享会员收费138元/月，高级会员收费68元/月，累计收费达363万余元。一审法院认定，该应用产生了“大量具体描绘性行为或露骨宣扬色情的内容”，属于淫秽物品。无论从淫秽物品数量、会员人数，还是从违法所得数额来看，均远超相关司法解释所规定的入罪标准，具有刑事可罚性。

最终，一审法院以制作淫秽物品牟利罪，判处梁某有期徒刑四年，并处罚金400万元；判处王某有期徒刑一年六个月，并处罚金20万元。一审宣判后，二人已提起上诉。

目前，涉案应用已在各大应用商店下架。

此案首次在法律层面明确，提供技术工具的“服务提供者”可被认定为主要责任主体。其核心争议在于：用户与AI之间一对一、看似封闭的“涉黄”对话，为何会导致技术服务提供者承担刑事责任？

被告辩护律师主张无罪，理由主要有两点：一是主观无故意，修改系统提示词旨在优化AI拟人化与情感陪伴能力，并非为传播淫秽物品；二是内容无传播性，聊天发生在用户与AI之间，具有封闭性。

然而，一审判决揭示了不同的法律逻辑。法院虽认同其行为不构成“传播淫秽物品牟利罪”，但认定构成“制作淫秽物品牟利罪”。法院的核心认定在于：被告的行为是涉黄内容产生的决定性源头。二人通过编写、修改底层提示词，人为突破了基础人工智能模型的道德约束机制，将涉案应用“训练”成可持续输出淫秽内容的工具，并在明确知晓生成大量淫秽内容后，仍继续提供服务并牟利。

对此，律师游云庭分析认为，本案作为人工智能领域开发者责任的首例刑事案件，首要意义在于明确了开发者的法律责任边界。根据现行监管法规，人工智能开发者本应履行多项合规义务。而本案中的开发者不仅未遵守相关规定，反而通过技术手段主动突破了大模型的原有道德限制，在明知用户与AI进行露骨聊天的情况下，仍持续运营并牟利。因此，法院判决实质上认定的是其作为开发者的责任失守。

对于“开发者是否冤枉”的舆论疑问，游云庭明确指出，这种追责并不冤枉。他认为，监管设定合规义务的目的，正是为了防止有人利用AI服务从事违法活动、对社会造成损害。本案开发者不仅未履行这些义务，还主动通过技术设置突破模型的安全边界，放任用户进行色情聊天，并以此获利巨大。这种主观上以营利为目的，客观上放任大规模不良内容生成的行为，若不受制裁，可能导致其他合规开发者效仿，进而破坏产业生态环境，后果严重。因此，此次开发者被追究刑事责任具有合理性与必要性。

当前，不当的AI生成内容已引发全球性关注。近期，美国企业家马斯克旗下人工智能公司xAI开发的聊天机器人“格罗克”，也因图像生成功能被滥用制作“深度伪造”色情内容，面临多国监管调查与谴责。欧盟委员会数字事务负责人托马斯·雷尼尔批评其所谓“热辣模式”实质是违法行为，令人震惊且不可接受。英国、印度尼西亚、马来西亚等地也已相继采取警告、限制或封禁措施。在监管压力下，该图像生成功能已被调整为仅对付费用户开放。

国内“AI服务涉黄第一案”为AI应用开发划清了法律红线。依据国家《生成式人工智能服务管理暂行办法》等规定，提供和使用生成式人工智能服务，不得生成暴力、淫秽色情等法律、行政法规禁止的内容。使用者不得刻意绕开内容过滤机制，诱导AI生成违法内容。若AI生成内容被认定为淫秽物品，相关人员可能触犯制作、贩卖淫秽物品牟利罪等。

同时，技术提供者的算法设计需符合法律法规与公序良俗，不能为违法违规提供技术支持。需对训练数据审查，确保数据合规，同时对生成内容进行全流程审核，履行算法备案、安全评估等义务。

此外，针对日益增长的AI情感陪伴需求，国家网信办已于去年底就《人工智能拟人化互动服务管理暂行办法（征求意见稿）》公开征求意见，预示着此类应用的监管将愈发细化。

那么，AI使用的边界究竟在哪里？游云庭进一步指出，当前人工智能领域争议频发，此类案件的监管难点之一在于“技术中立性”的辨别——技术本身并无善恶，关键在于其用途。边界在于：AI应凭借功能与价值吸引用户，而非通过突破道德底线来博取关注。例如，若应用定位是满足情感陪伴，就应致力于温馨、健康的交流，而非嵌入色情内容来迎合用户低层次欲望。真正的创新必须在合规基础上展开，产业才能健康可持续发展。

目前，国内外AI服务市场竞争激烈。市场份额领先的产品，往往依靠功能、性能与用户体验取胜；而一些技术能力不足的企业，则可能试图通过突破底线来吸引流量。这种行为短期内或带来关注，但社会危害巨大。从商业角度看，违规也是短视的：无论是已被关停、开发者获刑的“Alien Chat”，还是面临全球监管与封禁压力的“格罗克”，都表明违规不仅带来道德风险，更伴随切实的法律与商业风险。