韩娱公司，正在反击AI作恶。
上周，韩国知名娱乐企业HYBE对外公布，他们将与京畿北道警方（NGPPA）携手合作，致力于共同打击那些针对HYBE旗下艺人所制作的深度伪造（Deepfake）视频内容。
HYBE与NGPPA达成协议，具体合作事宜得以明确，涉及加速案件调查、在韩国建立举报电话，便于民众举报犯罪行为。此外，HYBE还宣布将强化对深度伪造内容的监管与处理，特别是针对色情内容，将设立专门的应对机制，迅速采取应对措施。
去年九月，韩国的娱乐巨头JYP、YG以及Cube公司纷纷对那些利用旗下K-pop明星肖像制作出的深度伪造视觉内容发起挑战。YG公司强调，诸如(G)I-dle、NewJeans、Twice、Kwon Eun-bi以及BlackPink等众多知名的女子K-pop团体，仅仅是遭受此类深度伪造内容侵害的众多受害者中的一小部分。
近期，深度伪造内容的广泛传播引起了全球范围内的广泛关注，特别是在娱乐领域，这种恶意攻击尤为突出。那么，为何深度伪造技术如此青睐K-Pop领域？其背后又隐藏着何种不良趣味？
困在AI色情视频里的女明星
深度伪造技术，亦称DeepFake，是一种基于深度学习的人工智能手段，特别是利用了生成对抗网络（GAN）这一技术。该网络由生成器和判别器两部分构成，两者在持续的对抗与较量中，生成器逐步提升其生成逼真虚假内容的能力，直至达到以假乱真的地步。
通过深度伪造技术，我们可以将一个人的面部特征、语音以及行为举止复制到其他视频或图像中，使其仿佛是真实发生的场景。这包括让某人在视频中“表达”他实际上未曾说出的言语，或是“展现”他未曾执行过的动作。
在韩国的娱乐圈中，众多女明星的形象遭到不法分子的恶意利用，被制作成恶搞、色情等有害内容，这种行为严重侵犯了艺人的隐私权和名誉。
报告进一步表明，在娱乐行业中，高达94%的深度伪造色情内容产生，其中歌手和演员分别占据了58%和33%的份额。在这些深度伪造的色情内容里，99%的受害者为女性，而男性受害者仅占1%。
在这10个涉及深度伪造的非法网站上，以及85个视频分享平台上，大约有9.6万段视频内容中，有53%的比例属于韩国的歌手和演员。
在Reddit这个海外社交平台上，有用户发现，输入“K-Pop”相关词汇进行搜索，推荐的热门讨论区几乎全是涉及成人内容，其中的评论内容令人感到极度不适。
目前，深度伪造的色情内容已广泛传播至众多网络社交平台。特别是，曾导致韩国发生严重集体犯罪的阅后即焚应用Telegram成为了重灾区，甚至有人将其称作“新的N号房事件”。
去年八月，韩国女性民友会公布了一份调查报告，揭露了社交平台Telegram上的某些聊天群组存在严重问题。在这些群组中，只需提供熟人的照片，支付一定费用后，短短五秒内就能制作出不雅的合成图像。更令人震惊的是，这些聊天群的参与人数竟高达22.7万。
令人作呕的是，部分深度伪造的网站竟然罗列了来自几乎所有K-Pop时代的200多位女性偶像，其中包括多个第五代K-Pop团队的成员。
去年，YG娱乐公司旗下的女子组合BABYMONSTER的粉丝在社交网络平台上积极发声，倡导粉丝们暂时搁置彼此间的纷争，齐心协力守护女艺人的权益。他们指出，无论粉丝支持的是哪个团体，此刻都应携手并进，坚决抵制那些制造和传播深度伪造色情内容的恶劣行为，因为今天的受害者是她们，而明天或许就会轮到其他人。尤其是，在BABYMONSTER的七位成员中，竟然有四人尚未成年，这一现象充分凸显了问题的严重性。
今年一月份，韩国知名娱乐企业Starship由于内部人员出现了严重的疏忽，其官方微博账号不慎发布了旗下K-Pop女子组合IVE成员张元英和安宥真的虚假信息。
尽管经纪公司、粉丝群体、网友均对深度伪造内容表示强烈谴责，并一致呼吁相关部门立即启动法律手段以保护受害者的权益，并对相关责任人进行追责，然而，深度伪造内容对女艺人造成的伤害却难以得到彻底遏制。这不仅暴露了技术滥用的严重后果，更是长期以来数字领域中性别暴力和隐私侵犯问题的集中体现。
在舆论压力的推动下，韩国政府以及相关部门已经加速了立法的脚步，旨在通过更加严苛的法律手段，对制作与传播深度伪造的色情内容进行严厉打击。
深度伪造为何盯上K-Pop女明星？
可以说，技术门槛的低设、艺人曝光度的提升、社会对女性偶像的过度物质化倾向，以及法律体系的滞后性，这些因素相互交织，共同促成了韩娱生态中所谓的“数字性侵”现象。
据相关报道，韩国境内深度伪造色情案件的发案数量在2022年达到3725起后，2023年急剧上升至21019起。
即便依据《关于处罚性犯罪的特殊案件法》的规定，任何参与编辑、合成或处理深度伪造色情内容的个人，都将面临最长五年的监禁或高达5000万韩元的罚款。而那些以盈利为目的传播此类内容的发布者，其刑罚可能更为严厉，最高可被判处长达七年的监禁。
尽管2020年至2023年间，韩国针对深度伪造犯罪共做出了71项判决，但其中仅有4起案件是因为深度伪造犯罪本身而被判入狱。至于下载或观赏深度伪造色情内容，目前尚无相关法律进行规制。
现行法律仅对深度伪造色情内容的制作与传播者实施处罚，然而，观看或持有此类内容的人并未受到法律的制约。这一法律上的疏漏导致“观众”得以无所顾忌地浏览相关材料，从而进一步刺激了非法市场的需求，同时也使得受害者难以获得有效的法律援助。
Home Security Heroes的数据显示，在深度伪造色情内容攻击的十大数据统计中，多数受影响的对象为韩国艺人。其中，有位艺人的相关视频数量竟高达1595个，另一位韩国艺人的深度伪造视频观看次数更是突破了561万大关。
2017年，Reddit上出现了一位名为DeepFake的用户，他制作了一系列女性色情电影。随着时间的推移，这个词汇的含义逐渐拓宽，不仅涵盖了其制作的换脸视频，还泛指所有通过AI技术生成的合成内容。紧接着，开源工具DeepFaceLab和Faceswap等相继问世，使得用户能够更加便捷地制作深度伪造内容。
目前，深度伪造技术已不再是一道难以逾越的技术难题，它几乎让每个人都能轻易且高效地制作出极具欺骗性的虚假信息。在操作复杂度方面，一台手机就能胜任AI换脸内容的制作，用户只需提供所需素材并进行基础调整，技术便会自动完成大部分任务。
K-Pop产业在全球范围内得到了广泛的传播，特别是韩国女歌手们通过社交媒体与粉丝建立了紧密的联系。这种紧密的互动为她们赢得了极高的关注度。这种高度的知名度让她们的形象成为了深度伪造内容的绝佳选择。
去年三月，K-Pop女团ITZY的成员黄礼志在一场粉丝互动直播中，意外地目睹了自己的一段深度伪造的舞蹈视频。彼时，她的神色显得有些复杂，既有喜悦也有疑惑，最终只能尴尬地模仿起视频中的舞姿。尽管该视频看似并无恶意，但事后，众多观众纷纷表示，观看此视频让人感到极度不适。
如今，偶像的一举一动、一颦一笑都有可能被恶意利用。任何人只要借助技术手段，便能利用公开的艺人影像和资料，制作出极其逼真的虚假视频。这些虚假视频不仅可能被上传至公共平台，还可能泄露至私密空间，给偶像带来难以预料的麻烦和伤害。
另一方面，韩国社会对于女性偶像的过分关注和商品化倾向，使得这种侵犯行为变得更加普遍。
在传统的性别文化背景下，女性常被定位为视觉消费的对象，特别是年轻女歌手，她们的外貌和体态常被过度放大、细致审视和广泛评价，导致这些女明星成为深度伪造内容的热门靶子。对她们实施深度伪造不仅能够迅速吸引公众注意，其社会影响力还使得相关内容拥有了更高的传播价值。
然而，绝大多数浏览深度伪造色情内容的男性，并未将此视为道德上的问题。
以Home Security Heroes的调查数据为证，1522名美国男性受访者中，有74%的人对于深度伪造的色情内容并不感到罪恶，他们中有人认为“这并非真人”（占比36%），有人觉得“这只是我的个人爱好，不会对他人造成伤害”（占比30%），还有人将其视为“一种更为逼真的性幻想”（占比29%），甚至有人认为“深度伪造的色情与普通色情并无太大差异”（占比28%）。
其内在原因，可能是受到名人的魅力所吸引，也可能是追求一种“幻想的满足”，他们渴望得到更加个性化和专属的成人娱乐体验，然而却忽略了基本的道德底线，持有轻视女性尊严的态度，导致深度伪造的色情内容在道德和法律监管的盲区中横行无阻，进而加剧了对女性艺人的伤害和商品化。
经纪公司需考虑的一点是，影像的残留和舆论的印记在互联网上难以消除，有时甚至可能引发二次网络暴力。通常情况下，他们无法透露深度伪造色情案件的具体情况，这也使得外界难以全面认识案件的严重程度以及受害者所面临的困境。
由此观之，K-pop女艺人沦为深度伪造内容的易受攻击群体，这一现象背后不仅因为深度伪造技术的隐蔽性和操作的低门槛，同时也映射出部分男性对女性的不尊重态度。
K-pop产业在全球范围内享有极高的知名度，且对偶像形象进行了极致的打造，这使得女艺人不仅成为了商业的象征，更是公众欲望的投射对象。此外，面对这一新兴问题，法律体系反应迟缓，导致女性艺人沦为网络上的玩偶，她们随时可能遭受任何人的任意操控、贬低，甚至被毫无顾忌地消耗。
当技术成为“赛博照妖镜”
一个更为令人震惊的真相是，不仅局限于韩国，据去年3月英国《卫报》的报道，在欧洲排名前五的访问量最高的深度伪造内容网站中，将近4000名明星的肖像被AI技术篡改为色情影片中的主角。这五个网站在三个月内的总浏览量已高达一亿次。受害者群体涵盖了女演员、电视明星、音乐人以及YouTube上的网红。
去年初，Taylor Swift的深度伪造色情图片在X（原推特）平台上广泛流传，浏览量累计超过4700万次。据相关数据统计，当时全网已有超过9500个网站专注于制作非自愿的亲密图像。最终，X平台曾一度封锁了与斯威夫特相关的搜索结果，旨在遏制这些虚假信息的传播。
在国内，已经出现了与深度伪造技术相关的案件，而这些案件的受害者并不局限于女明星，甚至包括了我们这样的普通民众。
2020年，虞某一边利用传播淫秽的换脸视频来吸引粉丝，一边通过售卖“AI换脸”软件及提供所谓的个性化“AI换脸”服务，短短半年内便非法获利数万元。到了2023年11月，杭州市萧山区人民法院依法对虞某作出判决，认定其犯有制作、传播淫秽物品以谋取非法利益之罪，判处其有期徒刑七年三个月，并处以罚金六万元。这标志着我国首次就“AI换脸”技术侵犯公民个人隐私信息所引发的公益诉讼案件进行了审理并作出判决。
在国内处理此类案件时，对违规者进行相应的封号和处罚，然而，利益和欲望往往优先于规则，法律的进步似乎跟不上技术的飞速发展。面对技术滥用的新挑战，采用“以技术制技术”的策略正在逐渐成为关键应对手段。
荣耀Magic7系列于去年问世，它引入了手机行业内的首次端侧AI反诈检测技术，该技术能够在手机端检测内容是否面临AI换脸的风险。此外，这项技术还在2024年的中国网络安全创新创业大赛中荣获了最具投资价值奖。
当然，平台所承担的职责并不仅仅在于事后补救，若是仅此而已，即便规则再怎么周密，也不过是滞后于人性弱点的无足轻重的文字，既无法阻止那些追逐利益的非法产业，也无法维护受害者的尊严。
在社交网络空间，不法分子依旧在非法网站发布了众多女艺人被深度伪造的视频内容；而某些交易平台的商家仅是变换了形象，便在监管的缝隙中自如地操作。
我国近期对这一议题的关注度有所提升，尽管相关立法已初见端倪，然而，现行的规章制度尚缺乏具体可执行的条款以及明确的处罚规定。今年3月，在全国两会上，全国人大代表、TCL的创始人兼董事长李东生也提出了关于强化AI深度伪造欺诈管理的具体建议。
在近年来的报道中，类似“技术本身并无对错之分，却有其界限”的观点，频繁出现在涉及技术滥用的文章里。然而，技术并不能填补道德的缺失，每一幕暴力行为都是施暴者有意为之，而非算法擅自作出决策。
技术成了某些人的“网络魔镜”，这时我们或许需要的，不仅仅是更加锐利的监管工具，还应该是一场全民的精神觉醒运动。在数字世界里所展现出的无耻，实际上揭示了现实世界中人格的严重败坏。
