抖音:已掌握部分黑产团伙不当使用 AI 生成虚拟人物用于犯罪的线索,将报警打击

去年,抖音发布《关于人工智能生成内容的平台规范暨行业倡议》,明确平台不鼓励利用 AI 生成虚拟人物进行低质创作,将严格处罚违规使用 AI 生成虚拟人物发布违背科学常识、弄虚作假、造谣传谣的内容。抖音安全中心今日发布公告,近期平台发现,站内仍有不当使用 AI 技术生成虚拟人物发布内容的账号,平台进行了严厉处置。其中典型行为包括:1、生成境外虚假人设,消费爱国心理、博取关注。用虚假外国人的形象,以想嫁给中国、想到中国生活、评价社会事件等言论博取眼球。2、生成俊男美女虚假形象,骗取互动,交友导流。直接称用户为“你”“娘”

去年,抖音发布《关于人工智能生成内容的平台规范暨行业倡议》,明确平台不鼓励利用 AI 生成虚拟人物进行低质创作,将严格处罚违规使用 AI 生成虚拟人物发布违背科学常识、弄虚作假、造谣传谣的内容。

抖音安全中心今日发布公告,近期平台发现,站内仍有不当使用 AI 技术生成虚拟人物发布内容的账号,平台进行了严厉处置。

其中典型行为包括:

1、生成境外虚假人设,消费爱国心理、博取关注。用虚假外国人的形象,以想嫁给中国、想到中国生活、评价社会事件等言论博取眼球。

2、生成俊男美女虚假形象,骗取互动,交友导流。直接称用户为“你”“娘”“妈妈”“老公”等,发布情感诱导、唱情歌、为你谋福利等表达虚假情感的内容,将用户导流至私人聊天工具,甚至进行诈骗。

3、生成精英人士虚假人设,发布心灵鸡汤、财商、伪国学、厚黑学、伪成功学等不良内容,低质吸粉,甚至引流到站外以卖课、入群等方式获利。

针对违规使用 AI 生成虚拟人物的行为,平台会对违规视频下架,对违规账号进行取消其投稿和营利权限、抹除账号粉丝、封禁账号等处置,并利用模型、技术识别能力等手段,进行长期系统的识别发现和处置。同时,平台已掌握部分黑产团伙不当使用 AI 生成虚拟人物用于犯罪的线索,将报警打击。

抖音官方表示,人工智能技术的快速发展,丰富了互联网内容生态,但也带来技术滥用的挑战。平台重申,创作者、主播、用户、商家、广告主等平台生态参与者,在抖音应用生成式人工智能技术时,须遵循相关规范。IT之家整理如下:

1、发布者应对人工智能生成内容进行显著标识,帮助其他用户区分虚拟与现实,特别是易混淆场景。

2、发布者需对人工智能生成内容产生的相应后果负责,无论内容是如何生成的。

3、虚拟人需在平台进行注册,虚拟人技术使用者需实名认证。

4、禁止利用生成式人工智能技术创作、发布侵权内容,包括但不限于肖像权、知识产权等。一经发现,平台将严格处罚。

5、禁止利用生成式人工智能技术创作、发布违背科学常识、弄虚作假、造谣传谣的内容。一经发现,平台将严格处罚。

相关资讯

海外写作平台 Medium 5 月起禁止发布完全由 AI 生成的付费类文章

据海外知名写作平台 Medium 官方新闻稿,从 5 月 1 日起,该平台将禁止发布完全由 AI 生成的付费文章内容。Medium 平台声称,自家是“供人类讲故事的平台”,而不是给“AI 写作机器竞技大擂台”,虽然 AI 能够帮助某些人更清晰地写作,或者辅助创作者以自己生疏的第二语言撰写内容,但全然由 AI 撰写的内容并不可取,从 2024 年 5 月 1 日起,禁止用户发布任何由 AI 生成的付费内容。IT之家注意到,如果相关作者在 5 月 1 日以后继续发布由 AI 生成的付费内容,用户有权进行举报,相关作者将

谷歌 Play 商店宣布整顿生成式 AI 类 App:必须限制不当内容传播

感谢当地时间周四,谷歌针对 AI 类应用程序更新了指导方针,目标是减少“不适当的”和“被禁止的”内容。谷歌在新的政策中指出,提供生成式 AI 功能的应用必须防止生成受限制的内容,包括色情内容、暴力等,并要求应用对其 AI 模型进行“严格测试”。这些规则适用于多种应用程序,IT之家简要汇总如下:以文本、语音和图像提示输入的任何组合,经由生成式 AI 产生内容的 App。聊天机器人类、图像生成类(文生图、音生图、图生图)、语音及视频生成类 App。不适用于“仅仅承载”AI 内容的 App,或将 AI 用作生产力工具的

研究:反复使用 AI 生成的内容来训练 AI 可造成“模型崩溃”

感谢当地时间 9 月 4 日,据《福布斯》报道,牛津大学的伊利亚・舒梅洛夫博士和他的团队发现,当生成式 AI 软件仅依赖于由 AI 生成的内容时,回答的质量开始恶化。这项研究已经发表在《自然》杂志上。在最初的两次查询后,答案逐渐偏离准确性,到第五次时,质量显著下降,到了第九次连续查询时,回答已完全退化为无意义的胡言乱语。研究人员将这种生成式 AI 内容的循环过度使用称为“模型崩溃”,即 AI 在不断污染自己的训练集后,输出的内容逐渐偏离现实,最终变得毫无价值。舒梅洛夫表示:“令人惊讶的是,模型崩溃发生得如此迅速且难