网站备案 新闻类前置审批,网站建设方案优化,免费咨询肺部医生在线,怎么做网页的欢迎页面作者 | 谢年年 文生图模型如DALL-E、Midjourney和Stable Diffusion等越来越火热#xff0c;只需要一句话几秒钟就可以生成质量不逊艺术家辛辛苦苦创作数月的图片。
艺术家们表示很气但又无能为力。 大模型研究测试传送门
GPT-4传送门#xff08;免墙#xff0c;可直接测试… 作者 | 谢年年 文生图模型如DALL-E、Midjourney和Stable Diffusion等越来越火热只需要一句话几秒钟就可以生成质量不逊艺术家辛辛苦苦创作数月的图片。
艺术家们表示很气但又无能为力。 大模型研究测试传送门
GPT-4传送门免墙可直接测试遇浏览器警告点高级/继续访问即可http://hujiaoai.cn
这些模型如此强大离不开全网爬取收集的训练数据。那如果在这些训练图片中加一点“毒药”能不能使模型中毒扰乱模型的生成
比如明明让模型生成一只狗却生成了猫
让模型生成车最后却生成了一只牛 手提包变成面包帽子变成蛋糕
并且这中毒症状随着中毒样本增多愈发明显。 这是由芝加哥大学团队打造的新工具Nightshade实现的可以让艺术家在将他们的作品上传至网络之前对像素进行隐形修改得到一张与原始图像几乎无差别的新图像。 左图是原图右图是修改后的好家伙。即使模型会过滤训练数据这也扛不住这波无色无味无形的毒药啊
毒药的威力有多强大呢
研究人员对Stable Diffusion的最新模型以及他们自己从头开始训练的一个AI模型进行了攻击测试。结果表明仅需50个被污染的图像输出结果就会开始变得奇怪而增加到300个被污染的样本模型就会生成牛头不对马嘴的其他生物甚至还可以彻底改变图像的风格。 除此之外由于生成式AI模型非常容易在词语之间建立联系导致这种“毒”的传染力也很强。
团队发现一旦Nightshade感染了狗这个词其他所有类似的概念比如“小狗”、“哈士奇”、“狼”也会中招。
有间接联系的概念也同样会受影响标为“奇幻艺术”的有毒图像也会影响“龙”、“《指环王》中的城堡”等的生成。 除了易感染、传染力度强“解毒”也需要耗费不少时间因为这些被污染的数据非常难以移除需要技术公司耗费大量时间逐个查找并删除每个受损样本。
这时人们又免不了担心这样强的污染技术被恶意滥用恶意攻击怎么办
团队leader赵教授表示攻击者需要成千上万个被污染的样本才能对更大、更强大的模型造成实质性的损害对目前市面上基于数十亿个数据样本进行训练的模型暂时影响不大。
所以Nightshade的目标是为了创建一个强有力的威慑力量防止侵犯艺术家的版权和知识产权。
从技术上给艺术家们撑腰 让一些AI公司警惕并重视侵权问题如果一些AI公司还是肆意使用未经艺术家授权的作品训练模型的话这些被“污染”的数据就会导致文生图模型出现混乱且不可预测的故障。
该团队还计划将Nightshade开源这将允许其他人对其进行调整并创建自己的版本。赵教授表示使用和创建自己版本的人越多这个工具的威力就越大。大型AI模型的数据集可能包含数十亿张图像因此将更多的污染图像纳入模型这种技术将会造成更大的破坏。
据MIT科技评论消息Nightshade的研究已向网络安全顶会Usenix提交同行评审。
强强联合Glaze同样破坏文生图模型
在Nightshade之前研究团队还开发了一款名为Glaze的工具它允许艺术家掩盖自己的个人风格以防止被人工智能公司擅自使用。它的工作方式与Nightshade类似通过微妙地改变图像的像素扰乱原图的风格这种变化对人眼来说是不可见的但却可以破坏文生图模型。
该工作已经发表在USENIX信息安全领域四大顶级学术会议之一会议上并获得杰出论文奖。
论文标题: Glaze: Protecting Artists from Style Mimicry by Text-to-Image Models
论文链接: https://arxiv.org/pdf/2302.04222.pdf
官网: https://glaze.cs.uchicago.edu/
让我们来看看具体是怎么做的。 ▲整体框架图
简单来说作者从风格迁移的思路扰乱图像的像素流程如下 给定一幅艺术作品 选定与原风格尽可能不同的目标风格T 进行风格迁移得到。 计算一个扰动δ使得扰动后的图像δ 尽可能相似同时最小化视觉影响。 最后上传优化后的图片xδ_x
具体优化目标如下公式所示 其中Φ是一个通用的图像特征提取器通常用于文本到图像的生成任务Dist(.)计算两个特征表示的距离|δx|测量感知扰动p是感知扰动预算。
此时如果将经过扰动的图像拿去训练模型就无法生成具有原图画风的图片了以此保护了艺术家们的风格不被剽窃。
最终的效果也挺不错: 1-2栏为艺术家原创作品; 第3栏为未使用保护的仿制品不得不说模仿到了精髓; 第4栏:用于风格转移作品和目标风格名称; 第5-6列:Glaze处理后模仿艺术品。 该团队打算将Nightshade整合到Glaze中强强联合双管其下艺术家可以自己选择是否要下毒。
引发热议
这个工具不仅引起了艺术家和专家学者的广泛讨论。
滑铁卢大学研究数据隐私和人工智能模型稳健性的助理教授Gautam Kamath认为这项工作“非常棒”并表示 对于这些新模型漏洞并不会神奇地消失实际上只会变得更加严重。随着这些模型的不断增强和人们对其的信任不断加深情况变得尤为明显因为随着时间的推移所面临的风险只会不断上升。 研究深度学习系统安全性的哥伦比亚大学计算机科学教授(Junfeng Yang)表示 如果Nightshade能让人工智能公司更加尊重艺术家的权利比如更愿意支付版税那么它可能会产生重大影响。 插画家兼艺术家伊娃·图伦特(Eva Toorenent)使用过Glaze并希望Nightshade能改变现状。 这会让(AI公司)三思而后行因为它们有可能在未经我们同意的情况下拿走我们的工作从而毁掉自己的整个模式。” 另一位艺术家秋·贝弗利(Autumn Beverly)表示像Nightshade和Glaze这样的工具给了她再次在网上发布作品的信心。在发现照片在未经她同意的情况下被抓取到流行的LAION图像数据库后她将其从网上删除。她说 我真的很感激我们有一个工具可以帮助艺术家们把权力交还给他们自己。 而康奈尔大学的教授Vitaly Shmatikov从模型防御的角度发表了看法 我们还不知道如何对抗这些攻击。我们还没有在现实环境中看到对模型的毒化攻击但这只是时间问题 现在是研究防御措施的时候了。 最后屏幕前的小伙伴们你们觉得应该给图片下毒吗 参考资料
[1]https://www.technologyreview.com/2023/10/23/1082189/data-poisoning-artists-fight-generative-ai/ [2]https://venturebeat.com/ai/meet-nightshade-the-new-tool-allowing-artists-to-poison-ai-models-with-corrupted-training-data/
