有做游戏广告的网站,直播视频网站,济南网站开发培训班,教育培训类网站模板本期为TechBeat人工智能社区第557期线上Talk。 北京时间12月20日(周三)20:00#xff0c;约翰霍普金斯大学博士生—魏晨的Talk已准时在TechBeat人工智能社区开播#xff01; 她与大家分享的主题是: “De-Diffusion-文本是不同模态的沟通桥梁题”#xff0c;介绍了她的团队在如… 本期为TechBeat人工智能社区第557期线上Talk。 北京时间12月20日(周三)20:00约翰霍普金斯大学博士生—魏晨的Talk已准时在TechBeat人工智能社区开播 她与大家分享的主题是: “De-Diffusion-文本是不同模态的沟通桥梁题”介绍了她的团队在如何通过文本(text) 构建一种强大的跨模态沟通桥梁 (cross-modal interface)上所做的研究。 Talk·信息
▼
主题De-Diffusion-文本是不同模的沟通桥梁
嘉宾约翰霍普金斯大学博士生 魏晨
时间北京时间 12月20日(周三)20:00
地点TechBeat人工智能社区
点击下方链接即可观看视频
TechBeatTechBeat是荟聚全球华人AI精英的成长社区每周上新来自顶尖大厂、明星创业公司、国际顶级高校相关专业在读博士的最新研究工作。我们希望为AI人才打造更专业的服务和体验加速并陪伴其成长。https://www.techbeat.net/talk-info?id836
Talk·介绍
▼
我们探讨了如何通过文本(text) 构建一种强大的跨模态沟通桥梁 (cross-modal interface)。
长期以来人们只使用deep embeddings来连接来自不同的模态模型如图像模型和语言模型。我们提出如果将图像表示为文本text)而不是deep embeddings那么我们不仅将享受到自然语言固有的可解释性还能构建起另一种跨模态沟通桥梁。在经典的自动编码器 (autoencoder) 结构中我们使用一个预训练好的文生图扩散模型 (text-to-image diffusion model) 作为解码器 (decoder)从而得到输入图像的文字表征。这个文字表征全面地描述了输入图像的语义信息从而将图像与其他模态的大模型模块化地连接起来。比如通过与语言大模型PaLM2的有机连接在没有任何微调和训练的情况下我们利用一个ViT-L级别的视觉模型600M得到了比有着80B参数的Flamingo模型更好的小样本开放VQA能力。
Talk大纲
1、从牛油果扶手椅 (avocado armchair) 一窥图像生成式模型的泛化能力
2、逆转文生图模型 -- 图生文的新方法
3、文字作为不同模态的沟通桥梁一种常被忽视的我们人类的“超”能力
4、文字作为不同模态的沟通桥梁用文字连接不同的文生图模型 -- 自动化的prompt engineering
5、文字作为不同模态的沟通桥梁用文字连接图像与语言大模型 -- 模块化设计同时带来更好的训练灵活度与更好的VQA能力
Talk·预习资料
▼ 论文链接
https://arxiv.org/abs/2311.00618
代码链接
https://dediffusion.github.io/
Talk·提问交流
▼
在Talk界面下的【交流区】参与互动留下你的打call和问题和更多小伙伴们共同讨论被讲者直接翻牌解答 你的每一次贡献我们都会给予你相应的i豆积分还会有惊喜奖励哦
Talk·嘉宾介绍
▼ 魏晨
约翰霍普金斯大学博士生
约翰霍普金斯大学计算机系在读博士生师从Alan Yuille教授。本科毕业于北京大学计算机科学专业。研究方向为计算机视觉的自监督学习、表征学习与生成式模型。工作发表于CVPR, ICCV, ECCV, ICLR, ICML等计算机视觉与机器学习顶级会议。曾获EECS Rising Star 2023。
个人主页:
https://www.techbeat.net/grzytrkj?id36456 关于TechBeat人工智能社区
▼ TechBeat(www.techbeat.net)隶属于将门创投是一个荟聚全球华人AI精英的成长社区。 我们希望为AI人才打造更专业的服务和体验加速并陪伴其学习成长。 期待这里可以成为你学习AI前沿知识的高地分享自己最新工作的沃土在AI进阶之路上的升级打怪的根据地 更多详细介绍TechBeat一个荟聚全球华人AI精英的学习成长社区
