网站百度突然不收录,在线房屋设计,在线咨询,珠宝网站方案16日凌晨#xff0c;OpenAI发布了文本视频的工具#xff08;text-do-video#xff09;Sora#xff0c;整个世界再次被震撼。 Sora的出现#xff0c;到底意味着什么#xff1f; 目录 Sora的背景与概述Sora是什么#xff1f;能为我们做些什么#xff1f;存在的一些问题 文… 16日凌晨OpenAI发布了文本视频的工具text-do-videoSora整个世界再次被震撼。 Sora的出现到底意味着什么 目录 Sora的背景与概述Sora是什么能为我们做些什么存在的一些问题 文本视频模型效果展示一年前AI生成的视频一位24岁女性在摩洛哥马拉喀什的魔法时刻眨眼的极端特写镜头一堆金毛巡回犬的幼崽在雪地里玩耍它们的头从雪中探出满是雪花摄像机围绕一大堆展示不同节目的复古电视旋转一个机器人在赛博朋克设定中的生活故事。纽约城像亚特兰蒂斯一样沉没。鱼、鲸鱼、海龟和鲨鱼在纽约街道中游动。一个形状如同巨人的巨大云朵盘踞在地球上方向地球发射雷电。 Sora的基本原理自我学习物理规律世界模型 通用人工智能 Sora的背景与概述
Sora是什么 简单来说就是OpenAI用GPT的能力来做视频文本对齐通过将多个高分率视频素材进行降维处理然后进行密集训练最后达到一个想看什么就生成什么视频的效果。 Sora的底层同样采用的是Transformer架构建立在过去的DALL·E和GPT的研究基础之上采用了DALL·E3的重述技术所以能更好的遵循用户的文本描述并且也有极强的扩展性。 能为我们做些什么 Sora能为我们做什么呢?我们只需要一段文本描述就可以生成60秒1080P的视频不光场景细腻、角色的表情也栩栩如生。 此外Sora还能从静态图像中生成动画或拓展现有视频从而创造多个画面并且能够保持角色和视觉风格的一致性。 存在的一些问题
该模型会混淆提示的空间细节并且难以准确模拟复杂场景中的物理现象。如下图老人吹蜡烛前后火苗没有丝毫变化。 它无法理解一个事例中包含的因果关系比如酒杯摔碎但是液体的流动和玻璃的破裂关系。
文本视频模型效果展示
一年前AI生成的视频 一位24岁女性在摩洛哥马拉喀什的魔法时刻眨眼的极端特写镜头 一堆金毛巡回犬的幼崽在雪地里玩耍它们的头从雪中探出满是雪花 摄像机围绕一大堆展示不同节目的复古电视旋转 一个机器人在赛博朋克设定中的生活故事。 纽约城像亚特兰蒂斯一样沉没。鱼、鲸鱼、海龟和鲨鱼在纽约街道中游动。 一个形状如同巨人的巨大云朵盘踞在地球上方向地球发射雷电。 Sora的基本原理 OpenAI官方公布的Sora的技术文档它没有透露太多关于Sora的技术细节但大致介绍了Sora的基本原理简单来说Sora就是通过大量的学习视频来理解现实世界的动态变化并用计算机视觉技术来模拟这些变化并创造出全新的视觉内容。换句话说就是Sora它所学习的不仅仅是视频里面的画面、像素点之类的它同时也在学习视频里面那个世界的“物理规律”。 自我学习物理规律 听上去可能让人觉得难以费解打个比方比如你咬一口食物食物这个时候应该出现一个咬痕这就是物理规律。 如果咬完食物它还是完整的状态那它就不符合物理规律现在大部分的视频软件并不能理解这些所谓的物理规律它们所处理的对象只是画面而不是画面里面的食物和人以及它们之间的关系。
但是Sora似乎能够理解它们之间的关系当Sora学习人咬食物的视频时它记住的不仅仅是食物和嘴在一起的具体画面还有咬过就会留痕的这个物理规律当它以后有生成视频的时候一旦涉及到咬这个动作Sora就会知道下面应该会出现一个咬痕了。
世界模型 这是用Sora生成的一个咬食物的视频用的是先记忆再预测这种理解世界的方式是人类理解世界的方式这种方式还有个名字它被称为世界模型。 那什么叫世界模型举个例子你的记忆当中一定知道一杯咖啡大概有多重所以当你拿起一杯咖啡的时候大脑准确预测说应该用多大的力于是杯子用那个力就会被顺利拿起来人都不会有意识的但是如果这个杯子里面碰巧没有咖啡呢你就会用很大的力去拿这个很轻的杯子这个时候你的手就会立刻感觉不对但杯子已经飞出去了不过没关系很快在你的记忆当中就会就会加上一条杯子也有可能空的时候于是下次再去预测杯子重和不重的时候你就不会太乱使力。
你做的事情越多你的大脑里就会形成越复杂的世界模型用于更准确的预测这个世界的反应这就是人类与世界交互的方式世界模型。
通用人工智能 Sora的技术文档里面有这么一句话我们的结果表明扩展视频生成模型是朝着构建通用物理世界模拟器迈进的有希望的模型这样感觉很复杂它实际是什么意思呢? 它的意思就是OpenAI它最终想要做的不是一个文本视频的工具而是一个通用的物理世界模拟器他们真正想要做的是为真实世界建模而Sora只是验证了这条道路可行。
Sora的出现可能意味着通用人工智能也就是所谓的AGI正在加速到来这才是OpenAI真正想做的事情。
为什么Sam Altman要筹集七万亿美金来重塑全球AI芯片的基础设施7万亿相当于全球GDP的10%,它能买下2.5个微软4个英伟达或者11.5个特斯拉为什么?
因为通往通用人工智能的道路上除了要算法还需要大量的算力Sora来了通用人工智能还会远吗?
这个世界正在发生着难以想象的变化看似很远但又瞬间近在眼前。
