生成式AI如何寻求进一步突破? 北京航空航天大学巢文涵:调用和激发AI潜力
每经记者:王郁彪 每经编辑:文多
AI(人工智能)大潮汹涌,真实与虚拟,正在被无限模糊。2024年伊始,OpenAI用它的首个视频生成模型Sora宣告了AI新阶段的到来——仅凭简单的文字描述,便可深度模拟真实物理世界,生成最长60秒的拟真视频。
如果把AI比作刚出生的婴儿,大语言模型的诞生则意味着它开口讲话,Sora的面世相当于他/她睁开了双眼,并把自己观察到的一切转化为画面与声音。
随着AI技术不断发展与应用,在AI赋能过程中,如何平衡其中的创新与挑战?3月15日,由工业和信息化部工业文化发展中心牵头成立的AI应用工作组主办,每日经济新闻承办、数智未来场景实验室协办的“Sora的启示:AI应用再飞跃”主题沙龙活动在京成功举办。
北京航空航天大学计算机学院副教授巢文涵在主旨演讲环节表示,生成式AI的迭代速度降低了用户端的再训练必要性,因此,想要在生成式AI的应用中寻求进一步突破,应该从训练和创造AI,逐渐走向调用和激发AI潜力。
图为北京航空航天大学计算机学院副教授巢文涵进行主旨演讲 v每经记者 韩阳 摄
Sora尚有诸多局限性
当其他AI视频工具还在突破几秒内的连贯性时,Sora已经可以快速制作最长1分钟、准确反映用户提示、可一镜到底的视频。
对于Sora在技术上的突破,巢文涵认为,Sora实际上是一个“Diffusion+Transformer模型”(Diffusion、Transformer分别为模型名称),是二者组合成的强大信息提取器。Sora继承了DallE3(OpenAI 开发的最新文本到图像转换工具)的画质和遵循指令的能力,可以深度模拟真实物理世界,能生成具有多个角色、包含特定运动的复杂场景。因其根据静态图像生成视频的能力,Sora在动图制作、广告设计等领域具有不小的应用前景。不过,Sora能够获取现有视频并对其进行扩展或填充缺失的帧,这一功能在视频编辑、电影特效等领域也将有不俗的应用表现。
值得一提的是,用户还可以使用Sora连接两个输入视频,在完全不同的主题和场景组成的视频间实现无缝过渡。
Sora在技术上的突破及其未来广阔的应用前景,使得AI又上升到了全新的维度。“Sora虽被定义为一款人工智能文生视频大模型,但其实,OpenAI并未将其单纯视为视频模型,而是作为‘世界模拟器’。”巢文涵如此表示。
从时尚展示到动漫制作,从心理治疗到建筑规划,Sora可以为多个相关领域进行全新创造、再创造。
不过,巢文涵认为,目前Sora同样拥有诸多局限性。比如,Sora在处理复杂场景时对物理规则的应用不一致,因此出现无法准确模拟出因果关系的特定情况。这也可以解释,为什么在Sora生成的视频里,时常能看到变形的椅子飞向天空的画面。
巢文涵进一步补充说,在人机交互、充分理解空间和时间的复杂性以及使用限制上,Sora还有非常多的局限性。
难免引发一系列问题
那么,如何在AI技术不断突破的过程中,继续逐点击破AI赋能和应用的难点,平衡创新与挑战?巢文涵表示,生成式AI应用,应该从训练和创造AI,走向调用和激发AI潜力。
“生成式AI的迭代速度降低了用户端的再训练必要性,关键是用户怎么调用这些生成式AI。同时,大模型本身外部检索、多模态能力都非常强,本身是一个好的搜索入口。”他接着补充说,“应该进一步去APP化,提供更多维度的综合应用交互方式。”
在巢文涵看来,大模型本身具备生态插件及融合能力,其自身会调用服务接口,不需要打开APP,而是需要设计合理的API(应用程序编程接口)接口。此外,还需打破传统AI应用中语音、文字、图片等不同格式内容的界限,提供更多维度的综合应用交互方式。
从技术层面考量,Sora也面临一系列挑战,包括可扩展性和计算资源、隐私和伦理问题以及就业和社会变革等。在这些挑战中,巢文涵特别提到了深度伪造。他注意到,不法分子会利用机器的深度学习技术,进行图像、声音、视频的篡改、伪造和自动生成,产生高度逼真且难以甄别的内容。
巢文涵认为,Sora对社会生产力和产业发展的促进作用毋庸置疑,但同时,Sora创造的大量虚拟视频会污染现存的图像数据,引发一系列问题。因此,他建议,应该建立法律和监管框架,同时提供政策支持,增强创新意识,加强数据保护与安全。
声明:本站所有文章资源内容,如无特殊说明或标注,均为采集网络资源。如若本站内容侵犯了原著者的合法权益,可联系本站删除。