MSRA：视觉生成六大技术问题
MSRA：视觉生成六大技术问题文生图、文生视频，视觉生成赛道火热，但仍存在亟需解决的问题。
来自主题: AI技术研报
11195 点击 2024-07-13 18:39
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
文生图、文生视频，视觉生成赛道火热，但仍存在亟需解决的问题。
一转眼，2024 年已经过半。我们不难发现，AI 尤其是 AIGC 领域出现一个越来越明显的趋势：文生图赛道进入到了稳步推进、加速商业落地的阶段，但同时仅生成静态图像已经无法满足人们对生成式 AI 能力的期待，对动态视频的创作需求前所未有的高涨。
只需Image Tokenizer，Llama也能做图像生成了，而且效果超过了扩散模型。
文生图也有自己的prompt优化工具了。
本文提出了解决一般性编辑任务的统一框架！近期，复旦大学 FVL 实验室和南洋理工大学的研究人员对于多模态引导的基于文生图大模型的图像编辑算法进行了总结和回顾。综述涵盖 300 多篇相关研究，调研的最新模型截止至今年 6 月！
推特上有这么一个作者，今天早上只用了五分钟，使用了 Claude 3.5、ComfyUI、JSON 提取器等模块，搭建了个生成 meme 梗图的生成器，截止目前已经 157.3w 人看过。
超越扩散模型！自回归范式在图像生成领域再次被验证——
苹果OpenAI官宣合作，GPT-4o加持Siri，让AI个性化生成赛道热度飙升。
如何生成高难度、指令超复杂的视频呢？
重磅消息！Stable Diffusion 3，大概率会在明天开源。距离2月SD3的横空出世，已经过去了4个月。如果此事为真，生图圈子第一个出现开源碾压闭源的奇景！强大的MMDiT全新架构，将彻底改变AI生图的格局。现在，全体AI社区都在翘首以盼。