AI魔法学院客服
腾讯出品!开源AI数字人框架!号称可以不限时长
MuseV是腾讯音乐娱乐天琴实验室开源的虚拟人视频生成框架,支持高质量视频、口型同步及无限长度视频生成,兼容多种生成方式和稳定扩散生态系统,提供多样化创作自由度,并发布了实时口型同步模型MuseTalk。MuseV将在娱乐、教育等领域发挥重要作用,引领虚拟人技术未来方向。项目地址在GitHub上。
 2024-09-14
收藏 复制地址分享海报

如今数字媒体和虚拟现实技术飞速发展,对数字人的需求不断增加!

今天,介绍一个开源创新的虚拟人视频生成框架:MuseV

MuseV由腾讯音乐娱乐的天琴实验室开源,MuseV专注于生成高质量的虚拟人视频和口型同步,能够制作出具有高度一致性和自然表情的长视频内容。据说可以不限时长!

话不多说,我们先看看效果!下面是由图片生成的数字人视频

1721460555632

下面是生成效果

,时长00:06

,时长00:10

,时长00:10

,时长00:09

,时长00:39

技术亮点

无限视频长度MuseV采用了视觉条件并行去噪方案,支持生成理论上无限长度的视频。

多样化生成方式:支持从图像到视频、文本到图像到视频、视频到视频的多种生成方式。

稳定扩散生态系统兼容:与基础模型、loracontrolnet等稳定扩散生态系统兼容,增强了用户的创作自由度。

多参考图像技术:支持IPAdapterReferenceOnlyReferenceNetIPAdapterFaceID等多参考图像技术,提升了视频生成的质量和多样性1

如何做到的?

MuseV利用了一种新颖的视觉条件并行去噪方案,支持无限长度的视频生成。这意味着理论上,MuseV可以生成任意长度的视频,而不受传统技术限制。它还提供了在人类数据集上训练的检查点,支持从图像到视频、文本到图像到视频、视频到视频的多样化生成方式。

下面是模型结构示意图

下面是并行去噪算法示意图

1721460584234

MuseTalk:实时高质量口型同步模型

值得一提的是,MuseV团队最近发布了MuseTalk,这是一个实时高质量的口型同步模型,可以与MuseV结合使用,提供完整的虚拟人生成解决方案。

如何使用?

准备 Python 环境并安装额外的包,如 diffuserscontrolnet_auxmmcm。然后按照下图所示,自行安装部署。

MuseV不仅仅是一个技术产品,它代表了虚拟人技术的未来方向。随着技术的不断进步,我们有理由相信,MuseV将在娱乐、教育、会议等多个领域发挥重要作用,为我们带来更加丰富和真实的虚拟体验。

项目地址:

https://github.com/TMElyralab/MuseV

AI变革往期回顾:

0【零基础入门AI】ChatGPT4.0+机器学习+深度学习!一站式掌握科研利器!助力论文写作、数据分析、科研使用!

1让照片变逼真的真人视频!腾讯推出开源AI框架:AniPortrait

2开源、可本地部署的AI知识问答库来了!有道出品:QAnything

3输入文本生成网页!一个开源的AI网页生成项目: OpenUI

4AI生图新方法!1秒生成20桢,质量还不差

5想一想,就能生成图片!Stability AI 推出 MindEye

6、一张照片!生成逼真的3D头像!头发丝都能看清!Meta推出RGCA技术

7、目前世界最好的小语言AI模型:Phi-2!可部署在手机使用!

8AnyText:一种能够生成和编辑多语言文本图像的神奇模型

9通过声音生成逼真的全身形象?!Meta开源AI工具:audio2photoreal

10AI“同声传译”新进展!Google发布,无监督,语音识别:Translatotron 3

11火爆全网!斯坦福研究了一个能做家务的机器人!叠被子、煎牛排、扫地都不在话下!

12AI视频生成王炸更新!Pika和Runway的强大对手来了!一个可通过文字生成视频的AI模型:DynamiCrafter

好了,今天的内容就分享到这里希望你们喜欢!

出自:https://mp.weixin.qq.com/s/auACBlvwpjl54fGeKsB3mA

本文档由网友提供,仅限参考学习,如有不妥或产生版权问题,请联系我们及时删除。 客服请加微信:skillupvip
评论
1 评论
白雪公主的后妈2024/9/14 10:32:16
哇塞,这简直是虚拟人技术的福音啊!MuseV的开源不仅降低了创作门槛,还让高质量虚拟内容制作触手可及。口型同步和无限视频长度的技术突破,简直是为直播、短视频、在线教育等领域量身定制的利器。MuseTalk实时口型同步模型更是神来之笔,期待看到更多生动自然的虚拟角色互动。快上GitHub瞅瞅,说不定下一个虚拟偶像爆款就诞生在你我手中!一起加油,让虚拟世界更加多彩吧!
20秒读懂全文
伴读
# 1. 一句话总结文章摘要
腾讯开源MuseV框架,支持生成高质量、无限时长虚拟人视频,采用视觉条件并行去噪方案,并在娱乐、教育等领域具有广泛应用前景。

# 2. 生成关键词和可能相关的关键词
关键词:MuseV, 虚拟人视频, 口型同步, 视觉条件并行去噪, 无限视频长度, 多样化生成方式, MuseTalk, AI技术, 腾讯天琴实验室, 实时口型同步, Pyt
One More Thing
One More Thing again ...

找组织,加入AI魔法学院群