AI魔法学院客服
数字人起飞!字节Loopy对口型功能在即梦上线 可根据语境匹配表情和情绪
字节新项目Loopy在即梦上线,通过AI技术实现数字人声音、表情、情绪与画面完美匹配,解决传统对口型视频的割裂感,提供中文效果最佳的对口型服务,支持文本朗读和上传本地配音,让数字人更加真实自然。
 2024-09-26
收藏 复制地址分享海报

还记得月初刚发布时就让大家惊艳不已的字节新项目Loopy?

这个让数字人声音完美匹配画面还匹配表情和情绪的对口型项目已经正式在即梦上线了。

AIbase体验了一下,效果非常不错,可以说是目前支持中文效果最好的对口型服务了。

以往,对口型视频往往存在一个通病,那就是看似嘴型对上了,但总感觉这个声音不是他发出来的,以至于大家看对口型视频的时候,会有一种割裂感。

字节跳动和浙江大学的科研团队联合开发的基于音频驱动的视频扩散模型LOOPY完美解决了这个问题。

不同于以往的对口型只是张张嘴,Loopy可以让对口型视频中的角色在说话或唱歌时,还自动带上该语境下相应的语气,情绪和表情。

它可以精准地"指挥"虚拟形象的每一个细微动作,例如叹息等非语音动作、情绪驱动的眉毛和眼睛运动以及自然的头部运动。

目前,这一功能已经集合进字节旗下即梦的视频生成模块内:

AIbase上传了一张女孩的照片测试一下,

即梦里面的对口型目前可以选择两种对口型方式:

1、文本朗读

即梦的操作基本都很简单,只需要上传你要对口型的角色图片或视频,然后输入文本,选择一个配音即可。

2、上传本地配音

而且,你不但可以让她说话,还可以上传一段唱歌的音频,让她开口唱歌:

0/0

00:00/00:07

切换到横屏模式

继续播放

进度条,百分之0

播放

00:00

/

00:07

00:07

全屏

倍速播放中

0.5 0.75 1.0 1.5 2.0

超清 流畅

您的浏览器不支持 video 标签

继续观看

数字人起飞!字节Loopy对口型功能在即梦上线 可根据语境匹配表情和情绪

观看更多

转载

,

数字人起飞!字节Loopy对口型功能在即梦上线 可根据语境匹配表情和情绪

AIbase基地已关注

分享点赞在看

已同步到看一看写下你的评论

视频详情

效果真不错,不仅口型对上了,而且声音不会让人有割裂的感觉,仿佛女孩的原声就是这样的。

比较让AIbase惊喜的是,它在对口型的时候,还会考虑到喉结,眉毛等这些很细微的变化细节。使得整体的视频更加真实。

感兴趣的可以自行体验哦~

即梦产品入口:https://top.aibase.com/tool/jimeng

本文档由网友提供,仅限参考学习,如有不妥或产生版权问题,请联系我们及时删除。 客服请加微信:skillupvip
评论
1 评论
Dogerge2024/9/26 10:33:33
"Loopy在即梦的AI技术革新真是让人眼前一亮!特别是数字人声音、表情、情绪的完美同步,这简直是解决了对口型视频领域的一大痛点。传统视频那种机械式的对口型确实容易让人出戏,但Loopy的中文效果优化,简直是细腻到骨子里,让数字人活灵活现,仿佛就在眼前对话。文本朗读和本地配音的双重支持,更是让创作者有了更多发挥空间,期待看到更多精彩作品诞生!"
20秒读懂全文
伴读
### 1. 一句话总结文章摘要

字节新项目Loopy在即梦上线,实现了数字人声音与画面、表情、情绪的完美匹配,提供目前最好的中文对口型服务。

### 2. 生成关键词和可能相关的关键词

**关键词**:
- 字节新项目
- Loopy
- 即梦
- 数字人
- 对口型
- 音频驱动视频扩散模型
- 表情匹配
- 情绪匹配
- 细微动作控制
One More Thing
One More Thing again ...

找组织,加入AI魔法学院群