检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
音频驱动方式:对应Command命令为“INSERT_PLAY_AUDIO”,即插入驱动音频,用于音频直接驱动。数字人不变时,背景不变。其参数结构定义为“PlayAudioInfo”。
3D数字人费用:包括照片建模、语音驱动和视觉驱动的费用。 资产管理费用:即服务资产管理的费用。 父主题: 计费咨询
数字人模型生成和驱动:基于一张照片或者一段3-5分钟视频,可以生成分身数字人模型,生成效率相比业界提升3倍以上。在数字人模型生成以后,可以通过模型驱动推理服务,让数字人动起来,包括声音、表情、口型、肢体动作等,口型匹配准确率>95%,表情、动作更自然。
不支持WebSocket接口驱动数字人方案,即文本驱动方案。 在调用create接口之前,必须要有用户点击集成WebSDK的页面的行为。 浏览器通过有上述点击的行为,才能获取采集声音的权限。否则无法采集声音,无法正常使用语音唤醒能力。 浏览器使用限制,请参见表1。
3D数字人 3D数字人风格管理 3D数字人风格化照片建模 3D数字人语音驱动 3D数字人视频驱动
1.5秒超低时延交互 实时驱动极低延时,保障用户真实体验。
图2 文本驱动 音频制作完成后,可单击音量图标,调整音频的音量。 上述操作全部完成后,第一个场景的视频内容已制作完成。 如果还需要制作更多场景,可单击“场景”区域的“+”图标,新增场景。制作过程参考第一个场景即可。
数字人模型只能通过MetaStudio服务驱动,不与其他第三方服务兼容。数字人形象制作与视频直播是两个独立的功能,需各自计费。可通过包周期或按需计费方式购买路数。 视频直播间的场景布置好之后,可以通过捕捉网页画面或RTMP推流的方式向第三方直播平台传输画面。
华为云MetaStudio分身数字人驱动算法 表1 分身数字人驱动算法 算法项 描述 算法名称 华为云MetaStudio分身数字人驱动算法 备案编号 网信算备520111252474601240045号 算法基本原理 分身数字人驱动算法是指通过深度学习生成数字人驱动模型,模型生成后
数字人的核心技术主要包括计算机视觉、计算机图形学、动作捕捉和驱动、图像渲染和人工智能等。 服务型数字人:利用深度神经网络进行图像合成、高度拟真的虚拟人。
文本驱动 文本驱动方式的要求如下所示: 文本输入长度不超过2000字。 通过文本合成的音频时长不能超过5分钟。 在照片数字人制作页面,选择“文本驱动”方式驱动照片说话时,需要输入文本并选择音色,再单击“试听”预估音频时长。如果超过5分钟,会导致照片数字人制作失败。
如果是“音频驱动”,会将音频转化为文本后,再生成字幕内容。 画布左侧展示字幕内容,支持修改字幕内容、调整字幕样式。 须知:“音频驱动”方式目前仅支持中文普通话的场景开启字幕。 图标 展示当前视频的宽高比。 图标 第一次单击可折叠“文本驱动/视频驱动”,第二次单击后恢复展示。
直播剧本包含下述设置: 剧本驱动 支持下述三种方式任选其一: 文本驱动:输入文本,通过文本驱动数字人说话。 音频驱动:上传音频,通过音频驱动数字人说话。 即兴直播:无需设置剧本,直接开播。开播后数字人是不说话的,需要发送互动内容,或者开启真人接管,驱动数字人说话。
数字人说话是文本驱动还是语音驱动? 数字人支持提供语义理解知识库吗? 数字人支持TTS和ASR吗?
表情驱动数据格式如何定义? 肢体驱动数据格式如何定义?
视频直播画面创作完成后,请根据实际情况,选择下述一种直播剧本驱动方式。 “剧本驱动”包含3种方式: 文本驱动 需要通过文本驱动数字人说话。支持下述2种方式,增加文本内容。 直接在各个场景的段落框中输入文本内容。可单击图标,新增更多的段落。
创建语音驱动任务 2次/秒 2次/秒 - 获取语音驱动任务列表 20次/秒 10次/秒 - 创建语音驱动表情动画任务 2次/秒 2次/秒 - 获取语音驱动表情数据 20次/秒 10次/秒 - 获取语音驱动数据 20次/秒 10次/秒 - 3D数字人视频驱动 创建视频驱动任务 2次
文本驱动:通过输入文本的方式生成音频。文本支持插入停顿、调整语速,如果是多音字可设置正确的发音,还可以选择不同的声音,试听生成的音频效果。支持开启字幕展示功能。 音频驱动:从本地上传音频文件,作为视频的语音。音频驱动方式,仅支持中文普通话的场景下能开启字幕。
表1 通知列表 接口 描述 三方驱动场景(是否支持) 非三方驱动场景(是否支持) error 错误事件。 √ √ enterActive 数字人激活事件。 × √ enterSleep 数字人自动休眠事件。 × √ jobInfoChange 交互任务信息变更事件。
创建语音驱动任务 2次/秒 2次/秒 - 获取语音驱动任务列表 20次/秒 10次/秒 - 创建语音驱动表情动画任务 2次/秒 2次/秒 - 获取语音驱动表情数据 20次/秒 10次/秒 - 获取语音驱动数据 20次/秒 10次/秒 - 3D数字人视频驱动 创建视频驱动任务 2次