检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
表情驱动数据格式如何定义? MetaStudio表情驱动的表情基数据总共52个系数,每个系数的取值范围在0~1之间,表情基系数的顺序性定义如下: 序号 表情名称 0 mouthPucker 1 mouthPressLeft 2 mouthPressRight 3 mouthRollUpper
文本驱动SSML定义 MetaStudio语音驱动采用语音合成标记语言(SSML,Speech Synthesis Markup Language)来控制数字人的行为,包括动作、情绪以及TTS语音合成的多音字、停顿等。 SSML基础定义可参考语音合成标记语言版本 1.0。Meta
肢体驱动数据格式如何定义? MetaStudio肢体驱动数据的前三个为Hips骨骼的Translation信息,按XYZ排列,后接75根骨骼的旋转数据,具体定义如下: 序号 骨骼名称 0 Hips 1 Spine 2 Spine1 3 Spine2 4 Spine3 5 Neck
智能交互驱动 前提条件 智能交互驱动流程 智能交互驱动WebSocket接口 父主题: 智能交互
智能交互驱动停止对话流程图,如图4所示。 智能交互驱动心跳保活流程图,如图 智能交互驱动心跳保活流程图所示。 智能交互驱动超时流程图,如图6所示。 智能交互驱动任务结束流程图,如图7所示。 智能交互驱动WebSocket接口说明,如智能交互驱动WebSocket接口所示。 图1 智能交互非流式驱动流程图 图2 智能交互流式驱动流程图
智能交互驱动WebSocket接口 终端节点获取方式 智能交互驱动WebSocket接口终端节点的获取方式,如表1所示。 表1 终端节点获取方式 场景 获取方式 未通过WEB SDK调用场景 终端节点地址从接口启动数字人智能交互任务的响应参数chat_access_address中获取。
使用要求 WebSDK版本为3.0.1及以上。 仅支持数字人平台配置或内置ASR(语音转文本)能力的方案。不支持WebSocket接口驱动数字人方案,即文本驱动方案。 在调用create接口之前,必须要有用户点击集成WebSDK的页面的行为。 浏览器通过有上述点击的行为,才能获取采集声音
前提条件 需要申请开通智能交互权限后,才可集成智能交互SDK,并使用Websocket接口驱动数字人。 父主题: 智能交互驱动
务,通过高效的训练和推理服务,重塑千行百业的电商直播。 数字人模型生成和驱动:基于一张照片或者一段3-5分钟视频,可以生成分身数字人模型,生成效率相比业界提升3倍以上。在数字人模型生成以后,可以通过模型驱动推理服务,让数字人动起来,包括声音、表情、口型、肢体动作等,口型匹配准确率>95%,表情、动作更自然。
introduction_type 否 String 自我介绍驱动方式。 TEXT: 文本驱动,即通过TTS合成语音。文本驱动需要填写introduction_text和voice_asset_id参数。 AUDIO: 语音驱动,需要在资产库中先上传语音资产。语音驱动需要填写introduction_audio_asset_id参数。
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
API的方式人工接管直播。人工接管以后,支持通过下述方式驱动数字人说话: 文本驱动方式:对应Command命令为“INSERT_PLAY_SCRIPT”,即插入表演脚本,用于互动回复。数字人不变时,背景不变。其参数结构定义为“PlayTextInfo”。 音频驱动方式:对应Command命令为“IN
introduction_type String 自我介绍驱动方式。 TEXT: 文本驱动,即通过TTS合成语音 AUDIO: 语音驱动,需要在资产库中先上传语音资产 默认取值: TEXT introduction_text String 自我介绍文本,用于驱动数字人口型。 voice_asset_id
introduction_type 否 String 自我介绍驱动方式。 TEXT: 文本驱动,即通过TTS合成语音。文本驱动需要填写introduction_text和voice_asset_id参数。 AUDIO: 语音驱动,需要在资产库中先上传语音资产。语音驱动需要填写introduction_audio_asset_id参数。
动作生效需要有足够的音频时间,如果音频太短,数字人可能来不及做动作。 4 数字人说话是文本驱动还是语音驱动? 数字人视频制作、视频直播、分身数字人名片和照片数字人都支持文本驱动和语音驱动的方式说话。 5 数字人支持提供语义理解知识库吗? 不提供语义理解知识库。语义理解是知识库的能力,不是数字人的能力。
华为云MetaStudio分身数字人驱动算法 表1 分身数字人驱动算法 算法项 描述 算法名称 华为云MetaStudio分身数字人驱动算法 备案编号 网信算备520111252474601240045号 算法基本原理 分身数字人驱动算法是指通过深度学习生成数字人驱动模型,模型生成后,输入音频来合成数字人视频的一种技术。
动作生效需要有足够的音频时间,如果音频太短,数字人可能来不及做动作。 4 数字人说话是文本驱动还是语音驱动? 数字人视频制作、视频直播、分身数字人名片和照片数字人都支持文本驱动和语音驱动的方式说话。 5 数字人支持提供语义理解知识库吗? 不提供语义理解知识库。语义理解是知识库的能力,不是数字人的能力。
照片建模任务创建失败是什么原因? 照片建模任务出现异常问题怎么办? 风格化照片建模的照片有什么要求? 风格化照片建模生成的模型文件是什么格式? 表情驱动数据格式如何定义? 肢体驱动数据格式如何定义?
核心技术主要包括计算机视觉、计算机图形学、动作捕捉和驱动、图像渲染和人工智能等。 服务型数字人是利用深度神经网络进行图像合成、高度拟真的虚拟人。具备如下特点: 2D模型,通过拍摄真人视频训练生成 无表情&骨骼数据 只能由AI驱动 使用既定表情&动作 剧本、画布和设置 视频制作、视
直播剧本包含下述设置: 剧本驱动 支持下述三种方式任选其一: 文本驱动:输入文本,通过文本驱动数字人说话。 音频驱动:上传音频,通过音频驱动数字人说话。 即兴直播:无需设置剧本,直接开播。开播后数字人是不说话的,需要发送互动内容,或者开启真人接管,驱动数字人说话。 互动设置:支持弹幕、用户入场