检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
模型提供的推理接口所使用的协议和端口号,请根据模型实际定义的推理接口进行配置。 “镜像复制” 镜像复制开关,选择是否将容器镜像中的模型镜像复制到ModelArts中。 关闭时,表示不复制模型镜像,可极速创建模型,更改或删除SWR源目录中的镜像会影响服务部署。 开启时,表示复制模型镜像,无法极速创建模型,SWR
“部署超时时间” 用于设置单个模型实例的超时时间,包括部署和启动时间。默认值为20分钟,输入值必须在3到120之间。 “运行日志输出” 默认关闭,批量服务的运行日志仅存放在ModelArts日志系统,在服务详情页的“日志”支持简单查询。 如果开启此功能,批量服务的运行日志会输出存放
通过SSH工具远程使用Notebook 本节操作介绍在Windows环境中使用PuTTY SSH远程登录云上Notebook实例的操作步骤。 前提条件 创建一个Notebook实例,并开启远程SSH开发,配置远程访问IP白名单。该实例状态必须处于“运行中”,具体参见创建Notebook实例章节。
图3 授权 正常情况下,该授权按钮为置灰状态。当华为云技术支持发起运维申请后,按钮会变为可点状态。 在完成运维操作后,华为云技术支持会主动关闭已获得授权,无需您额外操作。 重启节点 在节点的操作列,选择“更多>重启”,支持重启单个节点。也可以勾选节点名称,在节点列表上方单击“重启
安全 责任共担 资产识别与管理 身份认证与访问控制 数据保护技术 审计与日志 服务韧性 监控安全风险 故障恢复 更新管理 认证证书 安全边界
“指定用户”:表示仅特定用户可以查看及使用该资产。 “仅自己可见”:表示只有当前账号可以查看并使用该资产。 设置“时长限制”。 设置订阅者可以免费使用资产的时长,默认关闭,即无限期使用。如果打开时长限制,除了设置资产免费使用的时长,还可以设置到期后是否续订。 如果是更新已发布资产的版本。 “发布方式”选择“添加资产版本”。
在DevServer上部署SD WebUI推理服务 本章节主要介绍如何在ModelArts的DevServer环境上部署Stable Diffusion的WebUI套件,使用NPU卡进行推理。 步骤一 准备环境 请参考DevServer资源开通,购买DevServer资源,并确保
“数据集输出位置”建议选择一个空目录。 “数据集输出位置”不支持OBS并行文件系统下的路径,请选择OBS对象桶。 高级特征选项-按标签导入 默认关闭,可通过勾选高级选项提供增强功能。 如“按标签导入”:系统将自动获取此数据集的标签,您可以单击“添加标签”添加相应的标签。此字段为可选字段
由于在线运行需消耗资源,确保账户未欠费。 已获取预测文件的本地路径,可使用绝对路径(如Windows格式"D:/test.png",Linux格式"/opt/data/test.png")或相对路径(如"./test.png")。 开启支持APP认证功能 在部署为在线服务时,您
参数类型 说明 enable 否 Boolean 是否开启自动停止功能, true表示开启,则会在运行时长到达之后自动停止实例,false表示关闭,默认为false。 duration 否 Integer 运行时长,单位为秒,取值范围为3600-86400,该参数配置之后,每次启动均
户。详细的退订规则请参见云服务退订规则概览。 如果您已开启“自动续费”功能,为避免继续产生费用,请在自动续费扣款日(默认为到期前7日)之前关闭自动续费。 按需计费资源 对于按需计费模式的资源,如果不再使用这些资源且需停止计费,请删除相应资源。 通过账单查找云服务资源并停止计费 为
Gallery中提供了常见的精度较高的算法和相应的训练数据集,用户可以在AI Gallery的资产集市中获取。 后续操作:清除相应资源 在完成预测之后,建议关闭服务,以免产生不必要的计费。 停止运行服务 预测完成后,单击页面右上角的“停止”,即可停止该服务。 单击左上角返回在线服务,在对应的服务名
Gallery中提供了常见的精度较高的算法和相应的训练数据集,用户可以在AI Gallery的资产集市中获取。 后续操作:清除相应资源 在完成预测之后,建议关闭服务,以免产生不必要的计费。 停止运行服务 预测完成后,单击页面右上角的“停止”,即可停止该服务。 单击左上角返回在线服务,在对应的服务名
到影响。如果您要做分布式训练,建议您只选择一个GPU或NPU规格。 一个资源池中,最多可添加10种规格。 资源调度与切分 自定义驱动 默认关闭。部分GPU和Ascend规格资源池允许自定义安装驱动。集群中默认会安装驱动,无需用户操作。只有需要指定驱动版本时,需要开启。建议在购买C
其中ServiceStep节点包含两个输入,一个是模型列表对象,另一个是在线服务对象,此时在运行态通过开关的方式来控制部署/更新服务,如下图所示: 在线服务开关默认关闭,节点走部署服务的流程;如果需要更新服务,则手动打开开关,选择相应的在线服务即可。 进行服务更新时,需要保证被更新的服务所使用的模型与配置的模型名称相同。
--page-size Int 否 每页显示的作业数量,默认是20。 -v / --verbose Bool 否 显示详细的信息开关,默认关闭。 示例:查询DLI Spark所有作业。 ma-cli dli-job get-job 使用ma-cli dli-job submit命令提交DLI
设置标签名称:在“标签名”输入标签名称。 添加标签:单击“添加标签”可增加多个标签。 启用语音内容标注(语音分割) 仅“语音分割”类型数据集支持设置,默认关闭。如果启用此功能,支持针对语音内容进行标注。 启用团队标注(语音分割) 仅“语音分割”类型支持团队标注,因此选择创建语音分割类型时,支持设置是否启用团队标注。
FlashAttention融合算子,具体约束详见NPU_Flash_Attn融合算子约束 是,配置以下参数。 flash_attn: sdpa 否,配置以下参数关闭。 flash_attn: disabled 是否使用固定句长。 是,配置以下参数 packing: true 否,默认使用动态句长,注释掉packing参数。
FlashAttention融合算子,具体约束详见NPU_Flash_Attn融合算子约束 是,配置以下参数。 flash_attn: sdpa 否,配置以下参数关闭。 flash_attn: disabled 是否使用固定句长。 是,配置以下参数 packing: true 否,默认使用动态句长,注释掉packing参数。
FlashAttention融合算子,具体约束详见NPU_Flash_Attn融合算子约束 是,配置以下参数。 flash_attn: sdpa 否,配置以下参数关闭。 flash_attn: disabled 是否使用固定句长。 是,配置以下参数 packing: true 否,默认使用动态句长,注释掉packing参数。