检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
SampleLabels objects 视频在线服务推理结果。 service_id String 在线服务ID。 service_name String 在线服务名称。 service_resource String 用户绑定的在线服务资源ID。 total_sample_count
0:打标者 1:审核者 2:团队管理者 3:数据集拥有者 status Integer 标注成员的当前登录状态。可选值如下: 0:未发送邀请邮件 1:已发送邀请邮件但未登录 2:已登录 3:标注成员已删除 update_time Long 更新时间。 worker_id String
作业。 创建训练作业 登录ModelArts控制台,参考创建生产训练作业操作指导,创建训练作业。用户需关注以下操作才能开启超参搜索。 当您选择支持超参搜索的算法,需单击超参的范围设置按钮才能开启超参搜索功能。 图2 开启超参搜索功能 开启超参搜索功能后,用户可以设置搜索指标、搜索
CANN:cann_8.0.rc3 PyTorch:2.1.0 基础镜像的使用 用户通过ECS获取基础镜像步骤拉取基础镜像并上传至SWR中。随后可通过ECS中构建新镜像的方式来部署训练环境。可以在ECS中,通过运行Dockerfile文件会在基础镜像上创建新的镜像。新镜像命名可自定
CANN:cann_8.0.rc3 PyTorch:2.1.0 基础镜像的使用 用户通过ECS获取基础镜像步骤拉取基础镜像并上传至SWR中。随后可通过ECS中构建新镜像的方式来部署训练环境。可以在ECS中,通过运行Dockerfile文件会在基础镜像上创建新的镜像。新镜像命名可自定
ModelArts在线服务预测时,如何提高预测速度? 部署在线服务时,您可以选择性能更好的“实例规格”提高预测速度。例如使用GPU资源代替CPU资源。 部署在线服务时,您可以增加“实例数”。 如果实例数设置为1,表示后台的计算模式是单机模式;如果实例数设置大于1,表示后台的计算模
OBS桶必须和MaaS服务在同一个Region下,否则无法选择到该OBS路径。 准备资源池 在ModelArts Studio大模型即服务平台进行模型调优、压缩或部署时,需要选择资源池。MaaS服务支持专属资源池和公共资源池。 专属资源池:专属资源池不与其他用户共享,资源更可控。在
replace ${MA_JOB_DIR}/code/torch_ddp.py to the actutal training script PYTHON_SCRIPT=${MA_JOB_DIR}/code/torch_ddp.py PYTHON_ARGS="" # set hccl timeout
训练预测分析模型 创建自动学习后,将会进行模型的训练,得到预测分析的模型。模型部署步骤将使用预测模型发布在线预测服务。 操作步骤 在新版自动学习页面,单击创建成功的项目名称,查看当前工作流的执行情况。 在“预测分析”节点中,待节点状态由“运行中”变为“运行成功”,即完成了模型的自动训练。
应服务的服务ID,描述指定的在线服务。用于服务更新的场景。 表8 SWRImage 属性 描述 是否必填 数据类型 swr_path 容器镜像的SWR路径 是 str 示例: example = SWRImage(swr_path = "**") # 容器镜像地址,用于模型注册节点的输入
训练任务提交后,SDK会依次帮助用户完成以下流程: 将训练脚本打包成zip文件,上传到3中指定的obs_path中; 如果训练数据保存在Notebook中,则将其打包成zip文件并上传到指定的obs_path中; 将训练作业提交到ModelArts训练服务中,训练作业会使用当前Notebook的镜像来执行训练作业;
app名称。 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 表2 Query参数 参数 是否必选 参数类型 描述 workspace_id 否 String 工作空间ID。获取方法请参见查询工作空间列表。未创建工作空间时默认值为“0”,
权限相关 使用ModelArts时提示“权限不足”,如何解决? 在Notebook中如何实现IAM用户隔离? 如何获取访问密钥?
权限问题 训练作业访问OBS时,日志提示“stat:403 reason:Forbidden” 日志提示"Permission denied" 父主题: 训练作业
iam_endpoint为IAM的终端节点。 user_name为IAM用户名。 user_password为用户登录密码。 domain_name为用户所属的帐号名。 cn-north-1为项目名,代表服务的部署区域。 返回状态码“201 Created”,在响应Header中
首先配置鉴权信息,指定profile,根据提示输入账号、用户名及密码。鉴权更多信息请查看配置登录信息。 ma-cli configure --auth PWD -P xxx 执行env|grep -i CURRENT_IMAGE_NAME命令查询当前实例所使用的镜像。 制作新镜像。 获取上步查询的基础镜像的SWR地址。
参数解释请参见部署在线服务。 图6 部署在线服务-专属资源池 单击“下一步”,再单击“提交”,开始部署服务,待服务状态显示“正常”服务部署完成。 图7 服务部署完成 Step4 调用在线服务 进入在线服务详情页面,选择“预测”。 如果以vllm接口启动服务,设置请求路径:“/ge
影响区域:华为云全部Region 停用影响 新建服务、存量服务停止后再启动、存量服务失败后再启动,会立即切换使用新域名。为保障持续提供推理服务,请您及时更新业务中的预测API的域名。 如果您使用的是VPC内部节点访问ModelArts推理的在线服务,预测API切换域名后,由于内网VPC无
参数解释请参见部署在线服务。 图6 部署在线服务-专属资源池 单击“下一步”,再单击“提交”,开始部署服务,待服务状态显示“正常”服务部署完成。 图7 服务部署完成 Step4 调用在线服务 进入在线服务详情页面,选择“预测”。 如果以vllm接口启动服务,设置请求路径:“/ge
Shell功能的操作指导请参见使用CloudShell登录训练容器。 是,则修改安全组的配置,具体操作请参见修改安全组规则。 否,则继续下一步。 确认SFS Turbo是否存在异常。 新建一个和SFS Turbo在同一个网段的ECS,用ECS去挂载SFS Turbo,如果挂载失败,则表示SFS