检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
端到端运维ModelArts Standard推理服务方案 ModelArts推理服务的端到端运维覆盖了算法开发、服务运维和业务运行的整个AI流程。 方案概述 推理服务的端到端运维流程 算法开发阶段,先将业务AI数据存放到对象存储服务(OBS)中,接着通过ModelArts数据管
用于连接ModelArts服务并在ModelArts资源上执行管理命令。ma-cli支持用户在ModelArts Notebook及线下虚拟机中与云端服务交互,使用ma-cli命令可以实现命令自动补全、鉴权、镜像构建、提交ModelArts训练作业、提交DLI Spark作业、O
创建网络资源 功能介绍 创建网络资源。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI POST /v1/{project_id}/networks 表1 路径参数 参数
配置ModelArts委托授权 对于所有用户(包括个人用户),需要完成ModelArts委托授权才能使用MaaS服务,否则会造成您的操作出现不可预期的错误。 如果您是个人用户,则不需要考虑细粒度权限问题,完成ModelArts委托授权即可使用ModelArts的所有权限。 Mod
鼠标移动至节点名称上,复制需要退订的实例ID。 图3 复制实例ID Server购买订单里绑定的资源ID为Server ID,与Server产品所封装的BMS/ECS ID不同,若要退订Server,需要在ModelArts控制台的“资源管理 > AI专属资源池 > 弹性节点Server”中查询对应ID。
/scripts_modellink/install.sh; sh ./scripts_modellink/llama2/0_pl_sft_13b.sh 如果镜像使用ECS中构建新镜像构建的新镜像时,训练作业启动命令中输入: cd /home/ma-user/work/llm_train/AscendFactory;
wf.AlgorithmParameters(name="save_model_secs", value=wf.Placeholder(name="save_model_secs", placeholder_type=wf.PlaceholderType.INT, default=60
计算规格说明 AI Gallery提供了多种计算规格供用户按需选用。只要用户的账号费用充足,就可以持续使用资源,详细计费说明请参见计费说明。 计费说明 AI Gallery的计费规则如表1所示。 表1 计费说明 规则 说明 话单上报规则 仅当AI Gallery工具链服务创建成功
device)) img_secs.append(img_sec) # Results img_sec_mean = np.mean(img_secs) img_sec_conf = 1.96 * np.std(img_secs) log('Img/sec per %s:
桶(存放代码)”,采用分布式训练。 表1 不同场景所需服务及购买推荐 场景 OBS SFS SWR DEW ModelArts VPC ECS EVS 单机单卡 按需购买。(并行文件系统) × 免费。 免费。 包月购买。 免费。 × 按需购买。 单机多卡 × 包月购买。 (HPC型500G)
注册自定义镜像 功能介绍 将用户自定义的镜像注册到ModelArts镜像管理。 接口约束 暂无约束 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI POST /v1/{project_id}/images
训练作业中存在2个代码目录,一个是从OBS上传到ModelArts Standard训练容器中的代码目录OBS_CODE_DIR,一个是后续构建新镜像步骤ECS中构建新镜像中镜像的代码目录CODE_DIR。修改代码如图1。 图1 修改区分训练作业中2个代码目录 使用环境变量SAVE_PATH重新覆
费用账单 您可以在“费用中心 > 账单管理”查看资源的费用账单,以了解该资源在某个时间段的使用量和计费信息。 账单上报周期 包年/包月计费模式的资源完成支付后,会实时上报一条账单到计费系统进行结算。 按需计费模式的资源按照固定周期上报使用量到计费系统进行结算。按需计费模式产品根据
查询网络资源 功能介绍 查询指定网络资源的详情信息。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v1/{project_id}/networks/{network_name}
MaaS大模型即服务平台功能介绍 对于普通企业来说,大模型开发不仅需要强大的算力,还需要学习训练、部署的相关参数配置和规格选择等专业知识。ModelArts Studio大模型即服务平台(后续简称为MaaS服务)作为一个面向客户的大模型服务化平台,提供简单易用的模型开发工具链,支
训练作业中存在2个代码目录,一个是从OBS上传到ModelArts Standard训练容器中的代码目录OBS_CODE_DIR,一个是后续构建新镜像步骤ECS中构建新镜像(二选一)中镜像的代码目录CODE_DIR。修改代码如图1。 图1 修改区分训练作业中2个代码目录 使用环境变量SAVE_PA
wf.AlgorithmParameters(name="save_model_secs", value=wf.Placeholder(name="save_model_secs", placeholder_type=wf.PlaceholderType.INT, default=60
不允许子账号使用公共资源池创建作业 本章节介绍如何控制ModelArts用户权限,限制用户使用ModelArts公共资源池的资源创建训练作业、创建开发环境实例,部署推理服务等。 场景介绍 对于ModelArts专属资源池的用户,不允许使用公共资源池创建训练作业、创建Noteboo
SFS Turbo的存储加速实践。 表1 不同场景所需服务及购买推荐 场景 OBS SFS SWR DEW ModelArts VPC ECS EVS 单机单卡 按需购买(并行文件系统) × 免费 免费 包月购买 免费 × 按需购买 单机多卡 × 包月购买 (HPC型500G) 免费
查询网络资源列表 功能介绍 查询网络资源列表。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v1/{project_id}/networks 表1 路径参数