检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在开发环境中部署本地服务进行调试 可以通过部署本地服务来进行调试，即在导入模型或模型调试后，在开发环境Notebook中部署Predictor进行本地推理。 只支持使用ModelArts Notebook部署本地服务。 开发环境本地服务Predictor和在线服务Predictor说明
+ 'train/') 参数解释： code_dir：必选参数，训练脚本所在的目录。在训练任务调测的情况下，必须是notebook中的目录，不能是OBS目录。 boot_file：必选参数，训练启动文件路径，路径格式为基于code_dir目录的相对路径，如实例代码中boot_fil
rename('obs://bucket_name/obs_file.txt', 'obs://bucket_name/obs_file_2.txt') 移动和复制操作不可以跨桶，必须在同一个桶内操作。 从OBS移动到本地，例如将“obs://bucket_name/obs_file.txt”移动到“/tmp/obs_file
查询服务监控信息。 查询服务更新日志 查询实时服务更新日志。 查询服务事件日志 查询服务事件日志，包含服务的操作记录及部署过程中的关键动作、部署失败原因。 删除服务 删除服务。 查询支持的服务部署规格 查询支持的服务部署规格列表。 查询专属资源池列表 查询专属资源池列表。 资源管理接口
Standard“在线服务”详情页修改服务流量限制。 同步请求时，平台每次请求预测的时间不能超过60秒。例如输出数据比较大的调用请求（例如输出大于1k），请求预测会超过60秒导致调用失败，可提交工单设置请求超时时间。 benchmark方法介绍 性能benchmark包括两部分。
Standard“在线服务”详情页修改服务流量限制。 同步请求时，平台每次请求预测的时间不能超过60秒。例如输出数据比较大的调用请求（例如输出大于1k），请求预测会超过60秒导致调用失败，可提交工单设置请求超时时间。 benchmark方法介绍 性能benchmark包括两部分。
开发Workflow的核心概念介绍 Workflow Workflow是一个有向无环图（Directed Acyclic Graph，DAG），由节点和节点之间的关系描述组成。 图1 Workflow介绍 节点与节点之间的依赖关系由单箭头的线段来表示，依赖关系决定了节点的执行顺序
权限加入到“策略”当中，再把策略赋给用户组。为了方便用户的权限管理，各个云服务都提供了一些预置的“系统策略”供用户直接使用。如果预置的策略不能满足您的细粒度权限控制要求，则可以通过“自定义策略”来进行精细控制。 表1列出了ModelArts的所有预置系统策略。 表1 ModelArts系统策略
昇腾能力应用地图 ModelArts支持如下开源模型基于Ascend卡进行训练和推理。 主流三方大模型 ModelArts针对以下主流的LLM大模型进行了基于昇腾NPU的适配工作，可以直接使用适配过的模型进行推理训练。 表1 LLM模型训练能力 支持模型 支持模型参数量 应用场景
clone https://github.com/bigscience-workshop/Megatron-DeepSpeed 若git clone失败，可以尝试先下载至本地，然后拷贝至服务器中，在docker cp至容器中。 安装Megatron-DeepSpeed框架。 cd Megatron-DeepSpeed
作目录，目录下存放着训练所需代码、数据等文件。container_work_dir为要挂载到的容器中的目录。为方便两个地址可以相同。 容器不能挂载到/home/ma-user目录，此目录为ma-user用户家目录。如果容器挂载到/home/ma-user下，拉起容器时会与基础镜像冲突，导致基础镜像不可用。
使用PyCharm ToolKit创建并调试训练作业 由于AI开发者会使用PyCharm工具开发算法或模型，为方便快速将本地代码提交到ModelArts的训练环境，ModelArts提供了一个PyCharm插件工具PyCharm ToolKit，协助用户完成SSH远程连接Note
通过Token认证的方式访问在线服务 如果在线服务的状态处于“运行中”，则表示在线服务已部署成功，部署成功的在线服务，将为用户提供一个可调用的API，此API为标准Restful API。在集成至生产环境之前，需要对此API进行调测，您可以使用以下方式向在线服务发起预测请求： 方
更新算法 功能介绍 更新算法。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI PUT /v2/{project_id}/algorithms/{algorithm_id}
“架构”和“类型”根据实际情况选择，与镜像源保持一致。 注册镜像时，“架构”和“类型”需要和镜像源保持一致，否则在使用此自定义镜像创建Notebook时会创建失败。 创建开发环境并使用 镜像注册成功后，即可在ModelArts控制台的Notebook页面，创建开发环境时选择该自定义镜像。 图7 创建开发环境
查询算法详情 功能介绍 根据算法id查询指定算法。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI GET /v2/{project_id}/algorithms/{algorithm_id}
SD1.5&SDXL ComfyUI、WebUI、Diffusers套件适配PyTorch NPU的推理指导（6.3.909） 本文档主要介绍如何在DevServer环境中部署Stable Diffusion模型对应SD1.5和SDXL的ComfyUI、Webui和Diffusers框架，使用NPU卡进行推理。
SDXL WebUI基于DevServer适配PyTorch NPU推理指导（6.3.902） 本文档主要介绍如何在ModelArts Lite的DevServer环境中部署Stable Diffusion的WebUI套件，使用NPU卡进行推理。 方案概览 本方案介绍了在Mode
ModelArts以10秒/次的频率调用自定义配置中提供的命令或http接口获取指标数据。 自定义配置中提供的命令或http接口返回的指标数据文本不能大于8KB。 命令方式采集自定义指标数据 用于创建自定义指标采集POD的YAML文件示例如下。 apiVersion: v1 kind: Pod
依赖和委托 功能依赖 功能依赖策略项 您在使用ModelArts的过程中，需要和其他云服务交互，比如需要在提交训练作业时选择指定数据集OBS路径和日志存储OBS路径。因此管理员在为用户配置细粒度授权策略时，需要同时配置依赖的权限项，用户才能使用完整的功能。 如果您使用根用户（与账
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
