检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
程。本方案利用适配昇腾平台的大模型推理服务框架vLLM和华为自研昇腾Snt9B硬件，为用户提供推理部署方案，帮助用户使能大模型业务。 约束限制 本方案目前仅适用于部分企业客户。 本文档适配昇腾云ModelArts 6.3.911版本，请参考软件配套版本获取配套版本的软件包，请严格遵照版本配套关系使用本文档。
Code在Python项目开发中提供了优秀的代码编辑、调试、远程连接和同步能力，在开发者中广受欢迎。本文以Ascend Model Zoo为例，介绍如何通过VS Code插件及ModelArts Notebook进行云端数据调试及模型开发。 方案优势 云端开发调试优势： 环境保持一致 配置一键完成
方式四：使用Java语言通过AppCode认证鉴权方式发送预测请求 约束限制 调用API访问在线服务时，对预测请求体大小和预测时间有限制： 请求体的大小不超过12MB，超过后请求会被拦截。 因APIG（API网关）限制，平台每次请求预测的时间不超过40秒。 前提条件 数据已完成准备：已
设置标签名称：在“标签名”输入标签名称。 添加标签：单击“添加标签”可增加多个标签。 启用语音内容标注（语音分割） 仅“语音分割”类型数据集支持设置，默认关闭。如果启用此功能，支持针对语音内容进行标注。 启用团队标注（语音分割） 仅“语音分割”类型支持团队标注，因此选择创建语音分割类型时，支持设置是否启用团队标注。
其中ServiceStep节点包含两个输入，一个是模型列表对象，另一个是在线服务对象，此时在运行态通过开关的方式来控制部署/更新服务，如下图所示： 在线服务开关默认关闭，节点走部署服务的流程；如果需要更新服务，则手动打开开关，选择相应的在线服务即可。 进行服务更新时，需要保证被更新的服务所使用的模型与配置的模型名称相同。
请求参数如表2所示。 表2 请求参数 参数 是否必选 参数类型 说明 job_desc 否 String 对训练作业的描述，默认为“NULL”，字符串的长度限制为[0, 256]。 config 是 Object 创建训练作业需要的参数。详情参见表3。 表3 config属性列表 参数 是否必选 参数类型
--page-size Int 否 每页显示的作业数量，默认是20。 -v / --verbose Bool 否 显示详细的信息开关，默认关闭。 示例：查询DLI Spark所有作业。 ma-cli dli-job get-job 使用ma-cli dli-job submit命令提交DLI
String 训练作业名称。限制为1-64位只含数字、字母、下划线和中划线的名称。 workspace_id String 指定作业所处的工作空间，默认值为“0”。 description String 对训练作业的描述，默认为“NULL”，字符串的长度限制为[0, 256]。 create_time
customize_service.py依赖的其他文件可以直接放model目录下，需要采用绝对路径方式访问。绝对路径获取请参考绝对路径如何获取。 ModelArts针对多种引擎提供了样例及其示例代码，您可以参考样例编写您的配置文件和推理代码，详情请参见ModelArts样例列
strings 使用这个参数的工作流节点。 format 否 String 数据格式。 constraint 否 Map<String,Object> 限制条件。 响应参数 状态码： 201 表6 响应Body参数 参数 参数类型 描述 step_name String 节点的名称，在一个DA
modelarts/ma-cli-profile.yaml。 配置用户名密码鉴权 以在虚拟机上使用ma-cli configure为例，介绍如何配置用户名密码进行鉴权。 以下样例中所有以${}装饰的字符串都代表一个变量，用户可以根据实际情况指定对应的值。 比如${your_password}表示输入用户自己的密码信息。
String 训练作业名称。限制为1-64位只含数字、字母、下划线和中划线的名称。 workspace_id String 指定作业所处的工作空间，默认值为“0”。 description String 对训练作业的描述，默认为“NULL”，字符串的长度限制为[0, 256]。 create_time
strings 使用这个参数的工作流节点。 format 否 String 数据格式。 constraint 否 Map<String,Object> 限制条件。 表15 WorkflowDagPolicies 参数 是否必选 参数类型 描述 use_cache 否 Boolean 是否使用缓存。
程。本方案利用适配昇腾平台的大模型推理服务框架vLLM和华为自研昇腾Snt9B硬件，为用户提供推理部署方案，帮助用户使能大模型业务。 约束限制 本方案目前仅适用于部分企业客户。 本文档适配昇腾云ModelArts 6.3.909版本，请参考软件配套版本获取配套版本的软件包，请严格遵照版本配套关系使用本文档。
其他加速框架或ZeRO (Zero Redundancy Optimizer)优化器、NPU节点数即其他配置。 具体优化工具使用说明可参考如何选择最佳性能的zero-stage和-offloads。 父主题： 训练脚本说明
输入参数的说明，用户可以自定义描述。 获取方式 输入参数的获取方式，默认使用“超参”，也可以选择“环境变量”。 输入约束 开启后，用户可以根据实际情况限制数据输入来源。输入来源可以选择“数据存储位置”或者“ModelArts数据集”。 如果用户选择数据来源为ModelArts数据集，还可以约束以下三种：
的先安装，写在后面的后安装），且支持线下wheel包安装（wheel包必须与模型文件放在同一目录）。示例请参考导入模型时安装包依赖配置文件如何书写？ health 否 health数据结构 镜像健康接口配置信息，只有“model_type”为“Image”时才需填写。 如果在滚动
成本。可在运行自动学习作业、Workflow工作流、创建Notebook实例、创建训练作业、部署模型服务等页面中选择适用的资源规格。 约束限制 按需计费的资源池不支持跨region使用。 适用计费项 计算资源支持按需计费。 表1 适用计费项 计费项 说明 计算资源 公共资源池 包括vCPU、GPU和NPU。
节点上，并自动上传至华为云技术支持提供的OBS桶中，日志仅用于问题定位分析，因此需要您提供AK/SK给华为云技术支持，用于授权认证。 约束限制 当前仅支持在贵阳一、乌兰察布一使用该功能。 操作步骤 获取AK/SK。该AK/SK用于后续脚本配置，做认证授权。 如果已生成过AK/SK
大型企业用户的使用场景下很常见。如果需要对委托授权的权限范围进行精确控制，可以参考本章节进行MaaS服务的定制化委托授权。 本章节主要介绍如何给IAM用户下的子用户配置更细粒度的权限。 前提条件 给用户组授权之前，请先了解用户组可以添加的使用ModelArts及其依赖服务的权限，
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
