检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
的部署，需要先联系您所在企业的华为方技术支持。 约束限制 本文档适配昇腾云ModelArts 6.3.910版本，请参考表1获取配套版本的软件包，请严格遵照版本配套关系使用本文档。 本文档中的模型运行环境是ModelArts Lite DevServer。 镜像适配的Cann版本是cann_8
ECS中构建新镜像（二选一） 通过ECS获取和上传基础镜像获取基础镜像后，可通过ECS运行Dockerfile文件，在镜像的基础上构建新镜像。 获取模型软件包，并上传到ECS的目录下（可自定义路径），获取地址参考表1。 解压AscendCloud压缩包及该目录下的训练代码AscendCloud-LLM-6
负责输入的增量推理。增量推理占用至少1个容器。 步骤八 启动scheduler实例：可为CPU实例，用于启动api-server服务，负责接收推理请求，向全量或增量推理实例分发请求，收集推理结果并向客户端返回推理结果。服务调度实例不占用显卡资源，建议增加1个容器，也可以在全量推理或增量推理的容器上启动。
输入的增量推理。增量推理占用至少1个容器。 Step8 启动scheduler实例：可为CPU实例，用于启动api-server服务，负责接收推理请求，向全量或增量推理实例分发请求，收集推理结果并向客户端返回推理结果。服务调度实例不占用显卡资源，建议增加1个容器，也可以在全量推理或增量推理的容器上启动。
负责输入的增量推理。增量推理占用至少1个容器。 步骤八 启动scheduler实例：可为CPU实例，用于启动api-server服务，负责接收推理请求，向全量或增量推理实例分发请求，收集推理结果并向客户端返回推理结果。服务调度实例不占用显卡资源，建议增加1个容器，也可以在全量推理或增量推理的容器上启动。
准备Docker机器并配置环境信息 准备一台具有Docker功能的机器，如果没有，建议申请一台弹性云服务器并购买弹性公网IP，并在准备好的机器上安装必要的软件。 ModelArts提供了ubuntu系统的脚本，方便安装docker。 本地Linux机器的操作等同ECS服务器上的操作，请参考本案例。
建议使用官方提供的镜像部署推理服务。镜像地址{image_url}获取请参见表1。 docker pull {image_url} 步骤三 上传代码包和权重文件 上传安装依赖软件推理代码AscendCloud-LLM-6.3.909-xxx.zip和算子包AscendCloud-OPP-6.3.909-xxx.zip到主机中，包获取路径请参见表2。
自定义镜像： 如果先前基于预置框架且通过指定代码目录和启动文件的方式来创建的算法；但是随着业务逻辑的逐渐复杂，您期望可以基于预置框架修改或增加一些软件依赖的时候，此时您可以使用预置框架 + 自定义镜像的功能，即选择预置框架名称后，在预置框架版本下拉列表中选择“自定义”。 此功能与直接基于
查询数据集的统计信息 功能介绍 查询数据集的统计信息。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI GET /v2/{project_id}/datasets/{
查询数据集导出任务的状态 功能介绍 查询数据集导出任务的状态。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI GET /v2/{project_id}/datase
查询团队标注任务统计信息 功能介绍 查询团队标注任务统计信息。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI GET /v2/{project_id}/datase
直接填写“预测代码”进行文本预测。 选择“multipart/form-data”时，需填写“请求参数”，请求参数取值等同于使用图形界面的软件进行预测（以Postman为例）Body页签中填写的“KEY”的取值，也等同于使用curl命令发送预测请求上传数据的参数名。 设置完成后，
IAM是提供权限管理的基础服务，无需付费即可使用，您只需要为您账号中的资源进行付费。 通过IAM，您可以通过授权控制用户对服务资源的访问范围。例如您的员工中有负责软件开发的人员，您希望这些用户拥有ModelArts的使用权限，但是不希望这些用户拥有删除ModelArts等高危操作的权限，那么您可以使用I
创建数据集标注版本 功能介绍 创建数据集标注版本。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI POST /v2/{project_id}/datasets/{dataset_id}/versions
创建数据集导出任务 功能介绍 创建数据集导出任务，可导出至OBS或新数据集。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI POST /v2/{project_id
查询数据集导出任务列表 功能介绍 分页查询数据集导出任务列表。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI GET /v2/{project_id}/datase
直接填写“预测代码”进行文本预测。 选择“multipart/form-data”时，需填写“请求参数”，请求参数取值等同于使用图形界面的软件进行预测（以Postman为例）Body页签中填写的“KEY”的取值，也等同于使用curl命令发送预测请求上传数据的参数名。 设置完成后，
Standard资源池节点故障定位 节点故障定位 对于Standard资源池，ModelArts平台在识别到节点故障后，通过给K8S节点增加污点的方式（taint）将节点隔离避免新作业调度到该节点而受到影响，并且使本次作业不受污点影响。当前可识别的故障类型如下，可通过隔离码及对应检测方法定位故障。
错误码 当您调用API时，如果遇到“APIGW”开头的错误码，请参见API网关错误码进行处理。 状态码 错误码 错误信息 描述 处理措施 100 ModelArts.0116 The expected {0} exceeds the quota limit. 资源{0}超过配额限制。
查询预置算法 功能介绍 查看预置模型的详情。 URI GET /v1/{project_id}/built-in-algorithms 参数说明如表1所示。 表1 参数说明 参数 是否必选 参数类型 说明 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
