检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
nstack的管理地址（169.254.169.254），以防止容器获取宿主机的元数据。具体操作请参见禁止容器获取宿主机元数据。 检查环境。 SSH登录机器后，检查NPU设备检查。运行如下命令，返回NPU设备信息。 npu-smi info 如出现错误，可能是机器上的NPU设备没
常使用。 调用查看授权列表接口查看用户的授权信息。 在管理用户授权时，可以调用删除授权接口删除指定用户的授权或者删除全量用户的授权。 前提条件 已获取IAM的EndPoint和ModelArts的EndPoint。 确认服务的部署区域，获取项目名称和ID、获取帐号名和ID和获取用户名和ID。
ModelArts开发环境针对推理昇腾迁移的场景提供了云上可以直接访问的开发环境，具有如下优点： 利用云服务的资源使用便利性，可以直接使用到不同规格的昇腾设备。 通过指定对应的运行镜像，可以直接使用预置的、在迁移过程中所需的工具集，且已经适配到最新的版本可以直接使用。 开发者可以通过浏
此处实际创建的组织名称。 单击右上角“登录指令”，获取登录访问指令。以root用户登录ECS环境，输入登录指令。 图1 在ECS中执行登录指令 登录SWR后，使用docker tag命令给上传镜像打标签。下面命令中的组织名称deep-learning，请替换为a.登录容器镜像服务
集群在相同vpc下的某一台机器上。单击kubectl后的“配置”按钮。按照界面提示步骤操作即可。 图3 通过内网使用kubectl工具 通过公网使用kubectl工具，可以将kubectl安装在任一台可以访问公网的机器。 首先需要绑定公网地址，单击公网地址后的“绑定”按钮。 图4
x.x #IP地址 Port 22522 User ma-user IdentityFile C:/Users/my.pem StrictHostKeyChecking no ForwardAgent yes 提示：因为SSH登录时会忽略known_hosts文件，有安全风险
保了模型权重的功能性和准确性后，才可以进行模型权重的滚动升级。 获取待更新的模型权重文件，并上传到OBS桶中。 参考创建我的模型，用待更新的模型权重文件新建一个我的模型。关键参数请参见表1。 表1 创建模型的关键参数说明 参数 说明 来源模型 选择和待升级的模型服务的“部署模型”同一个模型框架。
Code）或SSH客户端，通过SSH远程接入Notebook实例时需要的相关配置。 flavor 否 String 支持变更实例规格，支持变更的规格可以通过本章节的查询支持可切换规格列表的API获取。 image_id 否 String 支持更新镜像ID，镜像ID参考查询支持的镜像列表获取。 name 否 String
可调用的API，此API为标准Restful API。 通过VPC高速访问通道的方式访问在线服务：使用VPC直连的高速访问通道，用户的业务请求不需要经过推理平台，而是直接经VPC对等连接发送到实例处理，访问速度更快。 在线服务的API默认为HTTPS访问，同时还支持以下的传输协议：
${container_model_path}：模型地址，模型格式是HuggingFace的目录格式。即Step3 上传代码包和权重文件上传的HuggingFace权重文件存放目录。如果使用了量化功能，则使用推理模型量化章节转换后的权重。如果使用的是训练后模型转换为HuggingFace格式的地址，还需要有Tokenizer原始文件。
IdentityFile：本地密钥路径 - User：用户名，例如：ma-user - HostName：IP地址 - Port：端口号 在VS Code中手工配置远程连接时，在本地的ssh config文件中增加配置参数“StrictHostKeyChecking no”和“UserK
团队标注任务创建成功后，团队成员收到标注任务的邮件。 图5 任务邮件 单击任务邮件中的标注任务地址，跳转至ModelArts控制台的“数据准备>数据标注 > 我参与的”页面。如果未登录控制台，请先登录。 在“我参与的”页签下，可查看您的标注任务。 图6 标注任务 数据标注访问地址可以查看如下表格获取，
SSH密钥对名称，可以在云服务器控制台（ECS）“密钥对”页面创建和查看。 表4 VolumeReq 参数 是否必选 参数类型 描述 capacity 否 Integer 存储容量，EVS默认5G，最大限制4096G。 category 是 String 支持的存储类型。不同存储类型的差异，详见开发环境中如何选择存储。枚举值如下：
ion的block大小，推荐设置为128。 --host=${docker_ip}：服务部署的IP，${docker_ip}替换为宿主机实际的IP地址。 --port：服务部署的端口。 --gpu-memory-utilization：NPU使用的显存比例，复用原vLLM的入参名称，默认为0
将权重文件上传到DevServer机器中。权重文件的格式要求为Huggingface格式。开源权重文件获取地址请参见表3。 如果使用模型训练后的权重文件进行推理，需要上传训练后的权重文件和开源的原始权重文件。模型训练及训练后的权重文件转换操作可以参考相关文档章节中提供的模型训练文档。 Step4 启动容器镜像
Server算力资源和镜像版本配套关系 Lite Server提供多种NPU、GPU镜像，您可在购买前了解当前支持的镜像及对应详情。 NPU Snt9裸金属服务器支持的镜像详情 镜像名称：ModelArts-Euler2.8_Aarch64_Snt9_C78 表1 镜像详情 软件类型
Turbo的所有权限。使用SFS服务时需要配置。 ECS弹性云服务器 弹性云服务器所有权限。使用ECS服务时需要配置。 SWR容器镜像仓库 容器镜像仓库所有权限。使用SWR服务时需要配置。同时，还需开通SWR组织权限。 VPC虚拟私有云 子用户在创建ModelArts的专属资源池
基本配置 权限配置 创建网络 专属资源池VPC打通 ECS服务器挂载SFS Turbo存储 在ECS中创建ma-user和ma-group obsutil安装和配置 （可选）工作空间配置 父主题： 专属资源池训练
问Openstack的管理地址（169.254.169.254），以防止容器获取宿主机的元数据。具体操作请参见禁止容器获取宿主机元数据。 软件配套版本 本方案支持的软件配套版本和依赖包获取地址如表1所示。 表1 软件配套版本和获取地址 软件名称 说明 下载地址 AscendCloud-3rdLLM-6
IdentityFile：本地密钥路径 - User：用户名，例如：ma-user - HostName：IP地址 - Port：端口号 在VS Code中手工配置远程连接时，在本地的ssh config文件中增加配置参数“StrictHostKeyChecking no”和“UserK
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
