检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
# 安装量化模块的脚本 ... 具体操作如下： 配置需要使用的NPU卡，例如：实际使用的是第1张和第2张卡，此处填写为“0,1”，以此类推。 export ASCEND_RT_VISIBLE_DEVICES=0,1 NPU卡编号可以通过命令npu-smi
如果资产详情页没有按钮，则表示该资产不支持使用Gallery CLI配置工具下载文件。 获取待下载的文件名 在AI Gallery页面的资产详情页，如果是模型资产，则选择“模型文件”页签，如果是数据集资产，则选择“文件版本”页签，获取“文件名称”。 下载单个文件 在服务器执行如下命令，可以从AI Gallery仓库下载单个文件到服务器的缓存目录下。
中使用的AI引擎是PyTorch，训练使用的资源是CPU或GPU。 从0制作自定义镜像并用于训练（MPI+CPU/GPU） MPI 镜像制作 自定义镜像训练 - 此案例介绍如何从0到1制作镜像，并使用该镜像在ModelArts平台上进行训练。镜像中使用的AI引擎是MPI，训练使用的资源是CPU或GPU。
benchmark_parallel.csv 参数说明 --backend：服务类型，支持tgi、vllm、mindspore、openai等。本文档使用的推理接口是vllm。 --host ${docker_ip}：服务部署的IP地址，${docker_ip}替换为宿主机实际的IP地址。 --port：推理服务端口8080。
指令输入 字段名称（例如：请问苹果是什么颜色） output_name output：预训练json文件的output字段名称，例如：苹果是红色的。 code_type：预训练json文件编码 默认utf-8 当转换为share gpt格式时，prefix和 input会拼接成一
属资源池物理隔离，公共资源池仅提供逻辑隔离，专属资源池的隔离性、安全性要高于公共资源池。 专属资源池用户资源独享，在资源充足的情况下，作业是不会排队的；而公共资源池使用共享资源，在任何时候都有可能排队。 专属资源池支持打通用户的网络，在该专属资源池中运行的作业可以访问打通网络中的
本文档适配昇腾云ModelArts 6.3.907版本，请参考软件配套版本获取配套版本的软件包，请严格遵照版本配套关系使用本文档。 推理部署使用的服务框架是vLLM。vLLM支持v0.5.0版本。 仅支持FP16和BF16数据类型推理。 本案例仅支持在专属资源池上运行。 专属资源池驱动版本要求23
Access（RDMA）是一种直接内存访问技术，将数据直接从一台计算机的内存传输到另一台计算机。 RoCE：RDMA over Converged Ethernet（RoCE）是一种网络协议，允许应用通过以太网实现远程内存访问。 IB：InfiniBand (IB) 是一种高性能计算机网
自定义脚本代码示例 Tensorflow TensorFlow存在两种接口类型，keras接口和tf接口，其训练和保存模型的代码存在差异，但是推理代码编写方式一致。 训练模型（keras接口） 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15
在每个实例节点上运行此命令可以看到NPU卡状态 npu-smi info -l | grep Total # 在每个实例节点上运行此命令可以看到总卡数 如出现错误，可能是机器上的NPU设备没有正常安装，或者NPU镜像被其他容器挂载。请先正常安装固件和驱动，或释放被挂载的NPU。 检查docker是否安装。 docker
在每个实例节点上运行此命令可以看到NPU卡状态 npu-smi info -l | grep Total # 在每个实例节点上运行此命令可以看到总卡数 如出现错误，可能是机器上的NPU设备没有正常安装，或者NPU镜像被其他容器挂载。请先正常安装NPU设备和驱动，或释放被挂载的NPU。 检查docker是否安装。
在每个实例节点上运行此命令可以看到NPU卡状态 npu-smi info -l | grep Total # 在每个实例节点上运行此命令可以看到总卡数 如出现错误，可能是机器上的NPU设备没有正常安装，或者NPU镜像被其他容器挂载。请先正常安装NPU设备和驱动，或释放被挂载的NPU。 检查docker是否安装。
在每个实例节点上运行此命令可以看到NPU卡状态 npu-smi info -l | grep Total # 在每个实例节点上运行此命令可以看到总卡数 如出现错误，可能是机器上的NPU设备没有正常安装，或者NPU镜像被其他容器挂载。请先正常安装NPU设备和驱动，或释放被挂载的NPU。 检查docker是否安装。
置ModelArts用户OBS相关的最小化权限项为例，指导您进行自定义策略配置。 如果一个自定义策略中包含多个服务的授权语句，这些服务必须是同一属性，即都是全局级服务或者项目级服务。 由于OBS为全局服务，ModelArts为项目级服务，所以需要创建两条“作用范围”别为“全局级服
置ModelArts用户OBS相关的最小化权限项为例，指导您进行自定义策略配置。 如果一个自定义策略中包含多个服务的授权语句，这些服务必须是同一属性，即都是全局级服务或者项目级服务。 由于OBS为全局服务，ModelArts为项目级服务，所以需要创建两条“作用范围”别为“全局级服
String 是 训练源代码的OBS路径。 --data-url String 是 训练数据的OBS路径。 --log-url String 是 存放训练生成日志的OBS路径。 --train-instance-count String 是 训练作业实例数，默认是1，表示单节点。
wr地址，因为后续的调试和注册需要使用。 “-f ”指定了Dockerfile的文件名，根据实际填写。 最后的“ . ”指定了构建的上下文是当前目录，根据实际填写。 docker build -t swr.cn-north-4.myhuaweicloud.com/sdk-test/pytorch_1_8:v1
表1 参数说明 参数 说明 “授权对象类型” 包括IAM子用户、联邦用户、委托用户和所有用户。 IAM子用户：由主账号在IAM中创建的用户，是服务的使用人员，具有独立的身份凭证（密码和访问密钥），根据账号授予的权限使用资源。IAM子用户相关介绍请参见IAM用户介绍。 联邦用户：又称
果华为账号已经能满足您的要求，不需要通过IAM对用户进行权限管理，您可以跳过本章节，不影响您使用ModelArts服务的其他功能。 IAM是提供权限管理的基础服务，无需付费即可使用，您只需要为您账号中的资源进行付费。 通过IAM，您可以通过授权控制用户对服务资源的访问范围。例如您
推理部署使用的服务框架是vLLM。vLLM支持v0.6.0版本。 支持FP16和BF16数据类型推理。 Lite k8s Cluster驱动版本推荐为23.0.6。 适配的CANN版本是cann_8.0.rc3。 资源规格要求 本文档中的模型运行环境是ModelArts Lite的Lite
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
