检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
可停止计费。 操作步骤： 在ModelArts管理控制台，单击左侧菜单栏的“总览”，您可以在“总览”区域查看正在收费的作业。再根据实际情况进入管理页面，停止收费。 图1 查看收费作业 进入“ModelArts>Workflow”页面，检查是否有“运行中”的Workflow列表。如果有，单击Workflow列表中“操作
开发环境如何实现IAM用户隔离？ 开发环境如果需要实现IAM用户隔离，即多个IAM用户之间无法查看、修改和删除他人创建的Notebook。 目前有两种方案： 方案一：删除modelarts:notebook:listAllNotebooks细粒度权限。 方案二：使用工作空间功能：
密钥对”页面创建和查看。 表4 VolumeReq 参数 是否必选 参数类型 描述 capacity 否 Integer 存储容量，EVS默认5G，最大限制4096G。 category 是 String 支持的存储类型。不同存储类型的差异，详见开发环境中如何选择存储。枚举值如下：
--backend：服务类型，支持tgi、vllm、mindspore、openai等。本文档使用的推理接口是vllm。 --host：服务部署的IP。 --port：推理服务端口8080。 --tokenizer：tokenizer路径，HuggingFace的权重路径。 --epochs：测试轮数，默认取值为5
-chat。 --host ${docker_ip}：服务部署的IP，${docker_ip}替换为宿主机实际的IP地址。 --port：推理服务端口8080。 --tokenizer：tokenizer路径，HuggingFace的权重路径。 --epochs：测试轮数，默认取值为5
=0,1 通过命令npu-smi info查询NPU卡为容器中的第几张卡。例如下图查询出两张卡，若希望使用第一和第二张卡，则“export ASCEND_RT_VISIBLE_DEVICES=0,1”，注意编号不是填4、5。 图1 查询结果 配置环境变量。 export USE_
查询数据集导入任务列表 功能介绍 分页查询数据集导入任务列表。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI GET /v2/{project_id}/datase
如何获取访问密钥？ 获取访问密钥 登录华为云，在页面右上方单击“控制台”，进入华为云管理控制台。 图1 控制台入口 在控制台右上角的账户名下方，单击“我的凭证”，进入“我的凭证”页面。 图2 我的凭证 在“我的凭证”页面，选择“访问密钥>新增访问密钥”，如图3所示。 图3 单击新增访问密钥
“策略内容”：允许，云服务中搜索“SFSTurbo”服务并选中，“操作”中查找只读操作“sfsturbo:shares:showShareNic”、“sfsturbo:shares:listShareNics”并选中，，查找写操作“sfsturbo:shares:addShareNic”、
python benchmark_parallel.py --backend openai --host ${docker_ip} --port ${port} --tokenizer /path/to/tokenizer --epochs 5 --num-scheduler-steps
如何将标注结果下载至本地？ ModelArts数据集中的标注信息和数据在发布后，将以manifest格式存储在“数据集输出位置”对应的OBS路径下。 路径获取方式： 在ModelArts管理控制台，进入“数据管理>数据集”。 选择需查看数据集，单击名称左侧小三角，展开数据集详情。
${container_name}：容器名称，进入容器时会用到，此处可以自己定义一个容器名称。 -p 8080:8080：开启一个端口，可以web访问（如冲突，可自行更换其他端口）。 ${image_name}：容器镜像的名称。 通过容器名称进入容器中。默认使用ma-user用户，后续所有操作步骤都在ma-user用户下执行。
=0,1 通过命令npu-smi info查询NPU卡为容器中的第几张卡。例如下图查询出两张卡，如果希望使用第一和第二张卡，则“export ASCEND_RT_VISIBLE_DEVICES=0,1”，注意编号不是填4、5。 图1 查询结果 配置环境变量。 export DEFER_DECODE=1
如何在训练中加载部分训练好的参数？ 在训练作业时，需要从预训练的模型中加载部分参数，初始化当前模型。请您通过如下方式加载： 通过如下代码，您可以查看所有的参数。 from moxing.tensorflow.utils.hyper_param_flags import mox_flags
数据集图片无法显示，如何解决？ 问题现象 创建的数据集，在进行标注时无法显示图片，单击单张图片也无法查看。或者数据集中提示图片加载异常。 原因分析 可能由于用户本地网络原因，无法正常访问OBS导致图片无法正常加载。 可能由于没有OBS桶的访问权限导致，请检查数据集输入位置所在的OBS桶，是否具有访问权限。
info查看空闲卡号，修改davinci后数字可以更改挂载卡。 若需要启动多卡推理服务，则需要挂载多卡，例如再添加一个--device=/dev/davinci2 ${image_name} 代表 ${image_name}。 -p 8183:8183 开启一个端口，可以web访问（如冲突，可自行更换其他端口）。
llm。 --host ${docker_ip}：服务部署的IP地址，${docker_ip}替换为宿主机实际的IP地址。 --port：推理服务端口8080。 --tokenizer：tokenizer路径，HuggingFace的权重路径。 --epochs：测试轮数，默认取值为5
llm举例。 --host ${docker_ip}：服务部署的IP，${docker_ip}替换为宿主机实际的IP地址。 --port：推理服务端口8080。 --tokenizer：tokenizer路径，HuggingFace的权重路径。 --epochs：测试轮数，默认取值为5
--tensor-parallel-size：并行卡数。 --hostname：服务部署的IP，使用本机IP 0.0.0.0。 --port：服务部署的端口8080。 --max-model-len：最大数据输入+输出长度，不能超过模型配置文件config.json里面定义的“max
tensor-parallel-size：并行卡数。 --hostname：服务部署的IP，使用本机IP 0.0.0.0。 --port：服务部署的端口8080。 --max-model-len：最大数据输入+输出长度，不能超过模型配置文件config.json里面定义的“max
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
