检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
权重进行。 仅当模型服务处于这几个状态下才能更新权重：运行中、异常、告警、已停止。 步骤1：验证模型权重文件 在进行模型服务升级之前，必须先确认模型权重文件能够成功完成推理任务。只有当验证成功，确保了模型权重的功能性和准确性后，才可以进行模型权重的滚动升级。 获取待更新的模型权重文件，并上传到OBS桶中。
ratio_sample_usage Boolean 指定切分比例后，是否按指定比例随机分配训练-验证集。可选值如下： true：主动随机分配训练集-验证集 false：不主动随机分配训练集-验证集（默认值） sample_state String 样本状态。可选样本状态如下： __ALL__：已标注
在ECS服务器中安装obsutil工具，具体命令可参考obsutil工具快速使用，将OBS桶中的数据下载至SFS Turbo中。注意：需要使用用户账号中的AK和SK进行签名验证，确保通过授权的账号才能访问指定的OBS资源。 父主题： 准备工作
在ECS服务器中安装obsutil工具，具体命令可参考obsutil工具快速使用，将OBS桶中的数据下载至SFS Turbo中。注意：需要使用用户账号中的AK和SK进行签名验证，确保通过授权的账号才能访问指定的OBS资源。 父主题： 准备工作
在ECS服务器中安装obsutil工具，具体命令可参考obsutil工具快速使用，将OBS桶中的数据下载至SFS Turbo中。注意：需要使用用户账号中的AK和SK进行签名验证，确保通过授权的账号才能访问指定的OBS资源。 父主题： 准备工作
export USE_VOCAB_PARALLEL=1 # 是否使用词表并行；默认值为1表示开启并行，取值为0表示关闭并行。对于词表较小的模型（如llama2系模型），关闭并行可以减少推理时延，对于词表较大的模型（如qwen系模型），开启并行可以减少显存占用，以提升推理吞吐量。 export
支持节点新进入集群，默认启用准入检测，以能够拉起真实的GPU/NPU检测任务 支持集群扩容时，扩容的节点默认开启准入检测，该准入检测也可关闭，以提升拉起真实的GPU/NPU检测任务成功率。 父主题： 功能介绍
认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全； # 本示例以ak和sk保存在环境变量中来实现身份验证为例，运行本示例前请先在本地环境中设置环境变量HUAWEICLOUD_SDK_AK和HUAWEICLOUD_SDK_SK。 __AK = os
0/0路由作为默认路由，此时无需提交工单添加默认路由即可完成网络配置。 步骤二：配置SNAT 参考通过公网NAT网关的SNAT规则访问公网章节，配置并验证SNAT。 查看可用IP数量（可选） 登录ModelArts管理控制台，在左侧导航栏中选择“AI专属资源池 > 弹性集群Cluster”，
“部署超时时间” 用于设置单个模型实例的超时时间，包括部署和启动时间。默认值为20分钟，输入值必须在3到120之间。 “运行日志输出” 默认关闭，批量服务的运行日志仅存放在ModelArts日志系统，在服务详情页的“日志”支持简单查询。 如果开启此功能，批量服务的运行日志会输出存放
Notebook：Notebook作业 state String 业务状态。可选值如下： Enabling：启动中 Enabled：已启动 Disabling：关闭中 Disabled：已关闭 表24 driver 参数 参数类型 描述 gpu PoolDriverStatus object GPU驱动信息。 npu
s操作SFS Turbo”，单击“下一步”，选择授权范围方案，单击“确定”。 此时，拥有该委托的所有用户均有权限进行关联与解除关联操作。 验证 登录ModelArts控制台，选择“专属资源池 > 网络”，单击“更多”，选择“关联sfsturbo”，关联成功。 登录ModelArts控制台，选择“专属资源池
modelarts/ma-cli-profile.yaml配置文件； -P表示鉴权文件中的某一组鉴权信息，默认是DEFAULT； -D表示是否开启debug模式（默认关闭），当开启debug模式后，命令的报错堆栈信息将会打印出来，否则只会打印报错信息； -h表示显示命令的帮助提示信息。 命令说明 表1 ma-cli支持的命令
ratio_sample_usage 否 Boolean 指定切分比例后，是否按指定比例随机分配训练-验证集。可选值如下： true：主动随机分配训练集-验证集 false：不主动随机分配训练集-验证集（默认值） sample_state 否 String 样本状态。可选样本状态如下： __ALL__：已标注
ratio_sample_usage Boolean 指定切分比例后，是否按指定比例随机分配训练-验证集。可选值如下： true：主动随机分配训练集-验证集 false：不主动随机分配训练集-验证集（默认值） sample_state String 样本状态。可选样本状态如下： __ALL__：已标注
&& \ pip install ipykernel==6.7.0 --trusted-host https://repo.huaweicloud.com -i https://repo.huaweicloud.com/repository/pypi/simple && \
进行中 npu-smi info 图7 查看卡信息 若想停止训练任务，可执行下述命令关闭进程，查询进程后显示已无运行中python进程。 pkill -9 python ps -ef 图8 关闭训练进程 limit/request配置cpu和内存大小，已知单节点Snt9B机器为：
记录”页签，单击“授权”，选中上一步创建的自定义策略“不允许用户使用公共资源池”，单击“下一步”，选择允许使用的资源区域，单击“确定”。 验证 使用子账号用户登录ModelArts控制台，选择“模型训练 > 训练作业”，单击“创建训练作业”，在创建训练页面，资源池规格只能选择专属资源池。
Notebook：Notebook作业 state String 业务状态。可选值如下： Enabling：启动中 Enabled：已启动 Disabling：关闭中 Disabled：已关闭 表26 driver 参数 参数类型 描述 gpu PoolDriverStatus object GPU驱动信息。 npu
“指定用户”：表示仅特定用户可以查看及使用该资产。 “仅自己可见”：表示只有当前账号可以查看并使用该资产。 “时长限制”。 设置订阅者可以免费使用资产的时长，默认关闭，即无限期使用。如果打开时长限制，除了设置资产免费使用的时长，还可以设置到期后是否续订。 如果是更新已发布资产的版本。 “发布方式”选择“添加资产版本”。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
