检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
可选，部署服务时使用的资源池ID。对于rel-time和batch服务类型，为旧版专属资源池ID，配置此参数后，则使用集群的网络配置，vpc_id参数不生效，使用专属资源池部署服务时需确保集群状态正常，若要使用专属资源池，需配置cluster_id或pool_name两个参数中任意一个，且po
!<>=&"'。不设置此参数表示不更新。 config 否 Array of ServiceConfig objects 服务配置，不设置此参数表示不更新。 status 否 String 服务状态，可设置状态为running或stopped来启动、停止服务，不设置此参数则不修改
rank_table配置local_ranktable_xx_host.json文件，其中xx表示当前实例的IP地址。 NODE_PORTS：仅在服务入口实例生效，用于与全量推理实例、增量推理实例的信息交互。该参数入参为形如{port1},{port2},{portn}的字符串，与全量或增量推理实例
rank_table配置local_ranktable_xx_host.json文件，其中xx表示当前实例的IP地址。 NODE_PORTS：仅在服务入口实例生效，用于与全量推理实例、增量推理实例的信息交互。该参数入参为形如{port1},{port2},{portn}的字符串，与全量或增量推理实例
grants objects 授权用户列表，默认为空。需要与“auth_type”参数配合使用，且仅当授权类型为“INTERNAL”时才会生效。 auth_type 否 String 授权类型。可选值有PUBLIC、PRIVATE、INTERNAL。默认值为PUBLIC。 PUBLIC：租户内部公开访问。
将必要的内核模块加载到系统中。但有时候也可能需要手动执行该命令。例如，在更新了NVIDIA驱动后，需要重新加载新版本的内核模块才能使变更生效。 此外，如果使用了多个NVIDIA显卡，每个显卡都需要加载相应的内核模块才能正常工作。在这种情况下，也需要手动执行“nvidia-mod
发现默认系统内核已经变为h998，reboot后就会生效。 此时如果重启那么内核版本就被升级了。 处理方法 下文中假设当前服务器的内核版本是为4.18.0-147.5.1.6.h934.eulerosv2r9.x86_64，介绍如何避免操作系统内核自动升级。 操作系统内核升级生效，必然需要服务器重启， 因
该参数配置之后，每次启动均有效。如果enable为true时，该参数是必须的。如果当前实例的状态为运行中，修改此参数，只有在下次启动才会生效。 prompt 否 Boolean 是否需要再次提醒，该参数提供给前台console，用于让console判断是否需要再次弹出弹出框对用户进行提醒，默认是true。
进行的毫秒数，使得当次Token解码能与下一次模型推理并行计算，从而减少总推理时延。该参数需要设置环境变量DEFER_DECODE=1才能生效。 export USE_VOCAB_PARALLEL=1 # 是否使用词表并行；默认值为1表示开启并行，取值为0表示关闭并行。对于词表
当您想更新节点池配置时，可单击操作列的“更新”，相关参数介绍请参见Step6 购买Cluster资源。 需注意，更新节点池配置时，高级配置仅对新增的节点生效，其中“存量节点标签及污点”、“存量节点资源标签”支持对存量节点同步改动（勾选对应的复选框）。 节点池中更新的“资源标签”信息会同步到节点上。
"stream": False, # 在流式输出时是否展示使用的token数目。只有当stream为True时该参数才会生效。 # "stream_options": {"include_usage": True}, # 控制采样
再单击“下一步”，设置最小授权范围。单击“指定区域项目资源”，勾选待授权使用的区域，单击“确定”。 提示授权成功，查看授权信息，单击“完成”。此处的授权生效需要15-30分钟。 父主题： 配置ModelArts基本使用权限
图6 授权用户组 在“授权”页面，选中步骤1创建的策略名称，单击“下一步”，按需选择授权范围方案，单击“确定”。 图7 授权页面 在“权限生效时间提醒”对话框，仔细阅读相关信息，然后单击“知道了”。 查看并配置缺失的服务权限。 登录MaaS控制台，单击顶部提示中的“此处”，在“服
在前文提到的权限授权操作中，如果“选择授权范围方案”时设定为“指定企业项目资源”，那么该授权仅对绑定至该企业项目的工作空间生效。 工作空间的约束与权限授权的约束是叠加生效的，意味着对于一个用户，必须同时拥有工作空间的访问权和训练任务的创建权限（且该权限覆盖至当前的工作空间），他才可以在这个空间里提交训练任务。
grants objects 授权用户列表。默认为空。需要与“auth_type”参数配合使用，且仅当授权类型为“INTERNAL”时才会生效。 owner String 创建者名称。 auth_type String 授权类型。可选值有PUBLIC、PRIVATE、INTERNAL。默认值为PUBLIC。
6和BF16数据类型推理。float16表示FP16，bfloat16表示BF16。 如果不指定，则根据输入数据自动匹配数据类型。使用不同的dtype会影响模型精度。如果使用开源权重，建议不指定dtype，使用开源权重默认的dtype。 --tensor-parallel-siz
修改自动刷新时间 图6 修改自动刷新时间 模板的默认刷新时间是15分钟，如果觉得该时间不合适，可在右上角下拉选择修改，修改后，单击保存即可生效。 修改DashBoard查询数据时间范围 图7 修改查询数据时间范围 单击右上角图标，即可修改DashBoard整体的数据查询时间。除固
myhuaweicloud.com Train_command_path: /xxx/xxx/xxx.py Readme的文件必须按照YAML语法书写才能使配置生效。 表1 自定义镜像的训练参数 参数名称 说明 Train_image_url 必填，训练镜像路径，输入镜像存放的SWR路径地址，例如“swr
--user-command String 否 自定义镜像执行命令。需为/home下的目录。 当code-dir以file://为前缀时，当前字段不生效。 --pool-id String 否 训练作业选择的资源池ID。可在ModelArts管理控制台，单击左侧“专属资源池”，在专属资源池列表中查看资源池ID。
6和BF16数据类型推理。float16表示FP16，bfloat16表示BF16。 如果不指定，则根据输入数据自动匹配数据类型。使用不同的dtype会影响模型精度。如果使用开源权重，建议不指定dtype，使用开源权重默认的dtype。 --tensor-parallel-siz
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
