检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
规格，需要联系华为云技术支持申请开通。 当容器需要提供服务给多个用户，或者多个用户共享使用该容器时，应限制容器访问Openstack的管理地址（169.254.169.254），以防止容器获取宿主机的元数据。具体操作请参见禁止容器获取宿主机元数据。 SSH登录机器后，检查NPU设
Array of strings 镜像支持的规格。 枚举值如下： CPU GPU ASCEND swr_path String SWR镜像地址。 tag String 镜像Tag。 type String 镜像类型。枚举值如下： BUILD_IN：系统内置镜像。 DEDICATED：用户保存的镜像。
在服务配额页面，单击右上角的“申请扩大配额”，填写申请材料后提交工单。 申请扩大配额主要是申请弹性云服务器ECS实例数、核心数（CPU核数）、RAM容量（内存大小）和云硬盘EVS磁盘容量这4个资源配额。具体的配额数量请先联系客户经理获取。 图7 ECS资源类型 图8 云硬盘资源类型 配额需大于需要开通的资源，且在
Face权重（可与tokenizer相同文件夹）时，对应的存放地址。请根据实际规划修改。 TOKENIZER_PATH /home/ma-user/ws/llm_train/AscendSpeed/tokenizers/llama2-13B 该参数为tokenizer文件的存放地址。默认与ORIGINAL_HF
Face权重（可与tokenizer相同文件夹）时，对应的存放地址。请根据实际规划修改。 TOKENIZER_PATH /home/ma-user/ws/tokenizers/llama2-13B 该参数为tokenizer文件的存放地址。默认与ORIGINAL_HF_WEIGHT路径相同。若用户需要将Hugging
如果元模型来源于容器镜像，显示容器镜像存储路径。 AI引擎 如果元模型来源于训练作业/对象存储服务，显示模型使用的AI引擎。 引擎包地址 如果元模型来源于对象存储服务（AI引擎为Custom），显示引擎包地址。 运行环境 如果元模型来源于训练作业/对象存储服务（AI引擎为预置引擎），显示元模型依赖的运行环境。
Array of strings 镜像支持的规格。 枚举值如下： CPU GPU ASCEND swr_path String SWR镜像地址。 tag String 镜像Tag。 type String 镜像类型。枚举值如下： BUILD_IN：系统内置镜像。 DEDICATED：用户保存的镜像。
通过SSH登录，不同机器之间网络互通。 当容器需要提供服务给多个用户，或者多个用户共享使用该容器时，应限制容器访问Openstack的管理地址（169.254.169.254），以防止容器获取宿主机的元数据。具体操作请参见禁止容器获取宿主机元数据。 SSH登录机器后，检查NPU设
源使用率数据）、Cloud Shell（登录训练容器的工具）等能力，方便用户更清楚得了解训练作业运行过程，并在遇到任务异常时更加准确的排查定位问题 父主题： Standard功能介绍
登录ModelArts控制台，在左侧导航栏中选择“镜像管理”，单击“注册镜像”，进入注册镜像页面。 输入镜像源地址，选择架构和类型后，单击“立即注册”。 “镜像源”：地址为swr.cn-north-4-myhuaweicloud.com/custom_test/tensorflow2
查询服务事件日志 功能介绍 查询服务事件日志，包含服务的操作记录及部署过程中的关键动作、部署失败原因。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI GET /v1
管理同步在线服务 查看在线服务详情 查看在线服务的事件 管理在线服务生命周期 修改在线服务配置 在云监控平台查看在线服务性能指标 集成在线服务API至生产环境中应用 设置在线服务故障自动重启 父主题： 使用ModelArts Standard部署模型并推理预测
查询服务监控信息 查询当前服务对象监控信息。 示例代码 在ModelArts notebook平台，Session鉴权无需输入鉴权参数。其它平台的Session鉴权请参见Session鉴权。 方式1：根据部署在线服务生成的服务对象进行查询服务监控 1 2 3 4 5 6 7 from
管理我的服务 扩缩容模型服务实例数 修改模型服务QPS 升级模型服务
修改模型服务QPS 流量限制QPS是评估模型服务处理能力的关键指标，它指示系统在高并发场景下每秒能处理的请求量。这一指标直接关系到模型的响应速度和处理效率。不当的QPS配置可能导致用户等待时间延长，影响满意度。因此，能够灵活调整模型的QPS对于保障服务性能、优化用户体验、维持业务流畅及控制成本至关重要。
通过SSH登录，不同机器之间网络互通。 当容器需要提供服务给多个用户，或者多个用户共享使用该容器时，应限制容器访问Openstack的管理地址（169.254.169.254），以防止容器获取宿主机的元数据。具体操作请参见禁止容器获取宿主机元数据。 SSH登录机器后，检查NPU设
Face权重（可与tokenizer相同文件夹）时，对应的存放地址。请根据实际规划修改。 TOKENIZER_PATH /home/ma-user/ws/tokenizers/llama2-13B 该参数为tokenizer文件的存放地址。默认与ORIGINAL_HF_WEIGHT路径相同。若用户需要将Hugging
Face权重（可与tokenizer相同文件夹）时，对应的存放地址。请根据实际规划修改。 TOKENIZER_PATH /home/ma-user/ws/tokenizers/llama2-13B 该参数为tokenizer文件的存放地址。默认与ORIGINAL_HF_WEIGHT路径相同。若用户需要将Hugging
Face权重（可与tokenizer相同文件夹）时，对应的存放地址。请根据实际规划修改。 TOKENIZER_PATH /home/ma-user/ws/tokenizers/llama2-13B 该参数为tokenizer文件的存放地址。默认与ORIGINAL_HF_WEIGHT路径相同。若用户需要将Hugging
Face权重（可与tokenizer相同文件夹）时，对应的存放地址。请根据实际规划修改。 TOKENIZER_PATH /home/ma-user/ws/llm_train/AscendSpeed/tokenizers/llama2-13B 该参数为tokenizer文件的存放地址。默认与ORIGINAL_HF
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
