检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
“计算节点规格”：在下拉框中选择“限时免费”资源，勾选并阅读免费规格说明。 其他参数可使用默认值。 如果限时免费资源售罄，建议选择收费CPU资源进行部署。当选择收费CPU资源部署在线服务时会收取少量资源费用，具体费用以界面信息为准。
duration Long 实例运行时长，以创建时间为起点计算，即“创建时间+duration > 当前时刻”时，系统会自动停止实例。 enable Boolean 是否启用自动停止功能。 type String 自动停止类别。 timing：自动停止。 idle：空闲停止。
token时延）：服务从开始计算首token到生成首token的耗时 avg_decode_latency（平均增量token时延）：服务计算增量token的平均耗时 time_in_queue（请求排队时间）：请求从到达服务开始到开始被调度的耗时 request_latency（
如果节点个数设置为1，表示后台的计算模式是单机模式；如果节点个数设置大于1，表示后台的计算模式为分布式的。请根据实际编码情况选择计算模式。 “环境变量” 设置环境变量，注入环境变量到容器实例。为确保您的数据安全，在环境变量中，请勿输入敏感信息，如明文密码。
枚举值如下: 1：准备存储 2：准备计算资源 3：配置网络 4：初始化实例 step_description String 任务某个步骤的描述。
各模型支持的最小卡数和最大序列 基于vLLM（v0.6.3）部署推理服务时，不同模型推理支持的最小昇腾卡数和对应卡数下的max-model-len长度说明，如下面的表格所示。
Step4 申请扩大资源配额 集群所需的ECS实例数、内存大小、CPU核数和EVS硬盘大小等资源会超出华为云默认提供的资源配额，因此需要申请扩大配额。 具体的配额方案请联系客户经理获取。 配额需大于要开通的资源，且在购买开通前完成配额提升，否则会导致资源开通失败。
【下线公告】华为云ModelArts服务旧版训练管理下线公告 华为云ModelArts服务旧版训练管理在2023年6月30日 00:00(北京时间)正式退市。
【下线公告】华为云ModelArts服务模型转换下线公告 华为云ModelArts服务模型转换在2024年4月30日 00:00(北京时间)正式下线。
枚举值如下: 1：准备存储 2：准备计算资源 3：配置网络 4：初始化实例 step_description String 任务某个步骤的描述。
枚举值如下: 1：准备存储 2：准备计算资源 3：配置网络 4：初始化实例 step_description String 任务某个步骤的描述。
枚举值如下: 1：准备存储 2：准备计算资源 3：配置网络 4：初始化实例 step_description String 任务某个步骤的描述。
配合ModelArts提供的云化容器资源使用，可以更加快速、高效地进行AI开发与模型实验的迭代等。 本章节会先介绍镜像相关概念，然后介绍预置镜像和自定义镜像使用场景，并且提供自定义镜像制作的相关指导。
4 迭代步数/Iterations 计算得出的模型参数/权重更新的次数。在调优过程中，每一个Iterations会消耗32条训练数据。 参见表3 学习率/learning_rate 设置每个迭代步数（iteration）模型参数/权重更新的速率。
一方面，理想情况下CPU侧算子下发会明显比NPU侧算子执行更快，此时性能瓶颈主要集中在NPU侧；另一方面，理想情况下NPU侧算子计算流水线一直执行，不会出现NPU等待CPU算子下发即NPU空转的场景，如果存在，则CPU侧算子下发存在瓶颈。
token时延）：服务从开始计算首token到生成首token的耗时 avg_decode_latency（平均增量token时延）：服务计算增量token的平均耗时 time_in_queue（请求排队时间）：请求从到达服务开始到开始被调度的耗时 request_latency（
【下线公告】华为云ModelArts服务旧版数据集下线公告 华为云计划于2024/10/31 00:00（北京时间）用AI开发平台ModelArts的新版数据集全面替代旧版数据集，旧版数据集正式下线。
当job_step输出的accuracy指标数据小于阈值0.5时，condition_lt的计算结果为True，此时job_step_retrain运行，model_step跳过；反之job_step_retrain跳过，model_step执行。
Ascend-vLLM是华为云针对NPU优化的推理框架，继承了vLLM的优点，并通过特定优化实现了更高的性能和易用性。它使得在NPU卡上运行大模型变得更加高效和便捷，为用户带来了极大的便利和性能提升。
modelarts.vm.cpu.8u：Intel CPU算力增强型，适用于密集计算场景下运算。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
