检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
d的对应配置。 图9 使用当前DashBoard的配置 创建Dashboards查看指标 打开“DashBoards”，单击“New”，选择“New Dashboards”。 在New Dashboards界面，单击“Add a new panel”。 在New dashboard
仅当授权类型为委托时，需要该字段。 type 否 String 授权类型。推荐使用委托方式。 可选值： agency：委托 credential：访问密钥（AK/SK） content 是 String 授权内容。 当授权类型是委托，该字段为委托名称。 当授权类型是访问密钥，该字段为访问密钥ID（AK）。
用awq、smoothquant或者gptq加载的量化权重，根据量化方式选择对应参数，可选awq，smoothquant，gptq。 distributed_executor_backend是开启多进程服务方式，选择ray开启。 model：模型启动模式，可选vllm，opena
String 挂载文件的访问权限，支持读写和只读两种方式，仅type为“obsfs”类型，该字段有效。可选值： ReadOnlyMany：只读方式 ReadWriteMany：读写方式（默认值） 表16 failed_reasons字段数据结构说明 参数 参数类型 说明 code String
String 挂载文件的访问权限，支持读写和只读两种方式，仅type为“obsfs”类型，该字段有效。可选值： ReadOnlyMany：只读方式 ReadWriteMany：读写方式（默认值） 表17 auto_stop字段数据结构说明 参数 参数类型 说明 enable Boolean
String 挂载文件的访问权限，支持读写和只读两种方式，仅type为“obsfs”类型，该字段有效。可选值： ReadOnlyMany：只读方式 ReadWriteMany：读写方式（默认值） 表14 auto_stop字段数据结构说明 参数 参数类型 说明 enable Boolean
主要包含六种场景的用例： 基于JobStep的输出注册模型 基于OBS数据注册模型 使用模板方式注册模型 使用自定义镜像注册模型 使用自定义镜像+OBS的方式注册模型 使用订阅模型+OBS的方式注册模型 从训练作业中注册模型（模型输入来源JobStep的输出） import modelarts
执行训练任务（推荐） 新的训练方式将统一管理训练日志、训练结果和训练配置，使用yaml配置文件方便用户根据自己实际需求进行修改。推荐用户使用该方式进行训练。 步骤一 上传训练权重文件和数据集 如果在准备代码和数据阶段已经上传权重文件和数据集到容器中，可以忽略此步骤。 如果未上传训
json文件中的status字段的值在训练脚本启动时，并不一定为completed状态。因此需要训练脚本等待status字段的值等于completed之后，再去读取文件的剩余内容。 通过训练脚本，可以使用模板一格式的jobstart_hccl.json文件，在等待status字段的值等于com
迁移环境准备 迁移环境准备有以下两种方式： 表1 方式说明 序号 名称 说明 方式一 ModelArts Notebook 该环境为在线调试环境，主要面向演示、体验和快速原型调试场景。 优点：可快速、低成本地搭建环境，使用标准化容器镜像，官方Notebook示例可直接运行。 缺点
”：默认关闭，可通过勾选高级选项提供增强功能。 “按标签导入”：系统将自动获取此数据集的标签，您可以单击“添加标签”添加。此字段为可选字段，您也可以在导入数据集后，在标注数据操作时，添加或删除标签。 “只导入难例”：难例指manifest文件中的“hard”属性，勾选此参数，表示
口协议？ 系统默认使用https。如果您想使用http，可以采取以下两种方式： 方式一：在部署边缘服务时添加如下环境变量： MODELARTS_SSL_ENABLED = false 图1 添加环境变量 方式二：在使用自定义镜像导入模型时，创建模型页面中“容器调用接口”设置为“http”，再部署边缘服务。
原因为Github已取消密码授权方式，此时在git clone私有仓库和git push文件时需要在授权方式框中输入token。 解决方案 使用token替换原先的密码授权方式，在git clone私有仓库和git push文件时，需要在授权方式框中输入token（见下图）；具体获取token方式请参考查看GitHub中Personal
执行训练任务（推荐） 新的训练方式将统一管理训练日志、训练结果和训练配置，使用yaml配置文件方便用户根据自己实际需求进行修改。推荐用户使用该方式进行训练。 权重文件支持以下组合方式，用户根据自己实际要求选择： 训练stage 不加载权重 增量训练：加载权重，不加载优化器（默认开启）
用户可以通过API接口的方式开启自动重启。创建训练作业时，在“metadata”字段的“annotations”中传入“fault-tolerance/job-retry-num”字段。 添加“fault-tolerance/job-retry-num”字段，视为开启自动重启，va
search_type 否 String 过滤方式。可选值如下： equal表示精确匹配。 contain表示模糊匹配。 具体过滤的字段，由各个接口额外定义参数。例如Workflow支持按照名称（name）进行过滤，则相应的过滤字段为name。name=workflow&sear
sv”。 file指每个推理请求对应到输入数据目录下的一个文件，当使用此方式时，此模型对应req_uri只能有一个输入参数且此参数的类型是file。 csv指每个推理请求对应到csv里的一行数据，当使用此方式时，输入数据目录下的文件只能以.csv为后缀，且需配置mapping_r
String 调用失败时的错误信息，调用成功时无此字段。 error_code String 调用失败时的错误码，具体请参见错误码，调用成功时无此字段。 error_solution String 调用失败时的提示解决信息，调用成功时无此字段。 父主题： 训练作业
模型量化功能，启动推理服务前，先参考使用AWQ量化、使用SmoothQuant量化或使用GPTQ量化章节对模型做量化处理。 参数定义和使用方式与vLLM0.6.3版本一致，此处介绍关键参数。详细参数解释请参见https://github.com/vllm-project/vllm
Packages session = Session() 方式1：初始化已存在模型 1 model_instance = Model(session, model_id="your_model_id") 方式2：创建模型 基于预置镜像和OBS路径创建模型 1 2 3
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
