检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
creation_timestamp String 实例的创建时间。 latest_update_timestamp String 实例的更新时间。 profile Object 配置信息，如表12所示。 flavor String 机器规格。 flavor_details Object
模型镜像版本 模型 版本 CANN cann_8.0.rc3 驱动 23.0.6 PyTorch 2.1.0 步骤一 检查环境 SSH登录机器后，检查NPU设备检查。运行如下命令，返回NPU设备信息。 npu-smi info # 在每个实例节点上运行此命令可以看到NPU卡状态
将权重文件上传到集群节点机器中。权重文件的格式要求为Huggingface格式。开源权重文件获取地址请参见支持的模型列表和权重文件。 如果使用模型训练后的权重文件进行推理，模型训练及训练后的权重文件转换操作可以参考相关文档章节中提供的模型训练文档。 Step2 配置pod 在节点自定义目录${node_path}下创建config
进行的毫秒数，使得本次Token解码能与下一次模型推理并行计算，从而减少总推理时延。该参数需要设置环境变量DEFER_DECODE=1才能生效。 export USE_VOCAB_PARALLEL=1 # 是否使用词表并行；默认值为1表示开启并行，取值为0表示关闭并行。对于词表
模型镜像版本 模型 版本 CANN cann_8.0.rc3 驱动 23.0.6 PyTorch 2.1.0 步骤一 检查环境 SSH登录机器后，检查NPU设备检查。运行如下命令，返回NPU设备信息。 npu-smi info # 在每个实例节点上运行此命令可以看到NPU卡状态
模型镜像版本 模型 版本 CANN cann_8.0.rc3 驱动 23.0.6 PyTorch 2.1.0 步骤一 检查环境 SSH登录机器后，检查NPU设备检查。运行如下命令，返回NPU设备信息。 npu-smi info # 在每个实例节点上运行此命令可以看到NPU卡状态
--user-command String 否 自定义镜像执行命令。需为/home下的目录。 当code-dir以file://为前缀时，当前字段不生效。 --pool-id String 否 训练作业选择的资源池ID。可在ModelArts管理控制台，单击左侧“专属资源池”，在专属资源池列表中查看资源池ID。
WorkflowDagPolicies 参数 参数类型 描述 use_cache Boolean 是否使用缓存。 请求示例 查询工作流执行记录列表 GET https://{endpoint}/v2/{project_id}/workflows/{workflow_id}/executions?lim
盖ModelArts内置的推理过程，运行自定义的推理逻辑）。 _postprocess(self, data) 后处理方法，在推理请求完成后调用，用于将模型输出转换为API接口输出。 用户可以选择重写preprocess和postprocess方法，以实现API输入数据的预处理和推理输出结果的后处理。
--image String 否 自定义镜像路径，格式为：组织名/镜像名:镜像版本。当用户设置“feature”为“custom”时，该参数生效。用户可通过与“feature”参数配合使用，指定作业运行使用自定义的Spark镜像。 -obs / --obs-bucket String
模型镜像版本 模型 版本 CANN cann_8.0.rc3 驱动 23.0.6 PyTorch 2.3.1 步骤一 检查环境 SSH登录机器后，检查NPU设备检查。运行如下命令，返回NPU设备信息。 npu-smi info # 在每个实例节点上运行此命令可以看到NPU卡状态
我的算法”页面，单击算法名称进入详情页，单击“发布”，在“发布资产到AI Gallery”页面，输入发布参数后，再次单击“发布”。 如果首次发布算法，则“发布方式”选择“创建新资产”，填写“资产标题”、选择发布区域等信息。 如果是为了更新已发布的算法版本，则“发布方式”选择“添加资产版本”，在“资产标题”下拉框中选择已有资产标题，填写“资产版本”。
将权重文件上传到DevServer机器中。权重文件的格式要求为Huggingface格式。开源权重文件获取地址请参见表3。 如果使用模型训练后的权重文件进行推理，模型训练及训练后的权重文件转换操作可以参考相关文档章节中提供的模型训练文档。 权重要求放在磁盘的指定目录，并做目录大小检查，参考命令如下：
inf_cluster_id 否 String 专属集群ID，默认为空，不使用专属集群；使用专属集群部署服务时需确保集群状态正常；配置此参数后，则使用集群的网络配置，vpc_id参数不生效。 inf_config_list 否 Array of InfConfig objects 运行推理任务需要的配置列表，可选填，默认为空。
在线服务授权管理。 开启支持APP认证功能后，将支持APP认证的服务授权给应用，用户可以使用创建的“AppKey/AppSecret”或“AppCode”调用服务的支持APP认证的接口。 APP认证的服务授权给应用后，需要1-2分钟生效。 在线服务授权管理 如果您需要使用支持AP
CTED__：采样已驳回 __AUTO_ANNOTATION__：待确认 search_conditions 否 String URL编码后的多维筛选条件（多个SearchCondition之间为and的关系）。 请求参数 无 响应参数 状态码： 200 表3 响应Body参数 参数
0：图像 1：文本 2：音频 4：表格 6：视频 9：自由格式（默认值） search_conditions 否 String URL编码后的多维筛选条件（多个SearchCondition之间为and的关系）。 version_id 否 String 数据集版本ID。 请求参数
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
