检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
适配的CANN版本是cann_8.0.rc3，驱动版本是23.0.6。 本案例仅支持在专属资源池上运行，确保专属资源池可以访问公网。 文档更新内容 6.3.912版本是第一次发布 支持的模型列表 本方案支持以下模型的训练，如表1所示。 表1 支持的模型列表 序号 支持模型 支持模型参数量
notebook字段数据结构说明所示。 workspace Object 工作空间，如表18所示。 latest_update_timestamp String 实例的更新时间。 flavor_details Object 机器规格详情，如表9所示。 pool Object 专属资源池，如表10所示。 ai_project
workspace_id String 工作空间ID，默认为0。 create_time Integer 创建时间。 update_time Integer 更新时间。 id String 实验ID。 表6 TrainingExperimentStatistic 参数 参数类型 描述 job_count
算成本，加快了模型微调速度。对于VLLM来说，使用LoRA进行多任务部署具有以下优势： 资源节省：在大模型中引入LoRA，可以减少模型需要更新的参数量，从而节省NPU内存并提高推理速度。 轻量化适配：无需改变原始模型结构，通过低秩矩阵的调整即可适配不同任务。 多任务并行：支持同时
适配的CANN版本是cann_8.0.rc3，驱动版本是23.0.6。 本案例仅支持在专属资源池上运行，确保专属资源池可以访问公网。 文档更新内容 6.3.912版本是第一次发布。 支持的模型列表 本方案支持以下模型的训练，如表1所示。 表1 支持的模型列表 序号 支持模型 支持模型参数量
String 专属集群ID，默认为空，不使用专属集群；使用专属集群部署服务时需确保集群状态正常；配置此参数后，则使用集群的网络配置，vpc_id参数不生效。 inf_config_list Array of InfConfig objects 运行推理任务需要的配置列表，可选填，默认为空。 inf_output
进行的毫秒数，使得当次Token解码能与下一次模型推理并行计算，从而减少总推理时延。该参数需要设置环境变量DEFER_DECODE=1才能生效。 export USE_VOCAB_PARALLEL=1 # 是否使用词表并行；默认值为1表示开启并行，取值为0表示关闭并行。对于词表
6和BF16数据类型推理。float16表示FP16，bfloat16表示BF16。 如果不指定，则根据输入数据自动匹配数据类型。使用不同的dtype会影响模型精度。如果使用开源权重，建议不指定dtype，使用开源权重默认的dtype。 --tensor-parallel-siz
String 专属集群ID，默认为空，不使用专属集群；使用专属集群部署服务时需确保集群状态正常；配置此参数后，则使用集群的网络配置，vpc_id参数不生效。 inf_config_list Array of InfConfig objects 运行推理任务需要的配置列表，可选填，默认为空。 inf_output
6和BF16数据类型推理。float16表示FP16，bfloat16表示BF16。 如果不指定，则根据输入数据自动匹配数据类型。使用不同的dtype会影响模型精度。如果使用开源权重，建议不指定dtype，使用开源权重默认的dtype。 --tensor-parallel-siz
creation_timestamp String 实例的创建时间。 latest_update_timestamp String 实例的更新时间。 profile Object 配置信息，如表12所示。 flavor String 机器规格。 flavor_details Object
export_images Boolean 发布时是否导出图片到版本输出目录。可选值如下： true：导出图片到版本输出目录 false：不导出图片到版本输出目录（默认值） extract_serial_number Boolean 发布时是否需要解析子样本序号，用于医疗数据集。可选值如下：
modelarts:notebook:stop 用于停止运行中的Notebook实例。 更新Notebook实例自动停止时间。 ModelArts modelarts:notebook:updateStopPolicy 用于更新Notebook实例的自动停止时间。 OBS并行文件系统场景下使用Mi
替换最长时间为24小时，超时后仍然未找到合适的资源，状态会变为“失败”。可将鼠标悬浮在图标上，查看具体失败原因。 每天累计替换的次数不超过资源池节点总数的20%，同时替换的节点数不超过资源池节点总数的5%。 替换节点时需确保有空闲节点资源，否则替换可能失败。 当操作记录里有节点处于重置中时，该资源池无法进行替换节点操作。
标注成员的当前登录状态。可选值如下： 0：未发送邀请邮件 1：已发送邀请邮件但未登录 2：已登录 3：标注成员已删除 update_time 否 Long 更新时间。 worker_id 否 String 标注成员ID。 workforce_id 否 String 所属标注团队ID。 响应参数 无
String 用户ID，获取方法请参见获取用户ID和名称。 当user_id为all时，表示对所有IAM子用户进行授权，如果已有部分用户已授权，则更新授权。 仅当授权类型为委托时，需要该字段。 type String 授权类型。推荐使用委托方式。 可选值： agency：委托 credential：访问密钥（AK/SK）
myhuaweicloud.com Train_command_path: /xxx/xxx/xxx.py Readme的文件必须按照YAML语法书写才能使配置生效。 表1 自定义镜像的训练参数 参数名称 说明 Train_image_url 必填，训练镜像路径，输入镜像存放的SWR路径地址，例如“swr
create_time Long 标注团队的创建时间。 description String 标注团队的描述。 update_time Long 标注团队的更新时间。 worker_count Integer 标注团队的成员总数。 workforce_id String 标注团队ID。 workforce_name
grants objects 授权用户列表。默认为空。需要与“auth_type”参数配合使用，且仅当授权类型为“INTERNAL”时才会生效。 owner String 创建者名称。 auth_type String 授权类型。可选值有PUBLIC、PRIVATE、INTERNAL。默认值为PUBLIC。
--dtype：模型推理的数据类型。仅支持FP16和BF16数据类型推理。float16表示FP16，bfloat16表示BF16。如果不指定，则根据输入数据自动匹配数据类型。 --distributed-executor-backend：多卡推理启动后端，可选值为"ray"或
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
