检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
用户项目ID。获取方法请参见获取项目ID和名称。 plugintemplate_name 是 String 插件模板的名称。可选值如下: gpu-driver:GPU驱动插件模板信息 npu-driver:NPU驱动插件模板信息 请求参数 无 响应参数 状态码:200 表2 响应Body参数 参数 参数类型
获取自动化搜索作业yaml模板的信息 功能介绍 获取自动化搜索作业yaml模板的信息。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v2/{projec
获取自动化搜索作业yaml模板的内容 功能介绍 获取自动化搜索作业yaml模板的内容。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v2/{projec
OBS)。 接口约束 使用模板导入模型与不使用模板导入这两类导入方式的Body参数要求不一样。以下Body参数说明中以模板参数表示适合使用模板导入模型时填写的参数,非模板参数表示适合不使用模板导入时填写的参数,公共参数表示与导入方式无关的参数。 使用模板导入模型时(model_t
RANK_TABLE_FILE文件提供Ascend分布式训练作业的集群信息,用于Ascend芯片分布式通信,可以被HCCL集合通信库解析。该文件格式有模板一和模板二两个版本。 ModelArts提供的是模板二格式。ModelArts训练环境的Ascend HCCL RANK_TABLE_FILE文件名为jobstart_hccl
按照自己的场景需求选择相应的代码示例模板进行修改。编排过程主要分为以下几个步骤。 梳理场景,了解预置Step的功能,确定最终的DAG结构。 单节点功能,如训练、推理等在ModelArts相应服务中调试通过。 根据节点功能选择相应的代码模板,进行内容的补充。 根据DAG结构编排节点,完成Workflow的编写。
8.3-aarch64-d910-20220906 加载镜像构建模板。 执行ma-cli image get-template命令查询镜像模板。 然后执行ma-cli image add-template命令将镜像模板加载到指定文件夹下,默认路径为当前命令所在的路径。例如:加载up
获取超参敏感度分析结果 获取某个超参敏感度分析图像的路径 提前终止自动化搜索作业的某个trial 获取自动化搜索作业yaml模板的信息 获取自动化搜索作业yaml模板的内容 创建训练作业标签 删除训练作业标签 查询训练作业标签 获取训练作业事件列表 创建训练作业镜像保存任务 查询训练作业镜像保存任务
根据最终部署环境和开发者需求的推理速度,自动调优并生成满足要求的模型 ModelArts自动学习,为资深级用户提供模板化开发能力 提供“自动学习白盒化”能力,开放模型参数、自动生成模型,实现模板化开发,提高开发效率 采用自动深度学习技术,通过迁移学习(只通过少量数据生成高质量的模型),多维度下
(只支持已安装docker环境的ECS)。 使用ma-cli image get-template命令查询镜像构建模板 ma-cli提供了一些常用的镜像构建模板,模板中包含了在ModelArts Notebook上进行Dockerfile开发的牵引指导。 $ ma-cli image
template_id 所使用的模板ID,模板中会内置一个输入输出模式 是 str、Placeholder infer_format 输入输出模式ID,提供时覆盖模板中的内置输入输出模式 否 str、Placeholder template_inputs 模板输入项配置,即配置模型的源路径
identity,一个是alpaca_en_demo。如选用定义数据请参考准备数据(可选) template qwen 必须修改。用于指定模板。如果设置为"qwen",则使用QWEN模板进行训练,模板选择可参照表1中的template列 max_samples 1000 用于指定训练过程中使用的最大样本数量。
json配置文件所属的绝对路径;如使用自定义数据集,yaml配置文件需添加此参数。 template qwen 必须修改。用于指定模板。如果设置为"qwen",则使用QWEN模板进行训练,模板选择可参照表1中的template列 max_samples 50000 用于指定训练过程中使用的最大样本数量
json配置文件所属的绝对路径;如使用自定义数据集,yaml配置文件需添加此参数。 template qwen 必须修改。用于指定模板。如果设置为"qwen",则使用QWEN模板进行训练,模板选择可参照表1中的template列 max_samples 50000 用于指定训练过程中使用的最大样本数量
Face权重时存放目录绝对或相对路径。请根据实际规划修改。 template qwen 必须修改。用于指定模板。如果设置为"qwen",则使用Qwen模板进行训练,模板选择可参照表1中的template列 output_dir /home/ma-user/ws/Qwen2-72B/sft-4096
yaml。修改详细步骤如下所示。 选择训练策略类型。 sft,复制sft_yaml样例模板内容覆盖demo.yaml文件内容。 lora,复制lora_yaml样例模板内容覆盖demo.yaml文件内容。 dpo,复制dpo_yaml样例模板内容覆盖demo.yaml文件内容。 修改yaml文件(demo
ModelArts提供了集群视图、节点视图、用户视图、任务视图和任务详细视图这5个模板,这些模板在Grafana官方文档可以搜索下载,您导入模板配置Dashboards时,可直接使用。 表1 模板下载地址 模板名称 下载地址 集群视图 https://cnnorth4-modelarts-sdk
指令监督微调,复制tune_yaml样例模板内容覆盖demo.yaml文件内容。 DPO偏好训练,复制dpo_yaml样例模板内容覆盖demo.yaml文件内容。 PPO强化训练,先进行RM奖励训练任务后,复制ppo_yaml样例模板内容覆盖demo.yaml内容。 RM奖励训练,复制rm_yaml样例模板内容覆盖demo
复制tune_yaml样例模板内容覆盖demo.yaml文件内容。 DPO偏好训练,复制dpo_yaml样例模板内容覆盖demo.yaml文件内容。 PPO强化训练,先进行RM奖励训练任务后,复制ppo_yaml样例模板内容覆盖demo.yaml内容。 RM奖励训练,复制rm_yaml样例模板内容覆盖demo
镜像里面“/var/lib/cloud/instances”残留了制作镜像机器(后面称模板机)的实例ID信息,如果制作镜像不清理“/var/lib/cloud/*”就会导致用该镜像再重装模板机时,cloud-init根据残留目录(含实例ID)判断已经执行过一次,进而不会再执行user-data里面的脚本。