检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
策略,以便用户收集的日志可以上传至对应的OBS桶。 华为云技术支持配置完成后,会给您提供对应的OBS桶目录“obs_dir”,该目录用于后续配置的脚本中。 图1 租户名ID和IAM用户名ID 准备收集上传脚本。 修改以下脚本中NpuLogCollection的参数,将ak、sk、
with_column_header 否 Boolean 发布时是否将列名写到CSV文件的第一行,对于表格数据集有效。可选值如下: true:发布时将列名写到CSV文件的第一行(默认值) false:发布时不将列名写到CSV文件的第一行 响应参数 状态码: 201 表3 响应Body参数 参数 参数类型
WorkflowSchedulePolicies 参数 是否必选 参数类型 描述 on_failure 否 String 定时调度策略中的标记,失败时触发。 on_running 否 String 定时调度策略中的标记,running时触发。 响应参数 状态码: 201 表4 响应Body参数 参数 参数类型 描述
agency 否 String 管理员。 workforces 否 Array of WorkforceConfig objects 执行标注任务的团队列表。 表4 WorkforceConfig 参数 是否必选 参数类型 描述 workers 否 Array of Worker objects
可以基于保存的镜像创建训练作业。 message String 镜像创建的时间,UTC毫秒。 create_time Long 镜像保存操作过程中,展示构建信息。 请求示例 如下以创建uuid为2cd88daa-31a4-40a8-a58f-d186b0e93e4f的训练作业对应worker-0镜像保存任务为例。
agency 否 String 管理员。 workforces 否 Array of WorkforceConfig objects 执行标注任务的团队列表。 表4 WorkforceConfig 参数 是否必选 参数类型 描述 workers 否 Array of Worker objects
ter分支下载的tacotron2模型,修改配置文件后上传ModelArts准备训练,日志报错提示:No module name 'unidecode'。 原因分析 requirements.txt的Unidecode名字写错了,应该把U改成小写,所以导致训练作业的环境没有装上unidecode模块。
} moss原始数据集是一个多轮对话的jsonl,filter的输入就是其中的一行 循环处理其中的单轮对话 在单轮对话中 对user和assistant的文本进行清洗 分别encode处理后的文本,获得对应的token序列,user_ids和assistant_ids
} moss原始数据集是一个多轮对话的jsonl,filter的输入就是其中的一行 循环处理其中的单轮对话 在单轮对话中 对user和assistant的文本进行清洗 分别encode处理后的文本,获得对应的token序列,user_ids和assistant_ids
描述 auto_sync_dataset 否 Boolean 团队标注任务的标注结果是否自动同步至数据集。可选值如下: true:团队标注任务的标注结果自动同步至数据集(默认值) false:团队标注任务的标注结果不自动同步至数据集 data_sync_type 否 Integer
下配置,设置该程序可见的GPU: os.environ['CUDA_VISIBLE_DEVICES'] = '0,1,2,3,4,5,6,7' 其中,0为服务器的GPU编号,可以为0,1,2,3等,表明对程序可见的GPU编号。如果未进行添加配置则该编号对应的GPU不可用。 父主题:
--model-type:模型类型。 --loader:选择对应加载模型脚本的名称。 --saver:选择模型保存脚本的名称。 --tensor-model-parallel-size:${TP}张量并行数,需要与训练脚本中的TP值配置一样。 --pipeline-model-paralle
--model-type:模型类型。 --loader:选择对应加载模型脚本的名称。 --saver:选择模型保存脚本的名称。 --tensor-model-parallel-size:${TP}张量并行数,需要与训练脚本中的TP值配置一样。 --pipeline-model-paralle
--model-type:模型类型。 --loader:选择对应加载模型脚本的名称。 --saver:选择模型保存脚本的名称。 --tensor-model-parallel-size:${TP}张量并行数,需要与训练脚本中的TP值配置一样。 --pipeline-model-paralle
--model-type:模型类型。 --loader:选择对应加载模型脚本的名称。 --saver:选择模型保存脚本的名称。 --tensor-model-parallel-size:${TP}张量并行数,需要与训练脚本中的TP值配置一样。 --pipeline-model-paralle
-Token的值)。 表3 请求Body参数 参数 是否必选 参数类型 描述 workspace_id 否 String 工作空间id。 support_app_code 否 Boolean 是否支持APP CODE。 auth_type 否 String API的认证方式。 枚举值如下:
模型NPU卡数、梯度累积值取值表 不同模型推荐的训练参数和计算规格要求如表1所示。规格与节点数中的1*节点 & 4*Ascend表示单机4卡,以此类推。 表1 NPU卡数、加速框架、梯度配置取值表 模型 模型参数量 训练类型 序列长度cutoff_len 梯度累积值 优化工具(Deepspeed)
of strings 允许通过SSH协议访问Notebook的公网IP地址白名单列表,默认都可以访问。当配置指定IP后,则仅允许IP所在的客户端实现对Notebook的访问。 dev_service String 支持的服务,枚举值如下: NOTEBOOK:可以通过https协议访问Notebook
of strings 允许通过SSH协议访问Notebook的公网IP地址白名单列表,默认都可以访问。当配置指定IP后,则仅允许IP所在的客户端实现对Notebook的访问。 dev_service String 支持的服务,枚举值如下: NOTEBOOK:可以通过https协议访问Notebook
of strings 允许通过SSH协议访问Notebook的公网IP地址白名单列表,默认都可以访问。当配置指定IP后,则仅允许IP所在的客户端实现对Notebook的访问。 dev_service String 支持的服务,枚举值如下: NOTEBOOK:可以通过https协议访问Notebook