检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
可用的节点数量,当选择的节点数未剔除资源池的高可用冗余节点数时,会导致任务持续等待。 高可用冗余节点的运行机制: 高可用冗余节点将被隔离,默认设置为不可调度,工作负载无法调度到节点上。 高可用冗余节点会作为备用节点与节点的故障检测配合使用,为资源池提供故障节点自动切换能力,高可用
味着在微调过程中,除了输出层外,模型的所有参数都将被调整以适应新的任务。 lora_target all 采取lora策略方法的目标模块,默认为all dataset 指令监督微调/ppo:alpaca_en_demo rm/dpo:dpo_en_demo 多模态数据集(图像):mllm_demo
ZeRO-3-Offload,配置以下参数 deepspeed: examples/deepspeed/ds_z3_offload_config.json 否,默认选用Accelerate加速深度学习训练框架,注释掉deepspeed参数。 是否开启NPU FlashAttention融合算子,具体约
味着在微调过程中,除了输出层外,模型的所有参数都将被调整以适应新的任务。 lora_target all 采取lora策略方法的目标模块,默认为all dataset 指令监督微调/ppo:alpaca_en_demo rm/dpo:dpo_en_demo 多模态数据集(图像):mllm_demo
味着在微调过程中,除了输出层外,模型的所有参数都将被调整以适应新的任务。 lora_target all 采取lora策略方法的目标模块,默认为all dataset 指令监督微调/ppo:alpaca_en_demo rm/dpo:dpo_en_demo 多模态数据集(图像):mllm_demo
其中,加粗的斜体字段需要根据实际值填写: iam_endpoint为IAM的终端节点。 user_name为IAM用户名。 user_password为用户登录密码。 domain_name为用户所属的帐号名。 cn-north-1为项目名,代表服务的部署区域。 返回状态码“201 Created”,
节点池的状态信息。 表4 NodePoolMetadata 参数 参数类型 描述 name String 节点池名称。用户可进行指定,若未指定将会使用默认名称。 表5 NodePoolSpec 参数 参数类型 描述 resources PoolResource object 节点池中的资源信
节点池的状态信息。 表3 NodePoolMetadata 参数 参数类型 描述 name String 节点池名称。用户可进行指定,若未指定将会使用默认名称。 表4 NodePoolSpec 参数 参数类型 描述 resources PoolResource object 节点池中的资源信
r/ws 宿主机代码和数据目录 #例如: chmod -R 777 /home/ma-user/ws 通过容器名称进入容器中。启动容器时默认用户为ma-user用户。 docker exec -it ${container_name} bash 使用ma-user用户安装依赖包。
--shm-size:表示共享内存,用于多进程间通信。由于需要转换较大内存的模型文件,因此大小要求200g及以上。 通过容器名称进入容器中。启动容器时默认用户为ma-user用户。 docker exec -it ${container_name} bash 上传代码和数据到宿主机时使用的是
节点池的状态信息。 表4 NodePoolMetadata 参数 参数类型 描述 name String 节点池名称。用户可进行指定,若未指定将会使用默认名称。 表5 NodePoolSpec 参数 参数类型 描述 resources PoolResource object 节点池中的资源信
preferred_fp32”,“enforce_fp16”,“enforce_origin”或者“preferred_optimal”,默认为“enforce_fp16”。 [ascend_context] precision_mode= preferred_fp32 模型转换
--shm-size:表示共享内存,用于多进程间通信。由于需要转换较大内存的模型文件,因此大小要求200g及以上。 通过容器名称进入容器中。启动容器时默认用户为ma-user用户。 docker exec -it ${container_name} bash 上传代码和数据到宿主机时使用的是
--machine_rank ${VC_TASK_INDEX:-0} fi 部分环境变量在Notebook环境中不存在,因此需要提供默认值。 将代码放到OBS上,然后通过OBS将代码传至SFS相应目录中。 在本机机器上运行,通过obsutil工具将本地数据集传到OBS桶。 #
示例 参数说明 RUN_TYPE pretrain、sft、lora 数据预处理区分: 预训练场景下数据预处理,默认参数:pretrain 微调场景下数据预处理,默认:sft / lora ORIGINAL_TRAIN_DATA_PATH /home/ma-user/work/t
示例 参数说明 RUN_TYPE pretrain、sft、lora 数据预处理区分: 预训练场景下数据预处理,默认参数:pretrain 微调场景下数据预处理,默认:sft / lora ORIGINAL_TRAIN_DATA_PATH /home/ma-user/ws/tra
--shm-size:表示共享内存,用于多进程间通信。由于需要转换较大内存的模型文件,因此大小要求200g及以上。 通过容器名称进入容器中。启动容器时默认用户为ma-user用户。 docker exec -it ${container_name} bash 上传代码和数据到宿主机时使用的是
str或bool。 required 超参是否必选,支持true、false。必选不可删除,非必选可删除。 default 超参的默认值,如果无默认值,则填写空双引号。 help 超参的说明,不能超过20个字符。 { "training_methods": [
WorkPath object 数据处理任务的工作目录。 workspace_id String 数据处理任务的工作空间ID。未创建工作空间时默认值为“0”,存在创建并使用的工作空间,以实际取值为准。 表3 ProcessorDataSource 参数 参数类型 描述 name String
无需再手动修改Schema信息。 如果您的原始表格中没有表头,需关闭“导入是否包含表头”开关,从OBS选择数据后,Schema信息的列名默认为表格中的第一行数据,请更改Schema信息中的“列名”为attr_1、attr_2、……、attr_n,其中attr_n为最后一列,代表预测列。