检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
job_id",或从查询训练作业列表的响应中获得。 表2 update_job_configs请求参数说明 参数 是否必选 参数类型 描述 description 是 String 需要更改的训练作业的描述信息。 无成功响应参数 表3 调用训练接口失败响应参数 参数 类型 描述 error_msg
包结构说明。 获取路径:Support-E,在此路径中查找下载ModelArts 6.3.912 版本。 说明: 如果上述软件获取路径打开后未显示相应的软件信息,说明您没有下载权限,请联系您所在企业的华为方技术支持下载获取。 模型软件包结构说明 AscendCloud-6.3.9
像,方便用户灵活调整实例的AI引擎;可以切换节点运行规格,方便用户灵活调整规格资源;可以初期存储使用量较小时选择小存储,可以在创建完成后根据需要扩充EVS容量;使用动态挂载OBS将OBS对象存储模拟成本地文件系统;还可以在Notebook异常时查看实例的事件定位等,具体参见管理Notebook实例。
eepspeed参数。 是否开启NPU FlashAttention融合算子,具体约束详见NPU_Flash_Attn融合算子约束 是,配置以下参数。 flash_attn: sdpa 否,配置以下参数关闭。 flash_attn: disabled 是否使用固定句长。 是,配置以下参数
ons 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 workflow_id 是 String 工作流的ID。 请求参数 表2 请求Body参数 参数 是否必选 参数类型 描述 created_at
参数 参数类型 描述 type String 参数种类。 editable Boolean 是否可编辑。 required Boolean 是否必须。 sensitive Boolean 是否敏感。该功能暂未实现。 valid_type String 有效种类。 valid_range
32GB (modelarts.vm.cpu.8ud) 计算节点个数:1个 用了一段时间后,用户发现当前规格无法满足业务需要,于2023/03/20 9:00:00扩容规格增加1个节点(扩容后,共有2个节点)。因为该专属资源池打算长期使用下去,于2023/03/20 10:30:
调用认证鉴权接口获取用户Token,在后续的请求中需要将Token放到请求消息头中作为认证。 调用启动智能任务接口给图像分类的数据集创建一个智能标注任务。 调用获取智能任务的信息接口根据智能标注的任务ID查询任务详情。 待智能标注任务完成后,调用查询智能标注的样本列表接口可以查看标注结果。
如果使用Server资源,请参考Lite Server资源开通,购买Server资源,并确保机器已开通,密码已获取,能通过SSH登录,不同机器之间网络互通。 当容器需要提供服务给多个用户,或者多个用户共享使用该容器时,应限制容器访问Openstack的管理地址(169.254.169.254),以防止容器获取
8192 设置模型能够处理的最大序列长度。 SN 1200 必须修改。指定的输入数据集中数据的总数量。更换数据集时,需要修改。 EPOCH 5 表示训练轮次,根据实际需要修改。一个Epoch是将所有训练样本训练一次的过程。 TRAIN_ITERS 10 非必填。表示训练step迭代次数,会进行自动计算得出。
8192 设置模型能够处理的最大序列长度。 SN 1200 必须修改。指定的输入数据集中数据的总数量。更换数据集时,需要修改。 EPOCH 5 表示训练轮次,根据实际需要修改。一个Epoch是将所有训练样本训练一次的过程。 TRAIN_ITERS 10 非必填。表示训练step迭代次数,会进行自动计算得出。
/sharegpt_0_199_mufp16/"为举例,需要替换为实际地址。 new_folder为需要存储新的data的地址。命令中的./sharegpt_0_199_mufp16/"为举例,需要替换为实际地址。 tp为需要切分成的文件夹数量,默认为8。 步骤四:执行训练 安装完成后,执行: accelerate
表1 高级参数说明 参数名 是否必选 默认值 参数说明 simlarity_threshold 否 0.9 相似程度阈值,两张图片间的相似度大于阈值时,其中一张会作为重复图片被过滤掉。取值范围为0~1。 do_validation 否 True 是否进行数据校验,可填True或者
export_new_dataset_work_path String 导出新数据集的工作目录。 ratio_sample_usage Boolean 指定切分比例后,是否按指定比例随机分配训练-验证集。可选值如下: true:主动随机分配训练集-验证集 false:不主动随机分配训练集-验证集(默认值) sample_state
在创建并使用的工作空间,以实际取值为准。 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token。 通过调用IAM服务获取用户Token接口获取(响应消息头中X-Subject-Token的值)。 响应参数
json #微调数据文件 修改代码 将AscendSpeed代码包AscendCloud-LLM-xxx.zip在本地解压缩后。在上传代码前,需要对解压后的训练脚本代码进行修改。具体文件为:修改llm_train/AscendSpeed/scripts/dev_pipeline.
_image:0.0.1”为构建的新镜像的SWR路径。“XXX”为鉴权时指定的profile。 注册新镜像 构建完成后,将新镜像注册到ModelArts镜像管理服务中,进而能够在ModelArts中使用该镜像。 有两种方式来注册镜像。 方式一:使用ma-cli image reg
参数 参数类型 描述 type String 参数种类。 editable Boolean 是否可编辑。 required Boolean 是否必须。 sensitive Boolean 是否敏感。该功能暂未实现。 valid_type String 有效种类。 valid_range
/v2/{project_id}/pools 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-ModelArts-User-ID
export_images Boolean 发布时是否导出图片到版本输出目录。可选值如下: true:导出图片到版本输出目录 false:不导出图片到版本输出目录(默认值) extract_serial_number Boolean 发布时是否需要解析子样本序号,用于医疗数据集。可选值如下: