检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
写作业信息,创建方式参考表1,其他参数填写请参考创建训练作业。 表1 创建训练作业的创建方式 参数名称 说明 创建方式 必选,选择“自定义算法”。 启动方式 必选,选择“预置框架”,并选择训练作业要使用的预置框架引擎和引擎版本,引擎版本选择“自定义”。 镜像 容器镜像选择上一步上传到SWR的镜像。
“train_params.json” 必选文件,训练参数文件,定义了模型训练的必要参数,例如训练方式、超参信息。该参数会显示在微调工作流的“作业设置”页面的算法配置和超参数设置里面。代码示例请参见train_params.json示例。 “dataset_readme.md” 必选文件,数据集要求
准备镜像 准备大模型推理适用的容器镜像,包括获取镜像地址,了解镜像中包含的各类固件版本,配置Standard物理机环境操作。 镜像版本 本教程中用到基础镜像地址和配套版本关系如下表所示,请提前了解。 表1 基础容器镜像地址 镜像用途 镜像地址 配套版本 基础镜像 swr.cn-southwest-2
CogVideoX模型基于DevServer适配PyTorch NPU全量训练指导(6.3.911) 本文档主要介绍如何在ModelArts Lite的DevServer环境中,使用NPU卡对CogVideoX模型基于sat框架进行全量微调。本文档中提供的脚本,是基于原生CogV
智能标注类型 “主动学习”。“主动学习”表示系统将自动使用半监督学习、难例筛选等多种手段进行智能标注,降低人工标注量,帮助用户找到难例。 算法类型 针对“图像分类”类型的数据集,您需要选择以下参数。 “快速型”:仅使用已标注的样本进行训练。 “精准型”:会额外使用未标注的样本做半监督训练,使得模型精度更高。
准备镜像 准备大模型推理适用的容器镜像,包括获取镜像地址,了解镜像中包含的各类固件版本,配置Standard物理机环境操作。 镜像版本 本教程中用到基础镜像地址和配套版本关系如下表所示,请提前了解。 表1 基础容器镜像地址 镜像用途 镜像地址 配套版本 基础镜像 swr.cn-southwest-2
gine_id无需填写。请从查询作业引擎规格接口获取引擎规格ID。 model_id 是 Long 训练作业的内置模型ID。请通过查询预置算法接口获取model_id。填入model_id后app_url与boot_file_url和engine_id无需填写。 train_url
名称即可。 说明: 首次运行需要配置,会自动创建新的标注任务,后续不建议进行修改,使用同一个标注任务进行数据标注。 图像分类训练参数配置 算法超参相关的配置,建议直接使用默认值。每个参数的具体含义已在控制台界面输入框下方说明。 模型注册参数配置 model_name:填写模型名称
应包含两个有效特征列(列的取值至少有两个且数据缺失比例低于10%)。训练数据的csv文件不能包含表头,否则会导致训练失败。当前由于特征筛选算法限制,标签列建议放在数据集最后一列,否则可能导致训练失败。 由于ModelArts会自动对数据进行一些过滤,过滤后再启动训练作业。当预处理
参数类型 描述 model_algorithm 是 String 模型算法,表示该模型的用途,由模型开发者填写,以便使用者理解该模型的用途。只能以英文字母开头,不能包含中文以及&!'\"<>=,不超过36个字符。常见的模型算法有image_classification(图像分类)、obj
S路径。 name 是 String 数据处理任务名称。 template 是 TemplateParam object 数据处理模板,如算法ID和参数等。 version_id 否 String 数据集版本ID。 work_path 否 WorkPath object 数据处理
String 否 自定义镜像运行的UID,默认值1000。 --working-dir String 否 运行算法时所在的工作目录。 --local-code-dir String 否 算法的代码目录下载到训练容器内的本地路径。 --user-command String 否 自定义镜像执行命令。需为/home下的目录。
进入容器。默认使用ma-user用户,后续所有操作步骤都在ma-user用户下执行。 docker exec -it sdxl-train bash Step5 修改算法脚本 进入容器后,修改启动脚本文件。 vi /home/ma-user/sdxl-train/user-job-dir/code/diff
<镜像名称>:<tag>:定义镜像名称。示例:sdxl-train:0.0.1。 Step7 创建训练作业 创建训练作业,填下如下参数。 创建方式:选择自定义算法,启动方式选择自定义,然后选择上传到SWR的自定义镜像。 代码目录:选择上传到OBS的代码文件夹,例如/sdxl-train/code。若
通过SSH工具远程使用Notebook 本节操作介绍在Windows环境中使用PuTTY SSH远程登录云上Notebook实例的操作步骤。 前提条件 创建一个Notebook实例,并开启远程SSH开发,配置远程访问IP白名单。该实例状态必须处于“运行中”,具体参见创建Notebook实例章节。
Object> 数据集的样本统计信息,包括样本元信息的统计,json格式。 data_validate Boolean 发布前数据是否经过校验算法校验。可选值如下: true:数据经过校验 false:数据未经过校验 deleted_sample_count Integer 已删除的样本数量。
3:失败 4:停止 task_id String 数据处理任务ID。 template TemplateParam object 数据处理模板,如算法ID和参数等。 version_count Integer 数据处理任务的版本数量。 version_id String 数据处理任务对应的数据集版本ID。
<镜像名称>:<tag>:定义镜像名称。示例:sdxl-train:0.0.1。 Step7 创建训练作业 创建训练作业,填下如下参数。 创建方式:选择自定义算法,启动方式选择自定义,然后选择上传到SWR的自定义镜像。 代码目录:选择上传到OBS的代码文件夹,例如/sdxl-train/code。若
安全 责任共担 资产识别与管理 身份认证与访问控制 数据保护技术 审计与日志 服务韧性 监控安全风险 故障恢复 更新管理 认证证书 安全边界
#HEADER_testheader matches 'mock.*' 示例三: 当预测的http请求的header中存在uid且其哈希值符合指定的分桶算法时,可匹配到这条规则。 #HEADER_uid.hashCode() % 100 < 10 图2 通过Header访问不同版本 如果在线服