检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
过弹性公网IP进行访问,在给定的操作系统镜像上可以自行安装加速卡相关的驱动和其他软件,使用SFS或OBS进行数据存储和读取相关的操作,满足算法工程师进行日常训练的需要。请参见弹性裸金属Lite Server。 ModelArts Lite Cluster面向k8s资源型用户,提供
安装ModHeader插件 Chrome浏览器安装ModHeader插件后,可能会导致访问不了ModelArts平台,访问ModelArts时需要临时禁用ModHeader插件。或者使用Edge登录ModelArts,使用Chrome安装插件访问页面。 打开ModHeader,单击添加MOD。
件,具体请参见训练tokenizer文件说明。 Step2 创建SFT全参微调训练任务 创建训练作业,并自定义名称、描述等信息。选择自定义算法,启动方式自定义,以及上传的镜像。训练脚本中会自动执行训练前的权重转换操作和数据处理操作。 图1 选择镜像 训练作业启动命令中输入: cd
size)流水线模型并行策略,具体详细参数配置如表2所示。 Step2 创建LoRA微调训练任务 创建训练作业,并自定义名称、描述等信息。选择自定义算法,启动方式自定义,以及上传的镜像。训练脚本中会自动执行训练前的权重转换操作和数据处理操作。 图1 选择镜像 训练作业启动命令中输入: cd
需的模型。 评估模型 训练得到模型之后,整个开发过程还不算结束,需要对模型进行评估和考察。经常不能一次性获得一个满意的模型,需要反复的调整算法参数、数据,不断评估训练生成的模型。 一些常用的指标,如准确率、召回率、AUC等,能帮助您有效的评估,最终获得一个满意的模型。 部署模型
task_version_id String 数据处理任务的版本ID。 template TemplateParam object 算法模板,如算法ID和参数等。 unmodified_sample_count Integer 处理后无修改的图片数量。 update_time Long
用过程中如果消耗了硬件资源进行部署,管理控制台将根据实际使用情况收取硬件资源的费用。 前提条件 注册并登录华为云,且创建好OBS桶用于存储算法和Workflow。 订阅免费Workflow 登录“AI Gallery”。 选择“资产集市 > MLOps > Workflow”,进
数据集的标注信息存储在OBS中。 支持从OBS中导入数据。 开发环境 Notebook实例中的数据或代码文件可以存储在OBS中。 训练模型 训练作业使用的数据集、算法、运行脚本、训练输出产物、训练过程日志均可以存储在OBS中。 推理部署 训练作业结束后,其生成的模型可以存储在OBS中,创建模型时,从OBS中导入已有的模型文件。
参数类型 描述 name String 资产名称。 type String 资产类型,枚举如下: algorithm:算法 algorithm2:新算法 model:模型算法 content_id String 资产ID,可在AI Gallery中获取。 subscription_id
nizer文件,具体请参见训练tokenizer文件说明。 Step2 创建预训练任务 创建训练作业,并自定义名称、描述等信息。选择自定义算法,启动方式自定义,以及上传的镜像。训练脚本中会自动执行训练前的权重转换操作和数据处理操作。 图1 选择镜像 训练作业启动命令中输入: cd
String 在线同步服务设置elb后端转发策略详情枚举值:ROUND_ROBIN(加权轮询算法),LEAST_CONNECTIONS(加权最少连接),SOURCE_IP(源ip算法) 表4 QueryServiceConfig 参数 参数类型 描述 model_version
earn/XGBoost/MindSpore/Image/PyTorch。 model_algorithm 否 String 模型算法,表示模型的算法实现类型,如果已在模型配置文件中配置,则可不填。如:predict_analysis、object_detection 、image_classification。
"obs://test/data/1.jpg"} {"source": "s3://test/data/2.jpg"} {"source": "https://infers-data.obs.cn-north-1.myhuaweicloud.com:443/xgboosterdata/data
图6 查看预测结果 本案例中数据和算法生成的模型仅适用于教学模式,并不能应对复杂的预测场景。即生成的模型对预测图片有一定范围和要求,预测图片必须和训练数据集中的图片相似才可能预测准确。 ModelArts的AI Gallery中提供了常见的精度较高的算法和相应的训练数据集,用户可以在AI
图6 查看预测结果 本案例中数据和算法生成的模型仅适用于教学模式,并不能应对复杂的预测场景。即生成的模型对预测图片有一定范围和要求,预测图片必须和训练数据集中的图片相似才可能预测准确。 ModelArts的AI Gallery中提供了常见的精度较高的算法和相应的训练数据集,用户可以在AI
标注任务描述信息,长度为0-256位,不能包含^!<>=&"'特殊字符。 否 str 表5 Label 属性 描述 是否必填 数据类型 name 标签名称 否 str property 标签基本属性键值对,如颜色、快捷键等 否 str、dic、Placeholder type 标签类型 否
参数类型 描述 name String 资产名称。 type String 资产类型,枚举如下: algorithm:算法 algorithm2:新算法 model:模型算法 content_id String 资产ID,可在AI Gallery中获取。 subscription_id
pp_url/boot_file_url和engine_id无需填写。 model_id 是 Long 训练作业的模型ID。请通过查询预置算法接口获取model_id。填入model_id后app_url/boot_file_url和engine_id不需填写。 parameter
确认服务的部署区域,获取项目名称和ID、获取帐号名和ID和获取用户名和ID。 操作步骤 调用认证鉴权接口获取用户的Token。 请求消息体: URI格式:POST https://{iam_endpoint}/v3/auth/tokens 请求消息头:Content-Type →application/json
确保此OBS桶的归档数据直读功能关闭。如果此功能开启,可单击“归档数据直读”选项进行修改。 图2 关闭归档数据直读功能 ModelArts.4711 数据集标注样本数满足算法要求 每个类别至少包含5张以上图片。 ModelArts.4342 标注信息不满足切分条件 出现此故障时,建议根据如下建议,修改标注数据后重试。