检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
单击右侧的,可以更改Notebook名称和描述。 编辑完成之后单击“确定”。 关联资产 在输入框中输入资产ID后,单击“关联”即可关联其他资产,更方便其他使用者进行查找。算法可以关联数据集资产。 选择“关联资产”,在输入框中输入待关联资产的ID,单击“关联”。 在弹出的“资产信息”页面,单击“确定”即可关联资产。
Shell登录运行中的训练容器。 通过Sleep命令使训练作业保持运行 如果训练作业使用的是预置框架: 在创建训练作业时,“创建方式”选择“自定义算法”,“启动方式”选择“预置框架”,代码目录中新增sleep.py并将此脚本作为“启动文件”。这样启动的作业将会持续运行60分钟。您可通过Cloud
收集项 说明 实际情况(请填写) 项目名称 项目名称,例如:XXX项目。 - 使用场景 例如: 使用YOLOv5算法对工地的视频流裁帧后进行安全帽检测。 使用BertBase算法对用户在app上购买商品后的评论进行理解。 - CPU架构 X86/ARM,自有软件是否支持ARM。 例如:
String 在线同步服务设置elb后端转发策略详情枚举值:ROUND_ROBIN(加权轮询算法),LEAST_CONNECTIONS(加权最少连接),SOURCE_IP(源ip算法) priority Integer 抢占优先级,取值范围[1, 3],通过设置优先级保障高优先级的业务调度。
件,具体请参见训练tokenizer文件说明。 Step2 创建SFT全参微调训练任务 创建训练作业,并自定义名称、描述等信息。选择自定义算法,启动方式自定义,以及上传的镜像。训练脚本中会自动执行训练前的权重转换操作和数据处理操作。 图1 选择镜像 训练作业启动命令中输入: cd
size)流水线模型并行策略,具体详细参数配置如表2所示。 Step2 创建LoRA微调训练任务 创建训练作业,并自定义名称、描述等信息。选择自定义算法,启动方式自定义,以及上传的镜像。训练脚本中会自动执行训练前的权重转换操作和数据处理操作。 图1 选择镜像 训练作业启动命令中输入: cd
“train_params.json” 必选文件,训练参数文件,定义了模型训练的必要参数,例如训练方式、超参信息。该参数会显示在微调工作流的“作业设置”页面的算法配置和超参数设置里面。代码示例请参见train_params.json示例。 “dataset_readme.md” 必选文件,数据集要求
用过程中如果消耗了硬件资源进行部署,管理控制台将根据实际使用情况收取硬件资源的费用。 前提条件 注册并登录华为云,且创建好OBS桶用于存储算法和Workflow。 订阅免费Workflow 登录“AI Gallery”。 选择“资产集市 > MLOps > Workflow”,进
Access Key):与访问密钥ID结合使用的密钥,对请求进行加密签名,可标识发送方,并防止请求被修改。 使用AK/SK认证时,您可以基于签名算法使用AK/SK对请求进行签名,也可以使用专门的签名SDK对请求进行签名。详细的签名方法和SDK使用方法请参见API签名指南。 签名SDK只
nizer文件,具体请参见训练tokenizer文件说明。 Step2 创建预训练任务 创建训练作业,并自定义名称、描述等信息。选择自定义算法,启动方式自定义,以及上传的镜像。训练脚本中会自动执行训练前的权重转换操作和数据处理操作。 图1 选择镜像 训练作业启动命令中输入: cd
task_version_id String 数据处理任务的版本ID。 template TemplateParam object 算法模板,如算法ID和参数等。 unmodified_sample_count Integer 处理后无修改的图片数量。 update_time Long
收集项 说明 实际情况(请填写) 项目名称 项目名称,例如:XXX项目。 - 使用场景 例如: 使用YOLOv5算法对工地的视频流裁帧后进行安全帽检测。 使用BertBase算法对用户在app上购买商品后的评论进行理解。 - CPU架构 X86/ARM,自有软件是否支持ARM。 例如:
计算得出的模型参数/权重更新的次数。在调优过程中,每一个Iterations会消耗32条训练数据。 参见表3 学习率/learning_rate 设置每个迭代步数(iteration)模型参数/权重更新的速率。学习率设置得过高会导致模型难以收敛,过低则会导致模型收敛速度过慢。 参见表3 Checkpoint保存个数
调试场景。 环境开通指导请参考Notebook环境创建。 ModelArts Lite DevServer 该环境为裸机开发环境,主要面向深度定制化开发场景。 环境开通指导请参考DevServer资源开通;环境配置指导请参考Snt9B裸金属服务器环境配置指南。 本文基于ModelArts
Arts分身”,您可以通过菜单栏的左上角进行工作空间的切换,不同工作空间中的工作互不影响。ModelArts的用户需要为不同的业务目标开发算法、管理和部署模型,此时可以创建多个工作空间,把不同应用开发过程的输出内容划分到不同工作空间中,便于管理和使用。 远程接入管理 使用本地ID
enizer文件,具体请参见训练tokenizer文件说明。 Step2 创建训练任务 创建训练作业,并自定义名称、描述等信息。选择自定义算法,启动方式自定义,以及上传的镜像。训练脚本中会自动执行训练前的权重转换操作和数据处理操作。 图1 选择镜像 如果镜像使用使用基础镜像中的基础镜像时,训练作业启动命令中输入:
model_path) 初始化方法,适用于深度学习框架模型。该方法内加载模型及标签等(pytorch和caffe类型模型必须重写,实现模型加载逻辑)。 __init__(self, model_path) 初始化方法,适用于机器学习框架模型。该方法内初始化模型的路径(self.
是否有“运行中”的Workflow列表。如果有,单击Workflow列表中“操作 > 删除”即可停止计费。 进入“ModelArts>自动学习”页面,检查是否有“运行中”的项目。如果有,单击项目列表中“操作 > 删除”即可停止计费。 进入“ModelArts>开发空间>Noteb
scription_ID", item_version_id="item_version_ID"), # 训练使用的算法对象,示例中使用AIGallery订阅的算法 inputs=[ wf.steps.JobInput(name="data_url_1",
model_algorithm="image_classification", # 模型算法 execution_code="OBS_PATH"