正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
步骤以及步骤之间的关系进行定义 针对工作流复用,用户可以在开发完成后将流水线固化下来,提供下次或其他人员使用,同时无需关注流水线中包含什么算法或如何实现 图1 Workflow流程 父主题: Standard功能介绍
ModelArts Standard模型训练案例 表3 自定义算法样例列表 样例 镜像 对应功能 场景 说明 使用ModelArts Standard自定义算法实现手写数字识别 PyTorch 自定义算法 手写数字识别 使用用户自己的算法,训练得到手写数字识别模型,并部署后进行预测。 从0
环境变量,如表2所示。 表2 建议增加的环境变量 环境变量 建议值 说明 NCCL_IB_TIMEOUT 18 用于控制IB通信超时时间,算法为“4.096 µs * 2 ^ timeout”。如出现NCCL通信超时问题可适当调大,最大可调整至22。较大的值可能会影响性能,设置为18相对平衡。
即上文提到的输入请求类型。 图1 查看服务的调用指南 调用指南中的输入参数取决于您选择的AI应用来源: 如果您的元模型来源于自动学习或预置算法,其输入输出参数由ModelArts官方定义,请直接参考“调用指南”中的说明,并在预测页签中输入对应的JSON文本或文件进行服务测试。 如
开发环境 创建Notebook 使用JupyterLab打开Notebook调试代码 通过VS Code远程使用Notebook实例 算法管理 创建算法 训练模型 创建生产训练作业 创建调试训练作业 查看训练作业日志 分布式训练 创建AI应用 简介 管理AI应用 部署AI应用 部署为在线服务
以图像分类为例,阐述机器学习端到端场景的完整开发过程,主要包括数据标注、模型训练、服务部署等过程。您需要准备如下算法和数据集。 准备一个图像分类算法(或者可以直接从AI Gallery搜索订阅一个“图像分类-ResNet_v1_50”算法)。 准备一个图片类型的数据集,请参考准备数据集。可从AI Gallery直接
训练作业”,默认进入“训练作业”列表。单击“创建训练作业”进入创建训练作业页面。 在“创建训练作业”页面,填写相关参数信息,然后单击“提交”。 创建方式:选择“自定义算法”。 启动方式:选择“自定义”。 镜像:选择上传的自定义镜像。 启动命令: cd ${MA_JOB_DIR}/demo && python
spawn命令启动训练作业。 创建训练作业的关键参数如表1所示。 表1 创建训练作业(预置框架) 参数名称 说明 创建方式 选择“自定义算法”。 启动方式 选择“预置框架”,引擎选择“PyTorch”,PyTorch版本根据训练要求选择。 代码目录 选择OBS桶中训练code文
raining-project}/。 如果报错路径为训练数据路径,需要在以下两个地方完成适配,具体适配方法请参考自定义算法适配章节的输入输出配置部分: 在创建算法时,您需要在输入路径配置中设置代码路径参数,默认为“data_url”。 您需要在训练代码中添加超参,默认为“data
报错“An SSH installation couldn't be found”或者“Could not establish connection to instance xxx: 'ssh' ...”如何解决? 问题现象 或 VS Code连接Notebook一直提示选择证书
Gallery为零基础开发者,提供无代码开发工具,快速推理、部署AI应用;为具备基础代码能力的开发者,AI Gallery将复杂的模型、数据及算法策略深度融合,构建了一个高效协同的模型体验环境,让开发者仅需几行代码即可调用任何模型,大幅度降低了模型开发门槛。 充足澎湃算力,最佳实践算力推荐方案,提升实践效率和成本
训练作业”,默认进入“训练作业”列表。单击“创建训练作业”进入创建训练作业页面。 在“创建训练作业”页面,填写相关参数信息,然后单击“提交”。 创建方式:选择“自定义算法”。 启动方式:选择“自定义”。 镜像:选择上传的自定义镜像。 启动命令: ln -s /home/ma-user/work/coco /home/ma-user/coco
) # 算法超参的值使用Placeholder对象来表示,支持int, bool, float, str四种类型 ] ), # 训练使用的算法对象,示例中使用AIGallery订阅的算法;部分算法超参的值如果无需修改,则在para
Optimization):直接偏好优化方法,通过直接优化语言模型来实现对大模型输出的精确把控,不用进行强化学习,也可以准确判断和学习到使用者的偏好,最后,DPO算法还可以与其他优化算法相结合,进一步提高深度学习模型的性能。 SFT监督式微调(Self-training Fine-tuning):是一种利用有标签数据进行模型训练的方法。
仅专属资源池支持使用Cloud Shell登录训练容器,且训练作业必须处于“运行中”状态。 在训练管理的“创建算法”页面,来源于AI Gallery中订阅的算法不支持另存为新算法。 训练作业卡死检测目前仅支持资源类型为GPU的训练作业。 仅使用新版专属资源池训练时才支持设置训练作业优
“仅自己可见”:表示只有当前账号可以查看并使用该资产。 单击“保存”,完成修改。 关联资产 数据集可以关联Notebook和算法。当数据集关联了Notebook或算法时,Notebook或算法页面也显示关联了数据集。 选择“关联资产”页签,单击右上方的“编辑”,在搜索框中输入待关联资产的ID,单击“关联”。
“nvidia-smi”是一个NVIDIA GPU监视器命令行工具,用于查看GPU的使用情况和性能指标,可以帮助用户进行GPU优化和故障排除。 但是建议在业务软件或训练算法中,避免频繁使用“nvidia-smi”命令功能获取相关信息,存在锁死的风险。出现D+进程后可以尝试如下方法: 方法1: 可以根据ps -aux查到的进程号,
task_version_id String 数据处理任务的版本ID。 template TemplateParam object 算法模板,如算法ID和参数等。 unmodified_sample_count Integer 处理后无修改的图片数量。 update_time Long
ok名称和描述。 编辑完成之后单击“确定”。 关联资产 在输入框中输入资产ID后,单击“关联”即可关联其他资产,更方便其他使用者进行查找。算法可以关联数据集资产。 选择“关联资产”,在输入框中输入待关联资产的ID,单击“关联”。 在弹出的“资产信息”页面,单击“确定”即可关联资产。
以根据业务需求选择使用不同规格的套餐包。 ModelArts提供了AI全流程开发的套餐包,面向有AI基础的开发者,提供机器学习和深度学习的算法开发及部署全功能,包含数据处理、模型开发、模型训练、模型管理和部署上线流程。 约束限制 套餐包在购买和使用时的限制如下: 套餐包和购买时选