正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
用户项目ID。获取方法请参见获取项目ID和名称。 training_job_id 是 String 训练作业ID。获取方法请参见查询训练作业列表。 task_id 是 String 训练作业的任务名称。可从训练作业详情中的status.tasks字段中获取。 project_id 是 String
模型效果较好。 同一个自动学习项目可以训练多次,每次训练会注册一个新的AI应用版本。如第一次训练版本号为“0.0.1”,下一个版本为“0.0.2”。基于训练版本可以对训练模型进行管理。当训练的模型达到目标后,再执行模型部署的操作。 父主题: 使用自动学习实现图像分类
自动学习声音分类预测报错ERROR:input key sound is not in model 根据在线服务预测报错日志ERROR:input key sound is not in model inputs可知,预测的音频文件是空。预测的音频文件太小,换大的音频文件预测。 父主题:
训练前卡死 作业为多节点训练,且还未开始训练时发生卡死,可以在代码中加入os.environ["NCCL_DEBUG"] = "INFO",查看NCCL DEBUG信息。 问题现象1 日志中还未出现NCCL DEBUG信息时已卡死。 解决方案1 检查代码,检查是否有参数中未传入“
模板管理 云端推理框架新增模板能力,用户在云端推理框架发布推理服务时,可以使用系统预置的模板,将模型包发布成推理服务。 背景信息 在模型训练服务“模型管理”界面发布的推理服务,仅封装了Tensorflow类型的模型。对模型包格式上限制导致定制会比较多。或者使用特殊环境的Case难
推理代码,在训练代码文件中编辑训练代码等操作。 使用默认配置,单击“开始训练”。 训练结束,训练任务状态变为“FINISHED”后,单击训练任务对应的“”,查看优化报告。 单击“详情”页签,该页面按照评估值从大到小展示迭代训练结果,单击其中一个结果,如第一行最优训练结果对应的“”,再次加入训练。
训练中途卡死 问题现象1 检测每个节点日志是否有报错信息,某个节点报错但作业未退出导致整个训练作业卡死。 解决方案1 查看报错原因,解决报错。 问题现象2 作业卡在sync-batch-norm中或者训练速度变慢。pytorch如果开了sync-batch-norm,多机会慢,因
插件管理,可以搜索需要的插件并安装,也可以对已安装的插件进行管理,比如卸载、停用等。 :训练任务列表展示,展开训练任务可查看任务下的文件、日志等。 4 代码编辑区。当前联邦学习工程的主算法文件可直接用于训练任务的训练,无需进行导入数据,及加入训练时的数据集配置操作。如果需要定制,可自行修改代码。 5 面板区
创建训练作业 示例代码 在ModelArts notebook平台,Session鉴权无需输入鉴权参数。其它平台的Session鉴权请参见Session鉴权。 ModelArts SDK不支持通过在AI Gallery中订阅的算法创建训练作业。 示例一:提交常用框架训练作业 Es
是否使用增量学习 训练时是否使用增量学习,默认关闭。 是否进行集成学习 训练时是否进行集成学习,默认开启。开启后训练结果增加模型集成节点,训练结果中生成两个stacking类型的模型包。 单击图标,运行AutoML代码框内容。运行结果如图5所示。 AutoML模型训练过程中,会展
推理服务 云端推理框架提供模型云端运行框架环境,用户可以在线验证模型推理效果,无须从零准备计算资源、搭建推理框架,只需将模型包加载到云端推理框架,一键发布成云端Web Service推理服务,帮助用户高效低成本完成模型验证。 其中,“推理服务”主界面默认展示所有推理服务,用户可查
ModelArts与DLS服务的区别? 深度学习服务(DLS)是基于华为云强大高性能计算提供的一站式深度学习平台服务,内置大量优化的网络模型,以便捷、高效的方式帮助用户轻松使用深度学习技术,通过灵活调度按需服务化方式提供模型训练与评估。 但是,DLS服务仅提供深度学习技术,而ModelArts集成了深度学习和机器
持通过“Ctrl+F”方式搜索日志。 :将当前训练工程加入训练。 :返回到当前训练工程所在的“模型训练”页面。 训练任务:查看训练任务的运行状态。可以查看训练任务的运行日志以及训练报告,删除训练任务。也可以在任务执行过程中单击暂停训练任务。 3 代码目录:包含日志文件夹、模型文件
模型包生成的时间。 来源 模型包的来源。包括模型训练服务、本地上传和AI市场导入三种来源。 状态 模型包的状态。 操作 可以对模型包执行下述操作: :查看模型包信息,包括名称、版本、描述、基本信息、运行依赖。 :将模型包发布成推理服务。 :删除模型包。 父主题: 云端推理框架
Object 会话对象,初始化方法请参考Session鉴权。 job_id 是 String 训练作业的id,可通过创建训练作业生成的训练作业对象查询,如"job_instance.job_id",或从查询训练作业列表的响应中获得。 表2 update_job_configs请求参数说明 参数
如何在训练中加载部分训练好的参数? 在训练作业时,需要从预训练的模型中加载部分参数,初始化当前模型。请您通过如下方式加载: 通过如下代码,您可以查看所有的参数。 from moxing.tensorflow.utils.hyper_param_flags import mox_flags
使用ModelArts时,用户数据需要存放在自己OBS桶中,但是训练代码运行过程中不能使用OBS路径读取数据。 原因: 训练作业创建成功后,由于在运行容器直连OBS服务进行训练性能很差,系统会自动下载训练数据至运行容器的本地路径。所以,在训练代码中直接使用OBS路径会报错。例如训练代码的OBS路径为obs://b
训练模型时引用依赖包,如何创建训练作业? ModelArts支持训练模型过程中安装第三方依赖包。在训练代码目录下放置“pip-requirements.txt”文件后,在训练启动文件被执行前系统会执行如下命令,以安装用户指定的Python Packages。 pip install
新建训练工程、联邦学习工程、训练服务或超参优化服务。 名称 模型训练名称。 模型训练工程描述 对模型训练工程的描述信息。 创建时间 训练工程、联邦学习工程、训练服务或者超参优化服务的创建时间。 类型 模型训练的类型。 包含如下选项: 模型训练 联邦学习 训练服务 优化服务 创建者 创建训练工程、联邦
在ModelArts上训练模型,输入输出数据如何配置? ModelArts支持用户上传自定义算法创建训练作业。上传自定义算法前,请完成算法开发并上传至OBS桶。创建算法请参考使用预置框架创建算法。创建训练作业请参考创建训练作业指导。 解析输入路径参数、输出路径参数 运行在Mode