检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
scription_ID", item_version_id="item_version_ID"), # 训练使用的算法对象,示例中使用AIGallery订阅的算法 inputs=[ wf.steps.JobInput(name="data_url_1",
variable” MXNet创建kvstore时程序被阻塞,无报错 日志出现ECC错误,导致训练作业失败 超过最大递归深度导致训练作业失败 使用预置算法训练时,训练失败,报“bndbox”错误 训练作业进程异常退出 训练作业进程被kill 父主题: 训练作业
图6 查看预测结果 本案例中数据和算法生成的模型仅适用于教学模式,并不能应对复杂的预测场景。即生成的模型对预测图片有一定范围和要求,预测图片必须和训练数据集中的图片相似才可能预测准确。 ModelArts的AI Gallery中提供了常见的精度较高的算法和相应的训练数据集,用户可以在AI
图6 查看预测结果 本案例中数据和算法生成的模型仅适用于教学模式,并不能应对复杂的预测场景。即生成的模型对预测图片有一定范围和要求,预测图片必须和训练数据集中的图片相似才可能预测准确。 ModelArts的AI Gallery中提供了常见的精度较高的算法和相应的训练数据集,用户可以在AI
收集项 说明 实际情况(请填写) 项目名称 项目名称,例如:XXX项目。 - 使用场景 例如: 使用YOLOv5算法对工地的视频流裁帧后进行安全帽检测。 使用BertBase算法对用户在app上购买商品后的评论进行理解。 - CPU架构 X86/ARM,自有软件是否支持ARM。 例如:
描述 name 否 String 资产名称。 type 否 String 资产类型,枚举如下: algorithm:算法 algorithm2:新算法 model:模型算法 content_id 否 String 资产ID,可在AI Gallery中获取。 subscription_id
另一方面,由于是使用transformers推理,结果也是最稳定的。对单卡运行的模型比较友好,算力利用率比较高。对多卡运行的推理,缺少负载均衡,利用率低。 在昇腾卡上执行时,需要在 opencompass/opencompass/runners/local.py 中添加如下代码
earn/XGBoost/MindSpore/Image/PyTorch。 model_algorithm 否 String 模型算法,表示模型的算法实现类型,如果已在模型配置文件中配置,则可不填。如:predict_analysis、object_detection 、image_classification。
步骤以及步骤之间的关系进行定义 针对工作流复用,用户可以在开发完成后将流水线固化下来,提供下次或其他人员使用,同时无需关注流水线中包含什么算法或如何实现 图1 Workflow流程 父主题: Standard功能介绍
参数类型 描述 name String 资产名称。 type String 资产类型,枚举如下: algorithm:算法 algorithm2:新算法 model:模型算法 content_id String 资产ID,可在AI Gallery中获取。 subscription_id
开发环境 创建Notebook 使用JupyterLab打开Notebook调试代码 通过VS Code远程使用Notebook实例 算法管理 创建算法 训练模型 创建生产训练作业 创建调试训练作业 查看训练作业日志 分布式训练 创建AI应用 简介 管理AI应用 部署AI应用 部署为在线服务
ModelArts.2755 AiAlgorithmNotFound 算法未找到 请检查请求中算法信息的合法性 400 ModelArts.2756 HasSameNameWithMarketAlgorithm 与已订阅算法重名 请检查请求中算法信息的合法性 400 ModelArts.2757 CodeDirError
以图像分类为例,阐述机器学习端到端场景的完整开发过程,主要包括数据标注、模型训练、服务部署等过程。您需要准备如下算法和数据集。 准备一个图像分类算法(或者可以直接从AI Gallery搜索订阅一个“图像分类-ResNet_v1_50”算法)。 准备一个图片类型的数据集,请参考准备数据集。可从AI Gallery直接
model_algorithm="image_classification", # 模型算法 execution_code="OBS_PATH"
ModelArts Standard模型训练案例 表3 自定义算法样例列表 样例 镜像 对应功能 场景 说明 使用ModelArts Standard自定义算法实现手写数字识别 PyTorch 自定义算法 手写数字识别 使用用户自己的算法,训练得到手写数字识别模型,并部署后进行预测。 从0
数据来源列表,与data_source二选一。 name 是 String 数据处理任务名称。 template 否 TemplateParam object 数据处理模板,如算法ID和参数等。 version_id 否 String 数据集版本ID。 work_path 否 WorkPath object 数据处理任务的工作目录。
工作空间ID。获取方法请参见查询工作空间列表。未创建工作空间时默认值为“0”,存在创建并使用的工作空间,以实际取值为准。 model_algorithm String 模型算法类型,如predict_analysis、object_detection、image_classification。 model_name
选择完成后,单击“确定”。 数据准备完成后,单击“下一步”进入“作业设置”环节。 设置并启动作业 在微调工作流的“作业设置”环节配置训练作业参数。 算法配置,会显示已选模型的信息,基于已选模型选择微调方式。 当“训练任务类型”是“文本问答”或“文本生成”时,AI Gallery支持的微调方式是LoRA。
参数类型 描述 name String 资产名称。 type String 资产类型,枚举如下: algorithm:算法 algorithm2:新算法 model:模型算法 content_id String 资产ID,可在AI Gallery中获取。 subscription_id
CodeLab内置了免费算力,包含CPU和GPU两种。您可以使用免费规格,端到端体验ModelArts Notebook能力。也可使用此免费算力,在线完成您的算法开发。 即开即用 无需创建Notebook实例,打开即可编码。 高效分享 ModelArts在AI Gallery中提供的Notebook样例,可以直接通过Run