检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
查看日志和性能 单击作业详情页面,则可查看训练过程中的详细信息。 图1 查看训练作业 在作业详情页的日志页签,查看最后一个节点的日志,其包含“elapsed time per iteration (ms)”数据,可换算为tokens/s/p的性能数据。 吞吐量(tokens/s/p
物体检测标注时除了位置、物体名字,是否可以设置其他标签,比如是否遮挡、亮度等? 可以通过修改数据集给标签添加自定义属性来设置一些自定义的属性。 图1 修改数据集 父主题: Standard数据管理
添加图片时,图片大小有限制吗? 在数据管理功能中,针对“物体检测”或“图像分类”的数据集,在数据集中上传更多的图片时,是有限制的。要求单张图片大小不超过8MB,且只支持JPG、JPEG、PNG和BMP四种格式的图片。 请注意,针对自动学习功能中的添加图片,其图片大小限制不同,要求上传的图片大小不超过
性能可视化工具与性能分析工具 对于高阶的调优用户,可以使用可视化profiling数据查看数据详情并分析可优化点,昇腾提供了Ascend-Insight可视化工具,相比于chrometrace等工具提供了更优的功能和性能。详见昇腾《Ascend-Insight用户指南》。 对于GPU
准备Notebook(可选) 本步骤为可选操作。ModelArts Notebook云上云下,无缝协同,更多关于ModelArts Notebook的详细资料请查看开发环境介绍。 本案例中,如果用户需要自定义开发,可通过Notebook环境进行数据预处理、权重转换等操作。并且Notebook
准备Notebook(可选) 本步骤为可选操作。ModelArts Notebook云上云下,无缝协同,更多关于ModelArts Notebook的详细资料请查看Notebook使用场景介绍。 本案例中,若用户需要自定义开发,可通过Notebook环境进行数据预处理、权重转换等操作
时序预测-time_series_v2算法部署在线服务预测报错 问题现象 在线服务预测报错:ERROR: data is shorter than windows。 原因分析 该报错说明预测使用的数据行数小于window超参值。 在使用订阅算法时序预测-time_series_v2
准备Notebook(可选) 本步骤为可选操作。ModelArts Notebook云上云下,无缝协同,更多关于ModelArts Notebook的详细资料请查看开发环境介绍。 本案例中,如果用户需要自定义开发,可通过Notebook环境进行数据预处理、权重转换等操作。并且Notebook
团队标注的完成验收的各选项表示什么意思? 全部通过:被驳回的样本,也会通过。 全部驳回:已经通过的样本,需要重新标注,下次验收时重新进行审核。 剩余全部通过:已经驳回的会驳回,其余会自动验收通过。 剩余全部驳回:样本抽中的通过的,不需要标注了,未通过和样本未抽中的需要重新标注验收。
标注多个标签,是否可针对一个标签进行识别? 数据标注时若标注多个标签进行训练而成的模型,最后部署成在线服务之后也是对标注的多个标签去进行识别的。如果只需要快速识别一种标签,建议单独训练识别此标签的模型使用,并选择较大的部署上线的规格也可以提供识别速度。 父主题: Standard数据管理
run.sh脚本测试ModelArts训练整体流程 自定义容器在ModelArts上训练和本地训练的区别如下图: 图1 本地与ModelArts上训练对比 ModelArts上进行训练比本地训练多了一步OBS和容器环境的数据迁移工作。 增加了和OBS交互工作的整个训练流程如下: 建议使用
分页查询团队标注任务下的样本列表 功能介绍 分页查询团队标注任务下的样本列表。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v2/{project_id}
团队成员查询团队标注任务列表 功能介绍 团队成员查询团队标注任务列表。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v2/{project_id}/workforces
Notebook停止或者重启后,“/cache”下的文件还存在么?如何避免重启? “/cache”目录下存储的是临时文件,在Notebook实例停止或重启后,不会被保存。存储在“/home/ma-user/work”目录下的数据,在Notebook实例停止或重启后,会被保留。 为避免重启
查找和收藏资产 AI Gallery共享了算法、Notebook代码样例、数据集、镜像、模型、Workflow等多种AI资产,为了方便快速搜索相关资产,提供了多种快速搜索方式以及收藏功能,提升资产的查找效率。 搜索资产 在各类资产模块页面,通过如下几种搜索方式可以提高资产的查找效率
LoRA训练 本章节介绍SDXL&SD 1.5模型的LoRA训练过程。LoRA训练是指在已经训练好的模型基础上,使用新的数据集进行LoRA微调以优化模型性能的过程。 训练前需要修改数据集路径、模型路径。脚本里写到datasets路径即可。 run_lora_sdxl中的vae路径要准确写到
推理精度测试 本章节介绍如何使用opencompass工具开展语言模型的推理精度测试,数据集是ceval_gen、mmlu_gen、math_gen、gsm8k_gen、humaneval_gen。 约束限制 确保容器可以访问公网。 当前的精度测试仅适用于语言模型精度验证,不适用于多模态模型的精度验证
功能介绍 Standard功能介绍 MaaS大模型即服务平台功能介绍 Lite功能介绍 AI Gallery功能介绍
Standard功能介绍 Standard自动学习 Standard Workflow Standard数据管理 Standard开发环境 Standard模型训练 Standard模型部署 Standard资源管理 Standard支持的AI框架 父主题: 功能介绍
图解ModelArts 初识ModelArts 初识Workflow