检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据准备与处理 数据准备使用流程 创建ModelArts数据集 导入数据到ModelArts数据集 处理ModelArts数据集中的数据 标注ModelArts数据集中的数据 发布ModelArts数据集中的数据版本 分析ModelArts数据集中的数据特征 导出ModelArts数据集中的数据
如果容器引擎客户端机器为云上的ECS或CCE节点，根据机器所在区域有两种网络链路可以选择： 如果机器与容器镜像仓库在同一区域，则上传镜像走内网链路。 如果机器与容器镜像仓库不在同一区域，则上传镜像走公网链路，机器需要绑定弹性公网IP。 约束与限制 使用客户端上传镜像，镜像的每个layer大小不能大于10G。 上传镜像的容器引擎客户端版本必须为1
4：连续多张相似图片的预测结果不一致。 5：图像的分辨率与训练数据集的特征分布存在较大偏移。 6：图像的高宽比与训练数据集的特征分布存在较大偏移。 7：图像的亮度与训练数据集的特征分布存在较大偏移。 8：图像的饱和度与训练数据集的特征分布存在较大偏移。 9：图像的色彩丰富程度与训练数据集的特征分布存在较大偏移。
创建项目的时候，数据集输入位置没有可选数据 可能原因 创建的OBS桶与创建项目不在同一个区域。 账号没有配置全局授权。 OBS桶里的数据格式不符合要求。 解决方法 查看ModelArts创建的项目与创建的OBS桶是否在同一区域。 查看创建的OBS桶所在区域。 登录OBS管理控制台。 进入
run.sh脚本测试ModelArts训练整体流程 自定义容器在ModelArts上训练和本地训练的区别如下图： 图1 本地与ModelArts上训练对比 ModelArts上进行训练比本地训练多了一步OBS和容器环境的数据迁移工作。 增加了和OBS交互工作的整个训练流程如下：
Gallery中，支持订阅官方发布或者他人分享的模型，订阅后的模型，可推送至ModelArts模型管理中，进行统一管理。 订阅应用模型与云服务订阅AI应用的区别： 在管理控制台，模型管理所在位置不同。订阅应用统一管理在“AI应用>订阅应用”页面中，而云服务订阅AI应用管理在“AI应用>云服务订阅AI应用”页面中。
在ModelArts Standard使用run.sh脚本实现OBS和训练容器间的数据传输 自定义容器在ModelArts上训练和本地训练的区别如下图： 图1 本地与ModelArts上训练对比 ModelArts上进行训练比本地训练多了一步OBS和容器环境的数据迁移工作。 增加了和OBS交互工作的整个训练流程如下：
响应示例 状态码： 202 No Content null 状态码 状态码 描述 202 No Content 错误码 请参见错误码。 父主题： 训练管理
功能咨询 什么是自动学习？ ModelArts自动学习与ModelArts PRO的区别 什么是图像分类和物体检测？ 自动学习和订阅算法有什么区别？ 父主题： Standard自动学习
Gallery上每个资产的文件都会存储在线上的AI Gallery存储库（简称AI Gallery仓库）里面。每一个数据集实例视作一个资产仓库，数据集实例与资产仓库之间是一一对应的关系。例如，模型名称为“Test”，则AI Gallery仓库有个名为“Test”的仓库，其中只存放Test模型实例的全部文件。
支持单机多卡、多机多卡的分布式训练，有效加速训练过程 支持训练作业的故障感知、故障诊断与故障恢复，包含硬件故障与作业卡死故障，并支持进程级恢复、容器级恢复与作业级恢复，提供容错与恢复能力，保障用户训练作业的长稳运行 提供训练作业断点续训与增量训练能力，即使训练因某些原因中断，也可以基于checkpoi
景。 在SFS服务控制台上创建文件系统，具体步骤请参考创建SFS Turbo文件系统。同一区域不同可用区之间文件系统与云服务器互通，因此保证SFS Turbo与Server服务器在同一区域即可。 当创建文件系统后，您需要使用弹性裸金属服务器来挂载该文件系统，具体步骤请参考挂载NF
功能咨询 ModelArts支持将模型部署为哪些类型的服务？ 在线服务和批量服务有什么区别？ 在线服务和边缘服务有什么区别？ 为什么选择不了Ascend Snt3资源？ 线上训练得到的模型是否支持离线部署在本地？ 服务预测请求体大小限制是多少？ 在线服务部署是否支持包周期？ 部署服务如何选择计算节点规格？
于1。 “训练集比例”即用于训练模型的样本数据比例；“验证集比例”即用于验证模型的样本数据比例。“训练验证比例”会影响训练模板的性能。 父主题： Standard数据管理
状态码 描述 200 OK 401 Unauthorized 403 Forbidden 404 Not Found 错误码 请参见错误码。 父主题： 数据管理（旧版）
开源大模型基于DevServer的推理通用指导》。 微调训练和预训练的区别 微调训练是在预训练权重的基础上使用指令数据集进行的，对模型权重进行学习调整。从而针对特定任务达到预期效果。 微调训练与预训练任务的区别主要包括： 使用的数据不同，微调使用的是指令数据集，在处理数据集时需要将--handler-name
Gallery上每个资产的文件都会存储在线上的AI Gallery存储库（简称AI Gallery仓库）里面。每一个模型实例视作一个资产仓库，模型实例与资产仓库之间是一一对应的关系。例如，模型名称为“Test”，则AI Gallery仓库有个名为“Test”的仓库，其中只存放Test模型实例的全部文件。
FP16：用于深度学习训练和推理过程中，可以加速计算并减少内存的占用，对模型准确性的影响在大多数情况下较小。与BF16相比在处理非常大或非常小的数值时遇到困难，导致数值的精度损失。 综上所述，BF16因其与FP32相似的数值范围和稳定性，在大模型训练中提供了优势。而FP16则在计算效率和内存使用方
以后看不到已标注，全部显示为未标注 OBS桶设置了自动加密会导致此问题，需要新建OBS桶重新上传数据，或者取消桶加密后，重新上传数据。 父主题： Standard数据管理
- 支持 支持 支持 - - 自由格式 支持 - 支持 支持 支持 支持 - - 表格型 表格 支持 支持 - 支持 支持 支持 - - 父主题： Standard数据管理
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
