检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
用户授予OBS的系统权限。子用户的IAM权限是由其主用户设置的，如果主用户没有赋予OBS的putObjectAcl权限即会导致创建AI应用构建失败。 处理方法 了解ModelArts依赖的OBS权限自定义策略，请参见ModelArts依赖的OBS权限自定义策略样例。 在统一身份认
准备数据 本教程使用到的训练数据集是Alpaca数据集。您也可以自行准备数据集。 数据集下载 本教程使用Alpaca数据集，数据集的介绍及下载链接如下。 Alpaca数据集是由OpenAI的text-davinci-003引擎生成的包含52k条指令和演示的数据集。这些指令数据可以
准备数据 本教程使用到的训练数据集是Alpaca数据集。您也可以自行准备数据集。 数据集下载 本教程使用Alpaca数据集，数据集的介绍及下载链接如下。 Alpaca数据集是由OpenAI的text-davinci-003引擎生成的包含52k条指令和演示的数据集。这些指令数据可以
使用样例的有标签的数据或者自己通过其他方式打好标签的数据放到OBS桶里，在modelarts中同步数据源以后看不到已标注，全部显示为未标注 OBS桶设置了自动加密会导致此问题，需要新建OBS桶重新上传数据，或者取消桶加密后，重新上传数据。 父主题： Standard数据管理
一般在镜像里不包含训练所用的数据和代码，所以在启动镜像以后需要手工把需要的文件复制进去。建议数据、代码和中间数据都放到"/cache"目录，防止正式运行时磁盘占满（请见ModelArts环境挂载目录说明）。建议linux服务器申请的时候，有足够大的内存（8G以上）以及足够大的硬盘（100G以上）。 do
数据处理：在ModelArts数据管理中创建数据清洗、数据校验、数据选择和数据增强的数据处理任务时，不收费。 但是存储到OBS中的数据会收取费用。具体内容如表1所示。 表1 存储计费项 计费项 计费项说明 适用的计费模式 计费公式 存储资源 对象存储OBS 用于存储训练和推理的输入数据和输出结果数据。具体费用可参见对象存储价格详情。
识别出此图片的数字是“2”。 本案例中使用的MNIST是比较简单的用做demo的数据集，配套算法也是比较简单的用于教学的神经网络算法。这样的数据和算法生成的模型仅适用于教学模式，并不能应对复杂的预测场景。即生成的模型对预测图片有一定范围和要求，预测图片必须和训练集中的图片相似（黑底白字）才可能预测准确。
导出ModelArts数据集中的数据到AI Gallery 针对数据集中的数据，用户可以选中部分数据或者通过条件筛选出需要的数据，导出到AI Gallery。用户可以通过任务历史查看数据导出的历史记录。发布到AI Gallery中的数据集，可以设置是否公开，将数据集公开给其他人使用。
面选择ModelArts所在的云服务区域，单击“确定”跳转至ModelArts控制台的“AI应用 > 订阅应用”页面。 在“订阅应用”列表，单击“版本数量”，在右侧展开版本列表，当订阅模型的版本列表的状态显示为“就绪”时表示模型可以使用。 步骤3：使用订阅模型部署在线服务 模型订阅成功后，可将此模型部署为在线服务
能会因为网络劫持、数据缓存等原因，存在数据不一致的问题。ModelArts提供通过计算SHA256值的方式对上传下载的数据进行一致性校验。 数据隔离机制 在ModelArts的开发环境中创建Notebook实例时，数据存储是按照租户隔离，租户之间互相看不到数据。 父主题： 安全
管理标注数据 同步新数据 ModelArts会自动将数据集中新增的数据同步至标注作业，包含数据及当前标注作业支持的标注信息。 为了快速获取数据集中最新数据，可在标注作业详情页的“全部”、“未标注”或“已标注”页签中，单击“同步新数据”，快速将数据集中的数据添加到标注作业中。 问题现象：
ModelArts是面向AI开发者的一站式开发平台，提供海量数据预处理及半自动化标注、大规模分布式训练、自动化模型生成及模型按需部署能力，帮助用户快速创建和部署AI应用，管理全周期AI工作流。 “一站式”是指AI开发的各个环节，包括数据处理、算法开发、模型训练、创建AI应用、AI应用部署都可以在Mo
Standard的自动学习功能完成“图像分类”AI模型的训练和部署。 面向AI开发零基础的用户 使用Standard自动学习实现口罩检测 本案例基于华为云AI开发者社区AI Gallery中的数据集资产，让零AI基础的开发者使用ModelArts Standard的自动学习功能完成
com/repository/pypi/simple 图4 安装resnet依赖 准备数据集。 本样例使用的数据集为类别数为五类的花卉识别数据集，下载数据集并解压数据到工程目录。新建dataset文件夹，将解压后数据集保存在dataset文件夹下。 图5 准备数据集 配置PyCharm解释器和入参。 单击右上角“Current
补全的过程。 数据清洗是在数据校验的基础上，对数据进行一致性检查，处理一些无效值。例如在深度学习领域，可以根据用户输入的正样本和负样本，对数据进行清洗，保留用户想要的类别，去除用户不想要的类别。 数据选择：数据选择一般是指从全量数据中选择数据子集的过程。 数据可以通过相似度或者深
准备数据 本教程使用到的训练数据集是Alpaca数据集。您也可以自行准备数据集。 Alpaca数据集 本教程使用Alpaca数据集，数据集的介绍及下载链接如下。 Alpaca数据集是由OpenAI的text-davinci-003引擎生成的包含52k条指令和演示的数据集。这些指令
准备数据 本教程使用到的训练数据集是Alpaca数据集。您也可以自行准备数据集。 数据集下载 本教程使用Alpaca数据集，数据集的介绍及下载链接如下。 Alpaca数据集是由OpenAI的text-davinci-003引擎生成的包含52k条指令和演示的数据集。这些指令数据可以
的数据，ModelArts数据管理提供了全流程的数据准备、数据处理和数据标注能力。 图1 ModelArts数据准备全流程 ModelArts数据管理为用户准备高质量的AI数据提供了以下主要能力： 解决用户获取数据的问题。 用户可在AI Gallery上一键下载需要的数据资源到ModelArts数据管理。
创建AI应用 创建AI应用不同方式的场景介绍 从训练作业中导入AI应用文件创建模型 从OBS中导入AI应用文件创建模型 从容器镜像中导入AI应用文件创建模型 从AI Gallery订阅模型 父主题： 使用ModelArts Standard部署模型并推理预测
tokenizer的存放路径，与HF权重存放在一个文件夹下。 --handler-name：生成数据集的用途，这里是生成的指令数据集，用于微调。 GeneralPretrainHandler：默认。用于预训练时的数据预处理过程中，将数据集根据key值进行简单的过滤。 Genera
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
