华为云用户手册

  • 关于数据集版本 针对刚创建的数据集(未发布前),无数据集版本信息,必须执行发布操作后,才能应用于模型开发或训练。 数据集版本,默认按V001、V002递增规则进行命名,您也可以在发布时自定义设置。 您可以将任意一个版本设置为当前目录,即表示数据集列表中进入的数据集详情,为此版本的数据及标注信息。 针对每一个数据集版本,您可以通过“存储路径”参数,获得此版本对应的Manifest文件格式的数据集。可用于导入数据或难例筛选操作。 表格数据集暂不支持切换版本。
  • 查看应用资产 在“应用资产”页签下,可以查看当前应用的资产信息,比如通用文本分类工作流中的资产信息就是训练数据集,您可以查看“数据集名称”、“描述”、“数据量”、“标注进度”、“标签总数”、“创建时间”和“操作”,其中“操作”列可执行“管理”和“删除”操作。 “管理”:进入数据集管理页面,单击“开始标注”,可手动标注数据。 “删除”:单击“删除”,弹出“删除数据集”对话框,单击“确认”,即可删除当前数据集。
  • 上传数据至OBS 使用 ModelArts Pro 进行应用开发时,您需要将数据上传至OBS桶中。 首先需要获取访问OBS权限,在未进行委托授权之前,无法使用此功能。您需要提前获得OBS授权,详情请见配置访问权限。 已创建用于存储数据的OBS桶及文件夹,且数据存储的OBS桶与ModelArts Pro在同一区域(目前仅支持华为-北京四),详情请见创建OBS桶。 上传数据至OBS,OBS上传数据的详细操作请参见《 对象存储服务 快速入门》。 您在创建OBS桶时,需保证您的OBS桶与ModelArts Pro在同一个区域。 建议根据业务情况及使用习惯,选择OBS使用方法。 如果您的数据量较小(小于100MB)或数据文件较少(少于100个),建议您使用控制台上传数据。控制台上传无需工具下载或多余配置,在少量数据上传时,更加便捷高效。 如果您的数据量较大或数据文件较多,建议选择OBS Browser+或obsutil工具上传。OBS Browser+是一个比较常用的图形化工具,支持完善的桶管理和对象管理操作。推荐使用此工具创建桶或上传对象。obsutil是一款用于访问管理OBS的命令行工具,对于熟悉命令行程序的用户,obsutil是执行批量处理、自动化任务较好的选择。 如果您的业务环境需要通过API或SDK执行数据上传操作,或者您习惯于使用API和SDK,推荐选择OBS的API或SDK方法创建桶和上传对象。 上述说明仅罗列OBS常用的使用方式和工具,更多OBS工具说明,请参见《OBS工具指南》。
  • 训练模型 图1 模型训练 在“模型训练”页面配置训练参数,开始训练模型。 在“参数配置”填写“学习率”、“训练轮次”和“分批训练样本数”。 “学习率”用来控制模型的学习速度,范围为(0,1]。 “训练轮次”指模型训练中遍历数据集的次数。 “分批训练样本数”又叫批尺寸(Batch Size),指一次训练所抓取的数据样本数量,影响训练速度及模型优化效果。 确认信息后,单击“开始训练”。 模型训练一般需要运行一段时间,等模型训练完成后,“模型训练”页面下方显示训练详情。
  • 数据集要求 文件名规范,不能有中文,不能有+、空格、制表符。 保证图片质量:不能有损坏的图片;目前支持的格式包括JPG、JPEG、PNG、BMP。 不要把明显不同的多个任务数据放在同一个数据集内。 为了保证模型的预测准确度,训练样本跟真实使用场景尽量相似。 为保证模型的泛化能力,数据集尽量覆盖可能出现的各种场景。 每一类数据尽量多,尽量均衡。每个分类标签需要准备20个数据以上,为了训练出效果较好的模型,建议每个分类标签准备200个以上的数据。 针对未标注数据,要求将图片放在一个目录里,示例如下所示。 ├─dataset-import-example │ IMG_20180919_114732.jpg │ IMG_20180919_114745.jpg │ IMG_20180919_114945.jpg 如果导入位置为OBS,用户需具备此OBS路径的读取权限。 只支持JPG、JPEG、PNG、BMP格式的图片。 针对已标注数据,刹车盘识别工作流仅支持一张图片识别单个标签,支持如下两种数据格式。 相同标签的图片放在一个目录里,并且目录名字即为标签名。当存在多层目录时,则以最后一层目录为标签名。 示例如下所示,其中“ventilation”和“physical”分别为标签名。 dataset-import-example ├─ventilation │ 10.jpg │ 11.jpg │ 12.jpg │ └─physical 1.jpg 2.jpg 3.jpg 当目录下存在对应的txt文件时,以txt文件内容作为图像的标签,优先级高于第一种格式。 示例如下所示,“import-dir-1”和“imort-dir-2”为导入子目录。 dataset-import-example ├─import-dir-1│ 10.jpg│ 10.txt │ 11.jpg │ 11.txt│ 12.jpg │ 12.txt└─import-dir-2 1.jpg 1.txt 2.jpg 2.txt 单标签的标签文件示例,如1.txt文件内容如下所示: ventilation 只支持JPG、JPEG、PNG、BMP格式的图片。单张图片大小不能超过5MB,且单次上传的图片总大小不能超过8MB。
  • 基本概念 参照字段为模板图片和待识别图片中的公共文字部分,所有需要识别的图片中都要包含参照字段,且位置必须固定。 套件提供了自动搜索参照字段和手动框选参照字段这两种模式。 自动搜索参照字段:未手动框选任何参照字段的情况下,默认激活自动搜索参照字段模式。 手动框选参照字段:若手动框选了任意参照字段,将激活手动框选模式。 当识别图片的场景比较单一时,即只有一种模板,且参照字段不容易与其他文字混淆时,可以使用自动参照字段来简化模板制作过程,否则建议手动框选,详细步骤请参见操作步骤。
  • 使用预置工作流开发应用流程 视觉套件提供了预置工作流,您可以通过预置的工作流,自主上传训练数据,构建和升级高精度识别模型。 图1 使用预置工作流开发应用 表1 使用预置工作流开发应用流程 流程 说明 详细指导 选择视觉套件 根据您的实际使用需求选择视觉套件。您也可以通过查看工作流定位所需使用的套件。 在ModelArts Pro控制台界面,单击“视觉套件”卡片的“进入套件”,进入视觉套件控制台。 新建应用 基于预置的工作流新建应用,填写应用基本信息和工作流。 新建应用 开发应用 零售商品识别工作流 根据工作流指引,开发商品识别服务,通过上传训练数据,训练生成商品识别模型,自主更新和调整模型精度,实现高精度的商品识别功能。 零售商品识别工作流 热轧钢板表面缺陷检测工作流 根据工作流指引,开发热轧钢板表面缺陷检测服务,通过上传训练数据,训练生成缺陷识别模型,自主更新和调整模型精度,实现高精度的热轧钢板表面缺陷识别功能。 热轧钢板表面缺陷检测工作流 云状识别工作流 根据工作流指引,开发云状识别服务,通过上传训练数据,训练生成云状识别模型,自主更新和调整模型精度,实现高精度的云状识别功能。 云状识别工作流 刹车盘识别工作流 根据工作流指引,开发刹车盘类型识别服务,通过上传训练数据,训练生成刹车盘类型识别模型,自主更新和调整模型精度,实现高精度的刹车盘类型识别功能。 刹车盘识别工作流 无监督车牌检测工作流 根据工作流指引,开发无监督车牌检测服务,通过上传训练数据,训练生成车牌检测模型,自主更新和调整模型精度,实现高精度的车牌检测功能。 无监督车牌检测工作流 第二相面积含量测定工作流 根据工作流指引,开发第二相面积含量测定服务,通过上传训练数据,训练生成模型,自主更新和调整模型精度,实现高精度的第二相面积含量测定功能。 第二相面积含量测定工作流
  • 操作步骤 在“服务部署”页面,按表1填写服务的相关参数,然后单击“部署”。 图1 服务部署 表1 服务部署参数说明 参数 说明 服务名称 待部署的服务名称,首次部署服务请单击可修改默认服务名称。 如果在不同版本非首次部署服务,服务名称不支持修改。 描述 待部署服务的简要说明。 资源池 用于部署服务的资源池和资源类型。资源池可选“公共资源池”和“专属资源池”。 “公共资源池”:提供公共的大规模计算集群,资源按作业隔离。您可以按需选择不同的资源类型。 “专属资源池”:提供独享的计算资源,不与其他用户共享,更加高效。使用专属资源池需要在ModelArts创建专属资源池。 计算节点规格 如果资源池选择“公共资源池”,支持选择计算规格“CPU:2 核 8 GiB”,适合纯CPU类型的负载运行的模型。 如果资源池选择专属资源池,勾选自己在ModelArts创建的专属资源池。 计算节点个数 设置当前版本模型的实例个数。如果节点个数设置为1,表示后台的计算模式是单机模式;如果节点个数设置大于1,表示后台的计算模式为分布式的。请根据实际编码情况选择计算模式。 服务自动停止 设置服务自动停止的时间,在线服务运行状态在所选的时间点后自动停止,同时在线服务也停止计费。 部署成功后,页面显示“服务部署成功”。您可以单击“查看应用监控”,进入应用监控页面查看监控信息,详情请见监控应用。
  • 授权配置 如果已获得ModelArts委托授权,则可以直接进入ModelArts Pro控制台使用行业套件,无需再次配置访问权限。 如果未获得ModelArts委托授权和访问密钥(AK/SK)授权,当进入ModelArts Pro控制台的行业套件时,会弹出“访问授权”对话框。 在弹出的“访问授权”对话框填写授权信息,然后单击“同意授权”,完成访问授权的配置。 “用户名”为当前需要授权的用户名,保持默认值。 “委托”单击“自动创建”,选择“modelarts_agency”。 勾选“我已经详细阅读并同意《ModelArts服务声明》”。 图1 访问授权 如果未获得ModelArts委托授权,但是已获得访问密钥(AK/SK)授权,当进入ModelArts Pro控制台的行业套件时,在弹出的“访问授权”对话框中会提示删除密钥授权。 图2 访问授权 单击“访问授权”对话框上方的“删除”,删除旧的授权。 删除成功后,对话框中就没有删除密钥授权的提示了。 在“访问授权”对话框填写授权信息,然后单击“同意授权”,完成访问授权的配置。 “用户名”为当前需要授权的用户名,保持默认值。 “委托”选择“modelarts_agency”。 勾选“我已经详细阅读并同意《ModelArts服务声明》”。
  • 评估模型 在“模型评估”页面,您可以针对当前版本的模型进行模型评估,查看评估参数对比和详细评估,也可以模拟在线测试。 图1 评估模型 模型评估 “模型评估”下侧显示当前模型的版本、验证集数量。 评估参数对比 “评估参数对比”下方显示当前模型的评估参数值,包括“精准率”、“召回率”。您可以在上方单击“添加对比版本”,在 “添加对比版本”下拉框选择之前已经训练完成的数据进行对比。 详细评估 “详细评估”下方显示各个标签下准确率,即对应标签下预测正确的样本数占该标签下样本总数比例,单击各标签,右侧可查看该标签识别错误的图片。
  • 详细评估 在“模型评估”页面,您可以搜索查看测试集中数据模型预测结果。 “详细评估”左侧在搜索框中搜索标签,右侧显示正确标签所对应样本的正确标签和预测标签,您可以对比正确标签和预测标签,判断当前模型对该样本的预测是否正确。 例如搜索框内输入标签“1”,下方会显示正确标签为“1”的样本中,预测正确的样本数在验证集中的占比。右侧显示正确标签为“1”的样本信息,包括样本的正确标签和预测标签。 图2 详细评估
  • 训练模型 图1 模型训练 在“模型训练”页面,勾选模型训练所使用的“预训练模型”,并配置训练参数,开始训练模型。 预训练模型 当前服务提供预置预训练模型“高精版”、“均衡版”、“基础版”,在“预训练模型”列表中可查看“模型精度”、“推理速度”、“训练速度”和模型“简介”。 参数配置 在“参数配置”填写“学习率”和“训练轮次”。 “学习率”用来控制模型的学习速度,范围为(0,1]。 “训练轮次”指模型训练中遍历数据集的次数。 确认信息后,单击“开始训练”。 模型训练一般需要运行一段时间,等模型训练完成后,“模型训练”页面下方显示训练详情。
  • SDK调用 本章节以Python SDK为例介绍如何进行使用,其他语言SDK使用方法相同。 获取SDK。 在自定义OCR的“部署”页面,选择“SDK调用”获取SDK。 图2 获取SDK 导入SDK至PyCharm(请在PyCharm中提前配置python环境)。 图3 导入SDK 获取AK、SK。 AK/SK(Access Key ID/Secret Access Key)即访问密钥,包含访问密钥ID(AK)和秘密访问密钥(SK)两部分,华为云通过AK识别用户的身份,通过SK对请求数据进行签名验证,用于确保请求的机密性、完整性和请求者身份的正确性。 登录访问密钥页面,依据界面操作指引,获取AK、SK。下载得到的访问密钥为credentials.csv文件,文件中的B列和C列分别是AK、SK信息。 图4 新增访问密钥 图5 AKSK文件 修改OCRDemo.py文件。 在文件中找到“aksk_request”,修改内容有两处: (1)填写获取的AK、SK。 (2)将代码示例中的请求url替换为自定义OCR部署后生成的url,只使用图片中用蓝色标注的字段进行替换。 (3)将代码示例中的# option["side"]="front"替换为: option["template_id"]="xxx" template_id的值可以在自定义OCR部署发布后获取。 图6 修改代码文件(修改前) 图7 修改代码文件(修改后) 调用自定义OCR SDK。 在示例代码“img_path”中输入需要识别的图片,并执行代码。
  • API调用 本章节以postman为例介绍如何调用API,建议使用SDK。 使用API调用时,因为需要使用Token进行认证鉴权,在鉴权中,会存在因华为账号升级导致的“无法使用主账户 获取Token ”的情况,产生“The username or password is wrong.”报错,该问题可以通过创建一个 IAM 子用户获取Token解决,处理步骤请参见帐密报错“The username or password is wrong.”。 获取Token。 由于自定义OCR部署在华北-北京四区域,因此需要获取北京四(cn-north-4)区域的Token。 POST https://iam.cn-north-4.myhuaweicloud.com/v3/auth/tokensRequest Header: Content-Type: application/jsonRequest Body:{ "auth": { "identity": { "methods": [ "password" ], "password": { "user": { "name": "IAM子用户名", "password": "密码", "domain": { "name": "主账户的用户名" } } } }, "scope": { "project": { "name": "cn-north-4" } } } 图8 请求header 图9 请求body 调用自定义OCR API。 依据下图的对应关系,将自定义OCR部署后生产的API填写至postman中。url中的{endpoint}需要替换为ocr.cn-north-4.myhuaweicloud.com。 在"image"参数中,输入图片的base64编码即可调用API。 图10 调用自定义OCR API
  • 工作流简介 功能介绍 支持用户自定义多个 文字识别 模板,通过模型训练,自动识别图片所需使用的模板,从而支持从大量不同板式图像中提取结构化信息。 适用场景 用户认证识别 识别证件中关键信息,节省人工录入,提升效率,降低用户实名认证成本,准确快速便捷。 快递单自动填写 识别图片中联系人信息并自动填写快递单,减少人工输入。 合同录入与审核 自动提取合同结构化信息,有助快速审核。 优势 解决手工录入投入大、效率低、语种多等问题,提升业务效率。 一键式部署,快速输出高精度结构化数据。 解决单据复杂、单据板式多、语种多问题,支持自定义多个图像板式,快速适配新板式,快速接入业务。 支持从多个不同板式图像中提取结构化信息。
  • 导入数据集 在“数据选择”页面,单击“导入数据集”。 弹出“导入数据集”对话框。 “导入数据集”对话框会显示您在 自然语言处理 套件其他应用中已创建的文本数据集信息,包括“数据集名称”和“标注进度”。 单击数据集左侧的,可查看数据集的“创建时间”和“标签集”。 图4 导入数据集 勾选数据集,然后单击“确定”。 数据集导入后,“数据选择”页面右上角会显示“导入成功”。 导入勾选数据集后,在数据选择页面勾选当前应用开发所需的训练数据集。 由于模型训练过程需要有标签的数据,如果您上传的是已标注数据,上传后可查看标签解析。如果您想手动修改标签,可单击数据集操作列的“标注”,进入数据集概览页单击右上角的“开始标注”,在“数据标注”页面手动修改标注数据。 如果您上传的是未标注数据,您单击数据集操作列的“标注”,进入数据集概览页单击右上角的“开始标注”,在“数据标注”页面手动标注数据。
  • 新建数据集 在“数据选择”页面,单击“新建数据集”,右侧弹出“新建数据集”页面,根据数据存储位置和数据标注情况,按表1填写数据集基本信息,然后单击“确定”。 图3 新建数据集 表1 新建数据集参数说明 参数 说明 数据集名称 待新建的数据集名称。 描述 数据集简要描述。 数据集状态 上传的训练数据可以是已标注的数据,也可以是未标注的数据。 您可以根据自身业务选择“数据集状态”是“已标注数据集”还是“未标注数据集”。 数据集模板可在选择“数据集状态”后,单击下方的“文本分类已标注数据模板”或“文本分类未标注数据模板”,下载数据集模板至本地查看。 数据集输入位置 训练数据存储至OBS的位置。 单击“数据集输入位置”右侧输入框,在弹出的“数据集输入位置”对话框中,选择“OBS桶”和“文件夹”,然后单击“确定”。 数据集输出位置 待新建的数据集存储至OBS的位置。 单击“数据集输出位置”右侧的“修改”,在弹出的“数据集输出位置”对话框中,选择“OBS桶”和“文件夹”,然后单击“确定”。 说明: “数据集输出位置”不能与“数据集输入位置”为同一路径,且不能是“数据集输入位置”的子目录。“数据集输出位置”建议选择一个空目录。 添加标签集 添加标签名称,选择标签颜色。 在文本框中输入标签名称,在右侧单击选择标签颜色。 单击文本框下方的添加标签。 鼠标移至文本框,单击文本框右侧的删除标签。 新建数据集后,勾选当前应用开发所需的训练数据集。 由于模型训练过程需要有标签的数据,如果您上传的是已标注数据,上传后可查看标签解析。如果您想手动修改标签,可单击数据集操作列的“标注”,进入数据集概览页单击右上角的“开始标注”,在“数据标注”页面手动修改标注数据。 如果您上传的是未标注数据,您单击数据集操作列的“标注”,进入数据集概览页单击右上角的“开始标注”,在“数据标注”页面手动标注数据。
  • 工作流简介 功能介绍 支持构建文字识别模板,识别单个板式图片中的文字,提供高精度的文字识别模型,保证结构化信息提取精度。 适用场景 用户认证识别 识别证件中关键信息,节省人工录入,提升效率,降低用户实名认证成本,准确快速便捷。 快递单自动填写 识别图片中联系人信息并自动填写快递单,减少人工输入。 合同录入与审核 自动识别结构化信息与提取签名盖章区域,有助快速审核。 优势 解决手工录入投入大、效率低、语种多等问题,提升业务效率。 一键式部署,快速输出高精度结构化数据。
  • 工作流简介 在钢铁厂中,钢板的材质、热处理工艺以及使用环境等外界因素均会影响钢板的使用寿命,而这些外界因素导致钢板缺陷。研究钢板表面的缺陷类型对钢板的使用寿命至关重要,ModelArts Pro提供热轧钢板表面缺陷检测工作流,提供高精度钢板表面缺陷识别算法,提高钢板表面缺陷检测场景上线效率。 功能介绍 支持自主上传热轧钢板表面图片数据,构建热轧钢板表面缺陷类型的检测模型,用于识别热轧钢板表面图片中的缺陷类型。 适用场景 钢铁制造。 优势 模型精度高,识别速度快;更新模型简便。
  • 新建训练数据集 在“数据选择”页面,单击“新建训练数据集”,右侧弹出“新建数据集”页面,根据数据存储位置和数据标注情况,按表1填写数据集基本信息,然后单击“确定”。 图1 新建数据集 表1 新建训练数据集参数说明 参数 说明 数据集名称 待新建的数据集名称。 描述 数据集简要描述。 数据集状态 按上传的数据是否标注分为“已标注数据集”和“未标注数据集”。数据格式请见数据集要求。 数据上传方式 训练数据上传的方式,当前仅支持把数据上传至OBS,默认为“选择obs文件”。 数据集输入位置 训练数据存储至OBS的位置。 单击“数据集输入位置”右侧输入框,在弹出的“数据集输入位置”对话框中,选择“OBS桶”和“文件夹”,然后单击“确定”。 数据集输出位置 待新建的数据集存储至OBS的位置。 待新建的数据集有一个默认存储位置。如果需要修改数据集存储位置,请单击“数据集输出位置”右侧的“修改”,在弹出的“数据集输出位置”对话框中,选择“OBS桶”和“文件夹”,然后单击“确定”。 添加标签集 当上传的数据集状态为“未标注数据集”,需要添加标签名称。 单击文本框下方的添加标签。 鼠标移至文本框,单击文本框右侧的删除标签。 新建训练数据集后,勾选当前应用开发所需的训练数据集。
  • 模型如何提升效果 检查是否存在训练数据过少的情况,建议每个类别的图片量不少于100个,如果低于这个量级建议扩充。 检查不同标签的样本数是否均衡,建议不同标签的样本数量级相同,并尽量接近,如果有的类别数据量很高,有的类别数据量较低,会影响模型整体的识别效果。 如果分割效果不好,建议检测图片标注,标注质量的好坏直接影响模型训练图像分割效果的好坏。 根据数据量选择适当的学习率和训练轮次。 通过详细评估中的错误识别示例,有针对性地扩充训练数据。
  • 工作流简介 车牌检测与识别技术对于交通管理智能化、提高交通执法的稳定性具有重要意义。ModelArts Pro提供无监督车牌检测工作流,基于高精度的无监督车牌检测算法,无需用户标注数据,大大降低标注成本和提高车牌检测场景上线效率。 功能介绍 无需标注数据,构建无监督车牌检测模型,用于识别不同场景下的车牌。 适用场景 停车管理、交警执法、车辆保险等交通管理场景。 优势 模型精度高,识别速度快;更新模型简便。
  • 操作步骤 在“服务部署”页面,按表1填写服务的相关参数,然后单击“部署”。 图1 服务部署 表1 服务部署参数说明 参数 说明 服务名称 待部署的服务名称,首次部署服务请单击可修改默认服务名称。 如果在不同版本非首次部署服务,服务名称不支持修改。 描述 待部署服务的简要说明。 资源池 用于部署服务的资源池和资源类型。资源池可选“公共资源池”和“专属资源池”。 “公共资源池”:提供公共的大规模计算集群,资源按作业隔离。您可以按需选择不同的资源类型。 “专属资源池”:提供独享的计算资源,不与其他用户共享,更加高效。使用专属资源池需要在ModelArts创建专属资源池。 计算节点规格 如果资源池选择“公共资源池”,支持选择计算规格“CPU:2 核 8 GiB”,适合纯CPU类型的负载运行的模型。 如果资源池选择专属资源池,勾选自己在ModelArts创建的专属资源池。 计算节点个数 设置当前版本模型的实例个数。如果节点个数设置为1,表示后台的计算模式是单机模式;如果节点个数设置大于1,表示后台的计算模式为分布式的。请根据实际编码情况选择计算模式。 服务自动停止 设置服务自动停止的时间,在线服务运行状态在所选的时间点后自动停止,同时在线服务也停止计费。 部署成功后,页面显示“服务部署成功”。您可以单击“查看应用监控”,进入应用监控页面查看监控信息,详情请见监控应用。
  • 评估模型 在“模型评估”页面,您可以针对当前版本的模型进行模型评估,查看评估参数对比和详细评估,也可以模拟在线测试。 图1 评估模型 模型评估 “模型评估”下侧显示当前模型的版本、验证集数量。 评估参数对比 “评估参数对比”下方显示当前模型的评估参数值,包括“精准率”、“召回率”、“F1值”。您可以在上方单击选择“评估范围”,单击“添加对比版本”。 详细评估 “详细评估”下方显示各个标签下正确率,即对应标签下预测正确的样本数占该标签下样本总数比例,单击各标签,右侧可查看该标签识别错误的图片。
  • 上传数据至OBS 使用ModelArts Pro进行应用开发时,您需要将数据上传至OBS桶中。 首先需要获取访问OBS权限,在未进行委托授权之前,无法使用此功能。您需要提前获得OBS授权,详情请见配置访问权限。 已创建用于存储数据的OBS桶及文件夹,且数据存储的OBS桶与ModelArts Pro在同一区域(目前仅支持华为-北京四),详情请见创建OBS桶。 上传数据至OBS,OBS上传数据的详细操作请参见《对象存储服务快速入门》。 您在创建OBS桶时,需保证您的OBS桶与ModelArts Pro在同一个区域。 建议根据业务情况及使用习惯,选择OBS使用方法。 如果您的数据量较小(小于100MB)或数据文件较少(少于100个),建议您使用控制台上传数据。控制台上传无需工具下载或多余配置,在少量数据上传时,更加便捷高效。 如果您的数据量较大或数据文件较多,建议选择OBS Browser+或obsutil工具上传。OBS Browser+是一个比较常用的图形化工具,支持完善的桶管理和对象管理操作。推荐使用此工具创建桶或上传对象。obsutil是一款用于访问管理OBS的命令行工具,对于熟悉命令行程序的用户,obsutil是执行批量处理、自动化任务较好的选择。 如果您的业务环境需要通过API或SDK执行数据上传操作,或者您习惯于使用API和SDK,推荐选择OBS的API或SDK方法创建桶和上传对象。 上述说明仅罗列OBS常用的使用方式和工具,更多OBS工具说明,请参见《OBS工具指南》。
  • 数据集要求 文件名规范,不能有中文,不能有+、空格、制表符。 保证图片质量,不能有损坏的图片。目前支持的格式包括JPG、JPEG、PNG、BMP。 不要把明显不同的多个任务数据放在同一个数据集内。 为了保证模型的预测准确度,训练样本跟真实使用场景尽量相似。 为保证模型的泛化能力,数据集尽量覆盖可能出现的各种场景。 每一类数据尽量多,尽量均衡。每个分类标签需要准备20个数据以上,为了训练出效果较好的模型,建议每个分类标签准备200个以上的数据。 针对未标注数据,要求将图片放在一个目录里,示例如下所示。 ├─dataset-import-example │ IMG_20180919_114732.jpg │ IMG_20180919_114745.jpg │ IMG_20180919_114945.jpg 如果导入位置为OBS,用户需具备此OBS路径的读取权限。 只支持JPG、JPEG、PNG、BMP格式的图片。 针对已标注数据,云状识别工作流仅支持一张图片识别单个标签,支持如下两种数据格式。 相同标签的图片放在一个目录里,并且目录名字即为标签名。当存在多层目录时,则以最后一层目录为标签名。 示例如下所示,其中“cumulus”和“stratus”分别为标签名。 dataset-import-example ├─cumulus │ 10.jpg │ 11.jpg │ 12.jpg │ └─stratus 1.jpg 2.jpg 3.jpg 当目录下存在对应的txt文件时,以txt文件内容作为图像的标签,优先级高于第一种格式。 示例如下所示,“import-dir-1”和“imort-dir-2”为导入子目录。 dataset-import-example ├─import-dir-1│ 10.jpg│ 10.txt │ 11.jpg │ 11.txt│ 12.jpg │ 12.txt└─import-dir-2 1.jpg 1.txt 2.jpg 2.txt 单标签的标签文件示例,如1.txt文件内容如下所示: stratus 只支持JPG、JPEG、PNG、BMP格式的图片。单张图片大小不能超过5MB,且单次上传的图片总大小不能超过8MB。
  • 操作步骤 在“服务部署”页面,按表1填写服务的相关参数,然后单击“部署”。 图1 服务部署 表1 服务部署参数说明 参数 说明 服务名称 待部署的服务名称,单击可修改服务默认服务名称。 描述 待部署服务的简要说明。 资源池 用于服务部署的资源池和资源类型,可选“公共资源池”和“专属资源池”。 “公共资源池”:提供公共的大规模计算集群,资源按作业隔离。您可以按需选择不同的资源类型。 “专属资源池”:提供独享的计算资源,不与其他用户共享,更加高效。使用专属资源池需要在ModelArts创建专属资源池。 计算节点规格 请根据界面提示选择需要使用的规格。 计算节点个数 设置当前版本模型的实例个数。如果节点个数设置为1,表示后台的计算模式是单机模式;如果节点个数设置大于1,表示后台的计算模式为分布式的。请根据实际编码情况选择计算模式。 服务自动停止 设置服务自动停止的时间,在线服务运行状态在所选的时间点后自动停止,同时在线服务也停止计费。 部署成功后,页面显示“服务部署成功”,您可以单击“查看应用监控”,进入“应用监控”页面,监控应用的相关信息,详情请见监控应用。
  • 导入数据集 在“数据选择”页面,单击“导入数据集”。 弹出“导入数据集”对话框。 “导入数据集”对话框会显示您在数据标注平台或套件其它应用导入可用状态的数据集信息,包括“数据集名称”、“来源”和“标注进度”。 单击数据集左侧的,可查看数据集的“创建时间”和“标签集”。 图4 导入数据集 勾选数据集,然后单击“确定”。 数据集导入后,“数据选择”页面右上角会显示“导入成功”。 导入勾选数据集后,在数据选择页面勾选当前应用开发所需的训练数据集。 由于该工作流所需数据集需标注10%数据量用于测试,其余90%无需标注。针对已上传的数据集,您可以手动添加或修改标签。 单击数据集操作列的“标注测试图片”,进入数据集概览页单击右上角的“开始标注”,进入“数据标注”页面手动标注数据。
  • 前提条件 使用ModelArts Pro服务请根据如何使用ModelArts Pro罗列的要求,提前完成准备工作。 保证华为云帐号不欠费。在ModelArts Pro控制台开发应用时,会占用OBS资源,需要收取一定费用,收费规则请参见对象存储服务OBS。 如果您的帐号是IAM帐号,在新建应用前,请先使用管理员帐号为IAM用户授予文字识别服务(Optical Character Recognition,简称OCR)操作权限权,详细操作请见给IAM用户授权。
  • 操作步骤 在“服务部署”页面,按表1填写服务的相关参数,然后单击“部署”。 图1 服务部署 表1 服务部署参数说明 参数 说明 服务名称 待部署的服务名称,单击可修改服务默认服务名称。 描述 待部署服务的简要说明。 资源池 用于服务部署的资源池和资源类型,可选“公共资源池”和“专属资源池”。 “公共资源池”:提供公共的大规模计算集群,资源按作业隔离。您可以按需选择不同的资源类型。 “专属资源池”:提供独享的计算资源,不与其他用户共享,更加高效。使用专属资源池需要在ModelArts创建专属资源池。 计算节点规格 请根据界面提示选择需要使用的规格。 计算节点个数 设置当前版本模型的实例个数。如果节点个数设置为1,表示后台的计算模式是单机模式;如果节点个数设置大于1,表示后台的计算模式为分布式的。请根据实际编码情况选择计算模式。 服务自动停止 设置服务自动停止的时间,在线服务运行状态在所选的时间点后自动停止,同时在线服务也停止计费。 部署成功后,页面显示“服务部署成功”,您可以单击“查看应用监控”,进入“应用监控”页面,监控应用的相关信息,详情请见监控应用。
共100000条