检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在使用零售商品识别工作流开发应用之前,您需要提前准备用于模型训练的数据,上传至OBS中。 准备数据 选择数据 在使用零售商品识别工作流开发应用时,您需要新建或导入训练数据集,后续训练模型操作是基于您选择的训练数据集。 由于模型训练过程需要有标签的数据,如果您上传未标注数据,可以选择手
在使用热轧钢板表面缺陷检测工作流开发应用之前,您需要提前准备用于模型训练的数据,上传至OBS中。 准备数据 选择数据 在使用热轧钢板表面缺陷检测工作流开发应用时,您需要新建或导入训练数据集,后续训练模型操作是基于您选择的训练数据集。 由于模型训练过程需要有标签的数据,如果您上传未标注数据,需要手动标注数据。 选择数据
训练得到模型之后,整个开发过程还不算结束,需要对模型进行评估和考察。 一些常用的指标,如精准率、召回率、F1值等,能帮助您有效的评估,最终获得一个满意的模型。 评估模型 部署服务 模型准备完成后,您可以部署服务,用于分类自己所上传的文字内容,也可直接调用对应的API。 部署服务 父主题: 通用实体抽取工作流
SK)两部分,华为云通过AK识别用户的身份,通过SK对请求数据进行签名验证,用于确保请求的机密性、完整性和请求者身份的正确性。 登录访问密钥页面,依据界面操作指引,获取AK、SK。下载得到的访问密钥为credentials.csv文件,文件中的B列和C列分别是AK、SK信息。 图4
训练得到模型之后,整个开发过程还不算结束,需要对模型进行评估和考察。 一些常用的指标,如精准率、召回率、F1值等,能帮助您有效的评估,最终获得一个满意的模型。 评估模型 部署服务 模型准备完成后,您可以部署服务,用于分类自己所上传的文字内容,也可直接调用对应的API。 部署服务 父主题: 多语种文本分类工作流
保留图片的关键内容,去掉冗余部分,保持图片内容清晰可见,保证模型识别的准确性。 定义预处理 框选参照字段 在图片模板中框选参照字段,用于矫正图片的方向,进而在正确的方向上,识别图片中的结构化信息。 框选参照字段 框选识别区 在图片模板中框选识别区,确定模板图片中需要识别的文字位置。
工作流指在具体行业场景下固定开发流程所构建的开发流水线,无需深究AI知识,按照工作流指引即可开发AI应用,解决特定场景问题。 开发应用 开发应用指通过工作流指引完成自主定制AI应用的开发,使所开发的应用在特定场景下能够解决具体问题。 资源池 用于数据处理、模型训练、服务部署的资源池和资源类型,分为“公共资源池”和“专属资源池”。
通过上传测试图片,在线评估模板分类情况和模板的文字识别情况,保证能在多个模板情况下正确分类测试图片的模板,并且能正确识别测试图片中的识别区文字。 评估应用 部署服务 模板图片评估后,可以部署模板至文字识别开发套件中,开发属于自己的文字识别应用,此应用用于识别自己所上传的多模板样式的图片。 部署服务 父主题:
“公共资源池”:提供公共的大规模计算集群,资源按作业隔离。您可以按需选择不同的资源类型。 “专属资源池”:提供独享的计算资源,不与其他用户共享,更加高效。使用专属资源池需要在ModelArts创建专属资源池。 计算节点规格 请根据界面提示选择需要使用的规格。 计算节点个数 设置当前版本模型的实例个
“公共资源池”:提供公共的大规模计算集群,资源按作业隔离。您可以按需选择不同的资源类型。 “专属资源池”:提供独享的计算资源,不与其他用户共享,更加高效。使用专属资源池需要在ModelArts创建专属资源池。 计算节点规格 请根据界面提示选择需要使用的规格。 计算节点个数 设置当前版本模型的实例个
“公共资源池”:提供公共的大规模计算集群,资源按作业隔离。您可以按需选择不同的资源类型。 “专属资源池”:提供独享的计算资源,不与其他用户共享,更加高效。使用专属资源池需要在ModelArts创建专属资源池。 计算节点规格 请根据界面提示选择需要使用的规格。 计算节点个数 设置当前版本模型的实例个
本样例训练数据集使用未标注数据。 为了保证模型的预测准确度,训练样本跟真实使用场景尽量相似。 为保证模型的泛化能力,数据集尽量覆盖所有商品分类的图片,即覆盖所有标签的图片。 每个分类标签需要准备20个数据以上,为了训练出效果较好的模型,建议每个分类标签准备200个以上的数据。 所有图片放在一个文件目录下,示例如下所示。
在使用HiLens安全帽检测工作流开发应用时,您需要新建或导入训练数据集,后续训练模型操作是基于您选择的训练数据集。 选择数据 训练模型 选择训练数据后,基于已标注的训练数据,选择预训练模型、配置参数,用于训练安全帽检测模型。 训练模型 评估模型 训练得到模型之后,整个开发过程还不算结束,需要对模型进行评估和考察。
创建名称为“mapro-hilens”的OBS桶。 创建名称为“training-data-in”的文件夹用于存放训练数据集。 创建名称为“training-data-out”的文件夹用于存放输出的数据集。 创建OBS桶和文件夹的操作指导请参见创建桶和新建文件夹。为保证数据能正常访问,请务必保证创建的OBS桶与ModelArts
取值,作为识别结果。 自定义正则提取 预过滤 对初始的待识别文字进行预处理。 左边输入框填写待识别文字中被替换字符的正则表达式。 右边输入框填写所替换的新字符。 不填写时,默认不做预处理。 如果需要多次预处理,可单击,填写新增的预处理规则。 例如: “字段类型名称”:“出生日期”
在“数据标注”页面,会显示自动标注的进度,如果自动标注完成,标注进度为100%。 图1 自动标注完成。 标注完成后,您可以单击“标注结果确认”中的“前往确认”,进入标注概览页。 在标注概览页单击右上方的“开始标注”,进入手动标注数据页面,针对“已标注”的数据进行核对和检查。针对标注错误的数据修改标注。
取值,作为识别结果。 自定义正则提取 预过滤 对初始的待识别文字进行预处理。 左边输入框填写待识别文字中被替换字符的正则表达式。 右边输入框填写所替换的新字符。 不填写时,默认不做预处理。 如果需要多次预处理,可单击,填写新增的预处理规则。 例如: “字段类型名称”:“出生日期”
待新建的数据集存储至OBS的位置。 单击“数据集输出位置”右侧的“修改”,在弹出的“数据集输出位置”对话框中,选择“OBS桶”和“文件夹”,然后单击“确定”。 选择步骤1:准备数据中提前创建好的输出数据集的OBS路径“mapro-nlp/data-out”。 勾选已上传的数据集。
检查图片标注是否准确,第二相区域标注工作量较大,建议基于自动标注的结果进一步优化标注精度。 可根据损失函数选择适当的训练轮次。 通过详细评估中的错误识别示例,有针对性地扩充训练数据。 后续操作 模型训练完成后,单击“下一步”,进入应用开发的“模型评估”步骤,详细操作指引请参见评估模型。 父主题:
100个,如果低于这个量级建议扩充。 检查不同标签的样本数是否均衡,建议不同标签的样本数量级相同,并尽量接近,如果有的类别数据量很高,有的类别数据量较低,会影响模型整体的识别效果。 选择适当的学习率和训练轮次。 通过详细评估中的错误识别示例,有针对性地扩充训练数据。 后续操作 模