检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
慢。 重复打印日志“INFO:root:Listing OBS”。 原因分析 复制数据慢的可能原因如下: 直接从OBS上读数据会造成读数据变成训练的瓶颈,导致迭代缓慢。 由于环境或网络问题,读OBS时遇到读取数据失败情况,从而导致整个作业失败。 重复打印日志,该日志表示正在读取远
在线服务部署完成后,单击“预测”页签。 在“预测”页签,单击“上传”,上传一个测试图片,单击“预测”查看预测结果。此处提供一个样例图片供预测使用。 本案例中使用的订阅模型可以识别81类常见超市商品,模型对预测图片有一定范围和要求,不满足条件的图片会影响预测结果的准确性。 图4 预测样例图 图5 预测结果
JupyterLab是一个交互式的开发环境,可以使用它编写Notebook、操作终端、编辑MarkDown文本、打开交互模式、查看csv文件及图片等功能。可以说,JupyterLab是开发者们下一阶段更主流的开发环境。 ModelArts支持通过JupyterLab工具在线打开Not
一般情况包括如下两种内容类型: “application/json”,发送json数据。 “multipart/form-data”,上传文件。 说明: 针对机器学习类模型,仅支持“application/json” data 在线服务-非必选 批量服务-必选 String 请求体以json schema描述。参数说明请参考官方指导。
在线服务部署完成后,单击“预测”页签。 在“预测”页签,单击“上传”,上传一个测试图片,单击“预测”查看预测结果。此处提供一个样例图片供预测使用。 本案例中使用的订阅模型可以识别81类常见超市商品,模型对预测图片有一定范围和要求,不满足条件的图片会影响预测结果的准确性。 步骤5:清理资源 体验结束后,建
AI开发基本概念 机器学习常见的分类有3种: 监督学习:利用一组已知类别的样本调整分类器的参数,使其达到所要求性能的过程,也称为监督训练或有教师学习。常见的有回归和分类。 非监督学习:在未加标签的数据中,试图找到隐藏的结构。常见的有聚类。 强化学习:智能系统从环境到行为映射的学习,以使奖励信号(强化信号)函数值最大。
创建算法 机器学习从有限的观测数据中学习一般性的规律,并利用这些规律对未知的数据进行预测。为了获取更准确的预测结果,用户需要选择一个合适的算法来训练模型。针对不同的场景,ModelArts提供大量的算法样例。以下章节提供了关于业务场景、算法学习方式、算法实现方式的指导。 选择算法的实现方式
String 文件名称。 source Object 数据源信息,详细请见表3。 width Long 图片长度。 height Long 图片高度。 depth Long 图片深度。 segmented String 分割。 mask_source String 图像分割得到的ma
行过程。 数据集准备。 订阅工作流。 运行工作流。 准备数据集 前往AI Gallery,在“资产集市>数据>数据集”页面下载常见生活垃圾图片。 单击“下载”,选择云服务区域,推荐选择“华北-北京四”,单击“确定”。 进入“下载详情”页面,填写下述参数。 下载方式:选择“ModelArts数据集”。
MLOps(Machine Learning Operation)是“机器学习”(Machine Learning)和“DevOps”(Development and Operations)的组合实践。机器学习开发流程主要可以定义为四个步骤:项目设计、数据工程、模型构建、部署落地。
Standard数据管理 ModelArts Standard数据管理提供了一套高效便捷的管理和标注数据框架。支持图片、文本、语音、视频等多种数据类型,涵盖图像分类、目标检测、音频分割、文本分类等多个标注场景,适用于计算机视觉、自然语言处理、音视频分析等AI项目场景。 ModelArts
ModelArts团队标注的数据分配机制是什么? 目前不支持用户自定义成员任务分配,数据是平均分配的。 当数量和团队成员人数不成比例,无法平均分配时,则将多余的几张图片,随机分配给团队成员。 如果样本数少于待分配成员时,部分成员会存在未分配到样本的情况。样本只会分配给labeler,比如10000张都是未
ModelArts Standard推理服务访问公网方案 本章节提供了推理服务访问公网的方法。 应用场景 推理服务访问公网地址的场景,如: 输入图片,先进行公网OCR服务调用,然后进行NLP处理; 进行公网文件下载,然后进行分析; 分析结果回调给公网服务终端。 方案设计 从推理服务的算
查看特征分析结果 在特征分析结果中,例如图片亮度指标,数据分布中,分布不均匀,缺少某一种亮度的图片,而此指标对模型训练非常关键。此时可选择增加对应亮度的图片,让数据更均衡,为后续模型构建做准备。 数据标注 人工标注 在“未标注”页签图片列表中,单击图片,自动跳转到标注页面。 在标注页面
撤销审批:单击用户操作列的“撤销”可以取消已审批通过或已拒绝的用户权限,用户的“审批状态”从“已审批”变成“未审批”,或者从“已拒绝”变成“未审批”。 同意用户使用该资产:单击用户操作列的“同意”可以通过用户的申请,用户的“审批状态”从“未审批”变成“已审批”。 拒绝用户使用该资产:单击用户操作列的“拒绝”并填写拒
ModelArts在线服务预测请求体大小限制是多少? 服务部署完成且服务处于运行中后,可以往该服务发送推理的请求,请求的内容根据模型的不同可以是文本,图片,语音,视频等内容。 当使用调用指南页签中显示的调用地址(华为云APIG网关服务的地址)预测时,对请求体的大小限制是12MB,超过12MB时,请求会被拦截。
将yaml文件中的per_device_train_batch_size调小,重新训练如未解决则执行下一步。 替换深度学习训练加速的工具或增加zero等级,可参考各个模型深度学习训练加速框架的选择,如原使用Accelerator可替换为Deepspeed-ZeRO-1,Deepspee
--served-port ${port} --text 图片内容是什么 相关请求参数说明参照多模态相关请求参数说明。 多模态相关请求参数说明 表1 脚本参数说明 参数 是否必须 参数类型 描述 image_path 是 str 传给模型的图片路径 payload 是 json 单图单轮对话的post请求json,
--served-port ${port} --text 图片内容是什么 相关请求参数说明参照多模态相关请求参数说明。 多模态相关请求参数说明 表1 脚本参数说明 参数 是否必须 参数类型 描述 image_path 是 str 传给模型的图片路径 payload 是 json 单图单轮对话的post请求json,
支持管理托管的资产文件,例如在线预览、下载、删除文件。 只支持预览大小不超过10MB、格式为文本类或图片类的文件。 支持编辑资产介绍。每个资产介绍可分为基础设置和使用描述。 基础设置部分包含了该资产所有重要的结构化元数据信息。选择填入的信息将会变成该模型资产的标签,并且自动同步在模型描述部分,保存到“README