检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
对象属性同本章初始化服务。
前提条件 注册并登录华为云,且创建好OBS桶用于存储数据和模型。 如果是订阅使用HiLens技能,则需要获取相关服务权限,详细操作请参见准备工作(华为HiLens)。 订阅免费模型 登录“AI Gallery”。
单击“新建对象存储服务(OBS)桶”,进入创建桶页面,具体请参见《对象存储服务控制台指南》中的创建桶章节。 图1 快速创建OBS桶 桶创建完成后,选择对应桶名称,单击“新建文件夹”,在“新建文件夹”对话框中,填写文件夹“名称”,单击“确定”完成创建,选择创建的文件夹。
注册API并授权给APP 功能介绍 注册API并将API授权给APP,只有对服务有更新权限的华为云用户可以调用。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。
对象 obs_data = wf.data.OBSPlaceholder(name="obs_placeholder_name", object_type="directory") # 通过JobStep来定义一个训练节点,并将训练结果输出到OBS job_step = wf.steps.JobStep
华为云ModelArts针对该场景提供了系统化的迁移指导,包括迁移原理、迁移流程以及迁移后的精度调试及性能调优方法介绍。
步骤一:创建网络 ModelArts网络是承载ModelArts资源池节点的网络连接,基于华为云的VPC进行封装,对用户仅提供网络名称以及CIDR网段的选择项,为了防止在打通VPC的时候有网段的冲突,因此提供了多个CIDR网段的选项,用户可以根据自己的实际情况进行选择。
当使用调用指南页签中显示的调用地址(华为云APIG网关服务的地址)预测时,对请求体的大小限制是12MB,超过12MB时,请求会被拦截。 如果是从ModelArts console的预测页签进行的预测,由于console的网络链路的不同,此时要求请求体的大小不超过8MB。
2023年8月 序号 功能名称 功能描述 阶段 相关文档 1 Notebook连接大数据服务特性 介绍如何将ModelArts Notebook开发环境与华为云大数据服务DLI中的Spark引擎相连接,让数据工程师能便捷地使用Notebook进行大数据开发,以及如何在DataArts
准备文本分类数据 使用ModelArts自动学习构建模型时,您需要将数据上传至对象存储服务(OBS)中。OBS桶需要与ModelArts在同一区域。 数据集要求 文件格式要求为txt或者csv,文件大小不能超过8MB。 以换行符作为分隔符,每行数据代表一个标注对象。
购买DevServer资源时如果无可选资源规格,需要联系华为云技术支持申请开通。 当容器需要提供服务给多个用户,或者多个用户共享使用该容器时,应限制容器访问Openstack的管理地址(169.254.169.254),以防止容器获取宿主机的元数据。
使用案例 在华为云MRS服务下查看自己账号下可用的MRS集群,如果没有,则需要创建,当前需要集群有Spark组件,安装时,注意勾选上。 您可以使用MrsStep来创建作业类型节点。定义MrsStep示例如下。
使用华为云A系列裸金属服务器时有如下注意事项: nvidia-fabricmanager版本号必须和nvidia-driver版本号保持一致,可参考安装nvidia-fabricmanag方法。 NCCL必须和CUDA版本相匹配,可单击此处可查看配套关系和安装方法。
GetObject(获取对象内容、获取对象元数据) obs:object:GetObjectVersion(获取对象内容、获取对象元数据) obs:object:PutObject(PUT上传、POST上传、复制对象、追加写对象、初始化上传段任务、上传段、合并段) obs:object
注册华为账号并开通华为云 进行实名认证 配置委托访问授权 ModelArts使用过程中涉及到OBS等服务交互,首次使用ModelArts需要用户配置委托授权,允许访问这些依赖服务。具体配置操作请参见配置ModelArts Standard访问授权。
同样可以打开OBS的文件对象。
如果欠费,建议您参考华为云账户充值,为您的账号充值。 如果以上都没问题,请尝试退出账号重新登录。 单击页面右上角的账号,选择“退出登录”,并重新登录。 父主题: AI Gallery
ModelArts的API和SDK不支持模型下载到本地,但训练作业输出的模型是存放在对象存储服务(OBS)里面的,您可以通过OBS的API或SDK下载存储在OBS中的文件,具体请参见从OBS下载文件。 父主题: API/SDK
未标注:仅导入标注对象(指待标注的图片,文本等),不导入标注内容(指标注结果信息)。 已标注:同时导入标注对象和标注内容,当前“自由格式”的数据集不支持导入标注内容。
策略及授权项说明 如果您需要对您所拥有的ModelArts进行精细的权限管理,您可以使用统一身份认证服务(Identity and Access Management,简称IAM),如果华为云帐号已经能满足您的要求,不需要创建独立的IAM用户,您可以跳过本章节,不影响您使用ModelArts