检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
请排查安装包的版本,可能存在包冲突的问题。 排查办法 根据错误信息判断,报错原因来源于用户代码。 您可以通过以下两种方式排查: 线上环境调试代码(仅适用于非分布式代码) 在开发环境(notebook)申请相同规格的开发环境实例。 在notebook调试用户代码,并找出问题的代码段。 通过关键代码段 + 退出码尝试去搜索引擎寻找解决办法。,
请求参数 表3 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token。通过调用IAM服务获取用户Token接口获取(响应消息头中X-Subject-Token的值)。 响应参数 状态码: 200 表4 响应Body参数
ModelArts Standard资源管理 Standard资源池功能介绍 创建Standard专属资源池 管理Standard专属资源池
创建数据集导出任务 功能介绍 创建数据集导出任务,可导出至OBS或新数据集。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI POST /v2/{project_id
文件上传完成前,请不要刷新或关闭上传页面,防止意外终止上传任务,导致数据缺失。 当文件状态变成“上传成功”表示数据文件成功上传至AI Gallery仓库进行托管。单击“完成”返回数据集文件页面。 图1 上传成功 文件上传过程中请耐心等待,不要关闭当前上传页面,关闭页面会中断上传进程。 父主题:
Gallery”,进行知识共享。 登录ModelArts管理控制台,在左侧导航栏中选择“模型管理”,进入模型列表页面。 单击模型的“版本数量”,在展开的版本列表中,单击“操作”列的“发布”进入发布页面。 在发布弹出框中,单击“前往AI Gallery”进入AI Gallery。 图1 前往AI Gallery
当领取置灰时,表示该服务的免费额度已领取。 有以下两种方式免费体验预置服务。 在“模型体验”页面进行推理。 在预置服务列表,选择所需的服务,单击操作列的“体验”,跳转到“模型体验”页面,进行参数设置后,即可开始问答体验。操作指导请参见在MaaS体验模型服务。 当操作列的“体验”
池。 ModelArts Standard默认提供公共资源池。ModelArts Standard专属资源池需单独创建,专属使用,不与其他用户共享。 ModelArts Lite Server和ModelArts Lite Cluster使用的都是专属资源池。 MoXing Mo
/bucketName/data-cat/cat.jpg”。 如您将已标注好的图片上传至OBS桶,请按照如下规范上传。 物体检测数据集要求用户将标注对象和标注文件存储在同一目录,并且一一对应。例如标注对象文件名为“IMG_20180919_114745.jpg”,那么标注文件的文
创建导入任务 支持从OBS中导入新的数据,导入方式包括目录导入和Manifest文件导入。 dataset.import_data(path=None, anntation_config=None, **kwargs) 不同类型的数据集支持的导入方式如表1所示。 表1 不同数据集支持的导入方式
”管理页面。 在数据集列表中,单击操作列的“更多 > 版本管理”,进入数据集“版本管理”页面。 您可以查看数据集的基本信息,并在左侧查看版本演进信息及其发布时间。 设置当前版本 登录ModelArts管理控制台,在左侧菜单栏中选择“资产管理>数据集”,进入“数据集”管理页面。 在数据集列表中,单击操作列的“更多
档。 确保容器可以访问公网。 Step1 准备环境 请参考DevServer资源开通,购买DevServer资源,并确保机器已开通,密码已获取,能通过SSH登录,不同机器之间网络互通。 当容器需要提供服务给多个用户,或者多个用户共享使用该容器时,应限制容器访问Openstack的管理地址(169
检查当前账号具备OBS桶的读写权限(桶ACLs) 进入OBS管理控制台,选择当前自动学习项目使用的OBS桶,单击桶名称进入概览页。 在左侧菜单栏选择“访问权限控制>桶ACL”,检查当前账号是否具备读写权限,如果没有权限,请联系桶的拥有者配置权限。 确保此OBS桶是非加密桶 进入OBS管理控制
dev_services Array of strings 镜像支持的服务。枚举值如下: NOTEBOOK:镜像支持通过https协议访问Notebook。 SSH:镜像支持本地IDE通过SSH协议远程连接Notebook。 id String 待创建Notebook实例的镜
以适应特定任务。 全参训练(Full):这种策略主要对整个模型进行微调。这意味着在任务过程中,除了输出层外,模型的所有参数都将被调整以适应新的任务。 本方案目前仅适用于部分企业客户,完成本方案的部署,需要先联系您所在企业的华为方技术支持。 约束限制 本文档适配昇腾云ModelArts
本文档适配昇腾云ModelArts 6.3.907版本,请参考表1获取配套版本的软件包和镜像,请严格遵照版本配套关系使用本文档。 确保容器可以访问公网。 资源规格要求 推荐使用“西南-贵阳一”Region上的DevServer资源和Ascend Snt9B。 软件配套版本 表1 获取软件
本文档中的模型运行环境是ModelArts Lite DevServer。 镜像适配的Cann版本是cann_8.0.rc2。 确保容器可以访问公网。 训练支持的模型列表 本方案支持以下模型的训练,如表1所示。 表1 支持的模型列表 序号 支持模型 支持模型参数量 权重文件获取地址
场景介绍 方案概览 本文档利用训练框架PyTorch_npu+华为自研Ascend Snt9B硬件,为用户提供了常见主流开源大模型在ModelArts Lite DevServer上的预训练和全量微调方案。训练框架使用的是ModelLink。 本方案目前仅适用于部分企业客户,完成
环境,对应支持的镜像和版本有所不同。 表3 Notebook支持的镜像 镜像名称 镜像描述 适配芯片 支持SSH远程开发访问 支持在线JupyterLab访问 pytorch1.8-cuda10.2-cudnn7-ubuntu18.04 CPU、GPU通用算法开发和训练基础镜像,预置AI引擎PyTorch1
购买DevServer资源时如果无可选资源规格,需要联系华为云技术支持申请开通。 当容器需要提供服务给多个用户,或者多个用户共享使用该容器时,应限制容器访问Openstack的管理地址(169.254.169.254),以防止容器获取宿主机的元数据。具体操作请参见禁止容器获取宿主机元数据。 检查环境。