检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
由于ModelArts较多功能需使用OBS中存储的数据,用户可使用OBS SDK进行调用,使用OBS存储您的数据。 OBS提供了多种语言SDK供选择,开发者可根据使用习惯下载OBS SDK进行调用。使用OBS SDK前,需下载OBS SDK包,然后在本地开发环境中安装使用。
详细步骤如下所示: 前提条件 Step1 创建OBS桶和文件夹 Step2 准备脚本文件并上传至OBS中 Step3 准备镜像主机 Step4 制作自定义镜像 Step5 上传镜像至SWR服务 Step6 在ModelArts上创建训练作业 前提条件 已注册华为账号并开通华为云,且在使用
详细步骤如下所示: 前提条件 Step1 创建OBS桶和文件夹 Step2 准备脚本文件并上传至OBS中 Step3 准备镜像主机 Step4 制作自定义镜像 Step5 上传镜像至SWR服务 Step6 在ModelArts上创建训练作业 前提条件 已注册华为账号并开通华为云,且在使用
操作步骤 VPC访问通道访问在线服务操作步骤如下: 获取ModelArts终端节点服务地址 购买连接ModelArts终端节点 创建DNS内网域名 VPC访问在线服务 提交工单,提供账号ID给华为云技术支持,用于获取ModelArts终端节点服务地址。
结合准备数据、准备权重、准备代码,将数据集、原始权重、代码文件都上传至OBS后,OBS桶的目录结构如下。
购买DevServer资源时如果无可选资源规格,需要联系华为云技术支持申请开通。 当容器需要提供服务给多个用户,或者多个用户共享使用该容器时,应限制容器访问Openstack的管理地址(169.254.169.254),以防止容器获取宿主机的元数据。
个人用户快速配置ModelArts访问权限 ModelArts使用过程中涉及到OBS、SWR等服务交互,需要用户配置委托授权,允许ModelArts访问这些依赖服务。如果没有授权,ModelArts的部分功能将不能正常使用。
如果用户使用的访问机器和华为云ModelArts服务的网络有隔离,则访问机器的外网地址需要在主流搜索引擎中搜索“IP地址查询”获取,而不是使用ipconfig或ifconfig/ip命令在本地查询。 图4 查询外网IP地址 父主题: 管理Notebook实例
阅读并同意《华为云AI Gallery数字内容发布协议》和《华为云AI Gallery服务协议》。 单击“发布”。 发布使用容器镜像导入的资产时,后台会进行资产安全扫描,如果扫描发现资产有问题,则资产发布失败并邮件通知发布者。
并根据handler对象对数据集进行解析。
图3 输入有效的OBS文件路径 此处输入的是具体的OBS文件路径,不是文件夹的路径,否则会导致上传失败。 方式二:打开OBS File Browser选择OBS文件路径,然后单击“上传”,开始上传文件。 图4 上传OBS文件 异常处理 提示文件上传失败,有以下三种常见场景。
图2 查看专属池驱动 创建OBS桶 ModelArts使用对象存储服务(Object Storage Service,简称OBS)存储输入输出数据、运行代码和模型文件,实现安全、高可靠和低成本的存储需求。
图2 查看专属池驱动 创建OBS桶 ModelArts使用对象存储服务(Object Storage Service,简称OBS)存储输入输出数据、运行代码和模型文件,实现安全、高可靠和低成本的存储需求。
ECS获取和上传基础镜像 Step1 创建镜像组织 在SWR服务页面创建镜像组织。 图1 创建镜像组织 Step2 登录ECS服务器 根据创建ECS服务器创建完成ECS服务器后,单击“远程登录”,可使用华为CloudShell远程登录如图所示。后续安装Docker、获取镜像、构建镜像等操作均在该
处理方法 对于OBS连接不稳定的现象,通过增加代码来解决。
图3 多机同步权重文件 代码上传至OBS 将llm_train文件上传至OBS中。 结合准备数据、准备权重、准备代码,将数据集、原始权重、代码文件都上传至OBS后,OBS桶的目录结构如下。
图2 查看专属池驱动 创建OBS桶 ModelArts使用对象存储服务(Object Storage Service,简称OBS)存储输入输出数据、运行代码和模型文件,实现安全、高可靠和低成本的存储需求。
图2 查看专属池驱动 创建OBS桶 ModelArts使用对象存储服务(Object Storage Service,简称OBS)存储输入输出数据、运行代码和模型文件,实现安全、高可靠和低成本的存储需求。
ECS获取和上传基础镜像 Step1 创建镜像组织 在SWR服务页面创建镜像组织。 图1 创建镜像组织 Step2 登录ECS服务器 根据创建ECS服务器创建完成ECS服务器后,单击“远程登录”,可使用华为CloudShell远程登录如图所示。后续安装Docker、获取镜像、构建镜像等操作均在该
原因分析 出现该问题的可能原因如下: OBS相关错误。 OBS文件不存在。The specified key does not exist。 用户OBS权限不足。 OBS限流。 OBS其他问题。 磁盘空间不足。 处理方法 如果是OBS相关错误。 OBS文件不存在。