检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
虚拟网络环境,操作指导请参考创建虚拟私有云和子网。 创建SFS Turbo SFS Turbo HPC型文件系统为用户提供一个完全托管的共享文件存储。SFS Turbo文件系统支持无缝访问存储在OBS对象存储桶中的对象,用户可以指定SFS Turbo内的目录与OBS对象存储桶进行
虚拟网络环境,操作指导请参考创建虚拟私有云和子网。 创建SFS Turbo SFS Turbo HPC型文件系统为用户提供一个完全托管的共享文件存储。SFS Turbo文件系统支持无缝访问存储在OBS对象存储桶中的对象,用户可以指定SFS Turbo内的目录与OBS对象存储桶进行
groups=100(ma-group) 安装和配置OBS命令行工具 obsutil是用于访问、管理对象存储服务OBS的命令行工具,使用该工具可以对OBS进行常用的配置管理操作,如创建桶、上传文件/文件夹、下载文件/文件夹、删除文件/文件夹等。 obsutil安装和配置的具体操作指导请参见obsutils快速入门。
volumes属性列表 参数 参数类型 说明 nfs Object 共享文件系统类型的存储卷。仅支持运行于已联通共享文件系统网络的资源池的训练作业。具体请参见表6。 host_path Object 主机文件系统类型的存储卷。仅支持运行于专属资源池中的训练作业。具体请参见表7。 表6
Studio大模型即服务平台创建自定义模型、调优或压缩模型时,需要在对象存储服务OBS中创建OBS桶,用于存放模型权重文件、训练数据集或者是存放永久保存的日志。 创建OBS桶和上传文件的操作指导请参见OBS控制台快速入门。 OBS桶必须和MaaS服务在同一个Region下,否则无法选择到该OBS路径。
ModelArts专题 了解ModelArts 华为云开发者学堂 华为云EI基于AI和大数据技术,通过云服务的方式提供开放可信的平台。 智能客服 您好!我是有问必答知识渊博的智能问答机器人,有问题欢迎随时求助哦! 社区求助 华为云社区是华为云用户的聚集地。这里有来自ModelArts服务的技术牛人,为您解决技术难题。
在自动学习页面中,仅支持部署为在线服务,如需部署为批量服务或边缘服务,可在“模型管理 > 模型”页面中直接部署。 支持发布至市场 将产生的模型发布至AI Gallery,共享给其他用户。 支持创建新版本 创建新版本,仅支持从ModelArts训练作业、OBS、模型模板、或自定义镜像中选择元模型。无法从原自动学习项目中,创建新版本。
AI Gallery下载数据到OBS中使用的带宽是用户自己的还是华为云的? AI Gallery下载数据到OBS中使用的带宽是华为云的。 父主题: AI Gallery
GPU裸金属服务器无法Ping通如何解决 问题现象 在华为云使用GPU裸金属服务器时, 服务器绑定EIP(华为云弹性IP服务)后,出现无法ping通弹性公网IP现象。 原因分析 查看当前GPU裸金属服务器的安全组的入方向规则的配置,发现仅开通了TCP协议的22端口。 ping命令是一种基于ICMP协议(Internet
公共资源池仅提供逻辑隔离,专属资源池的隔离性、安全性要高于公共资源池。 专属资源池用户资源独享,在资源充足的情况下,作业是不会排队的;而公共资源池使用共享资源,在任何时候都有可能排队。 专属资源池支持打通用户的网络,在该专属资源池中运行的作业可以访问打通网络中的存储和资源。例如
规格的使用注意事项如下: 1、权限控制 通用的计算节点规格是未做权限控制的,如modelarts.vm.cpu.2u,只要资源池有资源,就可以选择使用。一些特殊的规格需要联系系统管理员增加权限。 2、公共资源池的规格无法选择 共享池的资源是有限的,显示置灰表示当前规格的资源已经被用完。请选
使用临时存储路径 HostPath 适用于以下场景: 容器工作负载程序生成的日志文件需要永久保存。 需要访问宿主机上Docker引擎内部数据结构的容器工作负载。 节点存储。多个容器可能会共享这一个存储,会存在写冲突的问题。 Pod删除后,存储不会清理。 使用主机路径 OBS 适用于训练数据集的存储。
tokenizer_config.json └── visual.py 赋予容器访问权重文件的权限。上传文件到宿主机时使用的是root用户,此处需要执行如下命令统一文件属主为ma-user用户。 #统一文件属主为ma-user用户 sudo chown -R ma-user:ma-group
选择存放训练数据集的OBS路径,必须选择到1上传的jsonl文件。 /maas-test/news/maas_demo_news.jsonl 调优后模型权重保存路径 选择存放调优后的模型权重文件的OBS路径。 说明: 权重文件要存放在空文件夹中,否则会覆盖原有文件。 /maas-test/news/out
请求参数 参数 是否必选 参数类型 描述 manifest_path 是 String Manifest文件路径,支持OBS和本地路径。如果是OBS,需要Session信息。 encoding 否 String 文件编码格式,默认为utf-8。 表2 manifest_info返回参数说明
volumes属性列表 参数 是否必选 参数类型 说明 nfs 否 Object 共享文件系统类型的存储卷。仅支持运行于已联通共享文件系统网络的资源池的训练作业。具体说明请参见表6。 host_path 否 Object 主机文件系统类型的存储卷。仅支持运行于专属资源池中的训练作业。具体说明请参见表7。
选择存放训练数据集的OBS路径,必须选择到文件。 说明: 数据集必须满足要求(请参见约束限制),否则调优会失败。 调优后模型权重保存路径 选择存放调优后的模型权重文件的OBS路径。 说明: 权重文件要存放在空文件夹中,否则会覆盖原有文件。 超参设置 迭代步数/Iterations
已注册华为账号并开通华为云,且在使用ModelArts前检查账号状态,账号不能处于欠费或冻结状态。 配置委托访问授权 ModelArts使用过程中涉及到与OBS、SWR等服务交互,首次使用ModelArts需要用户配置委托授权,允许访问这些依赖服务。 使用华为云账号登录ModelAr
同操作: 如果订阅是具有使用约束的算法,则弹出“使用约束”页面,查看并确认后单击“继续订阅”即可成功订阅。 如果订阅是没有使用约束的算法,则直接成功订阅。 如果订阅的是非华为云官方资产,则会弹出“温馨提示”页面,勾选并阅读《数据安全与隐私风险承担条款》和《华为云AI Galler
volumes属性列表 参数 参数类型 说明 nfs object 共享文件系统类型的存储卷。仅支持运行于已联通共享文件系统网络的资源池的训练作业。具体请参见表14。 host_path object 主机文件系统类型的存储卷。仅支持运行于专属资源池中的训练作业。具体请参见表15。