检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
同模型推荐参数、NPU卡数进行配置。 图3 选择资源池规格 新增SFS Turbo挂载配置,并选择用户创建的SFS Turbo文件系统。 云上挂载路径:输入镜像容器中的工作路径 /home/ma-user/work/ 存储位置:输入用户的“子目录挂载”路径。如果默认没有填写,则忽略。
当使用SFS+OBS的存储方案可以实现存储加速,该方案的端到端实践案例请参见面向AI场景使用OBS+SFS Turbo的存储加速实践。 表1 不同场景所需服务及购买推荐 场景 OBS SFS SWR DEW ModelArts VPC ECS EVS 单机单卡 按需购买(并行文件系统) × 免费
packages=packages) dependencies.append(dependency) 基于自定义镜像创建模型 适用于推理服务的脚本已经内置在自定义镜像中,镜像启动时会自动拉起服务的场景。 from modelarts.session import Session from modelarts
错误。 直接使用线上notebook环境调试请参考使用JupyterLab开发模型。 配置本地IDE(Pycharm或者VSCode)联接云上环境调试请参考使用本地IDE开发模型。 父主题: 权限问题
请参考DevServer资源开通,购买DevServer资源,并确保机器已开通,密码已获取,能通过SSH登录,不同机器之间网络互通。 当容器需要提供服务给多个用户,或者多个用户共享使用该容器时,应限制容器访问Openstack的管理地址(169.254.169.254),以防止容器获取宿主
持。 ModelArts Lite资源池对应的CCE集群需要安装1.10.12及以上版本的华为云版Volcano插件。Volcano调度器的安装升级请参见Volcano调度器。仅华为云版Volcano插件支持开启路由加速特性。 训练使用的Python版本是3.7或3.9,否则无法实现ranktable路由加速。
data_type Integer 数据类型。可选值如下: 0:OBS桶(默认值) 1:GaussDB(DWS)服务 2:DLI服务 3:RDS服务 4:MRS服务 5:AI Gallery 6:推理服务 schema_maps Array of SchemaMap objects 表格数据对应的schema映射信息。
Bit Isolated Pages Count值大于等于64。 A050146 Runtime 其他 ntp异常。 ntpd或者chronyd服务异常。 A050202 Runtime 其他 节点NotReady。 节点不可达,k8sNode存在以下污点之一: node.kubernetes
准备AscendSpeed训练代码。 准备镜像 准备训练模型适用的容器镜像。 准备Notebook 本案例需要创建一个Notebook,以便能够通过它访问SFS Turbo服务。随后,通过Notebook将OBS中的数据上传至SFS Turbo,并对存储在SFS Turbo中的数据执行编辑操作。 预训练 预训练
于所选计算规格的收费标准,否则可能会导致AI Gallery工具链服务异常中断。AI Gallery的计算规格的计费说明请参见计算规格说明。 作业参数配置完成后,单击“启动作业”。 在“订单信息确认”页面,确认服务信息和费用,单击“确定”提交模型训练任务。 单击“返回模型训练”跳
Cluster资源池详情页中查看更多信息。 图2 查看Lite Cluster资源池基本信息 管理Lite Cluster资源池标签 通过给资源池添加标签,可以标识云资源,便于快速搜索资源池。 在ModelArts管理控制台的左侧导航栏中选择“AI专属资源池 > 弹性集群Cluster”。 在Lite资源
conf sysctl -p | grep net.ipv4.ip_forward Step2 获取训练镜像 建议使用官方提供的镜像部署训练服务。镜像地址{image_url}参见镜像地址获取。 docker pull {image_url} Step3 启动容器镜像 启动容器镜像
WD鉴权的一部分。 -u / --username String 否 用户名,在使用账号认证时表示账号名,IAM认证时表示IAM用户名,在云星账号场景不需要指定,属于PWD鉴权的一部分。 -p / --password String 否 密码,属于PWD鉴权的一部分。 -ak /
列表。ModelArts也提供了常用AI引擎对应的自定义脚本示例,请参见自定义脚本代码示例。 如果您在导入元模型过程中遇到问题,可联系华为云技术支持协助解决故障。 模型包结构示例 TensorFlow模型包结构 发布该模型时只需要指定到“ocr”目录。 OBS桶/目录名 |── ocr
conf sysctl -p | grep net.ipv4.ip_forward 步骤二 获取训练镜像 建议使用官方提供的镜像部署训练服务。镜像地址{image_url}参见镜像地址获取。 docker pull {image_url} 步骤三 启动容器镜像 启动容器镜像前请
conf sysctl -p | grep net.ipv4.ip_forward 步骤二 获取基础镜像 建议使用官方提供的镜像部署训练服务。镜像地址{image_url}参见镜像地址获取。 docker pull {image_url} 步骤三 启动容器镜像 启动容器镜像前请
conf sysctl -p | grep net.ipv4.ip_forward 步骤二:获取基础镜像 建议使用官方提供的镜像部署训练服务。镜像地址{image_url}参见镜像地址获取。 docker pull {image_url} 步骤三:启动容器镜像 启动容器镜像前请
conf sysctl -p | grep net.ipv4.ip_forward Step2 获取训练镜像 建议使用官方提供的镜像部署训练服务。镜像地址{image_url}参见镜像地址获取。 docker pull {image_url} Step3 启动容器镜像 启动容器镜像
创建调试训练作业 调试训练作业 模型训练前,一般会先对代码进行调试,ModelArts提供多种方式创建调试训练作业。 ModelArts提供了云化版本的JupyterLab,无需关注安装配置,即开即用。 ModelArts也提供了本地IDE的方式开发模型,通过开启SSH远程开发,本地
conf sysctl -p | grep net.ipv4.ip_forward 步骤二:获取基础镜像 建议使用官方提供的镜像部署训练服务。镜像地址{image_url}参见镜像地址获取。 docker pull {image_url} 步骤三:启动容器镜像 启动容器镜像前请