检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用基础镜像 通过ECS获取和上传基础镜像将镜像上传至SWR服务后,可创建训练作业,在“选择镜像”中选择SWR中基础镜像。 由于基础镜像内需要安装固定版本依赖包,如果直接使用基础镜像进行训练,每次创建训练作业时,训练作业的图1中都需要执行install.sh文件,来安装依赖以及下载完整代码。命令如下:
如何提升训练效率,同时减少与OBS的交互? 场景描述 在使用ModelArts进行自定义深度学习训练时,训练数据通常存储在对象存储服务(OBS)中,且训练数据较大时(如200GB以上),每次都需要使用GPU资源池进行训练,且训练效率低。 希望提升训练效率,同时减少与对象存储OBS的交互。可通过如下方式进行调整优化。
能才涉及计费,公共资源池全部为按需模式,根据选用规格以及作业运行时长收费。专属资源池可按需购买,也可选择包年包月购买,在运行训练作业或部署服务时,选择专属资源池,无需另外付费。 父主题: 一般性问题
集进行LoRA微调以优化模型性能的过程。 启动SD1.5 LoRA训练服务 使用ma-user用户执行如下命令运行训练脚本。 sh diffusers_lora_train.sh 启动SDXL LoRA训练服务 使用ma-user用户执行如下命令运行训练脚本。 sh diffusers_sdxl_lora_train
生产厂商提供了一整套安全可靠的一站式部署方式。 图1 部署模型的流程 在线推理服务,可以实现高并发,低延时,弹性伸缩,并且支持多模型灰度发布、A/B测试。 支持各种部署场景,既能部署为云端的在线推理服务和批量推理任务,也能部署到端,边等各种设备。 一键部署,可以直接推送部署到边缘设备中,选择智能边缘节点,推送模型。
Arts Lite DevServer 支持配置的存储方案请参考配置Lite Server存储。其中访问方式中,可支持在裸金属服务器中挂载的有弹性文件服务SFS和云硬盘EVS。 父主题: 准备工作
Arts Lite DevServer 支持配置的存储方案请参考配置Lite Server存储。其中访问方式中,可支持在裸金属服务器中挂载的有弹性文件服务SFS和云硬盘EVS。 父主题: 准备工作
Arts Lite DevServer 支持配置的存储方案请参考配置Lite Server存储。其中访问方式中,可支持在裸金属服务器中挂载的有弹性文件服务SFS和云硬盘EVS。 父主题: 准备工作
、大规模分布式训练、自动化模型生成及端-边-云模型按需部署能力,帮助用户快速创建和部署AI应用,管理全周期AI工作流。 ModelArts服务的计费方式简单、灵活,您既可以选择按实际使用时长计费,也可以选择更经济的按包周期(包年/包月)计费方式。详细的费用价格请参见产品价格详情。
模型发布失败 出现此问题,一般是因为后台服务故障导致的,建议稍等片刻,然后重新创建训练作业。如果重试超过3次仍无法解决,请获取如下信息,并联系华为云技术支持协助解决故障。 获取模型ID。 进入“AI应用管理>AI应用”页面,在AI应用列表中找到自动学习任务中自动创建的模型,自动学
数据集。 前提条件 本地或对象存储服务(OBS)中已准备好待发布的数据集,或ModelArts的数据集列表存在待发布的数据集。 发布数据集 进入AI Gallery首页,选择“资产集市 > 数据集”,进入数据页面。 单击“发布”弹出“选择云服务区域”,选择区域后单击“确定”进入发布数据集页面,填写相关信息。
从MRS导入数据到ModelArts数据集 ModelArts支持从MRS服务中导入存储在HDFS上的csv格式的数据,首先需要选择已有的MRS集群,并从HDFS文件列表选择文件名称或所在目录,导入文件的列数需与数据集schema一致。MRS的详细功能说明,请参考MRS用户指南。
准备预测分析数据 使用ModelArts自动学习构建预测分析模型时,您需要将数据上传至对象存储服务(OBS)中。OBS桶需要与ModelArts在同一区域,例如OBS桶区域为“北京四”时,必须保证ModelArts管理控制台区域也在“北京四”区域,否则会导致无法获取到相关数据。 数据集要求
准备声音分类数据 使用ModelArts自动学习构建模型时,您需要将数据上传至对象存储服务(OBS)中。OBS桶需要与ModelArts在同一区域。 声音分类的数据要求 音频只支持16bit的WAV格式。支持WAV的所有子格式。 单条音频时长应大于1s,大小不能超过4MB。 适当
弹性云服务器。完成网络配置、高级配置等步骤,可根据默认选择,或进行自定义。创建完成后,单击“远程登录”,后续安装Docker等操作均在该ECS上进行。 注意:CPU架构必须选择鲲鹏计算,镜像推荐选择EulerOS。 图1 购买ECS Step2 创建镜像组织 在SWR服务页面创建镜像组织。
弹性云服务器。完成网络配置、高级配置等步骤,可根据默认选择,或进行自定义。创建完成后,单击“远程登录”,后续安装Docker等操作均在该ECS上进行。 注意:CPU架构必须选择鲲鹏计算,镜像推荐选择EulerOS。 图1 购买ECS Step2 创建镜像组织 在SWR服务页面创建镜像组织。
使用基础镜像 通过ECS获取和上传基础镜像将镜像上传至SWR服务后,可创建训练作业,在“选择镜像”中选择SWR中基础镜像。 由于基础镜像内需要安装固定版本依赖包,如果直接使用基础镜像进行训练,每次创建训练作业时,训练作业的图1中都需要执行 install.sh文件,来安装依赖以及下载完整代码。
详细操作如下: 用户B的操作: 登录容器镜像服务控制台,进入“我的镜像”页面。 单击需要共享的镜像名称,进入镜像详情页。 在共享页签,单击“共享镜像”,在新窗口中输入共享的账号名称等,单击“确定”。 用户A的操作: 登录容器镜像服务控制台,在“我的镜像>他人共享”页签下,查看用
获取指定的API与APP授权关系列表,API的认证方式必须是APP认证,管理员可以获取所有API的授权信息,普通用户只能获取自己有访问权限的服务下的API的授权信息。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。
重新启动镜像激活SFS盘中的虚拟环境 保存并共享虚拟环境 前提条件 创建一个Notebook,“资源类型”选择“专属资源池”,“存储配置”选择“SFS弹性文件服务器”,打开terminal。 创建新的虚拟环境并保存到SFS目录 创建新的conda虚拟环境。 # shell conda create --prefix