检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
查看训练作业资源占用情况 如何查看训练作业资源使用详情 在ModelArts管理控制台的左侧导航栏中选择“模型训练 > 训练作业”。 在训练作业列表中,单击作业名称进入训练作业详情页面。 在训练作业详情页面,单击“资源占用情况”页签查看计算节点的资源使用情况,最多可显示最近三天的
通过VPC高速访问通道的方式访问在线服务 背景说明 访问在线服务的实际业务中,用户可能会存在如下需求: 高吞吐量、低时延 TCP或者RPC请求 因此,ModelArts提供了VPC直连的高速访问通道功能以满足用户的需求。 使用VPC直连的高速访问通道,用户的业务请求不需要经过推理
ModelArts Standard推理服务支持VPC直连的高速访问通道配置 背景说明 访问在线服务的实际业务中,用户可能会存在如下需求: 高吞吐量、低时延 TCP或者RPC请求 因此,ModelArts提供了VPC直连的高速访问通道功能以满足用户的需求。 使用VPC直连的高速访
查找和收藏资产 AI Gallery共享了算法、Notebook代码样例、数据集、镜像、模型、Workflow等多种AI资产,为了方便快速搜索相关资产,提供了多种快速搜索方式以及收藏功能,提升资产的查找效率。 搜索资产 在各类资产模块页面,通过如下几种搜索方式可以提高资产的查找效
IAM 介绍ModelArts所有功能涉及到的IAM权限配置。 IAM权限简介 如果您需要为企业中的员工设置不同的权限访问ModelArts资源,以达到不同员工之间的权限隔离,您可以使用统一身份认证服务(Identity and Access Management,简称IAM)进
属资源池不与其他用户共享资源,更加高效。针对企业多用户场景,推荐使用专属资源池开展AI模型训练。 本文提供了端到端案例指导,帮助您快速了解如何在ModelArts Standard上选择合适的训练方案并进行模型训练。 针对不同的数据量和算法情况,推荐以下训练方案: 单机单卡:小数
e:v1 上述命令表示把宿主机的"/mnt/sfs_turbo"目录挂载到容器的"/sfs"目录,在宿主机和容器对应目录的所有改动都是实时同步的。 分析错误时:训练镜像先看日志,推理镜像先看API的返回。 可以通过命令查看容器输出到stdout的所有日志: docker logs
费用账单 您可以在“费用中心 > 账单管理”查看资源的费用账单,以了解该资源在某个时间段的使用量和计费信息。 账单上报周期 包年/包月计费模式的资源完成支付后,会实时上报一条账单到计费系统进行结算。 按需计费模式的资源按照固定周期上报使用量到计费系统进行结算。按需计费模式产品根据
Finetune是指在已经训练好的SD1.5模型基础上,使用新的数据集进行微调(fine-tuning)以优化模型性能的过程。 本文档主要介绍如何利用训练框架PyTorch_npu+华为自研Ascend Snt9B硬件,对Stable Diffusion模型下不同数据集进行高性能训练
Lite Server高危操作一览表 ModelArts Lite Server在日常操作与维护过程中涉及的高危操作,需要严格按照操作指导进行,否则可能会影响业务的正常运行。 高危操作风险等级说明: 高:对于可能直接导致业务失败、数据丢失、系统不能维护、系统资源耗尽的高危操作。
使用Notebook代码样例 在AI Gallery中,您可以查找并直接打开使用Notebook实例。 前提条件 注册并登录华为云,详细操作请参见准备工作。 打开Notebook实例 登录“AI Gallery”。 选择“资产集市 > Notebook”,进入Notebook页面
ECS获取和上传基础镜像 Step1 创建镜像组织 在SWR服务页面创建镜像组织。 图1 创建镜像组织 Step2 登录ECS服务器 根据创建ECS服务器创建完成ECS服务器后,单击“远程登录”,可使用华为CloudShell远程登录如图所示。后续安装Docker、获取镜像、构建镜像等操作均在该ECS上进行。
ECS获取和上传基础镜像 Step1 创建镜像组织 在SWR服务页面创建镜像组织。 图1 创建镜像组织 Step2 登录ECS服务器 根据创建ECS服务器创建完成ECS服务器后,单击“远程登录”,可使用华为CloudShell远程登录如图所示。后续安装Docker、获取镜像、构建镜像等操作均在该ECS上进行。
ECS获取和上传基础镜像 Step1 创建镜像组织 在SWR服务页面创建镜像组织。 图1 创建镜像组织 Step2 登录ECS服务器 根据创建ECS服务器创建完成ECS服务器后,单击“远程登录”,可使用华为CloudShell远程登录如图所示。后续安装Docker、获取镜像、构建镜像等操作均在该ECS上进行。
存储容量,EVS默认5G,EFS默认50G,最大限制4096G。 category String 支持的存储类型。不同存储类型的差异,详见开发环境中如何选择存储。枚举值如下: SFS:弹性文件服务 EVS:云硬盘 mount_path String 存储挂载至Notebook实例的目录,当
e:v1 上述命令表示把宿主机的"/mnt/sfs_turbo"目录挂载到容器的"/sfs"目录,在宿主机和容器对应目录的所有改动都是实时同步的。 分析错误时:训练镜像先看日志,推理镜像先看API的返回。 可以通过命令查看容器输出到stdout的所有日志: docker logs
LoRA,本文档主要支持全参数(Full)和LoRA、LoRA+。 LoRA(Low-Rank Adaptation): 这种策略主要针对如何在保持模型大部分参数固定的同时,通过引入少量可训练参数来调整模型以适应特定任务。 LoRA+(Efficient Low Rank Adaptation
大小要小于或等于1GB,文件数要小于或等于128个,单个文件大小要小于或等于128MB。 训练过程中,系统将自动从训练容器的本地代码目录下同步文件到数据存储位置。 说明: 数据存储位置仅支持OBS路径。为避免数据存储冲突,建议选择一个空目录用作“数据存储位置”。 获取方式 以参数
Keras是一个用Python编写的高级神经网络API,它能够以TensorFlow、CNTK或者Theano作为后端运行。Notebook开发环境支持“tf.keras”。 如何查看Keras版本 在ModelArts管理控制台,创建一个Notebook实例,镜像选择“TensorFlow-1.13”或“TensorFlow-1
通过VPC访问通道的方式访问在线服务 背景说明 如果您希望在自己账号的VPC内部节点访问ModelArts推理的在线服务,可以使用VPC访问通道的功能,用户通过在自己账号的指定VPC下创建终端节点,连接到ModelArts的终端节点服务,即可在自己的VPC节点中访问在线服务。 约束限制