检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
工作空间”进入工作空间列表。 在工作空间列表,单击操作列的“删除”,在删除工作空间弹窗中确认待删除的工作空间信息以及该工作空间下将被一起删除的资源,确认无误后,输入“DELETE”,单击“确定”,工作空间的状态变为“删除中”,待资源清理完成,该工作空间会从列表删除。 父主题: ModelArts
5-ubuntu18.04 CPU算法开发和训练基础镜像,包含可以图形化机器学习算法开发和调测MLStudio工具,并预置PySpark2.4.5 CPU 否 是 mindspore1.2.0-cuda10.1-cudnn7-ubuntu18.04 GPU算法开发和训练基础镜像,预置AI引擎MindSpore-GPU
in certificate chain 图1 报错SSL certificate problem 可采取忽略SSL证书验证:使用以下命令来克隆仓库,它将忽略SSL证书验证。 git clone -c http.sslVerify=false https://github.com/Rudrabha/Wav2Lip
文件中首行是否是列名,用于表格数据集。可选值如下: true:文件首行为列名 false:文件首行不为列名 表4 SchemaMap 参数 是否必选 参数类型 描述 dest_name 否 String 目的方的列名。 src_name 否 String 来源方的列名。 表5 SourceInfo
存在细微差异,各模块支持的AI框架请参见如下描述。 统一镜像列表 ModelArts提供了ARM+Ascend规格的统一镜像,包括MindSpore、PyTorch。适用于开发环境,模型训练,服务部署,请参考统一镜像列表。表1、表2所示镜像仅发布在西南-贵阳一区域。 表1 MindSpore
正,然后确认标注。 登录ModelArts管理控制台,在左侧菜单栏中选择“数据准备>数据标注”,单击“我创建的”页签可查看所有作业列表。 在标注作业列表中,选择“物体检测”或“图像分类”类型的标注作业,单击标注作业名称进入“标注作业详情”。 在“标注作业详情页”,选择“待确认”页签,查看并确认难例。
String 训练作业选择的资源规格,请参考查询资源规格列表 train_instance_count 是 int 训练作业计算节点个数。 framework_type 否 String 训练作业选择的引擎规格,请参考查询引擎规格列表。 framework_version 否 String
String 算法管理的算法id。 枚举值: id:只取算法的id; subscription_id+item_version_id:取算法的订阅id和版本id; code_dir+boot_file:取训练作业的代码目录和启动文件。 name String 算法名称。 subscription_id
String 算法管理的算法id。 枚举值: id:只取算法的id; subscription_id+item_version_id:取算法的订阅id和版本id; code_dir+boot_file:取训练作业的代码目录和启动文件。 name String 算法名称。 subscription_id
“nvidia-smi”是一个NVIDIA GPU监视器命令行工具,用于查看GPU的使用情况和性能指标,可以帮助用户进行GPU优化和故障排除。 但是建议在业务软件或训练算法中,避免频繁使用“nvidia-smi”命令功能获取相关信息,存在锁死的风险。出现D+进程后可以尝试如下方法: 方法1: 可以根据ps -aux查到的进程号,
5e-5 学习率设置。 MIN_LR 2.5e-6 最小学习率设置。 SEQ_LEN 4096 要处理的最大序列长度。 MAX_PE 8192 设置模型能够处理的最大序列长度。 TRAIN_ITERS 100 表示训练step迭代次数,根据实际需要修改。 SAVE_INTERVAL
√ 按标签名称更新单个标签 PUT /v2/{project_id}/datasets/{dataset_id}/data-annotations/labels/{label_name} modelarts:dataset:updateDataset - √ √ 按标签名称删除标签及仅包含此标签的文件
准备一台具有Docker功能的机器,如果没有,建议申请一台弹性云服务器并购买弹性公网IP,并在准备好的机器上安装必要的软件。 ModelArts提供了ubuntu系统的脚本,方便安装docker。 本地Linux机器的操作等同ECS服务器上的操作,请参考本案例。 登录ECS控制台,购买弹性云服务器,镜像选择“公共镜像”,推荐使用ubuntu18
表示context并行,默认为1。应用于训练长序列文本的模型。如果训练时SEQ_LEN超过32768长度,则推荐增加CP值(CP ≥ 2)。对应训练参数 context-parallel-size 。 (此参数目前仅适用于Llama3系列模型长序列训练) LR 2.5e-5 学习率设置。
表示context并行,默认为1。应用于训练长序列文本的模型。如果训练时SEQ_LEN超过32768长度,则推荐增加CP值(CP ≥ 2)。对应训练参数 context-parallel-size 。 (此参数目前仅适用于Llama3系列模型长序列训练) LR 2.5e-5 学习率设置。
5e-5 学习率设置。 MIN_LR 2.5e-6 最小学习率设置。 SEQ_LEN 4096 要处理的最大序列长度。 MAX_PE 8192 设置模型能够处理的最大序列长度。 TRAIN_ITERS 100 表示训练step迭代次数,根据实际需要修改。 SAVE_INTERVAL
5e-5 学习率设置。 MIN_LR 2.5e-6 最小学习率设置。 SEQ_LEN 4096 要处理的最大序列长度。 MAX_PE 8192 设置模型能够处理的最大序列长度。 TRAIN_ITERS 100 表示训练step迭代次数,根据实际需要修改。 SAVE_INTERVAL
imageNet 1.0:目录方式,只支持单标签 相同标签的图片放在一个目录里,并且目录名字即为标签名。当存在多层目录时,则以最后一层目录为标签名。 示例如下所示,其中Cat和Dog分别为标签名。 dataset-import-example ├─Cat │ 10.jpg
训练作业性能降低 问题现象 使用ModelArts平台训练算法训练耗时增加。 原因分析 可能存在如下原因: 平台上的代码经过修改优化、训练参数有过变更。 训练的GPU硬件工作出现异常。 处理方法 请您对作业代码进行排查分析,确认是否对训练代码和参数进行过修改。 检查资源分配情况(
PyTorch:2.1.0 Step1 创建ECS 下文中介绍如何在ECS中构建一个推理镜像,请参考ECS文档购买一个Linux弹性云服务器。完成网络配置、高级配置等步骤,可根据默认选择,或进行自定义。创建完成后,单击“远程登录”,后续安装Docker等操作均在该ECS上进行。 注意:CPU架构必