检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
vServer资源和Ascend Snt9B。推理需要单机单卡。 表1 环境要求 名称 版本 CANN cann_8.0.rc2 PyTorch pytorch_2.1.0 驱动 23.0.5 获取软件和镜像 表2 获取软件和镜像 分类 名称 获取路径 插件代码包 AscendCloud-6
r资源和Ascend Snt9B。训练至少需要单机8卡,推理需要单机单卡。 表1 环境要求 名称 版本 CANN cann_8.0.rc2 PyTorch pytorch_2.1.0 获取软件和镜像 表2 获取软件和镜像 分类 名称 获取路径 插件代码包 AscendCloud-3rdAIGC-6
登录ModelArts管理控制台,在左侧导航栏中选择“AI专属资源池 > 弹性集群Cluster”,进入“弹性集群Cluster”页面。 在资源池列表中,选择某个资源池操作列“更多 > 设置作业类型”。 在“设置作业类型”弹窗中,选择需要设置的作业类型。 图1 设置作业类型 选择完成后,单击“确定”,启用作业类型。
主体”后面的“选择主体”,弹出“选择用户,计算机,服务账户或组”窗口,单击“高级”,输入用户名, 单击“立即查找”按钮,显示用户搜索结果列表。 选择您的用户账户,然后单击“确定”(大约四个窗口)以关闭所有窗口。 图1 添加所有者 完成所有操作后,再次关闭并打开VS Code并尝试
出(预测项)。 除标签列外数据集中至少还应包含两个有效特征列(列的取值至少有两个且数据缺失比例低于10%)。 训练数据的csv文件不能包含表头,否则会导致训练失败。 父主题: 准备数据
和PP流水线并行(pipeline-model-parallel-size),可以尝试增加 TP和PP的值,一般TP×PP≤NPU数量,并且要被整除,具体调整值可参照表2进行设置。 可调整参数:MBS指最小batch处理的样本量(micro-batch-size)、GBS指一个iteration所处理的样本
和PP流水线并行(pipeline-model-parallel-size),可以尝试增加 TP和PP的值,一般TP×PP≤NPU数量,并且要被整除,具体调整值可参照表2进行设置。 可调整参数:MBS指最小batch处理的样本量(micro-batch-size)、GBS指一个iteration所处理的样本
和PP流水线并行(pipeline-model-parallel-size),可以尝试增加 TP和PP的值,一般TP×PP≤NPU数量,并且要被整除,具体调整值可参照表2进行设置。 可调整参数:MBS指最小batch处理的样本量(micro-batch-size)、GBS指一个iteration所处理的样本
iteration)*1000,其global batch size(GBS)、seq_len(SEQ_LEN)为训练时设置的参数,具体参数查看表1。 loss收敛情况:日志里存在lm loss参数 ,lm loss参数随着训练迭代周期持续性减小,并逐渐趋于稳定平缓。也可以使用可视化工
推荐使用“西南-贵阳一”Region上的DevServer资源和Ascend Snt9B。 表1 环境要求 名称 版本 PyTorch pytorch_2.1.0 驱动 23.0.5 获取镜像 表2 获取镜像 分类 名称 获取路径 基础镜像 西南-贵阳一:swr.cn-southwest-2
请前往权限管理,查看是否具有OBS访问授权。如果没有,请参考配置访问授权(全局配置)。 请确认是否有OBS桶的访问权限 进入OBS控制台页面,可以看到所有的OBS桶列表,进入需要访问的桶,确认是否有权限访问,如果无权限则会报错。 进入OBS控制台页面,确认OBS桶是否存在。 父主题: 文件上传下载
创建用户组。在左侧菜单栏中,选择“用户组”。单击右上角“创建用户组”,在“用户组名称”中填入“用户组02”,然后单击“确定”完成用户组创建。 创建完成后,返回用户组列表。通过用户组管理,将已有子账号加入到用户组中。如果没有子用户账号,可以创建子账号并加入用户组。 创建子用户账号并加入用户组。在IAM左侧菜单
弹性集群”,选择创建的专属资源池。 图1 查看专属资源池 在专属池详情页可查看驱动及固件版本。如下图显示Ascend驱动为7.1.0.7.220-23.0.5,表示固件版本为7.1.0.7.220,驱动版本为23.0.5。 图2 查看专属池驱动 创建OBS桶 ModelArts使用对象存储服务(Object
iteration)*1000,其global batch size(GBS)、seq_len(SEQ_LEN)为训练时设置的参数,具体参数查看表1。 loss收敛情况:日志里存在lm loss参数 ,lm loss参数随着训练迭代周期持续性减小,并逐渐趋于稳定平缓。也可以使用可视化工
obs_data_dir) 模型推荐的参数与NPU卡数设置 不同模型推荐的训练参数和计算规格要求如表1所示。规格与节点数中的1*节点 & 4*Ascend表示单机4卡,以此类推。 表1 不同模型推荐的参数与NPU卡数设置 序号 支持模型 支持模型参数量 文本序列长度 并行参数设置
资源规格要求 推理部署推荐使用DevServer资源和Ascend Snt9B单机单卡。 表1 环境要求 名称 版本 CANN cann_8.0.rc1 PyTorch pytorch_2.1.0 获取镜像 表2 获取镜像 分类 名称 获取路径 基础镜像 西南-贵阳一:swr.cn-southwest-2
推荐使用“西南-贵阳一”Region上的DevServer资源和Ascend Snt9B单机单卡。 表1 环境要求 模型 版本 CANN cann_8.0.rc1 PyTorch pytorch_2.1.0 获取镜像 表2 获取镜像 分类 名称 获取路径 基础镜像 西南-贵阳一:swr.cn-southwest-2
VOC格式的XML标注文件以及Mask图像。 导出数据到OBS 登录ModelArts管理控制台,在左侧菜单栏中选择“资产管理>数据集”,进入“数据集”管理页面。 在数据集列表中,选择“图片”类型的数据集,单击数据集名称进入“数据集概览页”。 在“数据集概览页”,单击右上角“导出 ”。在弹出的“导出”对话框中,填写
源。 登录ModelArts管理控制台,在左侧菜单栏中选择“开发空间>Notebook”,进入Notebook页面。 在Notebook列表中,单击操作列的“删除”,在弹出的确认对话框中,确认信息无误,然后输入“DELETE”,单击“确定”,完成删除操作。 Notebook删除后
和PP流水线并行(pipeline-model-parallel-size),可以尝试增加 TP和PP的值,一般TP×PP≤NPU数量,并且要被整除,具体调整值可参照表2进行设置。 可调整参数:MBS指最小batch处理的样本量(micro-batch-size)、GBS指一个iteration所处理的样本