检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
er/.ssh”目录下生成SSH密钥文件和配置文件“authorized_keys config id_rsa id_rsa.pub”。 提交创建训练作业后,训练过程中,训练作业的节点可通过域名+端口的方式SSH连接到其他节点,示例代码如下所示: ssh modelarts-jo
单击Launcher页面的“Performance Advisor”图标,界面将如下图所示 图3 Performance Adviso主页面 提交性能诊断任务 如果您的NPU性能数据存放在OBS上,Source选择OBS,Path输入OBS地址,格式如obs://bucket1/pr
SDK版本说明 发布时间 版本号 说明 2023-04 1.4.18 1.4.18版本在SDK旧版本基础上优化集成,主要新增DLI Spark任务提交能力,支持服务部署到推理新版专属资源池。 支持的区域 当前支持的“region_name”包括华北-北京一(cn-north-1)、华北-
工程师添加权限。 instance_count 是 Integer 模型部署的实例数,当前限制最大实例数为128,如需使用更多的实例数,需提交工单申请。 envs 否 Map<String, String> 运行模型需要的环境变量键值对,可选填,默认为空。 表3 transformer
将一个Batch的数据均分到每一个GPU上 各GPU上的模型进行前向传播,得到输出 主GPU(逻辑序号为0)收集各GPU的输出,汇总后计算损失 分发损失,各GPU各自反向传播梯度 主GPU收集梯度并更新参数,将更新后的模型参数分发到各GPU 具体流程图如下: 图1 单机多卡数据并行训练
00步后开始保存checkpoint文件,保存成功后,手动终止训练任务。 图8 保存checkpoint文件 然后单击重建后提交。 图9 重建训练作业 提交新的任务时,注意将预下载到本地目录勾上。 图10 勾选预下载到本地目录 观察启动日志,启动会读取最新的checkpoint模
存储位置:输入用户在Notebook中创建的“子目录挂载” 图3 选择SFS Turbo 作业日志选择OBS中的路径,训练作业的日志信息则保存该路径下。 最后,提交训练作业,训练完成后,请参考查看日志和性能章节查看SFT微调的日志和性能。了解更多ModelArts训练功能,可查看模型开发简介。 父主题:
准备> 数据标注”,进入“数据标注”管理页面。 数据管理模块在重构升级中,对未使用过数据管理的用户不可见。如果要使用数据管理相关功能,建议提交工单开通权限。 在标注作业列表右侧“所有类型”页签下拉选择标注类型,基于“标注类型”选择需要进行标注的标注作业,单击标注作业名称进入标注作业标注详情页。
查询团队标注验收任务报告 更新团队标注验收任务状态 查询团队标注任务统计信息 查询团队标注任务成员的进度信息 团队成员查询团队标注任务列表 提交验收任务的样本评审意见 团队标注审核 批量更新团队标注样本的标签 查询标注团队列表 创建标注团队 查询标注团队详情 更新标注团队 删除标注团队
存储位置:输入用户在Notebook中创建的“子目录挂载” 图3 选择SFS Turbo 作业日志选择OBS中的路径,训练作业的日志信息则保存该路径下。 最后,提交训练作业,训练完成后,请参考查看日志和性能章节查看SFT微调的日志和性能。了解更多ModelArts训练功能,可查看模型开发简介。 父主题:
存储位置:输入用户在Notebook中创建的“子目录挂载” 图3 选择SFS Turbo 作业日志选择OBS中的路径,训练作业的日志信息则保存该路径下。 最后,提交训练作业,训练完成后,请参考查看日志和性能章节查看SFT微调的日志和性能。了解更多ModelArts训练功能,可查看模型开发简介。 父主题:
df -hT命令查看空间大小,排查是否因空间不足导致,可在创建Notebook时使用EVS挂载。 如果代码写作正确,仍然无法解决该问题,请提交工单,由专业工程师为您分析并解决问题。 父主题: MoXing
创建AI应用时,默认“可见范围”是“私密”,且“仅自己可见”。创建完成后,支持修改可见范围。 “公开”:表示公开资产,所有用户都可以查看该资产。 当选择公开AI应用,系统会自动提交资产公开申请,审核通过之前资产还是私密状态,审核通过后就会变成公开状态。 “私密”:表示仅部分用户可见。 “仅自己可见”:默认状态,表示仅AI应用创建者可见该资产。
情页,单击“修改”,进入修改在线服务页面。 图3 修改服务 开启APP认证开关,然后选择自己创建的APP应用名称,单击“下一步”后在单击“提交”即可保存修改。 图4 开启APP认证 AppCode认证预测。 在部署服务详情中单击“调用指南”,第二行的API接口公网地址即为APP认
详情。单击镜像的名称,进入镜像详情页,可以查看镜像版本/ID,状态,资源类型,镜像大小,SWR地址等。 步骤5:使用SDK提交训练作业 本地调测完成后可以提交训练作业。因为数据在Notebook中,设置InputData中“is_local_source”的参数为“True”,会自动将本地数据同步上传到OBS中。
如高性能计算、媒体处理、文件共享和内容管理和Web服务等。 说明: 高性能计算:主要是高带宽的需求,用于共享文件存储,比如基因测序、图片渲染这些。 如大数据分析、静态网站托管、在线视频点播、基因测序和智能视频监控等。 如高性能计算、企业核心集群应用、企业应用系统和开发测试等。 说明: 高性能计算:主要是高速
Lab中,此时是可以使用这项功能的。 如果切换了Notebook的规格,那么只能在Notebook进行单机调测,不能进行分布式调测,也不能提交远程训练作业。 当前仅支持PyTorch和MindSpore AI框架,如果MindSpore要进行多机分布式训练调试,则每台机器上都必须有8张卡。
亮度”、“图像色彩”等维度为自动分组功能增加选项,使得分组着重于图片亮度、色彩和清晰度等特征进行分组。支持多选。 图1 自动分组 启动任务提交成功后,界面右上角显示此任务的进度。等待任务执行完成后,您可以查看自动分组任务的历史记录,了解任务状态。 查看自动分组结果 在数据集详情页
HBM多比特错误隔离内存页数量。说明: 若此计数达到64及以上,请更换此NPU。 个 ≥0 连续2个周期原始值 >= 64 严重 若此计数达到64及以上,请提交工单,切换NPU机器 AI处理器Vector CORE利用率 ma_node_npu_vector_core_util 昇腾系列AI处理器Vector
约束限制 专属资源池状态处于运行中,且专属池中的节点需要含有GPU/Ascend资源。 对于逻辑资源池,需要开启节点绑定后才能进行驱动升级,请提交工单联系华为工程师开启节点绑定。 驱动升级操作 登录ModelArts管理控制台,在左侧导航栏中选择“AI专属资源池 > 弹性集群Clus