检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
（推荐）解决方案一（按需使用volcano调度器）： CCE页面上修改默认调度器为kube-scheduler。 删除maos-node-agent的pod（重启pod）。 CCE页面上删除节点上的污点A200008。 ModelArts页面上重置节点。 该方案的缺点：用户新建负载时需要手动指定调度器为volcano，参考指导。
日志提示“RuntimeError: connect() timed out” 问题现象 使用pytorch进行分布式训练时，日志中出现报错“RuntimeError: connect() timed out”。 原因分析 出现该问题的可能原因如下： 如果在此之前是有进行数据复制
4机8卡Vnt1 10 07:08:44 表3 训练各步骤性能参考 步骤 说明 时长 镜像下载 首次下载镜像的时间（25G）。 8分钟 资源调度 点创建训练任务开始到变成运行中的时间（资源充足、镜像已缓存）。 20秒 训练列表页打开 已有50条训练作业，单击训练模块后的时间。 6秒 日志加载
具体而言，云服务提供商应该提供以下服务和功能： 建立和维护安全的基础设施，包括网络、服务器和存储设备等。 提供安全的底层基础平台，保证底层环境的运行时安全。 提供安全的身份验证和访问控制机制，以确保只有授权用户可以访问云服务，保证租户之前的相互隔离。 提供可靠的备份和灾难恢复机制，以确保数据不会因为硬件故障或自然灾害等原因而丢失。
ModelArts-成长地图 | 华为云 ModelArts ModelArts是面向开发者的一站式AI开发平台，为机器学习与深度学习提供海量数据预处理及半自动化标注、大规模分布式Training、自动化模型生成，及端-边-云模型按需部署能力，帮助用户快速创建和部署模型，管理全周期AI工作流。
应用场景 本节介绍ModelArts服务的主要应用场景。 大模型 支持三方开源大模型，实现智能回答、聊天机器人、自动摘要、机器翻译、文本分类等任务。 AIGC 提供AIGC场景化解决方案，辅助创作文案、图像、音视频等数字内容。 自动驾驶 实现车辆自主感知环境、规划路径和控制行驶。支持
使用OBS客户端上传文件的操作指导：上传文件 方法一：在Notebook中通过Moxing上传下载OBS文件 MoXing是ModelArts自研的分布式训练加速框架，构建于开源的深度学习引擎TensorFlow、PyTorch等之上，使用MoXing API可让模型代码的编写更加简单、高效。
是 String 节点亲和的方式，required表示强亲和，服务实例只能调度到指定节点，指定节点不存在则失败。preferred表示弱亲和，服务实例倾向于调度到指定节点，指定节点不满足调度条件，则会调度到其他节点。 pool_infos 否 Array of AffinityPoolInfo
RequiredAffinity 参数 是否必选 参数类型 描述 affinity_type 否 String 亲和调度策略，可选取值如下: cabinet 强整柜调度 hyperinstance 超节点亲和调度 affinity_group_size 否 Integer 亲和组大小，affinity_
业优先级。公共资源池和旧版专属资源池均不支持设置训练作业优先级。 仅支持PyTorch和MindSpore框架的分布式训练和调测，如果MindSpore要进行多机分布式训练调试，则每台机器上都必须有8张卡。 使用自定义镜像创建训练作业时，镜像大小推荐15GB以内，最大不要超过资源
Studio”进入ModelArts Studio大模型即服务平台。 在ModelArts Studio左侧导航栏中，选择“模型调优”进入作业列表。 单击“创建调优作业”进入创建页面，完成创建配置。 表3 创建调优作业 参数 说明 任务设置 任务名称 自定义调优任务名称。 支持1~64位，以中文、大小写
其在ModelArts平台上执行的AI计算任务。 ModelArts提供了一键式自动授权功能，用户可以在ModelArts的权限管理功能中，快速完成委托授权，由ModelArts为用户自动创建委托并配置到ModelArts服务中。 一键式自动授权方式为保证使用业务过程中有足够的权
TaskStatuses 参数 参数类型 描述 task String 训练作业子任务名称。 exit_code Integer 训练作业子任务退出码。 message String 训练作业子任务错误消息。 表9 RunningRecord 参数 参数类型 描述 start_at
下载或读取文件报错，提示超时、无剩余空间 问题现象 训练过程中复制数据/代码/模型时出现如下报错： 图1 错误日志 原因分析 出现该问题的可能原因如下。 磁盘空间不足。 分布式作业时，有些节点的docker base size配置未生效，容器内“/”根目录空间未达到50GB，只有默认的10GB，导致作业训练失败。
Standard模型训练，用户可以专注于开发、训练和微调模型。 ModelArts Standard模型训练支持大规模训练作业，提供高可用的训练环境 支持单机多卡、多机多卡的分布式训练，有效加速训练过程 支持训练作业的故障感知、故障诊断与故障恢复，包含硬件故障与作业卡死故障，并支持进程级恢复、容器级恢复与作业级恢复，
运行模型需要的环境变量键值对，可选填，默认为空。 src_path 是 String 批量任务输入数据的OBS路径。 dest_path 是 String 批量任务输出结果的OBS路径。 req_uri 是 String 批量任务中调用的推理接口，即模型镜像中暴露的REST接口，需要从模型的config
Gallery除了支持托管文本生成和文本问答任务类型的模型，还支持托管其他任务类型的模型，其他任务类型的模型被称为自定义模型。但是托管的自定义模型要满足规范才支持使用AI Gallery工具链服务（微调大师、在线推理服务）。 自定义模型的使用流程 托管模型到AI Gallery。 模型基础设置里的“任务类型”选择
高可用冗余节点不能用于业务运行，将影响资源池的实际可用节点数量。资源池下发任务时，请注意选择实际可用的节点数量，当选择的节点数未剔除资源池的高可用冗余节点数时，会导致任务持续等待。 高可用冗余节点的运行机制： 高可用冗余节点将被隔离，默认设置为不可调度，工作负载无法调度到节点上。 高可用冗余节点会作为备用节点与
使用ModelArts Standard训练模型 模型训练使用流程 准备模型训练代码 准备模型训练镜像 创建调试训练作业 创建算法 创建生产训练作业 分布式模型训练 模型训练存储加速 增量模型训练 自动模型优化（AutoSearch） 模型训练高可靠性 管理模型训练作业
tch， 网络层在多个设备上的特殊安排和巧妙的前向后向计算调度，可以最大程度减小设备等待（计算空泡），从而提高训练效率。 学习率预热 不同的学习率调度器（决定什么阶段用多大的学习率）有不同的学习率调度相关超参，例如线性调度可以选择从一个初始学习率lr-warmup-init开始预
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
