检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在ModelArts中使用边缘节点部署边缘服务时能否使用http接口协议？ 系统默认使用https。如果您想使用http，可以采取以下两种方式： 方式一：在部署边缘服务时添加如下环境变量： MODELARTS_SSL_ENABLED = false 图1 添加环境变量 方式二：在
池列表。 进入资源池详情页，在节点管理页面，选择需要进行驱动升级的节点，单击操作列的“更多 > 驱动升级”。 在“驱动升级”弹窗中，会显示当前专属资源池节点的名称ID、规格和驱动版本号，选择节点待升级的“升级版本”。 单击“确定”，开始升级单个节点的驱动。 父主题： Lite Cluster资源管理
自定义镜像训练作业配置节点间SSH免密互信 当用户使用基于MPI和Horovod框架的自定义镜像进行分布式训练时，需配置训练作业节点间SSH免密互信，否则训练会失败。 配置节点间SSH免密互信涉及代码适配和训练作业参数配置，本文提供了一个操作示例。 准备一个预装OpenSSH的自
GPU A系列裸金属服务器节点内如何进行NVLINK带宽性能测试方法？ 场景描述 本文指导如何进行节点内NVLINK带宽性能测试，适用的环境为：Ant8或者Ant1 GPU裸金属服务器， 且服务器中已经安装相关GPU驱动软件，以及Pytorch2.0。 GPU A系列裸金属服务器
“VC_TASK_INDEX=0” VC_WORKER_NUM 训练作业使用的实例数量。 “VC_WORKER_NUM=4” VC_WORKER_HOSTS 多节点训练时，每个节点的域名地址，按顺序以英文逗号分隔，可以通过域名解析获取IP地址。 “VC_WORKER_HOSTS=modelarts-job-a
该示例中Workflow包含了五个节点（节点相关定义已省略），在policy中定义了两个预置场景：模型训练和服务部署，工作流发布至运行态后，部分运行的开关默认关闭，节点全部运行。用户可在权限管理页面打开开关，选择指定的场景进行运行。 部分运行能力支持同一个节点被定义在不同的运行场景中，但
获取项目ID的接口为GET https://{iam-endpoint}/v3/projects，其中{iam-endpoint}为IAM的终端节点，可以从地区和终端节点处获取。 响应示例如下，例如ModelArts部署的区域为"cn-north-4"，响应消息体中查找“name”为"cn-nor
启动探针，则默认状态为成功Success。 就绪探针：用于检测应用实例是否已经准备好接收流量。如果就绪探针失败，即实例未准备好，会从服务负载均衡的池中剔除该实例，不会将流量路由到该实例，直到探测成功。 存活探针：用于检测应用实例内应用程序的健康状态。如果存活探针失败，即应用程序不健康，将会自动重启实例。
启动探针，则默认状态为成功Success。 就绪探针：用于检测应用实例是否已经准备好接收流量。如果就绪探针失败，即实例未准备好，会从服务负载均衡的池中剔除该实例，不会将流量路由到该实例，直到探测成功。 存活探针：用于检测应用实例内应用程序的健康状态。如果存活探针失败，即应用程序不健康，将会自动重启实例。
排查解决。 可能为多个进程或者worker读写同一个文件。如果使用了SFS，则考虑是否多个节点同时写同一个文件。分析代码中是否存在多进程写同一文件的情况。建议避免作业中存在多进程，多节点并发读写同一文件的情况。 检查报错的路径是否为OBS路径 使用ModelArts时，用户数据需
断点续训和故障快恢说明 相同点 断点续训（Checkpointing）和故障快恢都是指训练中断后可从训练中一定间隔（${save-interval}）保存的模型（包括模型参数、优化器状态、训练迭代次数等）继续训练恢复，而不需要从头开始。 不同点 断点续训：可指定加载训练过程中生成
合并输出在日志文件modelarts-job-[job id]-[task id].log中。 task id表示实例ID，单节点时取值为worker-0，多节点时取值为worker-0、worker-1、...worker-{n-1}，n为实例数。 样例： modelarts-job
以下代码中以“### 分布式改造，... ###”注释的代码即为多节点分布式训练需要适配的代码改造点。 不对示例代码进行任何修改，适配数据路径后即可在ModelArts上完成多节点分布式训练。 注释掉分布式代码改造点，即可完成单节点单卡训练。完整代码见分布式训练完整代码示例。 导入依赖包
启动探针，则默认状态为成功Success。 就绪探针：用于检测应用实例是否已经准备好接收流量。如果就绪探针失败，即实例未准备好，会从服务负载均衡的池中剔除该实例，不会将流量路由到该实例，直到探测成功。 存活探针：用于检测应用实例内应用程序的健康状态。如果存活探针失败，即应用程序不健康，将会自动重启实例。
Cloud Shell登录容器镜像中调试。 在Cloud Shell中调试多节点训练作业时，需要在Cloud Shell中切换work0、work1来实现对不同节点下发启动命令，否则任务会处于等待其他节点的状态。 如何防止Cloud Shell的Session断开 如果需要长时间
Server”，进入“节点”列表页面。 在Server列表中执行如下操作，启动或停止弹性节点Server。 启动弹性节点Server：单击“启动”。只有处于“已停止/停止失败/启动失败”状态的弹性节点Server可以执行启动操作。 停止弹性节点Server：单击“停止”，在弹出的确认
再次单击“退订”，完成包年/包月资源的退订操作。 释放游离节点 如果您的资源中存在游离节点（即没有被纳管到资源池中的节点），您可在“AI专属资源池 > 弹性集群Cluster >节点”下查看此类节点的相关信息。 针对游离节点，可以通过以下方式释放节点资源： 如果是“包年/包月”且资源未到期的节点，您可单击操作列的“退
properties 节点的属性信息 否 dict policy 节点的执行策略，主要包含节点调度运行的时间间隔、节点执行的超时时间、以及节点执行是否跳过的相关配置 否 StepPolicy depend_steps 依赖节点的列表，该字段决定了DAG的结构，也决定了节点执行的顺序 否 Step或者list[Step]
另一方面，由于是使用transformers推理，结果也是最稳定的。对单卡运行的模型比较友好，算力利用率比较高。对多卡运行的推理，缺少负载均衡，利用率低。 在昇腾卡上执行时，需要在 opencompass/opencompass/runners/local.py 中添加如下代码
另一方面，由于是使用transformers推理，结果也是最稳定的。对单卡运行的模型比较友好，算力利用率比较高。对多卡运行的推理，缺少负载均衡，利用率低。 在昇腾卡上执行时，需要在 opencompass/opencompass/runners/local.py 中添加如下代码
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
