检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
nohup train.sh > output.log 2>&1 & tail -f output.log 父主题: VS Code连接开发环境失败故障处理
批量删除节点 功能介绍 批量删除指定资源池中的节点,资源池中至少保留一个节点。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI POST /v2/{project_i
如何保证自定义镜像能不因为超过35G而保存失败? 可以从如下几方面考虑: 请选择较小的基础镜像创建Notebook实例,这样在实例中可操作的空间才会大,可自由安装的包才能更多,一般建议原始的启动Notebook的基础镜像在SWR侧查看大小不要超过6G。 镜像保存主要保存在/hom
调试与训练 单机单卡 单机多卡 多机多卡 父主题: 专属资源池训练
本章节主要介绍如何通过Prometheus查看Lite Cluster监控指标。 约束限制 需要在ModelArts Lite Cluster资源池详情页的配置管理页面中先打开“监控”开关。 开通此功能后,兼容Prometheus指标格式的第三方组件可通过API http://<节点
nit导致纳管失败的解决方案 GPU A系列裸金属服务器使用CUDA cudaGetDeviceCount()提示CUDA initializat失败 裸金属服务器Euler OS升级NetworkManager-config-server导致SSH链接故障解决方案
到运行的主文件:no such file or directory。 原因分析 根据报错提示可以判断是运行命令的启动文件目录不正确导致运行失败。 处理方法 需要排查执行命令的启动文件目录是否正确,具体操作如下: 在ModelArts管理控制台,使用训练的自定义镜像创建训练作业时,
GPU A系列裸金属服务器使用CUDA cudaGetDeviceCount()提示CUDA initializat失败 问题现象 在A系列GPU裸金属服务器上,系统环境是ubuntu20.04+nvidia515+cuda11.7,使用Pytorch2.0时出现如下错误: CUDA
查询Notebook资源类型下的标签 功能介绍 查询用户当前project下Notebook实例类型下的标签,默认查询所有工作空间,无权限不返回标签数据。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。
5-72B-1K、Qwen2.5-32B调优的Checkpoint创建模型时,权重校验失败 问题现象 使用Qwen2.5-72B-1K、Qwen2.5-32B调优的Checkpoint创建模型时,权重校验失败。 版本详情的报错信息如下: Insufficient storage space;solution:The
GPU服务器上配置Lite Server资源软件环境 场景描述 本文旨在指导如何在GPU裸金属服务器上,安装NVIDIA、CUDA驱动等环境配置。由于不同GPU预置镜像中预安装的软件不同,您通过Lite Server算力资源和镜像版本配套关系章节查看已安装的软件。下面为常见的软件
判断是否使用了专属资源池。如判断相关作业或实例可停止,则可以停止,释放出更多的资源。 单击进入专属资源池详情页面,查看作业列表。 观察队头是否有其他作业在排队,如果已有作业在排队,则新建的作业需要继续等待。 如果通过排查计算,发现资源确实足够,则考虑可能由于资源碎片化导致的。 例
is_success Boolean 请求是否成功。 error_message String 调用失败时的错误信息。 调用成功时无此字段。 error_code String 调用失败时的错误码,具体请参见错误码。 调用成功时无此字段。 engines engines结构数组 引擎规格参数列表,如表4所示。
单机单卡 线下容器镜像构建及调试 上传镜像 上传数据和算法至OBS(首次使用时需要) 使用Notebook进行代码调试 创建训练任务 监控资源 父主题: 调试与训练
Integer 用户可创建网络个数配额。 poolQuota Integer 用户可创建资源池个数配额。 pooHighAvailable Boolean 当前环境/局点是否支持创建高可用资源池。 状态码:404 表3 响应Body参数 参数 参数类型 描述 error_code
(可选)工作空间配置 ModelArts支持设置子用户的细粒度权限、不同工作空间之间资源隔离。ModelArts工作空间帮您实现项目资源隔离、多项目分开结算等功能。 如果您开通了企业项目管理服务的权限,可以在创建工作空间的时候绑定企业项目ID,并在企业项目下添加用户组,为不同的用户组设置细粒度权限供组里的用户使用。
使用Grafana查看AOM中的监控指标 安装配置Grafana 配置Grafana数据源 配置仪表盘查看指标数据 父主题: ModelArts Standard资源监控
自定义镜像模型部署为在线服务时出现异常 部署的在线服务状态为告警 服务启动失败 服务部署、启动、升级和修改时,拉取镜像失败如何处理? 服务部署、启动、升级和修改时,镜像不断重启如何处理? 服务部署、启动、升级和修改时,容器健康检查失败如何处理? 服务部署、启动、升级和修改时,资源不足如何处理? 模型使用CV2包部署在线服务报错
在Lite Cluster资源池上使用Snt9B完成分布式训练任务 场景描述 本案例介绍如何在Snt9B上进行分布式训练任务,其中Cluster资源池已经默认安装volcano调度器,训练任务默认使用volcano job形式下发lite池集群。训练测试用例使用NLP的bert模型,详细代码和指导可参考Bert。
批量重启节点 功能介绍 批量重启指定资源池中的节点 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI POST /v2/{project_id}/pools/{pool