检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
指定可用区扩容时，指定可用区的节点数。 表8 Taint 参数 参数类型 描述 key String 键。 value String 值。 effect String 作用效果。 表9 UserTag 参数 参数类型 描述 key String 键。不得以"CCE-"或"__type_baremetal"开头
创建模型成功后，部署服务报错，如何排查代码问题 问题现象 创建模型成功后，部署服务失败，如何定位是模型代码编写有问题。 原因分析 用户自定义镜像或者通过基础镜像导入的模型时，用户自己编写了很多自定义的业务逻辑，这些逻辑有问题将会导致服务部署或者预测失败，需要能够排查出哪里有问题。
class Device: def __init__(self, device_id, device_ip, rank_id): self.device_id = device_id self.device_ip = device_ip
GPU {j}...") with torch.cuda.device(i): data = torch.randn(data_size, device=device) torch.cuda.synchronize()
export PYTORCH_NPU_ALLOC_CONF = expandable_segments:True 将yaml文件中的per_device_train_batch_size调小，重新训练如未解决则执行下一步。 替换深度学习训练加速的工具或增加zero等级，可参考模型NPU
Notebook提示磁盘空间已满 问题现象 在使用Notebook时，提示磁盘空间已满：No Space left on Device。 在Notebook执行代码时，出现如下报错，提示：Disk quota exceeded。 原因分析 在JupyterLab浏览器左侧导航删除
torch.backends.cudnn.enabled) device = torch.device('cuda') print('E', torch.cuda.get_device_properties(device)) print('F', torch.tensor([1.0
ModelArts管理员用户，拥有所有ModelArts服务的权限 系统策略 ModelArts CommonOperations ModelArts操作用户，拥有所有ModelArts服务操作权限除了管理专属资源池的权限 系统策略 ModelArts Dependency Access ModelArts服务的常用依赖服务的权限
ModelArts管理员用户，拥有所有ModelArts服务的权限 系统策略 ModelArts CommonOperations ModelArts操作用户，拥有所有ModelArts服务操作权限除了管理专属资源池的权限 系统策略 ModelArts Dependency Access ModelArts服务的常用依赖服务的权限
指定可用区扩容时，指定可用区的节点数。 表8 Taint 参数 参数类型 描述 key String 键。 value String 值。 effect String 作用效果。 表9 UserTag 参数 参数类型 描述 key String 键。不得以"CCE-"或"__type_baremetal"开头
日志提示"No CUDA-capable device is detected" 日志提示“RuntimeError: connect() timed out” 日志提示“cuda runtime error (10) : invalid device ordinal at xxx” 日志提示“RuntimeError:
size配置未生效，容器内“/”根目录空间未达到50GB，只有默认的10GB，导致作业训练失败。 实际存储空间足够，却依旧报错“No Space left on device”。 同一目录下创建较多文件，为了加快文件检索速度，内核会创建一个索引表，短时间内创建较多文件时，会导致索引表达到上限，进而报错。 触发条件和下面的因素有关：
server_index = index if server["device"]: device_count = len(server["device"]) # RANK_TABLE_FILE文件中，节点总数量为0，表示未获取到节点
server_index = index if server["device"]: device_count = len(server["device"]) # RANK_TABLE_FILE文件中，节点总数量为0，表示未获取到节点
file or directory” 3.“Make sure the device specification refers to a valid device, The requested device appeares to be a GPU,but CUDA is not
导入模型后部署服务，提示磁盘不足 问题现象 用户在导入模型后，部署服务时，提示磁盘空间不足：“No space left on device”。 原因分析 ModelArts部署使用的是容器化部署，容器运行时有空间大小限制，当用户的模型文件或者其他自定义文件，系统文件超过Docker
问题现象 训练作业运行出现如下报错： failed call to cuInit: CUDA_ERROR_NO_DEVICE: no CUDA-capable device is detected 原因分析 根据错误信息判断，报错原因为训练作业运行程序读取不到GPU。 处理方法 根
必须修改。指定输出目录。训练过程中生成的模型参数和日志文件将保存在这个目录下。用户根据自己实际要求适配。 per_device_train_batch_size 1 指定每个设备的训练批次大小 gradient_accumulation_steps 8 可修改。指定梯度累积的步数，这可
_log”的文件夹下，示例：“worker-0/…/process_log/”。 Device侧日志采集后必须放在名为“device_log”的文件夹下，示例：“worker-0/…/device_log/”。 主机侧资源信息、NPU网口资源信息采集后必须放在名为“environ
ascendfactory-cli train <cfgs_yaml_file> <model_name> <exp_name> # 指定设备卡数，如2卡 ASCEND_RT_VISIBLE_DEVICES=0,1 ascendfactory-cli train <cfgs_yaml_file>
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
