检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
下，不要放到非work路径下。 请不要将实例频繁保存镜像，建议一次将需要的安装包安装好，然后执行镜像保存，避免频繁执行镜像保存的动作，保存次数越多镜像越大，且多次保存后的镜像过大问题无法通过清理磁盘方式减少镜像的大小（Docker保存原理机制）。 父主题： Standard镜像相关
原因分析 出现该问题的可能原因如下： 在大规模分布式作业上，每个节点都在复制同一个桶的文件，导致OBS桶限流。 OBS Client连接数过多，进程/线程之间的轮询，导致一个OBS Client与服务端连接30S内无响应，超过超时时间，服务端断开了连接。 处理方法 如果是限流问题
解决方法 使用状态为告警的服务进行预测，可能存在预测失败的风险，请从以下4个角度进行排查，并重新部署。 后台预测请求过多。 如果您使用API接口进行预测，请检查是否预测请求过多。大量的预测请求会导致部署的在线服务进入告警状态。 业务内存不正常。 请检查推理代码是否存在内存溢出或者内存泄漏的问题。
训练迭代次数等）继续训练恢复，而不需要从头开始。 不同点 断点续训：可指定加载训练过程中生成的Megatron格式权重(${user_converted_ckpt_path}) 故障快恢：默认加载${output_dir}/saved_checkpoints中最大迭代次数（ite
训练迭代次数等）继续训练恢复，而不需要从头开始。 不同点 断点续训：可指定加载训练过程中生成的Megatron格式权重(${user_converted_ckpt_path}) 故障快恢：默认加载${output_dir}/saved_checkpoints中最大迭代次数（ite
训练迭代次数等）继续训练恢复，而不需要从头开始。 不同点 断点续训：可指定加载训练过程中生成的Megatron格式权重(${user_converted_ckpt_path}) 故障快恢：默认加载${output_dir}/saved_checkpoints中最大迭代次数（ite
训练迭代次数等）继续训练恢复，而不需要从头开始。 不同点 断点续训：可指定加载训练过程中生成的Megatron格式权重(${user_converted_ckpt_path}) 故障快恢：默认加载${output_dir}/saved_checkpoints中最大迭代次数（ite
使用订阅算法训练结束后没有显示模型评估结果 问题现象 AI Gallery中的YOLOv5算法，训练结束后没有显示模型评估结果。 原因分析 未标注的图片过多，导致没有模型评估结果。 处理方法 对所有训练数据进行标注。 父主题： 预置算法运行故障
请排查是否将数据下载至“/cache”目录下，GPU规格资源的每个节点会有一个“/cache”目录，空间大小为4TB。并确认该目录下并发创建的文件数量是否过大，占用过多存储空间会出现inode耗尽的情况，导致空间不足。 请排查是否使用的是GPU资源。如果使用的是CPU规格的资源，“/cache”与代码目录
model_version String 模型版本。 invocation_times Number 模型实例的总调用次数。 failed_times Number 模型实例调用失败次数。 cpu_core_usage Float 已使用CPU核数。 cpu_core_total Float
少运行故障上报问题。 容错检查失败时，会打印检查失败的日志。您可以通过在日志中搜索“item”关键字查看失败信息。 如果作业重启次数没有达到设定的次数，则会自动做重新下发作业。您可以通过搜索“error,exiting”关键字查找作业重启失败结束的日志。 使用reload ckpt恢复中断的训练
数据保护技术 ModelArts通过多种数据保护手段和特性，保障存储在ModelArts中的数据安全可靠。 数据保护手段 说明 静态数据保护 对于AI Gallery收集的用户个人信息中的敏感信息，如用户邮箱和手机号，AI Gallery在数据库中做了加密处理。其中，加密算法采用了国际通用的AES算法。
当参数值<TRAIN_ITERS时，生成模型会每经过SAVE_INTERVAL次，保存一次模型版本。 模型版本保存次数=TRAIN_ITERS//SAVE_INTERVAL+1 SAVE_TOTAL_LIMIT 0 用于控制权重版本保存次数。 当参数不设置或<=0时，不会触发效果。 参数值需<=TRAIN_ITERS//SAVE_INTERVAL+1
gpu或者Ascend规格下对应镜像。 image_version String 镜像版本。 请求示例 如下以查询北京四训练作业所有的公共引擎规格为例（引擎过多，只显示部分）。 GET https://endpoint/v2/{project_id}/training-job-engines 响应示例
s 调用成功次数 统计ModelArts用户调用服务的成功次数。 单位：次/分钟。 ≥Count/min ModelArts模型负载 ModelArts在线服务 1分钟 failed_called_times 调用失败次数 统计ModelArts用户调用服务的失败次数。 单位：次/分钟。
问题现象 保存镜像时报错“too many layers in your image”。 原因分析 用户创建Notebook时所选用的镜像是经过多次保存的自定义镜像或用户自行注册的镜像，基于该镜像所创建的Notebook已经无法再执行镜像保存的操作了。 解决方法 使用公共镜像或其他的
当参数值<TRAIN_ITERS时，生成模型会每经过SAVE_INTERVAL次，保存一次模型版本。 模型版本保存次数=TRAIN_ITERS//SAVE_INTERVAL+1 SAVE_TOTAL_LIMIT 0 用于控制权重版本保存次数。 当参数不设置或<=0时，不会触发效果。 参数值需<=TRAIN_ITERS//SAVE_INTERVAL+1
当参数值<TRAIN_ITERS时，生成模型会每经过SAVE_INTERVAL次，保存一次模型版本。 模型版本保存次数=TRAIN_ITERS//SAVE_INTERVAL+1 SAVE_TOTAL_LIMIT 0 用于控制权重版本保存次数。 当参数不设置或<=0时，不会触发效果。 参数值需<=TRAIN_ITERS//SAVE_INTERVAL+1
开发阶段：准备并配置环境，调试代码，使代码能够开始进行深度学习训练，推荐在ModelArts开发环境中调试。 实验阶段：调整数据集、调整超参等，通过多轮实验，训练出理想的模型，推荐在ModelArts训练中进行实验。 两个过程可以相互转换。如开发阶段代码稳定后，则会进入实验阶段，通过不断
生图场景。对于输入的文字，它将会通过一个文本编码器将其转换为文本嵌入，然后和一个随机高斯噪声，一起输入到U-Net网络中进行不断去噪。在经过多次迭代后，最终模型将输出和文字相关的图像。 SD1.5 Finetune是指在已经训练好的SD1.5模型基础上，使用新的数据集进行微调（f
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
