检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如何删除预置镜像中不需要的工具 预置的基础镜像中存在cpp、gcc等调试/编译工具，如果您不需要使用这些工具，可以通过运行脚本删除。 创建一个run.sh脚本文件，文件中的代码内容如下。然后在容器中执行sh run.sh命令运行脚本。 #!/bin/bash delete_sniff_compiler()
ModelArts.3551：到obs检查输入数据目录是否存在，如果不存在，请按照实际需要创建obs目录；如果检查发现目录存在，但依然报同样的错，可以提工单申请技术支持 ModelArts.3567：用户只能访问自己账号下的obs目录，ModelArts在读取其他用户obs下的数据时，需要用户委
提交训练作业报错“Invalid OBS path” 当运行训练作业时，出现“Invalid OBS path”错误。 图1 训练作业报错 该问题可以通过以下方法排查： 如果是首次使用ModelArts的新用户，需要登录ModelArts管理控制台，在权限管理页面完成访问授权配置，推荐使用委托授权的方式。完成访问授权配置后，再次提交作业即可。
batch服务类型必选。批量任务输入数据的OBS路径。 req_uri 否 String batch服务类型必选。批量任务中调用的推理接口，即模型镜像中暴露的REST接口，需要从模型的config.json文件中选取一个api路径用于此次推理；如使用ModelArts提供的预置推理镜像，则此接口为/。
如何在训练中加载部分训练好的参数？ 在训练作业时，需要从预训练的模型中加载部分参数，初始化当前模型。请您通过如下方式加载： 通过如下代码，您可以查看所有的参数。 from moxing.tensorflow.utils.hyper_param_flags import mox_flags
OBS管理概述 ModelArts SDK 1.1.3支持对OBS进行管理，主要涵盖上传下载文件和文件夹。具体包括如下操作： 上传文件至OBS 上传文件夹至OBS 从OBS下载文件 从OBS下载文件夹 父主题： OBS管理
调用API提交训练作业后，能否绘制作业的资源占用率曲线？ 调用API提交训练作业后，您可登录ModelArts控制台，在“模型训练 > 训练作业”中，单击“名称/ID”进入“训练作业详情”页面的“资源占用情况”模块，查看作业的资源占用率曲线。 父主题： API/SDK
达到预期效果。 微调训练与预训练任务的区别主要包括： 使用的数据不同，微调使用的是指令数据集，在处理数据集时需要将--handler-name 参数指定为GeneralInstructionHandler。 因数据集不同，loss计算方式不同。需要在微调训练时指定--finetune
每个输出序列要生成的最大tokens数量。 top_k 否 -1 Int 控制要考虑的前几个tokens的数量的整数。设置为-1表示考虑所有tokens。 适当降低该值可以减少采样时间。 top_p 否 1.0 Float 控制要考虑的前几个tokens的累积概率的浮点数。必须在 (0
创建训练任务 针对专属池场景，应注意挂载的目录设置和调试时一致。 登录ModelArts管理控制台，检查当前帐号是否已完成访问授权的配置。如果未完成，请参考使用委托授权。针对之前使用访问密钥授权的用户，建议清空授权，然后使用委托进行授权。 在左侧导航栏中选择“模型训练 > 训练作
创建训练作业时提示“对象目录大小/数量超过限制”，如何解决？ 训练环境中不同规格资源“/cache”目录的大小 训练作业的“/cache”目录是否安全？ 训练作业一直在等待中（排队）？ 创建训练作业时，超参目录为什么有的是/work有的是/ma-user？ 在ModelArts创建分布式训练时如何设置NCCL环境变量？
如何查询自定义镜像的cuda和cudnn版本？ 查询cuda版本： cat /usr/local/cuda/version.txt 查询cudnn版本： cat /usr/local/cuda/include/cudnn.h | grep CUDNN_MAJOR -A 2 父主题：
支持从OBS中导入新的数据，导入方式包括目录导入和Manifest文件导入。 dataset.import_data(path=None, anntation_config=None, **kwargs) 不同类型的数据集支持的导入方式如表1所示。 表1 不同数据集支持的导入方式 数据集类型
如何用ModelArts训练基于结构化数据的模型？ 针对一般用户，ModelArts提供自动学习的预测分析场景来完成结构化数据的模型训练。 针对高阶用户，ModelArts在开发环境提供创建Notebook进行代码开发的功能，在训练作业提供创建大数据量训练任务的功能；用户在开发、
ModelArts-xxx port xxx: Connection timed out"如何解决？ 问题现象 原因分析 原因分析一：实例配置的白名单IP与本地网络访问IP不符。 解决方法：请修改白名单为本地网络访问IP或者去掉白名单配置。 原因分析二：本地网络不通。 解决方法：检查本地网络以及网络限制。
如何调用API 构造请求 认证鉴权 返回结果
测阶段。 资源利用率：在作业进程IO没有变化的情况下，采集一定时间段内的GPU利用率，并根据这段时间内的GPU利用率的方差和中位数来判断资源使用率是否有变化。如果没有变化，则判定作业卡死。 由于检测规则的局限性，当前卡死检测存在一定的误检率。如果是作业代码本身逻辑（如长时间sleep）导致的卡死，请忽略。
进入当前账号的费用中心，检查是否欠费。 是，建议您参考华为云账户充值，为您的账号充值。 否，执行2。 检查存储图片数据的OBS路径。是否满足如下要求： 此OBS目录下未存放其他文件夹。 文件名称中无特殊字符，如~`@#$%^&*{}[]:;+=<>/ 如果OBS路径符合要求，请您按照服务具体情况执行3。
资源利用率：在作业进程IO没有变化的情况下，采集一定时间段内的GPU利用率或NPU利用率，并根据这段时间内的GPU利用率或NPU利用率的方差和中位数来判断资源使用率是否有变化。如果没有变化，则判定作业卡死。 约束限制 卡死检测仅支持资源类型为GPU和NPU的训练作业。 操作步骤 卡死检
创建AI应用时，如果是从OBS中导入元模型，则需要符合一定的模型包规范。 模型包规范适用于单模型场景，如果是多模型场景（例如含有多个模型文件）推荐使用自定义镜像方式。 ModelArts推理平台不支持的AI引擎，推荐使用自定义镜像方式。 请参考创建AI应用的自定义镜像规范和从0-1
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
