检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
@modelarts:from_type 否 String 内置属性:三元组关系标签的起始实体类型,创建关系标签时必须指定,该参数仅文本三元组数据集使用。 @modelarts:rename_to 否 String 内置属性:重命名后的标签名。 @modelarts:shortcut 否 String
建议保存的镜像大小不要超过35G,镜像层数不要超过125层,因为节点容器存储Rootfs差异(详细请参考容器引擎空间分配),可能会导致镜像保存失败。 如使用的是专属资源池,可尝试在“专属资源池>弹性集群”页面按需调整容器引擎空间大小,具体步骤请参考扩缩容专属资源池的“修改容器引擎空间大小”。 如果问题仍未解决,请联系技术支持。
可能是内存溢出造成的。请减少数据量、减少batch_size,优化代码,合理聚合、复制数据。 请注意,数据文件大小不等于内存占用大小,需仔细评估内存使用情况。 退出码139 请排查安装包的版本,可能存在包冲突的问题。 排查办法 根据错误信息判断,报错原因来源于用户代码。 您可以通过以下两种方式排查:
p4(需申请)/modelarts.vm.ai1.a310(需申请),需申请权限才能使用的规格请在华为云创建工单,由ModelArts运维工程师添加权限。 instance_count 是 Integer 模型部署的实例数,当前限制最大实例数为128,如需使用更多的实例数,需提交工单申请。 envs 否 Map<String
sh scripts/llama2/0_pl_pretrain_13b.sh 注意:如果单机运行需要指定使用NPU卡的数量,可提前定义变量 NPUS_PER_NODE 。例如使用单机四卡训练Llama2-7B命令: MASTER_ADDR=localhost NNODES=1 NODE_RANK=0
sh scripts/llama2/0_pl_pretrain_13b.sh 注意:如果单机运行需要指定使用NPU卡的数量,可提前定义变量 NPUS_PER_NODE 。例如使用单机四卡训练Llama2-7B命令: MASTER_ADDR=localhost NNODES=1 NODE_RANK=0
运行环境请参见推理基础镜像列表。 安装pip包有先后依赖关系。 处理方法 到pypi.org上查询依赖的待安装包是否存在,如果不存在则建议使用whl包进行安装(将待安装的whl包放到模型所在的OBS目录下)。 查看待安装包的安装限制和前置依赖等,排查是否满足相关要求。 如果包有依
参数查看表1。 loss收敛情况:日志里存在lm loss参数 ,lm loss参数随着训练迭代周期持续性减小,并逐渐趋于稳定平缓。也可以使用可视化工具TrainingLogParser查看loss收敛情况,如图2所示。 单节点训练:训练过程中的loss直接打印在窗口上。 多节点
参数查看表1。 loss收敛情况:日志里存在lm loss参数 ,lm loss参数随着训练迭代周期持续性减小,并逐渐趋于稳定平缓。也可以使用可视化工具TrainingLogParser查看loss收敛情况,如图2所示。 单节点训练:训练过程中的loss直接打印在窗口上。 多节点
在线服务预测报错ModelArts.4302 在线服务预测报错ModelArts.4206 在线服务预测报错ModelArts.4503 当使用推理的镜像并且出现MR.XXXX类型的错误时,表示已进入模型服务,一般是模型推理代码编写有问题。 请根据构建日志报错信息,定位服务预测失败
参数查看表1。 loss收敛情况:日志里存在lm loss参数 ,lm loss参数随着训练迭代周期持续性减小,并逐渐趋于稳定平缓。也可以使用可视化工具TrainingLogParser查看loss收敛情况,如图2所示。 单节点训练:训练过程中的loss直接打印在窗口上。 多节点
参数查看表1。 loss收敛情况:日志里存在lm loss参数 ,lm loss参数随着训练迭代周期持续性减小,并逐渐趋于稳定平缓。也可以使用可视化工具TrainingLogParser查看loss收敛情况,如图2所示。 单节点训练:训练过程中的loss直接打印在窗口上。 多节点
of WorkflowSubgraph objects 工作流包含的子图。 extend 否 Map<String,Object> 计费工作流使用的拓展字段。 policy 否 WorkflowPolicy object 工作流部分运行策略。 with_subscription 否 Boolean
loss参数随着训练迭代周期持续性减小,并逐渐趋于稳定平缓。loss收敛图存放路径对应表1表格中output_dir参数值路径下的training_loss.png中也可以使用可视化工具TrainingLogParser查看loss收敛情况,如图2所示。 单节点训练:训练过程中的loss直接打印在窗口上。 多节点
loss参数随着训练迭代周期持续性减小,并逐渐趋于稳定平缓。loss收敛图存放路径对应表1表格中output_dir参数值路径下的training_loss.png中也可以使用可视化工具TrainingLogParser查看loss收敛情况,如图2所示。 单节点训练:训练过程中的loss直接打印在窗口上。 多节点
数据集输出位置,用于存放输出的标注信息等文件。 格式为 “/桶名称/文件路径”,例如“/obs-bucket/flower/rose/”(使用目录作为路径)。 不能直接使用桶作为路径。 输出位置不能与输入位置相同或者是输入位置的子目录。 长度限制:不少于3字符,不能超过700个字符。 字符限制:
@modelarts:from_type 否 String 内置属性:三元组关系标签的起始实体类型,创建关系标签时必须指定,该参数仅文本三元组数据集使用。 @modelarts:rename_to 否 String 内置属性:重命名后的标签名。 @modelarts:shortcut 否 String
@modelarts:from_type 否 String 内置属性:三元组关系标签的起始实体类型,创建关系标签时必须指定,该参数仅文本三元组数据集使用。 @modelarts:rename_to 否 String 内置属性:重命名后的标签名。 @modelarts:shortcut 否 String
sh scripts/llama2/0_pl_pretrain_13b.sh 注意:如果单机运行需要指定使用NPU卡的数量,可提前定义变量 NPUS_PER_NODE 。例如使用单机四卡训练Llama2-7B命令: MASTER_ADDR=localhost NNODES=1 NODE_RANK=0
sh scripts/llama2/0_pl_pretrain_13b.sh 注意:如果单机运行需要指定使用NPU卡的数量,可提前定义变量 NPUS_PER_NODE 。例如使用单机四卡训练Llama2-7B命令: MASTER_ADDR=localhost NNODES=1 NODE_RANK=0