检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
通过关键代码段 + 退出码尝试去搜索引擎寻找解决办法。, 通过训练日志排查问题 通过日志判断出问题的代码范围。 修改代码,在问题代码段添加打印,输出更详细的日志信息。 再次运行作业,判断出问题的代码段。 父主题: 业务代码问题
可调用模型接口。 支持按照检索参数查询模型列表,返回满足检索条件的模型list,检索参数如表1所示。 在查询列表时,返回list的同时,会打印模型列表的详细信息,如表2和表3所示。 当前支持最大获取150个模型对象。 表1 查询检索参数说明 参数 是否必选 参数类型 说明 model_name
引入MoXing Framework的相关说明 在引入MoXing模块后,Python的标准logging模块会被设置为INFO级别,并打印版本号信息。可以通过以下API重新设置logging的等级。 1 2 3 4 import logging from moxing.framework
在查询列表时,返回list的同时,默认会打印模型列表的详细信息,如表2和表3所示。 表1 查询检索参数说明 参数 是否必选 参数类型 描述 session 是 Object 会话对象,初始化方法见Session鉴权。 is_show 否 Boolean 是否打印出服务对象信息,默认为“True”。
com/<组织名称>/<镜像名称>:<tag>。<组织名称>为Step2 创建镜像组织中创建的组织名称,<镜像名称>:<tag>为自定义镜像名称。 打印如下信息,表示构建镜像成功。 图3 成功构建镜像 Step6 在ECS中Docker登录 在SWR中单击右上角的“登录指令”,然后在跳出的
PretrainedFromHF 。 SEQ_LEN 4096 要处理的最大seq length。脚本会检测超出SEQ_LEN长度的数据,并打印log。 父主题: 训练脚本说明
读取数据,I/O超高;当前SFS服务端的机制是:当SFS盘的性能到上限时,就会IO排队。IO排队造成处理时间超过 1 分钟时,客户端内核会打印"rpc_check_timeout:939 callbacks suppressed"日志。这个日志只是说明某个IO处理时间超过 1 分
示WARNING。3:表示ERROR。4: 表示NONE。 export ASCEND_GLOBAL_LOG_LEVEL=1 # 表示日志打印 export ASCEND_SLOG_PRINT_TO_STDOUT=1 DUMP模型转换中间图。 设置DUMP中间图环境变量。 #
检测到gpu 触发容错环境检测达到的效果 容错检查正常通过时,会打印检测项目的日志,表示具体涉及的检查项目成功。您可以通过在日志中搜索“item”关键字查看。当容错检查正常通过时,可以减少运行故障上报问题。 容错检查失败时,会打印检查失败的日志。您可以通过在日志中搜索“item”关键字查看失败信息。
com/<组织名称>/<镜像名称>:<tag>。<组织名称>为Step2 创建镜像组织中创建的组织名称,<镜像名称>:<tag>为自定义镜像名称。 打印如下信息,表示构建镜像成功。 图3 成功构建镜像 如果推理需要使用NPU加速图片预处理,适配了llava-1.5模型,启动时需要设置export
com/<组织名称>/<镜像名称>:<tag>。<组织名称>为Step2 创建镜像组织中创建的组织名称,<镜像名称>:<tag>为自定义镜像名称。 打印如下信息,表示构建镜像成功。 图5 成功构建镜像 Step6 在ECS中Docker登录 在SWR中单击右上角的“登录指令”,然后在跳出的
com/<组织名称>/<镜像名称>:<tag>。<组织名称>为Step2 创建镜像组织中创建的组织名称,<镜像名称>:<tag>为自定义镜像名称。 打印如下信息,表示构建镜像成功。 图5 成功构建镜像 Step6 在ECS中Docker登录 在SWR中单击右上角的“登录指令”,然后在跳出的
com/<组织名称>/<镜像名称>:<tag>。<组织名称>为Step2 创建镜像组织中创建的组织名称,<镜像名称>:<tag>为自定义镜像名称。 打印如下信息,表示构建镜像成功。 图4 成功构建镜像 如果推理需要使用NPU加速图片预处理,适配了llava-1.5模型,启动时需要设置export
_exclude_patterns', 'logits') 如果使用的是MoXing内置网络,其对应的关键字需使用如下API获取。此示例将打印Resnet_v1_50的关键字,为“logits”。 import moxing.tensorflow as mox model_meta
模型文件目录下存在dockerfile文件。 图2 构建日志:dockerfile文件目录有问题 pip软件包版本不匹配,需要修改为日志中打印的存在的版本。 图3 pip版本不匹配 构建日志中出现报错:“exec /usr/bin/sh: exec format error”。
tensorflow是否包含整个TensorFlow,如何对生成的checkpoint进行本地Fine Tune? 训练作业使用MoXing复制数据较慢,重复打印日志 MoXing如何访问文件夹并使用get_size读取文件夹大小?
pod已全部启动,则状态为:Running。 kubectl get pod -A -o wide 若查看启动作业日志信息,可通过以下命令打印正在启动的日志信息。其中${pod_name}为上述pod信息中的NAME,例如vcjob-main-0。 kubectl logs -f
pod已全部启动,则状态为:Running。 kubectl get pod -A -o wide 若查看启动作业日志信息,可通过以下命令打印正在启动的日志信息。其中${pod_name}为上述pod信息中的NAME,例如vcjob-main-0。 kubectl logs -f
pod已全部启动,则状态为:Running。 kubectl get pod -A -o wide 若查看启动作业日志信息,可通过以下命令打印正在启动的日志信息。其中${pod_name}为上述pod信息中的NAME,例如vcjob-main-0。 kubectl logs -f
pod已全部启动,则状态为:Running。 kubectl get pod -A -o wide 若查看启动作业日志信息,可通过以下命令打印正在启动的日志信息。其中${pod_name}为上述pod信息中的NAME,例如vcjob-main-0。 kubectl logs -f