检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
String 事件类型,枚举值如下: normal:正常事件。 abnormal:异常事件。 event_info 否 String 事件信息,仅支持英文信息过滤,不支持`(){}';,[]<>/?!¥…&()【】‘;:”“’。,、? start_time 否 Number 过滤事件发生时间的起始时间,默认不过滤。
gfile”模块连接OBS,启动训练作业后会频繁打印如下日志信息: Connection has been released. Continuing. Found secret key 原因分析 这是TensorFlow-1.8中会出现的情况,该日志是Info级别的,并不是错误信息,可以通过设置环境变量来屏蔽I
解析xml文件支持本地和OBS,如果是OBS,需要Session信息。 PascalVoc.parse_xml(xml_file_path, session=None) 示例代码 指定xml路径,通过调用parse_xml来解析获取xml文件的信息。 from modelarts.dataset
查询标注任务详情 查询标注任务的详细信息。 datset.get_label_task_info(task_id=None) 示例代码 查询标注任务的详情。 task_info = dataset.get_label_task_info(task_id="xs9ZKzLluKzccQfsyi2")
查看日志和性能 查看日志 若查看启动作业日志信息,可通过以下命令打印正在启动的日志信息。其中${pod_name}为pod信息中的NAME,例如vcjob-main-0。 kubectl logs -f ${pod_name} 训练过程中,训练日志会在最后的Rank节点打印。 图1
图3 选择SFS Turbo SFS Turbo不能直接挂载到容器的工作路径 /home/ma-user/work/下,会覆盖镜像中的代码目录,导致训练失败。 作业日志选择OBS中的路径,ModelArts的训练作业的日志信息则保存该路径下。 最后,请参考查看日志和性能章节查看
查看日志和性能 查看日志 若查看启动作业日志信息,可通过以下命令打印正在启动的日志信息。其中${pod_name}为pod信息中的NAME,例如vcjob-main-0。 kubectl logs -f ${pod_name} 训练过程中,训练日志会在最后的Rank节点打印。 图1
查看日志和性能 查看日志 若查看启动作业日志信息,可通过以下命令打印正在启动的日志信息。其中${pod_name}为pod信息中的NAME,例如vcjob-main-0。 kubectl logs -f ${pod_name} 训练过程中,训练日志会在最后的Rank节点打印。 图1
查看日志和性能 查看日志 若查看启动作业日志信息,可通过以下命令打印正在启动的日志信息。其中${pod_name}为pod信息中的NAME,例如vcjob-main-0。 kubectl logs -f ${pod_name} 训练过程中,训练日志会在最后的Rank节点打印。 图1
训练作业运行失败排查指导 问题现象 训练作业的“状态”出现“运行失败”的现象。 原因分析及处理方法 查看训练作业的“日志”,出现报错“MoxFileNotExistsException(resp, 'file or directory or bucket not found.')”。
为我的模型”。 在“创建为我的模型”页面,配置相关信息,然后单击“创建”。 打开“权重校验”开关,系统将会检查权重是否存在问题,该功能不会收取额外费用,但会增加创建过程的时间。 在“费用提醒”对话框,仔细阅读预估转换时长和费用信息,单击“确定”,跳转至“我的模型”页面创建模型。
资源费用和标准存储费用 假设用户于2023年4月1日创建了自动学习的图像分类项目,在运行阶段,10:00:00-10:06:00完成了数据校验,10:06:00-10:12:00完成了图像分类,11:30:00完成了服务部署,并在12:00:00停止运行在线服务。同时,使用公共资
训练作业运行失败,出现NCCL报错 问题现象 训练作业的状态“运行失败”,查看训练作业的“日志”,存在NCCL的报错,例如“NCCL timeout”、“RuntimeError: NCCL communicator was aborted on rank 7”、“NCCL WARN
Code打开后未进行远程连接 如果本地为Linux系统,见原因分析二。 原因分析一 自动安装VS Code插件ModelArts-HuaweiCloud失败。 解决方法一 方法一:检查VS Code网络是否正常。在VS Code插件市场上搜索ModelArts-HuaweiCloud,如果显示
String 错误码。请参考错误码。 queuing_info Object 排队信息,如表26所示。 user Object 用户信息,如表27所示。 repository Object Git仓库信息,如表28所示。该字段不支持使用,在调用接口时会自动返回。 表12 profile字段数据结构说明
设置无条件自动重启 背景信息 训练过程中可能会碰到预期外的情况导致训练失败,且无法及时重启训练作业,导致训练周期长,而无条件自动重启可以避免这类问题。无条件自动重启是指当训练作业失败时,不管什么原因系统都会自动重启训练作业,提高训练成功率和提升作业的稳定性。为了避免无效重启浪费算
[worker-0] [耗时: 秒] 训练代码下载失败,失败原因: [worker-0] 训练输入下载中 [worker-0] [耗时: 秒] 训练输入(参数名称:)下载完成 [worker-0] [耗时: 秒] 训练输入(参数名称:)下载失败,失败原因: [worker-0] 正在安装Python依赖包,导入文件:
资产以及用户提供的一些个人信息。 AI资产包括但不限于文本、图形、数据、文章、照片、图像、插图、代码、AI算法、AI模型等。 用户的个人信息包括: 用户注册时提供的昵称、头像、邮箱。 用户参加实践时提供的姓名、手机号、邮箱。 用户伙伴注册时提供的企业信息。 用户发布资产时提供的联系人姓名、手机号、邮箱。
训练作业训练失败报错:TypeError: unhashable type: ‘list’ 问题现象 使用订阅算法图像分类-EfficientNetB4进行训练报错:TypeError: unhashable type: ‘list’。 原因分析 可能由于使用了多标签分类导致(即一个图片用了1个以上的标签)。
Token认证。 客户端须注意本地时间与时钟服务器的同步,避免请求消息头X-Sdk-Date的值出现较大误差。因为API网关除了校验时间格式外,还会校验该时间值与网关收到请求的时间差,如果时间差超过15分钟,API网关将拒绝请求。 约束限制 调用API访问在线服务时,对预测请求体大小和预测时间有限制: