检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用自定义镜像创建训练作业找不到启动文件 问题现象 使用自定义镜像创建训练作业,出现如下报错,提示找不到运行的主文件:no such file or directory。 原因分析 根据报错提示可以判断是运行命令的启动文件目录不正确导致运行失败。 处理方法 需要排查执行命令的启动文件目录是否正确,具体操作如下:
如何查看ModelArts的Notebook使用的cuda版本? 执行如下命令查看环境中的cuda版本。 ll /usr/local | grep cuda 举例: 图1 查看当前环境的cuda版本 如图1所示,当前环境中cuda版本为10.2 父主题: Standard Notebook
有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。 ##本示例以AK和SK保存在环境变量中来实现身份验证为例,运行本示例前请先在本地环境中设置环境变量HUAWEICLOUD_SDK_AK和HUAWEICLOUD_SDK_SK。 ##安装obsuti
without timeout. "} 因APIG(API网关)限制,平台每次请求预测的时间不超过40秒。数据从平台发送到服务,服务预测推理,再将结果返回的时间不超过限制,可以成功返回预测结果。当服务预测的时间过长或者频繁预测导致服务接收不过来请求,即会出现该报错。 可以通过以下方式解决问题:
Pytorch Mox日志反复输出 问题现象 ModelArts训练作业算法来源选用常用框架的Pytorch引擎,在训练作业运行时Pytorch Mox日志会每个epoch都打印Mox版本,具体日志如下: INFO:root:Using MoXing-v1.13.0-de803ac9
取值为准。 表7 Lease 参数 参数类型 描述 create_at Long 实例创建的时间,UTC毫秒。 duration Long 实例运行时长,以创建时间为起点计算,即“创建时间+duration > 当前时刻”时,系统会自动停止实例。 enable Boolean 是否启用自动停止功能。
用户在导入模型后,部署服务时,提示磁盘空间不足:“No space left on device”。 原因分析 ModelArts部署使用的是容器化部署,容器运行时有空间大小限制,当用户的模型文件或者其他自定义文件,系统文件超过Docker size大小时,会提示镜像内空间不足。 处理方法 公共资源池容器Docker
下载代码目录失败 问题现象 训练作业运行时下载失败,出现如下报错,请参见图1: ERROR:modelarts-downloader.py: Get object key failed: 'Contents' 图1 获取内容失败 原因分析 在创建训练作业时指定的代码目录不存在导致训练失败。
下是LF。 解决方法 可以在Notebook中转换文件格式为Linux格式。 shell语言: dos2unix 文件名 父主题: 代码运行故障
开关关闭(默认关闭):表示训练作业将一直运行直至训练完成。 开关打开:表示启用自动停止功能,此时必须配置自动停止时间,支持设置为“1小时”、“2小时”、“4小时”、6小时或“自定义”,自定义时间取值范围为1~720小时。启用该参数并设置时间后,运行时长到期后将会自动终止训练,准备排队等状态不扣除运行时长。 配置节点间SSH免密互信
Boolean 是否检测数据集中正在运行(包括初始化)的任务。可选值如下: true:检测数据集中正在运行(包括初始化)的任务 false:不检测数据集中正在运行的任务(默认值) running_task_type 否 Integer 指定需要检测的正在运行任务(包括初始化)的类型。可选值如下:
配置Grafana数据源 在Grafana配置数据源后,即可通过Grafana查看ModelArts的监控数据。 前提条件 已安装Grafana。 配置Grafana数据源 获取Grafana数据源配置代码。 进入AOM管理控制台。 图1 AOM管理控制台 在左侧导航栏中选择“Prometheus监控
在JupyterLab使用Git克隆代码仓 在JupyterLab中使用Git插件可以克隆GitHub开源代码仓库,快速查看及编辑内容,并提交修改后的内容。 前提条件 Notebook处于运行中状态。 打开JupyterLab的git插件 在Notebook列表中,选择一个实例,单击右侧的打开进入“JupyterLab”页面。
查询数据集的标注任务列表 查询当前数据集的所有标注任务列表。 dataset.get_label_tasks(is_workforce_task=False, **kwargs) 示例代码 示例一:查询数据集下所有的标注任务,根据标注任务创建时间降序排序。 from modelarts
create_time Long 训练作业的创建时间。 parameter JSON Array 训练作业的运行参数。当为自定义镜像训练作业的时候,此参数为容器环境变量。具体请参见表5。 duration Long 训练作业的运行时间,单位为毫秒。 spec_id Long 训练作业资源规格ID。
6小时或“自定义”。启用该参数并设置时间后,运行时长到期后将会自动终止任务,准备排队等状态不扣除运行时长。 关闭 参数配置完成后,单击“提交”,创建部署任务。 在任务列表,当模型“状态”变成“运行中”时,表示模型部署完成。 步骤3:在模型体验使用模型服务 在ModelArts S
create_time Long 训练作业的创建时间。 parameter Array<Object> 训练作业的运行参数。当为自定义镜像训练作业的时候,此参数为容器环境变量。详细请参见表3。 duration Long 训练作业的运行时间,单位为毫秒。 spec_id Long 训练作业资源规格ID。
ractOutput] properties 节点的属性信息 否 dict policy 节点的执行策略,主要包含节点调度运行的时间间隔、节点执行的超时时间、以及节点执行是否跳过的相关配置 否 StepPolicy depend_steps 依赖节点的列表,该字段决定了DAG的结构,也决定了节点执行的顺序
MMCV的依赖与PyTorch版本不匹配。 处理方法 可参考链接的内容,根据PyTorch和CUDA版本安装对应版本的MMCV。 父主题: 预置算法运行故障
费用”页签还可查看您的套餐包余量以及超出部分的计费方式,请您务必关注,避免造成不必要的资源浪费。 完成资源配置后,单击“继续运行”,在弹框中确认继续运行后,服务部署节点将继续运行,直至状态变为“运行成功”,至此,已将模型部署为在线服务。 服务测试 服务部署节点运行成功后,单击“实