检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在ModelArts中,用户的数据都是存放在OBS桶中,而训练作业运行在容器中,无法通过访问本地路径的方式访问OBS桶中的文件。 处理方法 读取文件报错,您可以使用Moxing将数据复制至容器中,再直接访问容器中的数据。请参见步骤1。 您也可以根据不同的文件类型,进行读取。请参见读
训练作业参数名称。限制为1-64位只含数字、字母、下划线或者中划线的名称。 config_desc 否 String 对训练作业的描述,默认为空,字符串的长度限制为[0,256]。 worker_server_num 是 Integer 训练作业worker的个数,最大值请从查询作业资源规格接口获取。 app_url
用系统默认里面自带的。 如果必须指定卡ID,需要注意1/2/4规格下,指定的卡ID与实际分配的卡ID不匹配的情况。 如果上述方法还出现了错误,可以去notebook里面调试打印CUDA_VISIBLE_DEVICES变量,或者用以下代码测试,查看结果是否返回的是True。 import
训练作业常用文件路径是什么? 如何安装C++的依赖库? 训练作业中如何判断文件夹是否复制完毕? 如何在训练中加载部分训练好的参数? 训练作业的启动文件如何获取训练作业中的参数? 训练作业中使用os.system('cd xxx')无法进入相应的文件夹? 训练作业如何调用shell脚本,是否可以执行
认值。 表1 预置的环境变量 环境变量 说明 NCCL_SOCKET_IFNAME 指定通信的网卡名称。 NCCL_IB_GID_INDEX 系统设置的默认值为3,表示使用RoCE v2协议。 NCCL_IB_TC 系统设置的默认值为128,表示数据包走交换机的队列4,队列4使用PFC流控机制来保证网络是无损的。
MoXing Framework功能介绍 Notebook中快速使用MoXing mox.file与本地接口的对应关系和切换 MoXing常用操作的样例代码 MoXing进阶用法的样例代码 父主题: 使用Notebook进行AI开发调试
准备模型训练代码 预置框架启动文件的启动流程说明 开发用于预置框架训练的代码 开发用于自定义镜像训练的代码 自定义镜像训练作业配置节点间SSH免密互信 父主题: 使用ModelArts Standard训练模型
训练作业的ID。 version_id 是 Long 训练作业的版本ID。 表2 Query参数 参数 是否必选 参数类型 说明 base_line 否 String 日志的基准位置,根据接口返回获得,为空的时候代表获取最新的日志。 lines 否 Integer 获取日志的长度,默认为50行。lines的范围为[0
timed out”提示,不显示详细的构建日志。 处理方法 预先准备需要编译下载的依赖包,减少依赖包下载和编译的时间。可通过线下wheel包方式安装运行环境依赖。线下wheel包安装,需确保wheel包与模型文件放在同一目录。 优化模型代码,提高构建模型镜像的编译效率。 父主题: 模型管理
受限,需要解决内网的问题。 其他问题现象的可能原因如下: 无OBS访问授权。 无OBS桶或文件的访问权限。 OBS桶被删除。 解决方案 检查委托授权 请前往权限管理,查看是否具有OBS访问授权。如果没有,请参考配置访问授权(全局配置)。 请确认是否有OBS桶的访问权限 进入OBS
Tensorflow多节点作业下载数据到/cache显示No space left 日志文件的大小达到限制 日志提示"write line error" 日志提示“No space left on device” OOM导致训练作业失败 常见的磁盘空间不足的问题和解决办法 父主题: 训练作业
重置AppSecret 获取用户绑定APP的api列表 注册API并授权给APP 删除API 授权API至APP 更新API授权 解除API对APP的授权 获取API授权关系列表 创建API 查询API 查询API和APP 查询APP的API认证信息 查询APP是否存在
timm==0.4.12 termcolor==1.1.0 yacs==0.1.8 准备run.sh文件中所需要的obs文件路径。 准备imagenet数据集的分享链接 勾选要分享的imagenet21k_whole数据集文件夹,单击分享按钮,选择分享链接有效期,自定义提取码,例如123456,单击“复制链接”,记录该链接。
训练作业如何收费? 为什么项目删除完了,仍然还在计费? 欠费后,ModelArts的资源是否会被删除? 部署后的AI应用是如何收费的? Notebook中的EVS存储可以使用套餐包吗? 如何查看在哪个区域购买的套餐包? 已购买的套餐包为什么不能使用? 套餐包续费后为什么没有扣减?
运行中”时,单击“操作”列中的“打开”,进入“JupyterLab Notebook”开发页面。 在JupyterLab的“Launcher”页签下,以TensorFlow为例,您可以单击TensorFlow,创建一个用于编码的文件。 图1 选择不同的AI引擎 文件创建完成后,系
基于ModelArts Standard运行GPU训练任务 在ModelArts Standard上运行GPU训练任务的场景介绍 在ModelArts Standard运行GPU训练任务的准备工作 在ModelArts Standard上运行GPU单机单卡训练任务 在ModelArts Standard上运行GPU单机多卡训练任务
数据存储 如何对OBS的文件重命名? Notebook停止或者重启后,“/cache”下的文件还存在么?如何避免重启? 如何使用pandas库处理OBS桶中的数据? 在Notebook中,如何访问其他账号的OBS桶? JupyterLab默认工作路径是什么? 父主题: Standard
导入数据到ModelArts数据集 处理ModelArts数据集中的数据 标注ModelArts数据集中的数据 发布ModelArts数据集中的数据版本 分析ModelArts数据集中的数据特征 导出ModelArts数据集中的数据
如何查看Notebook使用的cuda版本? 如何打开ModelArts开发环境的Terminal功能? 如何在Notebook中安装外部库? 如何获取本机外网IP? 如何解决“在IOS系统里打开ModelArts的Notebook,字体显示异常”的问题? Notebook有代理吗?如何关闭?
I接口不变? 在线服务的API接口组成规则是什么? 在线服务运行中但是预测失败时,如何排查报错是不是模型原因导致的 在线服务处于运行中状态时,如何填写推理请求的request header和request body 作为调用发起方的客户端无法访问已经获取到的推理请求地址 服务部署失败,报错ModelArts