-
kubectl工具配置 - AI开发平台ModelArts
链接信息 使用kubectl工具。 若通过内网使用kubectl工具,需要将kubectl工具安装在和集群在相同vpc下的某一台机器上。单击kubectl后的“配置”按钮。按照界面提示步骤操作即可。 图4 通过内网使用kubectl工具 通过公网使用kubectl工具,可以将kubectl安装在任一台可以访问公网的机器。
-
TensorFlow在OBS写入TensorBoard到达5GB时停止 - AI开发平台ModelArts
adjust the signer 原因分析 OBS限制单次上传文件大小为5GB,TensorFlow保存summary可能是本地缓存,在每次触发flush时将该summary文件覆盖OBS上的原文件。当超过5GB后,由于达到了OBS单次导入文件大小的上限,导致无法继续写入。 处理方法
-
OBS拷贝过程中提示“BrokenPipeError: Broken pipe” - AI开发平台ModelArts
致一个OBS Clinet与服务端连接30S内无响应,超过超时时间,服务端断开了连接。 处理方法 如果是限流问题,日志中还会有如下错误,OBS相关的错误码解释请参见OBS官方文档,这种情况建议提工单。 图2 错误日志 如果是client数太多,尤其对于5G以上文件,OBS接口不支
-
上传文件至OBS - AI开发平台ModelArts
Session() session.obs.upload_file(src_local_file='/home/ma-user/file1.txt', dst_obs_dir='obs://bucket-name/dir1/') 示例代码执行后,本地源文件“file1.txt”被上传至
-
使用ma-cli obs-copy命令复制OBS数据 - AI开发平台ModelArts
使用ma-cli obs-copy命令复制OBS数据 使用ma-cli obs-copy [SRC] [DST]可以实现本地和OBS文件或文件夹的相互复制。 $ma-cli obs-copy -h Usage: ma-cli obs-copy [OPTIONS ] SRC
-
上传OBS文件到JupyterLab - AI开发平台ModelArts
Files按钮,打开文件上传窗口,选择左侧的进入OBS文件上传界面。 图1 上传文件图标 图2 OBS文件上传界面 需要提供OBS文件路径,可以通过以下两种方式提供: 方式一:在输入框中直接输入有效的OBS文件路径,然后单击“上传”开始传文件。 图3 输入有效的OBS文件路径 此处输入的是具体的OBS文件路径,不是文件夹的路径,否则会导致上传失败。
-
从OBS下载文件 - AI开发平台ModelArts
Session() session.obs.download_file(src_obs_file="obs://bucket-name/dir1/file1.txt", dst_local_dir="/home/ma-user/") 示例代码执行后,OBS源文件“file1.txt”被
-
安装Gallery CLI配置工具 - AI开发平台ModelArts
在节点页签,单击选择“配置工具”,弹出该节点的配置工具页面。 在配置工具页面,单击“下载”启动下载任务。当配置工具的状态记录中“工具状态”为“下载完成”时表示下载完成,工具包存放在“下载位置”的目录下。 如果下载失败,单击“下载”可以重新下载。 登录云服务器查看工具包是否下载成功。 在云服务详情页面
-
上传文件夹至OBS - AI开发平台ModelArts
本地需要上传的文件夹路径。 当上传的文件夹下内容为空或者该文件夹下包含多个文件夹且有文件夹下内容有空时,OBS对应路径下不产生该空文件夹。 dst_obs_dir 是 String 上传的目标OBS桶地址,必须以“obs://”作为前缀,上传的目标文件夹后缀必须以“/”结尾。 表2 失败响应参数说明 参数
-
从OBS导入数据 - AI开发平台ModelArts
从OBS导入数据 OBS导入数据简介 OBS目录导入操作 OBS目录导入数据规范说明 Manifest文件导入操作 Manifest文件导入规范说明 父主题: 数据接入
-
OBS操作相关故障 - AI开发平台ModelArts
OBS操作相关故障 读取文件报错,如何正确读取文件? TensorFlow-1.8作业连接OBS时反复出现提示错误 TensorFlow在OBS写入TensorBoard到达5GB时停止 保存模型时出现Unable to connect to endpoint错误 训练作业日志中提示“No
-
从对象存储服务(OBS)中选择元模型 - AI开发平台ModelArts
合模型包规范,将无法创建AI应用。 图1 从OBS中选择元模型 表2 元模型来源参数说明 参数 说明 “选择元模型” 选择元模型存储的OBS路径。 OBS路径不能含有空格,否则创建AI应用会失败。 “AI引擎” 根据您选择的元模型存储路径,将自动关联出元模型使用的“AI引擎”。
-
保存CSV数据到OBS - AI开发平台ModelArts
保存CSV数据到OBS 概述 将csv格式的数据保存到OBS 输入 参数 子参数 参数说明 inputs dataframe inputs为字典类型,dataframe为pyspark中的DataFrame类型对象 输出 无 参数说明 参数 子参数 参数说明 output_file_path
-
如何对OBS的文件重命名? - AI开发平台ModelArts
如何对OBS的文件重命名? 由于OBS管理控制台不支持对OBS的文件重命名,当您需要对OBS文件进行重命名时需要通过调用MoXing API实现,在已有的或者新创建的Notebook中,执行如下命令,通过接口对OBS中的文件进行重命名。 具体操作如下: 如下示例为将文件“obs_file
-
保存为DLI OBS表 - AI开发平台ModelArts
数据的写入类型(追加或覆盖,默认为覆盖模式)。使用PySpark insertInto函数,因此追加或者覆盖都要保证特征列数量和顺序一致 OBS_path - 用户目标DLI外表的OBS存储路径 样例 inputs = { "dataframe": None # @input {"label":"dataframe"
-
在Notebook中,如何访问其他账号的OBS桶? - AI开发平台ModelArts
在Notebook中,如何访问其他账号的OBS桶? 创建Notebook时选择OBS存储,这种情况下只能访问到自己账号下的桶,无法访问到其他账号的OBS桶。 如果需要在Notebook中,访问其他账号的OBS文件,前提是,需获取目标OBS桶的读写权限。 首先,请联系OBS桶的创建者,参考对其他账
-
日志提示“ValueError: Invalid endpoint: obs.xxxx.com” - AI开发平台ModelArts
日志提示“ValueError: Invalid endpoint: obs.xxxx.com” 问题现象 训练作业中使用Tensorboard直接写入到OBS路径,出现如下类似报错。 图1 错误日志 原因分析 出现该问题的可能原因: 直接在OBS上写tensorboard文件,存在不稳定的风险。 处理方法
-
Gallery CLI配置工具介绍 - AI开发平台ModelArts
CLI配置工具:登录登出Gallery CLI配置工具。 使用Gallery CLI配置工具:使用Gallery CLI配置工具下载文件。 登出Gallery CLI配置工具:登录登出Gallery CLI配置工具。 父主题: Gallery CLI配置工具指南
-
文件传输(推荐) - AI开发平台ModelArts
上传本地文件至OBS session.obs.copy(src_path='/home/ma-user/file1.txt', dst_path='obs://bucket-name/dir1/file1.txt') # 2. 下载OBS文件至本地 session.obs.cop
-
使用Gallery CLI配置工具下载文件 - AI开发平台ModelArts
使用Gallery CLI配置工具下载文件 在服务器(ModelArts Lite云服务器或者是本地Windows/Linux等服务器)上登录Gallery CLI配置工具后,通过命令“gallery-cli download”可以从AI Gallery仓库下载资源。 命令说明 登录Gallery