-
使用预置的数据处理工具 - AI开发平台ModelArts
使用预置的数据处理工具 创建数据处理任务 管理和查看数据处理任务
-
自动学习生成的模型,存储在哪里?支持哪些其他操作? - AI开发平台ModelArts
自动学习生成的模型,存储在哪里?支持哪些其他操作? 模型统一管理 针对自动学习项目,当模型训练完成后,其生成的模型,将自动进入“AI应用管理 > AI应用”页面,如下图所示。模型名称由系统自动命名,前缀与自动学习项目的名称一致,方便辨识。 自动学习生成的模型,不支持下载使用。 图1
-
工具使用 - AI开发平台ModelArts
命令样例 命令执行后生成亲和API相关优化建议的html,将会按建议替换的亲和API进行汇总聚类,同时给出对应待替换API的堆栈信息。 图9 生成结果 表4 参数解释 参数 缩写 是否必填 说明 --data-dir -d 必填 代表存储Profiling单卡性能数据的目录,目前暂不支
-
数据生成 - AI开发平台ModelArts
数据生成 数据生成技术简介 图像生成利用Gan网络依据已知的数据集生成新的数据集。Gan是一个包含生成器和判别器的网络,生成器从潜在空间中随机取样作为输入,其输出结果需要尽量模仿训练集中的真实样本。判别器的输入则为真实样本或生成网络的输出,其目的是将生成网络的输出从真实样本中尽可
-
kubectl工具配置 - AI开发平台ModelArts
链接信息 使用kubectl工具。 若通过内网使用kubectl工具,需要将kubectl工具安装在和集群在相同vpc下的某一台机器上。单击kubectl后的“配置”按钮。按照界面提示步骤操作即可。 图4 通过内网使用kubectl工具 通过公网使用kubectl工具,可以将kubectl安装在任一台可以访问公网的机器。
-
moxing.tensorflow是否包含整个TensorFlow,如何对生成的checkpoint进行本地Fine Tune? - AI开发平台ModelArts
Tune就是用别人训练好的模型,加上自己的数据,来训练新的模型。相当于使用别人的模型的前几层,来提取浅层特征,然后在最后再落入我们自己的分类中。 由于一般新训练模型准确率都会从很低的值开始慢慢上升,但是Fine Tune能够让我们在比较少的迭代次数之后得到一个比较好的效果。Fine T
-
创建数据处理任务 - AI开发平台ModelArts
称”和“数据集版本”;设置为“OBS目录”时,需填写正确的OBS路径。 图3 输入输出设置-数据集 图4 输入输出设置-OBS目录 确认参数填写无误后,单击“创建”,完成数据处理任务的创建。 父主题: 使用预置的数据处理工具
-
使用Windows下生成的文本文件时报错找不到路径? - AI开发平台ModelArts
使用Windows下生成的文本文件时报错找不到路径? 问题现象 当在Notebook中使用Windows下生成的文本文件时,文本内容无法正确读取,可能报错找不到路径。 原因分析 Notebook是Linux环境,和Windows环境下的换行格式不同,Windows下是CRLF,而Linux下是LF。
-
自动学习生成的模型,存储在哪里?支持哪些其他操作? - AI开发平台ModelArts
自动学习生成的模型,存储在哪里?支持哪些其他操作? 模型统一管理 针对自动学习项目,当模型训练完成后,其生成的模型,将自动进入“AI应用管理 > AI应用”页面,如下图所示。模型名称由系统自动命名,前缀与自动学习项目的名称一致,方便辨识。 自动学习生成的模型,不支持下载使用。 图1
-
使用Windows下生成的文本文件时报错找不到路径? - AI开发平台ModelArts
使用Windows下生成的文本文件时报错找不到路径? 问题现象 当在Notebook中使用Windows下生成的文本文件时,文本内容无法正确读取,可能报错找不到路径。 原因分析 Notebook是Linux环境,和Windows环境下的换行格式不同,Windows下是CRLF,而Linux下是LF。
-
登录登出Gallery CLI配置工具 - AI开发平台ModelArts
自定义的服务器的缓存目录,token是系统自动生成的文件夹。 /test/token 登出Gallery CLI 在服务器执行如下命令登出Gallery CLI配置工具。 gallery-cli logout 显示如下信息表示登出成功。系统自动清除缓存目录“/test”下的token文件夹。
-
管理和查看数据处理任务 - AI开发平台ModelArts
败”、“部署中”状态的训练作业,您可以单击操作列的“删除”,删除对应的数据处理任务。 图1 数据处理版本管理页面 您可以在版本管理页面,通过切换页签查看“配置信息”、“日志”和“结果展示”。 图2 日志页面 图3 结果展示页面 父主题: 使用预置的数据处理工具
-
安装Gallery CLI配置工具 - AI开发平台ModelArts
左侧菜单栏选择“我的资源 > 云服务器”,单击专属资源池页签进入云服务详情页面。 在节点页签,单击选择“配置工具”,弹出该节点的配置工具页面。 在配置工具页面,单击“下载”启动下载任务。当配置工具的状态记录中“工具状态”为“下载完成”时表示下载完成,工具包存放在“下载位置”的目录下。 如果下载失败,单击“下载”可以重新下载。
-
本地IDE(SSH工具连接) - AI开发平台ModelArts
pem密钥(即在创建Notebook实例时创建并保存的密钥对文件)。 单击“Save private key”,保存生成的.ppk文件。.ppk文件的名字可以自定义,例如key.ppk。 图2 将密钥对.pem文件转成.ppk文件 Step3 使用SSH工具连接云上Notebook实例 运行PuTTY。
-
Gallery CLI配置工具介绍 - AI开发平台ModelArts
CLI配置工具下载,如图1所示。 图1 复制完整资产名称 “运行平台”设置为“Pangu Studio”的数据集,不支持使用CLI工具下载。 使用流程 下载Gallery CLI工具包,完成安装配置:安装Gallery CLI配置工具。 登录Gallery CLI配置工具:登录登出Gallery
-
通过py-spy工具分析卡死进程的调用栈并结合代码分析定位卡死问题 - AI开发平台ModelArts
com(此处需要替换成对应局点的pip源地址) pip install py-spy 查看堆栈。py-spy工具的具体使用方法可参考py-spy官方文档。 # 找到训练进程的PID ps -ef # 查看进程12345的进程堆栈 # 如果是8卡的训练作业,一般用此命令依次去查看主进程起的对应的8个进程的堆栈情况
-
使用Gallery CLI配置工具上传文件 - AI开发平台ModelArts
获取“repo_id”和待上传的文件名。 获取“repo_id” 在AI Gallery页面的资产详情页,单击复制完整的资产名称,如图1所示,获取到的信息即为“repo_id”。例如,复制出的信息为“ur5468675/test_cli_model1”,则该资产的“repo_id”为“u
-
AIGC工具tailor使用指导 - AI开发平台ModelArts
查询onnx模型的输入信息。 # 查询onnx模型的输入信息 t.get_model_input_info() 图1 查询onnx模型的输入输出信息 查询onnx模型的输出信息。 # 查询模型的输出信息 t.get_model_output_info() 图2 查询onnx模型的输出信息
-
使用Gallery CLI配置工具下载文件 - AI开发平台ModelArts
Gallery仓库依次下载除某种格式之外的其他格式的文件到服务器的缓存目录下。 gallery-cli download {repo_id} --exclude "*.json" 如下所示,表示下载除“.json”格式之外的其他格式的文件到服务器的缓存目录“/test”下,当回显“100%”时表示下载完成。
-
训练profiling工具使用 - AI开发平台ModelArts
View页面和chrome的tracing页面都支持快捷键)。 如果是在docker中运行tensorboard,启动docker容器的时候,需要将tensorboard的端口映射到宿主机的端口,这样才能在浏览器基于宿主机的ip+宿主机的端口访问tensorboard服务;同时启动ten