检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
AI模型开发完成后,在ModelArts服务中可以将AI模型创建为模型,将模型快速部署为推理服务,您可以通过调用API的方式把AI推理能力集成到自己的IT平台,或者批量生成推理结果。 图1 推理简介 训练模型:可以在ModelArts服务中进行,也可以在您的本地开发环境进行,本地开发的模型需要上传到华为云OBS服务。
如果是在本地服务器安装Gallery CLI配置工具,则参考本节将工具包下载至本地。 下载AI Gallery CLI安装包、校验文件。 单击链接,下载AI Gallery CLI安装包。 单击链接,下载AI Gallery CLI校验文件。 将AI Gallery CLI安装包及
如何将开发环境Notebook A的数据复制到Notebook B中? 目前不支持直接将Notebook A的数据复制到Notebook B,如果需要复制数据,可参考如下步骤操作: 将Notebook A的数据上传至OBS; 下载OBS中的数据至Notebook B。 文件的上传
save_mode="w") 示例代码 在保存Manifest文件之前需要先创建包含Manifest信息的对象,包括Sample样本信息及其标签信息Annotation,然后将若干个样本组成Manifest。保存的时候调用save接口,将session信息传入,即可保存到指定路径。 from modelarts
String 本地需要上传的文件夹路径。 当上传的文件夹下内容为空或者该文件夹下包含多个文件夹且有文件夹下内容有空时,OBS对应路径下不产生该空文件夹。 dst_obs_dir 是 String 上传的目标OBS桶地址,必须以“obs://”作为前缀,上传的目标文件夹后缀必须以“/”结尾。
解析Manifest文件 解析Manifest文件,支持本地和OBS。如果是OBS,需要Session信息。 manifest.parse_manifest(manifest_path, encoding='utf-8') 示例代码 通过Manifest路径来解析获取Manifest的信息。
无法通过访问本地路径的方式访问OBS桶中的文件。 处理方法 读取文件报错,您可以使用Moxing将数据复制至容器中,再直接访问容器中的数据。请参见步骤1。 您也可以根据不同的文件类型,进行读取。请参见读取“json”文件、读取“npy”文件、使用cv2库读取文件和在MXNet环境下使用torch包。
Files按钮,打开文件上传窗口,选择左侧的进入OBS文件上传界面。 图1 上传文件图标 图2 OBS文件上传界面 需要提供OBS文件路径,可以通过以下两种方式提供: 方式一:在输入框中直接输入有效的OBS文件路径,然后单击“上传”开始传文件。 图3 输入有效的OBS文件路径 此处输入
值。 将代码放到OBS上,然后通过OBS将代码传至SFS相应目录中。 在本机机器上运行,通过obsutil工具将本地数据集传到OBS桶。 # 将本地代码传至OBS中 ./obsutil cp ./YOLOX obs://your_bucket/ -f -r 登录ECS服务器,通过
Files按钮,打开文件上传窗口,选择左侧的进入远端文件上传界面。 图1 上传文件图标 图2 进入远端文件上传界面 输入有效的远端文件URL后,系统会自动识别上传文件名称,单击“上传”,开始上传文件。 图3 输入有效的远端文件URL 图4 远端文件上传成功 异常处理 远端文件上传失败。可
考《购买弹性云服务器》。 购买弹性公网IP,并绑定到购买的弹性云服务器ECS上,具体操作请参见《弹性公网IP快速入门》。 操作步骤 将本地命令复制至ECS服务器请参考如下方法: 在ECS桌面单击“复制粘贴”,使用快捷键“Ctrl+V”将命令粘贴至窗口中并单击“发送”,将复制的命令发送至命令行窗口,如下图所示。
创建和保存Pascal VOC文件 需要先创建包含Pascal VOC信息的对象,然后保存。Pascal VOC信息请见表2。路径支持本地和OBS,如果是OBS,需要Session信息。 pascal_voc.save_xml(xml_file_path, save_mode='w'
训练代码中,如何获取依赖文件所在的路径? 由于用户本地开发的代码需要上传至ModelArts后台,训练代码中涉及到依赖文件的路径时,用户设置有误的场景较多。因此推荐通用的解决方案:使用os接口得到依赖文件的绝对路径,避免报错。 以下示例展示如何通过os接口获得其他文件夹下的依赖文件路径。 文件目录结构:
大量数据文件,训练过程中读取数据效率低? 当数据集存在较多数据文件(即海量小文件),数据存储在OBS中,训练过程需反复从OBS中读取文件,导致训练过程一直在等待文件读取,效率低。 解决方法 建议将海量小文件,在本地压缩打包。例如打包成.zip格式。 将此压缩后的文件上传至OBS。
code/test.sh') 将“test.py”文件上传至OBS中,则该文件存储位置为“/bucket-name/code/test.py”。 创建训练作业时,指定的代码目录为“/bucket-name/code/”,启动文件目录为“/bucket-name/code/test
ECS中构建新镜像 通过ECS获取和上传基础镜像获取基础镜像后,可通过ECS运行Dockerfile文件,在镜像的基础上构建新镜像。 Step1 构建新ModelArts Standard训练镜像 获取模型软件包,并上传到ECS的目录下(可自定义路径),获取地址参考表1。 解压A
ECS中构建新镜像 通过ECS获取和上传基础镜像获取基础镜像后,可通过ECS运行Dockerfile文件,在镜像的基础上构建新镜像。 Step1 构建新ModelArts Standard训练镜像 获取模型软件包,并上传到ECS的目录下(可自定义路径),获取地址参考表1。 解压A
ECS中构建新镜像 通过ECS获取和上传基础镜像获取基础镜像后,可通过ECS运行Dockerfile文件,在镜像的基础上构建新镜像。 Step1 构建新ModelArts Standard训练镜像 获取模型软件包,并上传到ECS的目录下(可自定义路径),获取地址参考表1。 解压A
动态挂载特性,将OBS对象存储模拟成本地文件系统。其本质是通过挂载工具,将对象协议转为POSIX文件协议。挂载后应用层可以在容器中正常操作OBS对象。 动态挂载适用于哪些使用场景 场景1:数据集预览和操作,将承载数据集的OBS挂载至Notebook中,可以像本地文件系统一样操作数据集。
ECS中构建新镜像 通过ECS获取和上传基础镜像获取基础镜像后,可通过ECS运行Dockerfile文件,在镜像的基础上构建新镜像。 Step1 构建新ModelArts Standard训练镜像 获取模型软件包,并上传到ECS的目录下(可自定义路径),获取地址参考表1。 解压A