检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
的方式下载,但是不支持断点续传,并且clone 会下载历史版本占用磁盘空间。 随后可通过以下两种方式,将下载到本地的模型文件上传至SFS Turbo中。 本地上传权重文件至SFS Turbo 通过以下两种方式将下载到本地的模型文件上传至SFS Turbo中。方式一操作简单,但是数据传输速度比较慢,费时间。
PyTorch:2.1.0 Step1 创建ECS 下文中介绍如何在ECS中构建一个推理镜像,请参考ECS文档购买一个Linux弹性云服务器。完成网络配置、高级配置等步骤,可根据默认选择,或进行自定义。创建完成后,单击“远程登录”,后续安装Docker等操作均在该ECS上进行。 注意:CPU架构必
的方式下载,但是不支持断点续传,并且clone 会下载历史版本占用磁盘空间。 随后可通过以下两种方式,将下载到本地的模型文件上传至SFS Turbo中。 本地上传权重文件至SFS Turbo 通过以下两种方式将下载到本地的模型文件上传至SFS Turbo中。方式一操作简单,但是数据传输速度比较慢,费时间。
重新启动镜像激活SFS盘中的虚拟环境 保存并共享虚拟环境 前提条件 创建一个Notebook,“资源类型”选择“专属资源池”,“存储配置”选择“SFS弹性文件服务器”,打开terminal。 创建新的虚拟环境并保存到SFS目录 创建新的conda虚拟环境。 # shell conda create --prefix
至OBS。 弹性云服务器 弹性云服务器(Elastic Cloud Server,ECS)是由CPU、内存、操作系统、云硬盘组成的基础的计算组件。弹性云服务器创建成功后,您就可以像使用自己的本地PC或物理服务器一样,使用弹性云服务器。 在制作自定义镜像时,您可以在本地环境或者ECS上完成自定义镜像制作。
GPU大规模集群的一体化工具,提供多种能力,包括主动健康监控、诊断、系统验证、策略、电源和时钟管理、配置管理和审计等。 约束限制 仅适用于GPU资源监控。 前提条件 裸金属服务器需要安装driver、cuda、fabric-manager软件包。 步骤一:安装Docker 使用Docker官方脚本安装最新版Docker:
通过重写pandas源码API的方式,将该API改造成支持OBS路径的形式。 写h5到OBS = 写h5到本地缓存 + 上传本地缓存到OBS + 删除本地缓存 从OBS读h5 = 下载h5到本地缓存 + 读取本地缓存 + 删除本地缓存 即将以下代码写在运行脚本的最前面,就能使运行过程中的to_hdf和read_hdf支持OBS路径。
创建专属资源池(不需要打通VPC) 安装和配置OBS命令行工具 (可选)工作空间配置 模型训练 本地构建镜像及调试 上传镜像 上传数据和算法到OBS 使用Notebook进行代码调试 创建单机单卡训练作业 监控资源 本地构建镜像及调试 本节通过打包conda env来构建环境,也可以通过pip install、conda
NOTEBOOK:可以通过https协议访问Notebook。 SSH:可以通过SSH协议远程连接Notebook。 key_pair_names 否 Array of strings SSH密钥对名称,可以在云服务器控制台(ECS)“密钥对”页面创建和查看。 表4 CustomHooks 参数 是否必选
换件维修:通过更换硬件实现原地修复,修复耗时较长,对于非本地盘类故障,本地盘数据可以保留。 - 重部署:通过更换为新服务器实现修复,修复耗时较短,本地盘数据会丢失。 修复期间实例将无法工作,请确保相关实例业务已离线。如果云服务器上的业务不可停止,请勿修复,并联系技术支持进行处理。
必现的问题,使用本地Pycharm远程连接Notebook调试。 建议与总结 在创建训练作业前,推荐您先使用ModelArts开发环境调试训练代码,避免代码迁移过程中的错误。 直接使用线上notebook环境调试请参考使用JupyterLab开发模型。 配置本地IDE(Pycha
使用自定义镜像创建开发环境Notebook实例。 按需配置。 使用SSH功能 ECS ecs:serverKeypairs:list ecs:serverKeypairs:get ecs:serverKeypairs:delete ecs:serverKeypairs:create 为开发环境Notebook实例配置登录密钥。
如果选择本地的数据集发布,则参见表3配置数据集信息。 表3 参数说明(本地上传) 参数 说明 资产标题 在AI Gallery显示的资产名称,建议按照您的目的设置。 来源 选择“本地上传”。 单次最多支持100个文件同时上传,总大小不超过5GB。 上传数据 从本地文件中选择需要发布的数据集。
ECS中构建新镜像 通过ECS获取基础镜像获取基础镜像后,可通过ECS运行Dockerfile文件,在镜像的基础上构建新镜像。 Step1 构建新ModelArts Standard训练镜像 获取模型软件包,并上传到ECS的目录下(可自定义路径),获取地址参考表1。 解压Asce
ECS中构建新镜像 通过ECS获取基础镜像获取基础镜像后,可通过ECS运行Dockerfile文件,在镜像的基础上构建新镜像。 Step1 构建新ModelArts Standard训练镜像 获取模型软件包,并上传到ECS的目录下(可自定义路径),获取地址参考表1。 解压Asce
大于100MB的文件至本地。 大于100MB的文件,需要先从JupyterLab上传到OBS,再通过OBS下载到本地,具体操作请参见从JupyterLab中下载大于100MB的文件到本地。 从JupyterLab中下载不大于100MB的文件至本地 在JupyterLab文件列表中
32GB规格。 修改Notebook SSH远程连接配置 ModelArts允许用户在Notebook实例中更改SSH配置信息,Notebook实例状态需在“停止”时才可以修改。 在创建Notebook实例时,未配置SSH远程连接,创建完成后,需要开启远程连接时,则可以在Notebook的实例
ToolKit连接Notebook 本地IDE(VS Code) 当用户创建完成支持SSH的Notebook实例后,使用VS Code的开发者可以通过以下三种方式连接到开发环境中:VS Code一键连接Notebook、VS Code ToolKit连接Notebook、VS Code手动连接Notebook。
在ModelArts的Notebook中如何设置VS Code远端默认安装的插件? 在ModelArts的VS Code中如何把本地插件安装到远端或把远端插件安装到本地? 在ModelArts的Notebook中,如何使用昇腾多卡进行调试? 在ModelArts的Notebook中使用不
已准备Lite Server资源,具体参考资源规格要求。推荐使用“西南-贵阳一”Region上的Server和昇腾Snt9b资源。 安装过程需要连接互联网git clone,确保容器可以访问公网。 步骤一:检查环境 SSH登录机器后,检查NPU设备检查。运行如下命令,返回NPU设备信息。