检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
只需要专注于本地的代码开发即可。 本章节介绍了使用PyCharm Toolkit如何连接Notebook。 视频介绍 使用限制 当前仅支持2019.2-2023.2之间(包含2019.2和2023.2)版本,包括社区版和专业版。 使用PyCharm ToolKit远程连接Note
“主题名”:事件通知的主题名称。单击“创建主题”,前往消息通知服务中创建主题。 “事件”:选择要订阅的事件类型。例如“运行中”、“已终止”、“运行失败”等。 说明: 需要为消息通知服务中创建的主题添加订阅,当订阅状态为“已确认”后,方可收到事件通知。订阅主题的详细操作请参见添加订阅。 使用消息通知服务会产生相关服务费用,详细信息请参见计费说明。
充分满足算法工程师在日常训练和推理工作中的需求。 本文旨在帮助您了解Lite Server的基本使用流程,帮助您快速上手,使用流程包含以下步骤。 图1 使用流程 资源开通 由于Server为一台裸金属服务器,因此需要先购买资源后才能使用。 首先请联系客户经理确认Server资源
注册华为账号并开通华为云 进行实名认证 配置委托访问授权 ModelArts使用过程中涉及到OBS、SWR、IEF等服务交互,首次使用ModelArts需要用户配置委托授权,允许访问这些依赖服务。 使用华为云账号登录ModelArts管理控制台,在左侧导航栏单击“权限管理”,进入“权限管理”页面,单击“添加授权”。
本章节适用于在ModelArts Standard的Notebook中安装配置Grafana。 前提条件 已创建CPU或GPU类型的Notebook实例,并处于运行中。 打开Terminal。 操作步骤 在Terminal中依次执行以下命令,下载并安装Grafana。 mkdir -p
本章节适用于在Windows操作系统的PC中安装配置Grafana。 操作步骤 下载Grafana安装包。 进入下载链接,单击Download the installer,等待下载成功即可。 安装Grafana。 双击安装包,按照指示流程安装完成即可。 在Windows的“服务”中,找到Grafana
单张图片的大小不能超过5MB,单次上传的图片总大小不能超过8MB,数据量大时推荐使用OBS Browser+上传 。 标签名是由中文、大小写字母、数字、中划线或下划线组成,且不超过32位的字符串。 表1 PASCAL VOC格式说明 字段 是否必选 说明 folder 是 表示数据源所在目录。
在Linux上安装配置Grafana 适用场景 本章节适用于在Linux操作系统的PC中安装配置Grafana。 前提条件 一台可访问外网的Ubuntu服务器。如果没有请具备以下条件: 准备一台ECS服务器(建议规格选8U或者以上,镜像选择Ubuntu,建议选择22.04版本,本
量大时推荐使用OBS Browser+上传 。 标签名是由中文、大小写字母、数字、中划线或下划线组成,且不超过32位的字符串。 图像分类标签“.txt”规范如下。 一行一个标签: flower book ... 上传OBS操作步骤: 执行如下操作,将数据上传到OBS中,以便用于模型训练和构建。
通过PyCharm远程使用Notebook实例 使用PyCharm Toolkit插件连接Notebook 使用PyCharm手动连接Notebook 使用PyCharm上传数据至Notebook 父主题: 使用Notebook进行AI开发调试
使用Notebook进行代码调试 背景信息 Notebook使用涉及到计费,具体收费项如下: 处于“运行中”状态的Notebook,会消耗资源,产生费用。根据您选择的资源不同,收费标准不同,价格详情请参见产品价格详情。当您不需要使用Notebook时,建议停止Notebook,避免产生不必要的费用。
使用MoXing复制数据报错 问题现象 调用moxing.file.copy_parallel()将文件从开发环境的OBS桶中复制到其他OBS桶里,但是桶内没有出现目标文件。 使用MoXing复制数据不成功,出现报错。如: ModelArts开发环境使用MoXing复制OBS数据报错:keyError:
在Notebook中使用Moxing命令 MoXing Framework功能介绍 Notebook中快速使用MoXing mox.file与本地接口的对应关系和切换 MoXing常用操作的样例代码 MoXing进阶用法的样例代码 父主题: 使用Notebook进行AI开发调试
使用Notebook进行代码调试 背景信息 Notebook使用涉及到计费,具体收费项如下: 处于“运行中”状态的Notebook,会消耗资源,产生费用。根据您选择的资源不同,收费标准不同,价格详情请参见产品价格详情。当您不需要使用Notebook时,建议停止Notebook,避免产生不必要的费用。
Lite Cluster资源使用 在Lite Cluster资源池上使用Snt9B完成分布式训练任务 在Lite Cluster资源池上使用ranktable路由规划完成Pytorch NPU分布式训练 在Lite Cluster资源池上使用Snt9B完成推理任务
Lite Server资源使用 LLM/AIGC/数字人基于Server适配NPU的训练推理指导 GPT-2基于Server适配PyTorch GPU的训练推理指导
re引擎的AI模型。具体操作流程如图1 使用JupyterLab在线开发调试代码所示。 图1 使用JupyterLab在线开发调试代码 操作步骤 创建Notebook实例。 在ModelArts控制台创建一个Notebook实例,选择要使用的AI框架。具体参见创建Notebook实例。
自定义镜像使用场景 在AI业务开发以及运行的过程中,一般都会有复杂的环境依赖需要进行调测并固化。面对开发中的开发环境的脆弱和多轨切换问题,在ModelArts的AI开发最佳实践中,通过容器镜像的方式将运行环境进行固化,以这种方式不仅能够进行依赖管理,而且可以方便的完成工作环境切换
将训练脚本打包成zip文件,上传到3中指定的obs_path中。 当训练数据保存在Notebook中,则将其打包成zip文件并上传到指定的obs_path中。 向ModelArts训练服务提交自定义镜像训练作业,使用的镜像为当前Notebook的镜像,这样保证了远程训练作业和在Notebook中的训练作业使用的运行环境一致。
像和资源规格选择使用。 前提条件 为了保证训练结果中输出Summary文件,在编写训练脚本时,您需要在脚本中添加收集Summary相关代码。 TensorFlow引擎的训练脚本中添加Summary代码,具体方式请参见TensorFlow官方网站。 注意事项 运行中的可视化作业不单