检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
算法运行时需要依赖鉴权服务,公共资源池是否支持两者打通网络? 不支持,公共资源池不能打通网络。可通过专属资源池打通网络,使用ModelArts服务。 父主题: Standard资源池
Workflow是开发者基于实际业务场景开发用于部署模型或应用的流水线工具,核心是将完整的机器学习任务拆分为多步骤工作流,每个步骤都是一个可管理的组件,可以单独开发、优化、配置和自动化。Workflow有助于标准化机器学习模型生成流程,使团队能够大规模执行AI任务,并提高模型生成的效率。 ModelArts
基础镜像一般选用“ubuntu 18.04”的官方镜像,或者nvidia官方提供的带cuda驱动的镜像。相关镜像直接到dockerhub官网查找即可。 构建流程:安装所需的apt包、驱动,配置ma-user用户、导入conda环境、配置Notebook依赖。 推荐使用Dockerfile的方式构建镜像。这样
Torch,MindSpore等常用深度学习任务的基础镜像,镜像里已经安装好运行任务所需软件。当基础镜像里的软件无法满足您的程序运行需求时,您还可以基于这些基础镜像制作一个新的镜像并进行训练。 训练作业的预置框架介绍 ModelArts中预置的训练基础镜像如下表所示。 表1 ModelArts训练基础镜像列表
如何提升训练效率,同时减少与OBS的交互? 场景描述 在使用ModelArts进行自定义深度学习训练时,训练数据通常存储在对象存储服务(OBS)中,且训练数据较大时(如200GB以上),每次都需要使用GPU资源池进行训练,且训练效率低。 希望提升训练效率,同时减少与对象存储OBS的交互。可通过如下方式进行调整优化。
自动驾驶特有的感知、规控、仿真生成等全链路相关算法深度优化并快速迭代。 内容审核 深入业务场景,提供完备成熟的内容审核/CV场景快速昇腾迁移的方案,高效解决业务内容审核的算力/国产化需求,助力企业业务稳健发展。 政府 提高公共服务的效率和质量,加强公共安全,优化政策方案和决策过程等。
从“设置”页签的“Grafana数据源配置信...获取的用户名信息。 Password 设置为从c.从“设置”页签的“Grafana数据源配置信...获取的密码信息。 配置完成后,单击下方的“Save & test”,展示“Data source is working”代表配置数据源成功。 图6
是否支持图像分割任务的训练? 支持。您可以使用以下三种方式实现图像分割任务的训练。 您可以在AI Gallery订阅相关图像分割任务算法,并使用订阅算法完成训练。 如果您在本地使用ModelArts支持的常用框架完成了训练脚本,可以使用自定义脚本创建训练作业。 如果您在本地开发的算法不是基于
OBS-Python-SDK-3.1.2 原因分析 出现该问题的可能原因如下 pip源中的pip包更新了,之前能跑通的代码,在包更新之后产生了不兼容的情况,例如transformers包,导致import的时候出现了错误。 用户代码问题,出现了内存越界、非法访问内存空间的情况。 未知系统问题导致,建议先尝试
如何查看Notebook使用的cuda版本? 执行如下命令查看环境中的cuda版本。 ll /usr/local | grep cuda 举例: 图1 查看当前环境的cuda版本 如图1所示,当前环境中cuda版本为10.2 父主题: 环境配置相关
安装配置Grafana 在Windows上安装配置Grafana 在Linux上安装配置Grafana 在Notebook上安装配置Grafana 父主题: 使用Grafana查看AOM中的监控指标
Turbo存储,挂载完成后可在后续步骤中,将训练所需的数据通过ECS上传至SFS Turbo。 前提条件 已创建SFS Turbo,如果未创建,请参考创建文件系统。 数据及算法已经上传至OBS,如果未上传,请参考上传数据和算法至OBS(首次使用时需要)。 ECS服务器和SFS的共享硬盘在相同的VPC或者对应VPC能够互联。
使用窍门 创建项目时,如何快速创建OBS桶及文件夹? 自动学习生成的模型,存储在哪里?支持哪些其他操作? 父主题: 使用自动学习实现零代码AI开发
可能原因 创建的OBS桶与创建项目不在同一个区域。 账号没有配置全局授权。 OBS桶里的数据格式不符合要求。 解决方法 查看ModelArts创建的项目与创建的OBS桶是否在同一区域。 查看创建的OBS桶所在区域。 登录OBS管理控制台。 进入“对象存储”界面,可在桶列表的“桶名称”
配置授权 功能介绍 配置ModelArts授权。若没有授权,ModelArts训练管理、开发环境、数据管理、在线服务等功能将不能正常使用。该API支持管理员给IAM子用户设置委托,支持设置当前用户的访问密钥。调用该API需要在IAM系统里配置Security Administrator权限。
Server提供多样化的xPU裸金属服务器,赋予用户以root账号自主安装和部署AI框架、应用程序等第三方软件的能力,为用户打造专属的云上物理服务器环境。用户只需轻松选择服务器的规格、镜像、网络配置及密钥等基本信息,即可迅速创建弹性裸金属服务器,获取所需的云上物理资源,充分满足算法工程师在日常训练和推理工作中的需求。
如何解决“在IOS系统里打开ModelArts的Notebook,字体显示异常”的问题? 问题现象 在IOS系统里打开ModelArts的Notebook时,字体显示异常。 解决方法 设置Terminal的“fontFamily”为“Menlo”。 操作步骤 登录ModelArt
使用自动学习实现零代码AI开发 自动学习简介 使用自动学习实现图像分类 使用自动学习实现物体检测 使用自动学习实现预测分析 使用自动学习实现声音分类 使用自动学习实现文本分类 使用窍门
从而提高训练效率。 学习率预热 不同的学习率调度器(决定什么阶段用多大的学习率)有不同的学习率调度相关超参,例如线性调度可以选择从一个初始学习率lr-warmup-init开始预热。您可以选择多少比例的训练迭代步使用预热阶段的学习率。不同的训练框架有不同的参数命名,需要结合代码实现设置对应的参数。
Gallery提供了大量基于昇腾云底座适配的三方开源大模型,同步提供了可以快速体验模型的能力、极致的开发体验,助力开发者快速了解并学习大模型。 构建零门槛线上模型体验,零基础开发者开箱即用,初学者三行代码使用所有模型 通过AI Gallery的模型在线模型体验,可以实现模型服务的即时可用性,开发者无需