检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
删除工作空间 功能介绍 删除工作空间。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI DELETE /v1/{project_id}/workspaces/{workspace_id}
创建和修改工作空间 本节通过调用一系列API,以创建和修改工作空间为例介绍ModelArts API的使用流程。 概述 创建和修改工作空间的流程如下: 调用认证鉴权接口获取用户Token,在后续的请求中需要将Token放到请求消息头中作为认证。 调用创建工作空间接口创建一个工作空间。
告警及时响应。 ModelArts承载关键业务的对外开放EIP部署了高防服务,以防大流量攻击。 ModelArts对存放关键数据的数据库部署了数据库安全服务。 云服务防抖动和遭受攻击后的应急响应/恢复策略 ModelArts服务具备租户资源隔离能力,避免单租户资源被攻击导致爆炸半径大,影响其他租户。
现真实软硬件运行数据,多维度分析性能瓶颈点,支持百卡、千卡及以上规模的可视化集群性能分析,助力开发者天级完成性能调优。 MindStudio-Insight提供时间线视图、内存、算子耗时、通信瓶颈分析等功能,借助于数据库支持超大性能数据处理,可以支持20GB的集群性能文件分析,并
- 当前使用的操作系统及版本 当前推理业务的操作系统及版本,如:Ubuntu 22.04。 是否使用容器化运行业务,以及容器中OS版本,HostOS中是否有业务软件以及HostOS的类型和版本。 需要评估是否愿意迁移到华为云的通用OS。 - AI引擎及版本 当前引擎(TF/PT
在定位精度问题之前,首先需要排除训练脚本及参数配置等差异的干扰。目前大部分精度无法对齐的问题都是由于模型超参数、Python三方库版本、模型源码等与标杆环境(GPU/CPU)设置的不一致导致,为了在定位过程中少走弯路,需要在定位前先对训练环境及代码做有效排查。此外,问题定位主要基于
分发到不同的GPU,因此有较大的通信开销。 GPU负载不均衡:负责reducer的GPU需要负责汇总输出、计算损失和更新权重,因此显存和使用率相比其他GPU都会更高。 DistributedDataParallel进行多机多卡训练的优缺点 通信更快:相比于DP,通信速度更快 负载
在ModelArts自动学习中模型训练图片异常怎么办? 使用自动学习的图像分类或物体检测算法时,标注完成的数据在进行模型训练后,训练结果为图片异常。针对不同的异常情况说明及解决方案参见表1。 表1 自动学习训练中图片异常情况说明(图像分类和物体检测) 序号 图片异常显示字段 图片异常说明 解决方案字段 解决方案说明
“详情”:可以查看服务的基本信息,包括服务、模型、资源等设置信息。 “监控”:可以查看服务监控和资源监控信息。 “算力利用率”表示每分钟NPU的平均使用率,当请求率较低时,使用率会显示为0。 “事件”:可以查看服务的事件信息。事件保存周期为1个月,1个月后自动清理数据。 “日志”:可以搜索和查看服务日志。
创建网络 购买ModelArts专属资源池 基本配置: 权限配置 obsutils安装和配置 (可选)工作空间配置 训练: 线下容器镜像构建及调试 上传镜像 上传数据和算法至OBS(首次使用时需要) 使用Notebook进行代码调试 创建训练任务 单机多卡 资源购买: 购买虚拟私有云VPC
“队列名称”:系统自动将当前账号下的DLI队列展现在列表中,您可以在下拉框中选择您所需的队列。 “数据库名称”:根据选择的队列展现所有的数据库,请在下拉框中选择您所需的数据库。 “表名称”:根据选择的数据库展现此数据库中的所有表。请在下拉框中选择您所需的表。 DLI的详细功能说明,请参见《DLI用户指南》。
t账号自主安装和部署AI框架、应用程序等第三方软件的能力,为用户打造专属的云上物理服务器环境。用户只需轻松选择服务器的规格、镜像、网络配置及密钥等基本信息,即可迅速创建弹性裸金属服务器,获取所需的云上物理资源,充分满足算法工程师在日常训练和推理工作中的需求。 本文旨在帮助您了解Lite
Gallery会将资产保存在AI Gallery官方的SWR仓库内。 对于用户提供的一些个人信息,AI Gallery会保存在数据库中。个人信息中的敏感信息,如手机,邮箱等,AI Gallery会在数据库中做加密处理。 AI Gallery的更多介绍请参见《AI Gallery》。 父主题: 安全
计费说明 ModelArts是面向AI开发者的一站式开发平台,提供海量数据预处理及半自动化标注、大规模分布式训练、自动化模型生成及端-边-云模型按需部署能力,帮助用户快速创建和部署模型,管理全周期AI工作流。 ModelArts服务的计费方式简单、灵活,您既可以选择按实际使用时长
d的对应配置。 图9 使用当前DashBoard的配置 创建Dashboards查看指标 打开“DashBoards”,单击“New”,选择“New Dashboards”。 在New Dashboards界面,单击“Add a new panel”。 在New dashboard
如果不再需要使用此模型及在线服务,建议清除相关资源,避免产生不必要的费用。 在“在线服务”页面,“停止”或“删除”刚创建的在线服务。 在“自定义模型”页面,“删除”刚创建的模型。 在“训练作业”页面,“删除”运行结束的训练作业。 进入OBS,删除本示例使用的OBS桶及文件夹,以及文件夹的文件。
ModelArts服务所提供的接口均为自研接口。 通过ModelArts服务自研接口,您可以使用ModelArts Workflow、开发环境、训练管理、AI应用管理及服务管理功能。 工作流管理 表1 Workflow API 说明 获取Workflow列表 获取Workflow列表信息。 新建Workflow
什么是ModelArts ModelArts是华为云提供的一站式AI开发平台,提供海量数据预处理及半自动化标注、大规模分布式训练、自动化模型生成及端-边-云模型按需部署能力,帮助用户快速创建和部署模型,管理全周期AI工作流。 “一站式”是指AI开发的各个环节,包括数据处理、算法开
Server)是一款兼具虚拟机弹性和物理机性能的计算类服务,为您和您的企业提供专属的云上物理服务器,为核心数据库、关键应用系统、高性能计算、大数据等业务提供卓越的计算性能以及数据安全。 ECS 弹性云服务器(Elastic Cloud Server)是一种可随时自助获取、可弹性伸缩的云服务器,可帮助您打造可靠
准备数据 本教程使用到的训练数据集是Alpaca数据集。您也可以自行准备数据集。 数据集下载 本教程使用Alpaca数据集,数据集的介绍及下载链接如下。 Alpaca数据集是由OpenAI的text-davinci-003引擎生成的包含52k条指令和演示的数据集。这些指令数据可以