检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
精细化授权管理 如果您需要进行精细的权限管理,可参考《ModelArts API参考》中的权限策略和授权项。 数据管理权限 开发环境权限 训练作业权限 模型管理权限 服务管理权限 工作空间管理权限 精细化授权案例可参考管理员和开发者权限分离。 父主题: 权限配置
上传数据至OBS(首次使用时需要) 前提条件 已经在OBS上创建好普通OBS桶,请参见创建普通OBS桶。 已经安装obsutil,请参考下载和安装obsutil。 参考线下容器镜像构建及调试章节,构建容器镜像并调试,镜像构建及调试与单机单卡相同。 上传镜像,参考单机单卡训练的上传镜像章节操作。
CommonOperations权限只能二选一,不能同时选。 OBS对象存储服务 授予子用户使用OBS服务的权限。ModelArts的数据集、开发环境、训练作业、模型推理部署均需要通过OBS进行数据中转。 OBS OperateAccess 必选 SWR容器镜像仓库 授予子用户使用SWR服务权限。Mod
_:采样已驳回 __AUTO_ANNOTATION__:待确认 start_processor_task Boolean 发布时是否启动数据分析任务。可选值如下: true:发布时启动特征分析任务 false:发布时不启动特征分析任务(默认值) status Integer 数据集版本状态。可选值如下:
配置仪表盘查看指标数据 Grafana中可以自定义配置各种视图的仪表盘,ModelArts也提供了针对集群的配置模板。本章节通过使用ModelArts提供的模板查看指标和创建Dashboards查看指标的方式,说明如何进行仪表盘配置。Grafana的更多使用请参考Grafana官方文档。
上传数据和算法至SFS(首次使用时需要) 前提条件 ECS服务器已挂载SFS,请参考ECS服务器挂载SFS Turbo存储。 在ECS中已经创建ma-user和ma-group用户,请参考在ECS中创建ma-user和ma-group。 已经安装obsutil,请参考下载和安装obsutil。
JOBSTAT_LOST,作业丢失。 15 JOBSTAT_SCALING,作业正在扩容。 16 JOBSTAT_SUBMIT_MODEL_FAILED,提交模型失败。 17 JOBSTAT_DEPLOY_SERVICE_FAILED,部署服务失败。 18 JOBSTAT_CHECK_INIT,审核作业初始化。
String 事件信息,当前主要描述部署过程5个阶段的信息,后续可根据情况继续补充。这5个阶段分别是构建镜像、准备环境、调度资源、拉取镜像、启动模型。 occur_time Number 事件发生时间,距“1970.1.1 0:0:0 UTC”的毫秒数。 请求示例 GET https:
成本管理 成本构成 ModelArts提供AI工具链、AI算力,成本由AI算力的资源成本和运维成本构成。 成本分配 ModelArts支持企业项目管理,可以由企业项目服务来管理同一账号下不同项目的成本。 成本分析 通过华为云费用账单来分析账号下的成本支出情况。 成本优化 长期使用
景为:文件数在100w~1000w的场景、单个大文件及文件大小大于20GB的场景。 登录ModelArts管理控制台,在左侧菜单栏中选择“模型训练 > 训练作业”,进入训练作业管理页面。 单击右上角“创建训练作业”进入创建训练作业页面,在“环境变量”中设置“MA_MOXING_FWVER=2
py”。应与app_url一同出现,若填入model_id则app_url/boot_file_url和engine_id无需填写。 model_id 是 Long 训练作业的模型ID。请通过查询预置算法接口获取model_id。填入model_id后app_url/boot_file_url和engine_id不需填写。
py”。应与app_url一同出现,若填入model_id则app_url/boot_file_url和engine_id无需填写。 model_id 是 Long 训练作业的模型ID。请通过查询预置算法接口获取model_id。填入model_id后app_url/boot_file_url和engine_id不需填写。
旧版训练管理是否停止新购? 是的,旧版训练管理将于2023年6月30日 00:00(北京时间)正式退市。 旧版训练管理如何升级到新版训练? 请参考新版训练指导文档(模型训练)来体验新版训练。 旧版训练迁移至新版训练需要注意哪些问题? 新版训练和旧版训练的差异主要体现在以下3点。 新旧版创建训练作业方式差异
因流量限控,获取在线服务的IP和端口号次数有限制,每个主账号租户调用次数不超过2000次/分钟,每个子账号租户不超过20次/分钟。 目前仅支持自定义镜像导入模型,部署的服务支持高速访问通道。 操作步骤 使用VPC直连的高速访问通道访问在线服务,基本操作步骤如下: 将专属资源池的网络打通VPC VPC下创建弹性云服务器
_:采样已驳回 __AUTO_ANNOTATION__:待确认 start_processor_task Boolean 发布时是否启动数据分析任务。可选值如下: true:发布时启动特征分析任务 false:发布时不启动特征分析任务(默认值) status Integer 数据集版本状态。可选值如下:
None 服务介绍 ModelArts产品 产品介绍 03:19 了解什么是ModelArts ModelArts自动学习 视频介绍 02:59 ModelArts自动学习简介 ModelArts CodeLab 视频介绍 04:16 ModelArts CodeLab介绍 JupyterLab
_file_url和engine_id无需填写。请从查询作业引擎规格接口获取引擎规格ID。 model_id 是 Long 训练作业的内置模型ID。请通过查询预置算法接口获取model_id。填入model_id后app_url与boot_file_url和engine_id无需填写。
数据集遵循的使用许可协议,根据业务需求选择合适的许可证类型。 语言 选择使用数据集时支持的输入输出语言。 任务类型 选择数据集支持用于什么类型的训练模型。 运行平台 选择数据集额外支持的运行平台。 设置运行平台后,当资产上架后,该资产支持通过订阅的方式同步到所选运行平台使用。 设置运行平台
MoXing是ModelArts自研的分布式训练加速框架,构建于开源的深度学习引擎TensorFlow、PyTorch等之上,使用MoXing API可让模型代码的编写更加简单、高效。 MoXing提供了一套文件对象API,可以用来读写OBS文件。 您可以通过MoXing API文档了解其与原生
local_path:必选参数,一个notebook中的路径,训练脚本需要将输出的模型或其他数据保存在该目录下。 obs_path:必选参数,一个OBS目录。SDK会将local_path中的模型文件自动上传到这里。 查看训练支持的AI框架。 from modelarts.estimatorV2