检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
data/”。 表20 remote_constraint 参数 参数类型 描述 data_type String 数据输入类型,包括数据存储位置、数据集两种方式。 attributes String 数据输入为数据集时的相关属性。 枚举值: data_format:数据格式。
百川和Llama系列模型只支持自定义权重。 自定义权重存储路径 当“权重设置与词表”选择“自定义权重”时,需要选择存放模型权重文件的OBS路径,必须选择到模型文件夹。单次上传本地文件到OBS的总大小不能超过5GB,详情请参见如何上传超过5GB的大对象。 权重校验 当“权重设置与词表
在使用过程中如果消耗了硬件资源进行部署,管理控制台将根据实际使用情况收取硬件资源的费用。 前提条件 注册并登录华为云,且创建好OBS桶用于存储数据和模型。 如果是订阅使用HiLens技能,则需要获取相关服务权限,详细操作请参见准备工作(华为HiLens)。 订阅免费模型 登录“AI
根据指定的实例规格、AI引擎镜像、存储等相关参数,创建一个开发环境实例。 查询Notebook实例详情 查询开发环境实例详情。 更新Notebook实例 更新开发环境实例。 删除Notebook实例 删除开发环境实例,删除的资源包括Notebook容器以及对应的所有存储资源。 通过运行的实例保存成容器镜像
Face格式权重输出的路径(确保convert_mg2hf_at_last设置为True,默认为True)。 分别单击“输入”和“输出”的数据存储位置,如图所示,选择OBS桶中指定的目录。超参:dataset中则直接选中数据集文件,超参:processed_data_dir则需选中存放已处理好数据集的目录文件夹。
在Lite资源池列表中,单击资源池名称进入资源池详情页面。 在资源池详情页面,单击“标签”页签查看标签信息。 支持添加、修改、删除标签。标签详细用法请参见ModelArts如何通过标签实现资源分组管理。 图3 标签 最多支持添加20个标签。 Lite Cluster资源池配置管理 在资源池详情页面,单击“配置管理
练作业,则该用户必须拥有 "modelarts:trainJob:create" 的权限才可以完成操作(无论界面操作还是API调用)。关于如何给一个用户赋权(准确讲是需要先将用户加入用户组,再面向用户组赋权),可以参考IAM的文档《权限管理》。 而ModelArts还有一个特殊的
customize_service.py依赖的其他文件可以直接放model目录下,需要采用绝对路径方式访问。绝对路径获取请参考绝对路径如何获取。 ModelArts针对多种引擎提供了样例及其示例代码,您可以参考样例编写您的配置文件和推理代码,详情请参见ModelArts样例列
modelarts/ma-cli-profile.yaml。 配置用户名密码鉴权 以在虚拟机上使用ma-cli configure为例,介绍如何配置用户名密码进行鉴权。 以下样例中所有以${}装饰的字符串都代表一个变量,用户可以根据实际情况指定对应的值。 比如${your_password}表示输入用户自己的密码信息。
task_statuses Array of TaskStatuses objects 训练在子任务状态信息。 running_records Array of RunningRecord objects 训练作业运行及故障恢复记录。 表8 TaskStatuses 参数 参数类型
数据集的分享和下载 AI Gallery的资产集市提供了数据集的分享和下载。订阅者可在AI Gallery搜索并下载满足业务需要的数据集,存储至当前帐号的OBS桶或ModelArts的数据集列表。分享者可将已处理过的数据集发布至AI Gallery。 下载数据集 AI Gallery发布数据集
练作业,则该用户必须拥有 "modelarts:trainJob:create" 的权限才可以完成操作(无论界面操作还是API调用)。关于如何给一个用户赋权(准确讲是需要先将用户加入用户组,再面向用户组赋权),可以参考IAM的文档《权限管理》。 而ModelArts还有一个特殊的
表30 remote_constraint 参数 是否必选 参数类型 描述 data_type 否 String 数据输入类型,包括数据存储位置、数据集两种方式。 attributes 否 String 数据输入为数据集时的相关属性。枚举值: data_format 数据格式;
会舍弃标注框超出原始图片边界的图片。 输出目录结构如下所示。其中“Data”文件夹用于存放新生成的图片和标注信息,“manifest”文件存储文件夹中图片的结构,可直接导入到数据集中。 |----data_url |----Data |----xxx.jpg
data/”。 表22 remote_constraint 参数 参数类型 描述 data_type String 数据输入类型,包括数据存储位置、数据集两种方式。 attributes String 数据输入为数据集时的相关属性。 枚举值: data_format:数据格式。
-v3/services/bms/v1/region" ) func main() { // 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全; // 本示例以ak和sk保存在环境变量中来实现身份验证
代码开发与调测。云化JupyterLab使用,本地IDE+ModelArts插件远程开发能力,贴近开发人员使用习惯 云上开发环境,包含AI计算资源,云上存储,预置AI引擎 运行环境自定义,将开发环境直接保存成为镜像,供训练、推理使用 ModelArts CodeLab(JupyterLab),让AI探索&教学更简单
训练作业启动前下载数据、模型、代码。 训练作业运行中上传日志、模型。 建议配置。 操作步骤 本案例场景为单机单卡场景下创建训练作业,数据和代码存储在OBS服务的并行文件系统下,创建自定义镜像训练作业。 使用主用户账号登录管理控制台,单击右上角用户名,在下拉框中选择“统一身份认证”,进入统一身份认证(IAM)服务。
其他加速框架或ZeRO (Zero Redundancy Optimizer)优化器、NPU节点数即其他配置。 具体优化工具使用说明可参考如何选择最佳性能的zero-stage和-offloads。 父主题: 训练脚本说明
Turbo挂载配置,并选择用户创建的SFS Turbo文件系统。 云上挂载路径:输入镜像容器中的工作路径 /home/ma-user/work/ 存储位置:输入用户的“子目录挂载”路径。如果默认没有填写,则忽略。 图4 选择SFS Turbo 作业日志选择OBS中的路径,ModelArts的训练作业的日志信息则保存该路径下。