检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
本文使用NewBert模型介绍构建自定义模型的流程。 安装AI Gallery SDK。 通过pip在本地或云上开发环境安装AI Gallery SDK(galleryformers)。 pip install galleryformers 建议在虚拟环境(Python 3.8+)中安装AI
VS Code:利用ModelArts插件,实现VS Code远程连接Notebook示例完成远程开发,详情请见使用指导。 下文将介绍如何在ModelArts Standard上使用预置镜像创建Notebook实例。 ModelArts管理控制台左侧导航栏中选择“开发空间 >
project_id}/datasets/WxCREuCkBSAlQr9xrde/workforce-tasks/tY330MHxV9dqIPVaTRM/data-annotations/stats?sample_state=__unreviewed__ 响应示例 状态码: 200
务器的缓存目录下。 gallery-cli download {repo_id} {文件名} {文件名} 其中,“repo_id”如何获取,文件名如何获取。 如下所示,表示下载文件“config.json”和“merges.txt”到服务器的缓存目录“/test”下,当回显“100%”时表示下载完成。
elArts-HuaweiCloud,用户通过简易的操作,实现在本地IDE中进行训练配置、资源监控、作业管理、代码管理等动作。 本章节介绍如何使用VS Code插件创建训练作业并调试。 使用VS Code插件创建训练作业并调试功能目前是白名单,需要提交工单申请开通。 准备工作 创
AI引擎框架 是否使用昇腾 (CANN版本) URL Tensorflow 1.15 是 (CANN 5.1) swr.{region-id}.{局点域名}/atelier/ tensorflow_1_15_ascend:tensorflow_1.15-cann_5.1.0-py_3.7-euler_2
String API的认证方式。枚举值如下: NONE:无认证 APP:APP认证 IAM:IAM认证 predict_url String 预测地址。 service_id String 服务编号。 service_name String 服务名称。 support_app_code Boolean
说明: 只有北京四区域支持限时免费规格。 如果您购买了套餐包,可优先选择您对应规格的套餐包,在“配置费用”处会显示您的套餐余量,以及超出的部分如何计费,请您关注,避免造成不必要的资源浪费。 单击“创建项目”,物体检测项目创建成功后页面自动跳转到“自动学习工作流”。 物体检测项目的工作流,将依次运行如下节点:
说明: 只有北京四区域支持限时免费规格。 如果您购买了套餐包,可优先选择您对应规格的套餐包,在“配置费用”处会显示您的套餐余量,以及超出的部分如何计费,请您关注,避免造成不必要的资源浪费。 单击“创建项目”,预测分析项目创建成功后页面自动跳转到“自动学习工作流”。 文本分类项目的工作流,将依次运行如下节点:
gpu": "auto", "gradient_accumulation_steps": "auto", "gradient_clipping": "auto", "zero_allow_untested_optimizer": true, "fp16": {
说明: 只有北京四区域支持限时免费规格。 如果您购买了套餐包,可优先选择您对应规格的套餐包,在“配置费用”处会显示您的套餐余量,以及超出的部分如何计费,请您关注,避免造成不必要的资源浪费。 单击“创建项目”,声音分类项目创建成功后页面自动跳转到“自动学习工作流”。 声音分类项目的工作流,将依次运行如下节点:
f1:F1值 F1值是模型精确率和召回率的加权调和平均,用于评价模型的好坏,当F1较高时说明模型效果较好。 同一个自动学习项目可以训练多次,每次训练会注册一个新的AI应用版本。如第一次训练版本号为“0.0.1”,下一个版本为“0.0.2”。基于训练版本可以对训练模型进行管理。当训练的模型达到目标后,再执行模型部署的操作。
modelarts/ma-cli-profile.yaml。 配置用户名密码鉴权 以在虚拟机上使用ma-cli configure为例,介绍如何配置用户名密码进行鉴权。 以下样例中所有以${}装饰的字符串都代表一个变量,用户可以根据实际情况指定对应的值。 比如${your_password}表示输入用户自己的密码信息。
在左上角的服务列表中,选择ModelArts服务,进入ModelArts管理控制台。 在ModelArts管理控制台,可正常创建Notebook、训练作业、注册镜像。 验证SFS权限。 在左上角的服务列表中,选择SFS服务,进入SFS管理控制台。 在SFS管理控制台,在SFS Turbo中单击右上
模型文件大小超过5GB,需要配置“动态加载”。 “运行时依赖” 罗列选中模型对环境的依赖。例如依赖“tensorflow”,安装方式为“pip”,其版本必须为1.8.0及以上版本。 “AI应用说明” 为了帮助其他AI应用开发者更好的理解及使用您的AI应用,建议您提供AI应用的说明
customize_service.py依赖的其他文件可以直接放model目录下,需要采用绝对路径方式访问。绝对路径获取请参考绝对路径如何获取。 ModelArts针对多种引擎提供了样例及其示例代码,您可以参考样例编写您的配置文件和推理代码,详情请参见ModelArts样例列
通过专属资源池详情页面,规格页签,查看专属资源池磁盘信息。当服务部署失败,提示磁盘空间不足时,请参考服务部署、启动、升级和修改时,资源不足如何处理? 图2 查看专属资源池磁盘信息 创建AI应用 使用大模型创建AI应用,选择从对象存储服务(OBS)中导入,需满足以下参数配置: 采用自定义引擎,开启动态加载
的算力规格,开发者可以一键进入开发环境,直接免费体验Notebook功能。另外,针对AI Gallery社区发布的Notebook样例(.ipynb格式文件),可直接在CodeLab中打开,查看他人分享的样例代码。 CodeLab简介 AI Gallery上的Notebook样例
其他加速框架或ZeRO (Zero Redundancy Optimizer)优化器、NPU节点数即其他配置。 具体优化工具使用说明可参考如何选择最佳性能的zero-stage和-offloads。 父主题: 训练脚本说明
大型企业用户的使用场景下很常见。如果需要对委托授权的权限范围进行精确控制,可以参考本章节进行MaaS服务的定制化委托授权。 本章节主要介绍如何给IAM用户下的子用户配置更细粒度的权限。 前提条件 给用户组授权之前,请先了解用户组可以添加的使用ModelArts及其依赖服务的权限,