检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
modelarts:workspace:get 创建训练作业和查看训练日志。 modelarts:workspace:getQuota 查询工作空间配额。如果开通了工作空间功能,则需要配置此权限。 modelarts:tag:list 在训练作业中使用标签管理服务TMS。 IAM iam
ssl_context='adhoc') 在本地机器调试 自定义引擎的规范可以在安装有docker的本地机器上通过以下步骤提前验证: 将自定义引擎镜像下载至本地机器,假设镜像名为custom_engine:v1。 将模型包文件夹复制到本地机器,假设模型包文件夹名字为model。 在模型
完成。 更多裸金属服务器的介绍请见裸金属服务器 BMS。 xPU xPU泛指GPU和NPU。 GPU,即图形处理器,主要用于加速深度学习模型的训练和推理。 NPU,即神经网络处理器,是专门为加速神经网络计算而设计的硬件。与GPU相比,NPU在神经网络计算方面具有更高的效率和更低的功耗。
用户名密码认证模式 本模式支持OBS管理、训练管理、模型管理、服务管理的鉴权。 示例代码 账号与用户的概念介绍,请参见IAM基本概念。获取您的账号、用户名等信息,请参见获取用户名、用户ID、项目名称、项目ID。 使用账号认证 “username”填写您的账号名。 1 2 from
更新管理 ModelArts在线服务更新 对于已部署的推理服务,ModelArts支持通过更换模型的版本号,实现服务升级。 推理服务有三种升级模式:全量升级、滚动升级(扩实例)和滚动升级(缩实例)。了解三种升级模式的流程,请参见图1。 全量升级 需要额外的双倍的资源,先全量创建新版本实例,然后再下线旧版本实例。
ModelArts的Notebook是否支持Keras引擎? 开发环境中的Notebook支持。训练作业和模型部署(即推理)暂时不支持。 Keras是一个用Python编写的高级神经网络API,它能够以TensorFlow、CNTK或者Theano作为后端运行。Notebook开发环境支持“tf
导入模型提示模型或镜像大小超过限制 问题现象 在导入模型时,提示模型或镜像大小超过限制。 原因分析 如果使用的是OBS导入或者训练导入,则是基础镜像、模型文件、代码、数据文件和下载安装软件包的大小总和超过了限制。 如果使用的是自定义镜像导入,则是解压后镜像和镜像下载文件的大小总和超过了限制。
在模型广场页面,ModelArts Studio大模型即服务平台提供了丰富的开源大模型,在模型详情页可以查看模型的详细介绍,根据这些信息选择合适的模型进行训练、推理,接入到企业解决方案中。 访问模型广场 登录ModelArts管理控制台。 在左侧导航栏中,选择“ModelArts Studio”进入ModelArts
本案例用于指导用户使用ModelArts Studio大模型即服务平台(下面简称为MaaS)的Qwen2-7B模型框架,创建并部署一个模型服务,实现对话问答。通过学习本案例,您可以快速了解如何在MaaS服务上的创建和部署模型。更多MaaS服务的使用指导请参见用户指南。 操作流程 开始使用如下样例前,请务必按准备工作指导完成必要操作。
像无法正常使用AI Gallery工具链服务(微调大师和在线推理服务)。 说明: 建议写清楚模型的使用方法,方便使用者更好的完成训练、推理任务。 表2 任务类型支持的AI Gallery工具链服务 任务类型 微调大师 在线推理服务 AI应用 文本问答/文本生成 支持 支持 支持 其他类型
DatasetPlaceholder(name="input_data") # 创建训练作业 job_step = wf.steps.JobStep( name="training_job", title="图像分类训练", algorithm=wf.AIGalleryAlgorithm(
annotations值为一个对象列表。标注属性请见表4。 usage String 用途,可选值为TRAIN、EVAL、TEST、INFERENCE。指明该对象用于训练、评估、测试、推理,如果没有给出该字段,则使用者自行决定如何使用该对象。 inference_loc String 当此Manifest文
account_name 训练、推理或开发环境任务创建者的账号名。 user_name 训练、推理或开发环境任务创建者的用户名。 task_creation_time 训练、推理或开发环境任务的创建时间。 task_name 训练、推理或开发环境任务的名称。 task_spec_code 训练、推理或开发环境任务的规格。
的“AI应用管理”中准备好待发布的模型。在“AI应用管理”界面创建或发布模型的相关操作请参见管理AI应用简介。使用容器镜像导入的模型和其他训练产生的模型都支持发布至AI Gallery。 如果是发布HiLens技能,已经在HiLens技能管理中准备好待发布的技能。发布技能的相关操作请参见发布技能。
稳可靠、超大规模的云原生AI算力集群,提供一站式开通、网络互联、高性能存储、集群管理等能力,满足AI高性能计算等场景需求。目前其已在大模型训练推理、自动驾驶、AIGC、内容审核等领域广泛得到应用。 ModelArts Lite又分以下2种形态: ModelArts Lite Se
CommonOperations权限只能二选一,不能同时选。 OBS对象存储服务 授予子账号使用OBS服务的权限。ModelArts的数据管理、开发环境、训练作业、模型推理部署均需要通过OBS进行数据中转。 OBS OperateAccess 必选 SWR容器镜像仓库 授予子账号使用SWR服务权
当前昇腾商用发布的最新版本为上图所示的版本,可以不用执行本章节后续的固件驱动安装步骤。 如果机器上的版本不是所需的版本(例如需要换成社区最新调测版本),可以参考后续步骤进行操作。 查看机器操作系统版本,以及架构是aarch64还是x86_64,并从昇腾官网获取相关的固件驱动包。固
用,SFS支持NFS和CIFS的网络协议。在使用裸金属服务器时, 将数据放在SFS盘中, 并发建立多个NFS链接、并发的读写数据、做大模型训练。 但有时候会出现读取速度变慢的现象,并且SFS提示报错"rpc_check_timeout:939 callbacks suppressed"。
推理代码编写说明。 Tensorflow TensorFlow存在两种接口类型,keras接口和tf接口,其训练和保存模型的代码存在差异,但是推理代码编写方式一致。 训练模型(keras接口) 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15
在Notebook开发过程中,初期存储使用量较小时, 创建Notebook可以选择小容量EVS, 比如5G大小; 开发完成后,需要大规模数据集训练,此时再将存储容量扩容至当前阶段所需容量,可以节约成本。 动态扩容EVS有什么限制 Notebook实例的存储配置采用的是云硬盘EVS。 图1