检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
技术支持。 适配的CANN版本是cann_8.0.rc2,驱动版本是23.0.5。 约束限制 本案例仅支持在专属资源池上运行。 支持的模型列表 本方案支持以下模型的训练,如表1所示。 表1 代码包中适配的模型 序号 支持模型 支持模型参数量 权重文件获取地址 1 Llama2 llama2-7b
//docs.vllm.ai/en/latest/getting_started/quickstart.html。 以下服务启动介绍的是在线推理方式,离线推理请参见https://docs.vllm.ai/en/latest/getting_started/quickstart
即切换使用新域名。为保障持续提供推理服务,请您及时更新业务中的预测API的域名。 如果您使用的是VPC内部节点访问ModelArts推理的在线服务,预测API切换域名后,由于内网VPC无法识别公网域名,请提交工单联系华为云技术支持打通网络。 父主题: 产品变更公告
index(max(result[0])) return infer_output 请求 curl -X POST \ 在线服务地址 \ -F images=@test.jpg 返回 {"mnist_result": 7} 在上面的代码示例中,完成了将用户表单输
total_count Integer 训练作业资源规格总数。 flavors Array of FlavorResponse objects 训练作业资源规格列表。 表4 FlavorResponse 参数 参数类型 描述 flavor_id String 资源规格的ID。 flavor_name String
单个资源开通自动续费:选择需要开通自动续费的专属资源池,单击操作列“开通自动续费”。 批量资源开通自动续费:选择需要开通自动续费的专属资源池,单击列表左上角的“开通自动续费”。 选择续费时长,并根据需要设置自动续费次数,单击“开通”。 图2 开通自动续费 在续费管理页面修改自动续费 进入“费用中心
登录ModelArts管理控制台,在左侧导航栏中选择“AI专属资源池 > 弹性集群Cluster”,进入“Standard资源池”页面。 在资源池列表中,选择需要进行驱动升级的资源池,在右侧的操作列,单击“ > 驱动升级”。 在“驱动升级”弹窗中,会显示当前专属资源池的驱动类型、实例数量
Data项中输入性能数据所在的Notebook本地或OBS路径,单击Submit按钮。界面参考下图。 图6 对比两份性能数据 性能诊断插件支持设置高级参数,当前支持的高级参数列表如下表所示。 表1 高级参数介绍 序号 键 默认值 是否必填 说明 1 cann_version 8.0.RC1 否 可选值包括6.3.RC2、7
团队标注功能当前仅支持“图像分类”、“物体检测”、“文本分类”、“命名实体”、“文本三元组”、“语音分割”类型的数据集。 不同类型数据集支持的功能列表 其中,不同类型的数据集,支持不同的功能,详细信息请参见表1。 表1 不同类型数据集支持的功能 数据集类型 标注类型 人工标注 智能标注 团队标注
NodePoolSpec 参数 是否必选 参数类型 描述 resources 是 PoolResource object 节点池中的资源信息列表,包括资源规格和相应规格的资源数量,自定义配置等。 表6 PoolResource 参数 是否必选 参数类型 描述 flavor 是 String
为离线测评,不需要启动推理服务,目前支持大语言模型。 约束限制 确保容器可以访问公网。 使用opencompass工具需用vllm接口启动在线服务。 当前的精度测试仅适用于语言模型精度验证,不适用于多模态模型的精度验证。多模态模型的精度验证,建议使用开源MME数据集和工具(GitHub
例如(--param_a=3,--param_b=4)默认为空,非必填" mrs_outputs_description = "数据输出路径, 可以通过从参数列表中获取--train_url参数获取" cluster_id_description = "cluster id of MapReduce
//docs.vllm.ai/en/latest/getting_started/quickstart.html。 以下服务启动介绍的是在线推理方式,离线推理请参见https://docs.vllm.ai/en/latest/getting_started/quickstart
数据处理任务描述,长度为0-256位,不能包含^!<>=&"'特殊字符。 inputs 否 Array of ProcessorDataSource objects 数据来源列表,与data_source二选一。数据源路径不支持设置为KMS加密桶中的OBS路径。 name 是 String 数据处理任务名称。 template
举例,如果用户需要用OBS中的数据进行训练,当已经为IAM用户配置ModelArts训练权限时,仍需同时为其配置对应的OBS权限(读、写、列表),才可以正常使用。其中OBS的列表权限用于支持用户从ModelArts界面上选择要进行训练的数据路径;读权限主要用于数据的预览以及训练任务执行时的数据读取;写权限则是为了保存训练结果和日志。
和容器镜像中的元模型,可对所有迭代和调试的模型进行统一管理。 约束与限制 自动学习项目中,在完成模型部署后,其生成的模型也将自动上传至模型列表中。但是自动学习生成的模型无法下载,只能用于部署上线。 创建模型、管理模型版本等功能目前是免费开放给所有用户,使用此功能不会产生费用。 创建模型的几种场景
更新管理 ModelArts在线服务更新 对于已部署的推理服务,ModelArts支持通过更换AI应用的版本号,实现服务升级。 推理服务有三种升级模式:全量升级、滚动升级(扩实例)和滚动升级(缩实例)。了解三种升级模式的流程,请参见图1。 全量升级 需要额外的双倍的资源,先全量创建新版本实例,然后再下线旧版本实例。
如果专属资源池的规格与您的业务不符,可通过扩缩容Standard专属资源池来调整专属资源池的规格。 每个用户对集群的驱动要求不同,在专属资源池列表页中,可自行选择加速卡驱动,并根据业务需要进行立即变更或平滑升级。ModelArts提供了自助升级专属资源池GPU/Ascend驱动的能力
启动数据特征分析任务 数据特征分析任务启动后,需执行一段时间,根据数据量不同等待时间不同,请耐心等待。当您选择分析的版本出现在“版本选择”列表下,且可选择时,即表示分析已完成。 查看数据特征分析结果。 “版本选择”:在右侧下拉框中选择进行对比的版本。也可以只选择一个版本。 “类型
举例,如果用户需要用OBS中的数据进行训练,当已经为IAM用户配置ModelArts训练权限时,仍需同时为其配置对应的OBS权限(读、写、列表),才可以正常使用。其中OBS的列表权限用于支持用户从ModelArts界面上选择要进行训练的数据路径;读权限主要用于数据的预览以及训练任务执行时的数据读取;写权限则是为了保存训练结果和日志。