检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ModelArts Standard自动学习所创建项目一直在扣费,如何停止计费? 对于使用公共资源池创建的自动学习作业: 登录ModelArts控制台,在自动学习作业列表中,删除正在扣费的自动学习作业。在训练作业列表中,停止因运行自动学习作业而创建的训练作业。在“在线服务”列表中
数,格式和per-tensor静态量化所需的2. 抽取kv-cache量化系数生成的json文件一致,只需把每一层的量化系数修改为列表,列表的长度为kv的头数,列表中每一个值代表每一个kv头使用的量化系数。内容示例如下: 在使用OpenAI接口或vLLM接口启动推理服务时添加如下
已在ModelArts中创建模型。 创建新版本 在“模型”页面,单击操作列的“创建新版本”进入“创建新版本”页面,参数配置除版本外,将默认选择上一个版本的配置信息,您可以对参数配置进行修改,参数说明请参见创建模型。单击“立即创建”,完成新版本的创建操作。 删除版本 在“模型管理”页面,
在创建AI应用页面填写相关参数。 表1 创建AI应用 参数 是否必填 说明 AI应用英文名称 是 自定义一个易于分辨的AI应用英文名称。 只能以数字、大小字母、下划线组成,且字符长度在3到90之间。 中文名称 否 自定义一个易于分辨的AI应用中文名称。 字符长度在1到30之间。 许可证 否 选择AI应用遵循的许可证。
ModelArts全球基础设施围绕华为云区域和可用区构建。华为云区域提供多个在物理上独立且隔离的可用区,这些可用区通过延迟低、吞吐量高且冗余性高的网络连接在一起。利用可用区,您可以设计和操作在可用区之间无中断地自动实现故障转移的应用程序和数据库。与传统的单个或多个数据中心基础设施相比,可用区具有更高的可用性、容错性和可扩展性。
扩散模型在噪音和随机数上的生成,本身就有一定的随机性,GPU和NPU(Ascend)硬件由于存在一定细小的差别,很难确保完全一致,较难达成生成图片100%匹配,建议通过盲测的方式对效果进行验证。 模型精度有问题怎么办? 首先考虑通过FP16的方式进行转换和执行,再通过精度诊断工具来进行分析,更进一步可以到华为云官网上提交工单处理。
rts服务对应的依赖策略项)。 操作步骤 使用主用户账号登录管理控制台,鼠标放在右上角用户名,在下拉框中选择“统一身份认证”,进入统一身份认证(IAM)服务。 在统一身份认证服务页面的左侧导航选择“权限管理 > 权限”,单击右上角的“创建自定义策略”,设置策略。 “策略名称”:设
后重试。 多标签的样本(即一张图片包含多个标签),至少需要有2张。如果启动训练时,设置了数据集切分功能,如果多标签的数据少于2张,会导致数据集切分失败。建议检查您的标注信息,保证标注多标签的图片,超过2张。 数据集切分后,训练集和验证集包含的标签类别不一样。出现这种情况的原因:多
请参见表3。多模态只支持hf上下载的awq权重,可跳过步骤一。 本章节介绍如何使用AWQ量化工具实现推理量化。 量化方法:W4A16 per-group/per-channel,W8A16 per-channel 步骤一 模型量化 可以在Huggingface开源社区获取AWQ量
数,格式和per-tensor静态量化所需的2. 抽取kv-cache量化系数生成的json文件一致,只需把每一层的量化系数修改为列表,列表的长度为kv的头数,列表中每一个值代表每一个kv头使用的量化系数。内容示例如下: 在使用OpenAI接口或vLLM接口启动推理服务时添加如下
Gallery AI Gallery上每个资产的文件都会存储在线上的AI Gallery存储库(简称AI Gallery仓库)里面。每一个模型实例视作一个资产仓库,模型实例与资产仓库之间是一一对应的关系。例如,模型名称为“Test”,则AI Gallery仓库有个名为“Test”的仓
用于缓存cann侧的aclnn算子,当空闲时间(free)较大时,可以尝试设置一个较大的数值,如export ACLNN_CACHE_LIMIT=100000 HOST_CACHE_CAPACITY 用于动态shape缓存,当存在动态shape时,设置一个非零正整数,如export HOST_CACHE_CAPACITY=20
MoXing是ModelArts自研的组件,是一种轻型的分布式框架,构建于TensorFlow、PyTorch、MXNet、MindSpore等深度学习引擎之上,使得这些计算引擎分布式性能更高,同时易用性更好。MoXing包含很多组件,其中MoXing Framework模块是一个基础公共组件,可用于访
资源池 创建资源池失败 Standard资源池节点故障定位 资源池推理服务一直初始化中如何解决 专属资源池关联SFS Turbo显示异常
查询用户镜像信息概览,以镜像名称作为聚合的信息。 查询镜像详情 查询镜像详情。 删除镜像 删除镜像对象,对于个人私有镜像可以通过参数一并删除SWR镜像内容。 训练管理接口 表6 算法管理接口 API 说明 创建算法 创建一个算法。 查询算法列表 查询算法列表。 查询算法详情 根据算法ID查询指定算法。 更新算法 更新算法。
可以在Huggingface开源社区获取AWQ量化后的模型权重;或者获取FP16/BF16的模型权重之后,通过autoAWQ工具进行量化。 方式一:从开源社区下载发布的AWQ量化模型。 https://huggingface.co/models?sort=trending&search=QWEN+AWQ
规格的使用注意事项如下: 1、权限控制 通用的计算节点规格是未做权限控制的,如modelarts.vm.cpu.2u,只要资源池有资源,就可以选择使用。一些特殊的规格需要联系系统管理员增加权限。 2、公共资源池的规格无法选择 共享池的资源是有限的,显示置灰表示当前规格的资源已经被用完。请选择未
从OBS中导入模型文件创建模型 针对使用常用框架完成模型开发和训练的场景,可以将您的模型导入至ModelArts中,创建为模型,并进行统一管理。 约束与限制 针对创建模型的模型,需符合ModelArts的模型包规范,推理代码和配置文件也需遵循ModelArts的要求,详细说明请参
在“创建AI应用”页面配置参数。 表1 创建AI应用 参数 是否必填 说明 AI应用英文名称 是 自定义一个易于分辨的AI应用英文名称。 只能以数字、大小字母、下划线组成,且字符长度在3到90之间。 中文名称 是 自定义一个易于分辨的AI应用中文名称。 字符长度在1到30之间。 许可证 否 选择AI应用遵循的许可证。
per-group/per-channel,W8A16 per-channel 步骤一 模型量化 可以在Huggingface开源社区获取AWQ量化后的模型权重;或者获取FP16/BF16的模型权重之后,通过autoAWQ工具进行量化。 方式一:从开源社区下载发布的AWQ量化模型。 https://huggingface