检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ModelArts Lite Cluster面向k8s资源型用户,提供托管式k8s集群,并预装主流AI开发插件以及自研的加速插件,以云原生方式直接向用户提供AI Native的资源、任务等能力,用户可以直接操作资源池中的节点和k8s集群。请参见弹性集群k8s Cluster。 ModelArts
标注多个标签,是否可针对一个标签进行识别? 使用数据处理的数据扩增功能后,新增图片没有自动标注 视频数据集无法显示和播放视频 使用样例的有标签的数据或者自己通过其他方式打好标签的数据放到OBS桶里,在modelarts中同步数据源以后看不到已标注,全部显示为未标注 如何使用soft NMS方法降低目标框堆叠度
否,请在ModelArts同一区域的OBS中新建桶和文件夹,并将所需的数据上传至此OBS桶中。 检查OBS的路径是否正确,是否写为了“obs://xxx”。可使用如下方式判断OBS路径是否存在。 mox.file.exists('obs://bucket_name/sub_dir_0/sub_dir_1')
购买对象存储服务OBS 对象存储服务提供按需计费和包年包月两种计费模式,用户可以根据实际需求购买OBS服务。OBS服务支持以下两种存储方式,单机单卡场景使用文件系统,多机多卡场景使用普通OBS桶。 创建普通OBS桶 创建并行文件系统 购买数据加密服务DEW 在使用Notebo
der、VaeEncoder、unet、VaeDecoder、SafetyChecker,没有使用LoRA等动态加载的诉求。 - 模型训练方式 关于推理业务中使用的模型,填写该模型训练时使用的框架以及套件。 例如:模型使用PyTorch+Megatron+DeepSpeed进行训练。
access_modes 否 String 挂载文件的访问权限,支持读写和只读两种方式,仅type为“obsfs”类型,该字段有效。可选值: ReadOnlyMany:只读方式 ReadWriteMany:读写方式(默认值) 表17 auto_stop字段数据结构说明 参数 参数类型 说明
否 String 集群类型。枚举值如下: MANAGED:公共集群 DEDICATED:专属集群 sort_dir 否 String 排序方式,ASC升序,DESC降序,默认DESC。 sort_key 否 String 排序的字段,多个字段使用(“,”)逗号分隔。 请求参数 无
文件,具体请参见训练tokenizer文件说明。 Step2 创建预训练任务 创建训练作业,并自定义名称、描述等信息。选择自定义算法,启动方式自定义,以及上传的镜像。训练脚本中会自动执行训练前的权重转换操作和数据处理操作。 图1 选择镜像 训练作业启动命令中输入: cd /hom
权限”,单击右上角的“创建自定义策略”,设置策略,单击“确定”。 “策略名称”:设置自定义策略名称,例如:委托modelarts操作SFS Turbo。 “策略配置方式”:选择可视化视图或者JSON视图均可。 “策略内容”:允许,云服务中搜索“SFSTurbo”服务并选中,“操作”中查找只读操作“sfst
制作自定义镜像。 场景三:通过预置的镜像创建Notebook实例,在预置镜像上安装对应的自定义软件和依赖,进而将运行的实例环境以容器镜像的方式保存下来。具体案例参考在Notebook中通过镜像保存功能制作自定义镜像。 Notebook自定义镜像规范 制作自定义镜像时,Base镜像需满足如下规范:
delArts数据集两种方式。 attributes 否 Array of Map<String,String> objects 数据输入为数据集时的相关属性。枚举值: data_format:数据格式。 data_segmentation:数据切分方式。 dataset_type:标注类型。
参见训练tokenizer文件说明。 Step2 创建SFT全参微调训练任务 创建训练作业,并自定义名称、描述等信息。选择自定义算法,启动方式自定义,以及上传的镜像。训练脚本中会自动执行训练前的权重转换操作和数据处理操作。 图1 选择镜像 训练作业启动命令中输入: cd /hom
size)流水线模型并行策略,具体详细参数配置如表2所示。 Step2 创建LoRA微调训练任务 创建训练作业,并自定义名称、描述等信息。选择自定义算法,启动方式自定义,以及上传的镜像。训练脚本中会自动执行训练前的权重转换操作和数据处理操作。 图1 选择镜像 训练作业启动命令中输入: cd /hom
根据成员角色过滤查询。可选值如下: 0:标注人员(默认值) 1:审核人员 2:团队管理员 sort_by 否 String 指定查询的排序方式。可选值如下: create_time:按创建时间排序(默认值) email:按邮件排序 请求参数 无 响应参数 状态码: 200 表3 响应Body参数
access_modes String 挂载文件的访问权限,支持读写和只读两种方式,仅type为“obsfs”类型,该字段有效。可选值: ReadOnlyMany:只读方式 ReadWriteMany:读写方式(默认值) 表14 auto_stop字段数据结构说明 参数 参数类型 说明
单击“发布”,弹出“选择云服务区域”,选择区域后单击“确定”跳转到“发布资产到AI Gallery”页面。 在发布资产页面,填写相关信息,发布资产。 如果是发布新资产。 “发布方式”选择“创建新资产”。 填写“资产标题”。即在AI Gallery显示的资产名称。 “来源”默认为“ModelArts”。 选择“Mode
存活探针:用于检测应用实例内应用程序的健康状态。如果存活探针失败,即应用程序不健康,将会自动重启实例。 3种探针的配置参数均为: 检查方式:仅支持“HTTP请求检查”。 健康检查URL:健康检查的URL固定为“/health”。 健康检查周期(秒):填写1-2147483647之前的整数,单位为秒。
delArts数据集两种方式。 attributes 否 Array of Map<String,String> objects 数据输入为数据集时的相关属性。枚举值: data_format:数据格式。 data_segmentation:数据切分方式。 dataset_type:标注类型。
String 指定排序顺序。可选值如下: asc:递增排序 desc:递减排序(默认值) sort_by 否 String 指定查询的排序方式。可选值如下: create_time:按创建时间排序(默认值) email:按邮件排序 请求参数 无 响应参数 状态码: 200 表3 响应Body参数
shell pip install mindstudio-probe 获取NPU和GPU的dump数据。 PyTorch训练脚本插入dump接口方式如下: from msprobe.pytorch import PrecisionDebugger debugger = Precisio