检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在弹出的对话框中,设置训练作业相关参数,详细参数说明请参见表1。 表1 训练作业配置参数说明 参数 说明 Job Name 训练作业的名称。 系统会自动生成一个名称,您可以根据业务需求重新命名,命名规则如下: 支持1~64位字符。 并包含大小写字母、数字、中划线(-)或下划线(_)。
况为准。 本地代码目录 指定训练容器的本地目录,启动训练时系统会将代码目录下载至此目录。 此参数可选,默认本地代码目录为“/home/ma-user/modelarts/user-job-dir”。 工作目录 训练时,系统会自动cd到此目录下执行启动文件。 父主题: 制作自定义镜像用于训练模型
的过程。 本文档主要介绍如何在ModelArts Standard上,利用训练框架PyTorch_npu+华为自研Ascend Snt9B硬件,完成SDXL Finetune训练。 获取软件和镜像 表1 获取软件和镜像 分类 名称 获取路径 插件代码包 AscendCloud-3rdAIGC-6
2763 训练作业日志中提示 “AttributeError: module '***' has no attribute '***'” 系统容器异常退出 父主题: 训练作业
upyterLab上传下载功能。 带EVS存储的Notebook实例 JupyterLab文件默认存储路径,为创建Notebook实例时,系统自动分配的EVS空间。 在文件列表的所有文件读写操作都是基于所选择的EVS下的内容操作的。使用EVS类型的挂载,可将大数据挂载至“~/work”目录下。
String 资源约束,可选值如下: 资源类型(flavor_type),对应值可选择CPU、GPU或Ascend; 是否支持多卡训练(device_distributed_mode),对应值可选择支持(multiple)、不支持(singular); 是否支持分布式训练(host
基于昇腾、Dockerhub官网等官方开源的镜像制作,开源镜像需要满足如下操作系统约束: x86:Ubuntu18.04、Ubuntu20.04 ARM:Euler2.8.3、Euler2.10.7 Ubuntu20.04.6可能有兼容性问题,请优先使用低于该版本的操作系统。 不满足以上镜像规范,所制作的镜像使用可
图片亮度,值越大代表观感上亮度越高。 一般呈正态分布,可根据分布中心判断数据集整体偏亮还是偏暗。可根据使用场景调整,比如使用场景是夜晚,图片整体应该偏暗。 图片饱和度 Saturation 图片的色彩饱和度,值越大表示图片整体色彩越容易分辨。 一般呈正态分布,一般用于比较训练集和真实场景数据集的差异。 清晰度 Clarity
where you submit training job(default "0") --policy [regular|economic|turbo|auto] Training job policy, default
部署信息,如表6所示。 labels Map<String,String> 标签信息,可扩展字段。 flavor_type String 硬件类型。支持CPU,GPU,Ascend。 表6 provision字段数据结构说明 参数 参数类型 说明 type String 部署类型,当前仅支持Docker。
MOSSMultiTurnHandler] 示例值需要根据数据集的不同,选择其一。 GeneralPretrainHandler:使用预训练的alpaca数据集。 GeneralInstructionHandler:使用微调的alpaca数据集。 MOSSMultiTurnHandler:使用微调的moss数据集。
务类型管理页面。 在服务列表中,单击目标服务操作列的“修改”,修改服务基本信息,然后根据提示提交修改任务。 当修改了服务的某些参数配置时,系统会自动重启服务使修改生效。在提交修改服务任务时,如果涉及重启,会有弹窗提醒。 在线服务参数说明请参见部署模型为在线服务。修改在线服务还需要
Files按钮,打开文件上传窗口,选择左侧的进入远端文件上传界面。 图1 上传文件图标 图2 进入远端文件上传界面 输入有效的远端文件URL后,系统会自动识别上传文件名称,单击“上传”,开始上传文件。 图3 输入有效的远端文件URL 图4 远端文件上传成功 异常处理 远端文件上传失败。
REBOOT_FAILED: 重启失败; CHANGINGOS: 切换操作系统中: CHANGINGOS_FAILED: 切换操作系统失败: REINSTALLINGOS: 重装操作系统中: REINSTALLINGOS_FAILED。重装操作系统失败。 vpc_id String 实例所在虚拟私有云ID。
REBOOT_FAILED: 重启失败; CHANGINGOS: 切换操作系统中: CHANGINGOS_FAILED: 切换操作系统失败: REINSTALLINGOS: 重装操作系统中: REINSTALLINGOS_FAILED。重装操作系统失败。 vpc_id String 实例所在虚拟私有云ID。
Manifest文件中文本分类的source数值可以包含中文,其他字段不建议用中文。 Manifest文件可以由用户、第三方工具或ModelArts标注系统生成。 Manifest文件名没有特殊要求,可以为任意合法文件名。 父主题: Manifest管理
算、网络、存储等资源划分成多个集群。一个Region中的多个AZ间通过高速光纤相连,以满足用户跨AZ构建高可用性系统的需求。 项目 区域默认对应一个项目,这个项目由系统预置,用来隔离物理区域间的资源(计算资源、存储资源和网络资源),以默认项目为单位进行授权,用户可以访问您账号中该
略中必须包含允许“modelarts:notebook:create”的授权项,该接口才能调用成功。 支持的授权项 策略包含系统策略和自定义策略,如果系统策略不满足授权要求,管理员可以创建自定义策略,并通过给用户组授予自定义策略来进行精细的访问控制。策略支持的操作与API相对应,授权项列表说明如下:
调整规格资源;可以初期存储使用量较小时选择小存储,可以在创建完成后根据需要扩充EVS容量;使用动态挂载OBS将OBS对象存储模拟成本地文件系统;还可以在Notebook异常时查看实例的事件定位等,具体参见管理Notebook实例。 ModelArts CLI,集成在ModelAr
Boolean 数据集是否含团队标注任务。可选值如下: true:数据集包含团队标注任务 false:数据集不包含团队标注任务 feature_supports Array of strings 数据集支持的特性列表。当前只支持特性值“0”,表示限制OBS文件大小。 import_data