检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
“指定用户可见”:输入账号名、账号ID或用户昵称搜索并选择用户,使其可见该资产。 可用范围 选择是否启用“申请用户可用”。 勾选启用:当用户要使用该数据集时需要提交申请,只有数据集所有者同意申请后,才能使用数据集。 不勾选不启用(默认值):所有可见资产的用户都可以直接使用数据集。 发布后,资产会处
实例配置的规格过大,CPU或者内存剩余资源不足;("insufficient CPU" / "insufficient memory") 模型需要的磁盘空间大,磁盘空间不足;("x node(s) had taint {node.kubernetes.io/disk-pressure:
训练场景和方案介绍 Stable Diffusion(简称SD)是一种基于扩散过程的图像生成模型,应用于文生图场景,能够帮助用户生成图像。 方案概览 本方案介绍了在ModelArts Lite DevServer上使用昇腾计算资源Ascend Snt9B开展SDXL和SD1.5模
资源池描述信息,用于说明资源池用于某种指定场景。不能包含特殊字符!<>=&"'。 os.modelarts/order.id 否 String 订单id,包周期创建和变更的时候需要传递该参数。 表6 PoolSpecUpdate 参数 是否必选 参数类型 描述 scope 否 Array of strings 更新启用的作业类型。可选值如下:
可修改。指定梯度累积的步数,这可以增加批次大小而不增加内存消耗。可根据自己要求适配。取值可参考表1中梯度累积值列。 num_train_epochs 5 表示训练轮次,根据实际需要修改。一个Epoch是将所有训练样本训练一次的过程。可根据自己要求适配 cutoff_len 4096 文本处理时的最大长度,此处为4096,用户可根据自己要求适配
代码上传至云端。 在VS Code中打开要执行的代码文件,在执行代码之前需要选择合适的Python版本路径,单击下方默认的Python版本路径,此时在上方会出现该远程环境上所有的python版本,选择自己需要的版本即可。 图14 选择Python版本 对于打开的代码文件,单击ru
dSpore系列。用户可以直接使用预置镜像启动Notebook实例,在实例中开发完成后,直接提交到ModelArts训练作业进行训练,而不需要做适配。 开发环境提供的预置镜像版本是依据用户反馈和版本稳定性决定的。当用户的功能开发基于ModelArts提供的版本能够满足的时候,建议
停止 continue 继续 data_requirements 否 Array of DataRequirement objects 工作流需要的数据。 parameters 否 Array of WorkflowParameter objects 参数。 表3 DataRequirement
作业卡死。 系统预置了卡死检测的环境变量“MA_HANG_DETECT_TIME=30”,表示30分钟内进程IO无变化则判定作业卡死。如果需要修改卡死检测时间,则可以修改环境变量“MA_HANG_DETECT_TIME”的值,具体操作指导请参见管理训练容器环境变量。 由于检测规则
order 否 String instance order start_time 否 String 开始时间,需要与结束时间一起传入。 end_time 否 String 结束时间,需要与开始时间一起传入。 level 否 String 指定返回的事件级别,取值范围[Info Error
ModelArts数据管理为用户准备高质量的AI数据提供了以下主要能力: 解决用户获取数据的问题。 用户可在AI Gallery上一键下载需要的数据资源到ModelArts数据集。 提供多种数据接入方式,支持用户从OBS,MRS,DLI以及DWS等服务导入用户的数据。 提供18+
查看日志和性能 查看日志 训练过程中,训练日志会在第一个的Rank节点打印。 图1 打印训练日志 训练完成后,如果需要单独获取训练日志文件,日志存放在第一个的Rank节点中;日志存放路径为:对应表1表格中output_dir参数值路径下的trainer_log.jsonl文件 查看性能
查看日志和性能 查看日志 训练过程中,训练日志会在第一个的Rank节点打印。 图1 打印训练日志 训练完成后,如果需要单独获取训练日志文件,日志存放在第一个的Rank节点中;日志存放路径为:对应表1表格中output_dir参数值路径下的trainer_log.jsonl文件。 查看性能
查看日志和性能 查看日志 训练过程中,训练日志会在第一个的Rank节点打印。 图1 打印训练日志 训练完成后,如果需要单独获取训练日志文件,日志存放在第一个的Rank节点中;日志存放路径为:对应修改重要参数表格中output_dir参数值路径下的trainer_log.jsonl文件
昇腾云服务6.3.908版本说明 本文档主要介绍昇腾云服务6.3.908版本配套的镜像地址、软件包获取方式和支持的特性能力。 当前版本仅适用于华为公有云。 配套的基础镜像 镜像地址 获取方式 镜像软件说明 配套关系 西南-贵阳一 PyTorch: swr.cn-southwest-2
04,conda3-ubuntu18.04,该类镜像是无AI引擎以及相关的软件包,镜像较小,只有2~5G。用户使用此类镜像做基础镜像,安装自己需要的引擎版本和依赖包,可扩展性更高。并且这些镜像预置了一些开发环境启动所必要的配置,用户无需对此做任何适配,安装所需的软件包即可使用。 此类
查看日志和性能 查看日志 训练过程中,训练日志会在第一个的Rank节点打印。 图1 打印训练日志 训练完成后,如果需要单独获取训练日志文件,日志存放在第一个的Rank节点中;日志存放路径为:对应表1表格中output_dir参数值路径下的trainer_log.jsonl文件 查看性能
导出ModelArts数据集中的数据 针对数据集中的数据,用户可以选中部分数据或者通过条件筛选出需要的数据,导出成新的数据集。用户可以通过任务历史查看数据导出的历史记录。 目前只有“图像分类”、“物体检测”、“图像分割”类型的数据集支持导出功能。 “图像分类”只支持导出txt格式的标注文件。
WorkflowParameter objects 参数。 data_requirements 否 Array of DataRequirement objects 需要的数据。 表3 ExecutionActionPolicy 参数 是否必选 参数类型 描述 rerun_steps 否 Array of strings
_url/boot_file_url和engine_id无需填写。 boot_file_url 是 String 训练作业的代码启动文件,需要在代码目录下,如:“/usr/app/boot.py”。应与app_url一同出现,若填入model_id则app_url/boot_fi