检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
导入模型提示单个模型文件超过5G限制 问题现象 在导入模型时,提示单个模型文件大小超过5G限制。 原因分析 在不使用动态加载的情况下,系统对单个模型文件的限制大小为5G,超过时无法进行导入。 处理方法 精简模型文件后,重新导入。 使用动态加载功能进行导入。 图1 使用动态加载 父主题:
提交验收任务的样本评审意见 功能介绍 提交验收任务的样本评审意见。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI POST /v2/{project_id}/dat
用户项目ID。获取方法请参见获取项目ID和名称。 task_id 是 String 数据处理任务ID。 version_id 是 String 数据处理任务的版本ID。 请求参数 无 响应参数 无 请求示例 删除数据处理任务的版本 DELETE https://{endpoint}/v2/{pro
已导入的子样本数量。 processor_task_id String 预处理任务ID。 processor_task_status Integer 预处理任务状态。 status String 导入任务的当前状态。可选值如下: QUEUING:排队中 STARTING:开始执行 RUNNING:运行中
create_time Long 数据处理任务的创建时间。 deleted_sample_count Integer 处理后删除的图片数量。 description String 数据处理任务的版本描述。 duration_seconds Integer 数据处理任务的运行时间,单位秒。 inputs
String 团队标注任务ID。 请求参数 无 响应参数 状态码: 200 表2 响应Body参数 参数 参数类型 描述 sample_stats Map<String,Map<String,Integer>> 团队标注任务成员标注情况的统计信息。 请求示例 查询团队标注任务成员的进度信息
查询团队标注任务统计信息 功能介绍 查询团队标注任务统计信息。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v2/{project_id}/datase
llery CLI配置工具指南。 文件合集大小不超过50GB。 文件上传完成前,请不要刷新或关闭上传页面,防止意外终止上传任务,导致数据缺失。 当模型的“任务类型”是除“文本问答”和“文本生成”之外的类型(即自定义模型)时,上传的模型文件要满足自定义模型规范,否则该模型无法正常使用AI
ECS中构建新镜像 通过ECS获取基础镜像获取基础镜像后,可通过ECS运行Dockerfile文件,在镜像的基础上构建新镜像。 Step1 构建新ModelArts Standard训练镜像 获取模型软件包,并上传到ECS的目录下(可自定义路径),获取地址参考表1。 解压Asce
ECS中构建新镜像 通过ECS获取基础镜像获取基础镜像后,可通过ECS运行Dockerfile文件,在镜像的基础上构建新镜像。 Step1 构建新ModelArts Standard训练镜像 获取模型软件包,并上传到ECS的目录下(可自定义路径),获取地址参考表1。 解压Asce
模型训练存储加速 针对AI训练场景中大模型Checkpoint保存和加载带来的I/O挑战,华为云提供了基于对象存储服务OBS+高性能弹性文件服务SFS Turbo的AI云存储解决方案,如下图所示。 SFS Turbo HPC型支持和OBS数据联动,您可以通过SFS Turbo H
ndInsight进行展示。 前提条件 使用MindSpore引擎编写训练脚本时,为了保证训练结果中输出Summary文件,您需要在脚本中添加收集Summary相关代码。 将数据记录到Summary日志文件中的具体方式请参考收集Summary数据。 注意事项 在开发环境跑训练作业
10.2与低版本GPU驱动(440.33以下)配合使用时,可能会出现兼容问题,此时需要使用CUDA Compatibility。在创建训练页面添加以下环境变量: export LD_LIBRARY_PATH=/usr/local/cuda/compat 训练时默认不需要加此环境变量,仅当发现驱动版本不够时才使用此方法。
训练作业子任务名称。 start_time String 训练作业开始时间,格式为时间戳。 task_statuses Array of objects 训练在子任务状态信息。 表5 task_statuses 参数 参数类型 描述 task String 训练作业子任务名称。 exit_code
P优化方式(修改点:注释第161和167行,增加第168~170行)。 二进制调优使能,减少算子编译耗时,在train.py头文件导入之后添加 (修改点:增加第37行)。 torch_npu.npu.set_compile_mode(jit_compile=False) AICPU算子调优
缓存的一些影响,建议分两次进行操作,以达到较好的优化效果(第一次执行生成AOE的知识库,在第二次使用时可以复用)。在该场景中,AOE对text_encoder等模型提升效果不大,性能主要瓶颈点在unet模型中,主要对unet模型做调优,整体的操作步骤如下: 转换前先清理缓存,避免转换时的影响。
已有镜像迁移至ModelArts用于训练模型 场景描述 本地已有镜像,需要做云上适配,用于ModelArts模型训练。 操作步骤 参考如下Dockerfile,修改已有镜像,使其符合模型训练的自定义镜像规范。 FROM {已有镜像} USER root # 如果已存在 gid
查询数据处理任务版本的结果展示 功能介绍 查询数据处理任务版本的结果展示。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v2/{project_id}/
objects 导入任务列表。 total_count Integer 导入任务的数量。 表4 ImportTaskStatusResp 参数 参数类型 描述 annotated_sample_count Long 已标注样本数量。 create_time Long 任务创建时间。 data_source
Double 团队标注成员任务样本验收审核平均评分。 task_id String 成员任务关联的团队标注任务ID。 task_status Integer 团队标注成员任务状态。可选值如下: 6:已创建。 0:启动中。 1:运行中。 2:验收中。 3:通过,即团队标注任务已完成。 4:驳回,即需要重新修改标注和审核工作。